[Fix] Fix systemd logging

[Test] Test systemd logging

Merge pull request #4731 from fatalbanana/37backports

Some picks for rspamd-3.7

Add support for loongarch

[Minor] Fix build with no hyperscan

Issue: #4702

Merge pull request #4729 from fatalbanana/rspamd37_rspamadm_logger

Fix rspamadm lua logger in rspamd-3.7 (#/4727)

[Fix] Fix rspamadm lua logger

[Test] Exercise rspamadm lua logger in functional tests

Merge pull request #4708 from fatalbanana/my-rspamd-3.7

Test updates for rspamd-3.7 branch

[Test] Fix tests on rspamd-3.7

[Test] One more suspicious fix for settings tests

[Test] Try correct settings test

[Test] Try break tests

[Test] Set umask where it's useful

[Minor] Try improve test stability

Release 3.7.4

* [Enhancement] Add composite rule for suspicious URLs in suspicious messages
* [Fix] Another try to fix setproctitle
* [Fix] Do not cleanup hyperscan files unless new ones are loaded
* [Fix] Fix various issues with canonicalisation of the paths
* [Fix] Properly set config field when creating tasks from Lua
* [Fix] Set loaded variable explicitly
* [Fix] known_senders: fix config handling
* [Fix] rbl: fix `exclude_local`
* [Minor] Add missing <algorithm> include for gcc 14
* [Minor] Add rule for messages missing both X-Mailer and User-Agent header
* [Minor] Bundle fasttext as linux distributives are just useless
* [Minor] Enable fasttext on RPM based linux
* [Minor] Forgot it in one more place
* [Minor] Improve FREEMAIL_AFF capture rates
* [Minor] Limit fasttext to amd64 only
* [Minor] Properly search for fasttext include
* [Minor] Treat *.zpaq attachments as archives and harmful
* [Minor] Update to 3.7.4
* [Minor] force_actions: set a group for symbols
* [WebUI] Update map editor

[Fix] Another try to fix setproctitle

[Fix] Set loaded variable explicitly

[WebUI] Update map editor

CodeJar 3.7.0 -> 4.2.0

[Minor] Treat *.zpaq attachments as archives and harmful

Rationale: https://dshield.org/diary/Malware+Dropped+Through+a+ZPAQ+Archive/30366/

[Enhancement] Add composite rule for suspicious URLs in suspicious messages

[Minor] Add rule for messages missing both X-Mailer and User-Agent header

[Minor] Improve FREEMAIL_AFF capture rates

[Minor] force_actions: set a group for symbols

[Minor] Update to 3.7.4

[Minor] Properly search for fasttext include

[Minor] Bundle fasttext as linux distributives are just useless

[Minor] Forgot it in one more place

[Minor] Limit fasttext to amd64 only

[Minor] Enable fasttext on RPM based linux

[Fix] Fix various issues with canonicalisation of the paths

[Fix] Do not cleanup hyperscan files unless new ones are loaded

[Minor] Add missing <algorithm> include for gcc 14

This commit addresses a compilation issue when using GCC 14. According
to GCC 14's porting guide [1], some C++ Standard Library headers no
longer include other headers they used to use internally. Specifically,
<algorithm> must now be explicitly included.

[1] https://gcc.gnu.org/gcc-14/porting_to.html

See-also: https://bugs.gentoo.org/916438
Signed-off-by: Petr Vaněk <arkamar@atlas.cz>

[Fix] rbl: fix `exclude_local`

[Fix] known_senders: fix config handling

[Fix] Properly set config field when creating tasks from Lua

Release 3.7.3

* [Fix] Emergency fix for the hyperscan path error

[Minor] Really fix the issue

[Fix] A workaround for brain-damaged std::filesystem behaviour

Issue: #4665

[Minor] Update version

Release 3.7.2

* [Feature] rbl: support checking returncodes by CIDR
* [Feature] rbl: support checking returncodes by regex
* [Feature] rbl: support globbed return codes
* [Fix] DMARC reporting: fix reporting for subdomains
* [Fix] Deal with fmtlib exceptions properly
* [Fix] backport fix for dlfcn.h from backward-cpp
* [Rules] Blank spam detection

Merge pull request #4657 from fatalbanana/rbl_matchers

[Feature] rbl: support use of different matchers for return codes

[Minor] Reiterate on the previous changes

 - Demote message to info level
 - Name it returncodes_matcher for better specificity

Merge pull request #4656 from twesterhever/temp-tighten-attachment-policy

Tighten rspamd's attachment policy

Merge pull request #4661 from moisseev/webui

[WebUI] Fix history table vanishing

[Feature] rbl: support globbed return codes

[Minor] Remove duplicate *.app attachment type

Reported by @fatalbanana.

[Feature] rbl: support checking returncodes by CIDR

[WebUI] Fix history table vanishing

on repeated rows per page input

[Minor] Improve diagnostics

Revert "[Minor] Increase scoring of *.exe attachments"

Reverted based on feedback by @moisseev.

This reverts commit 8171424d846a3e33b5d0f9f7f4ee09ec8d553a03.

[Feature] rbl: support checking returncodes by regex

[Minor] rbl: support use of different matchers for return codes

[Fix] Deal with fmtlib exceptions properly

[Minor] Add additional bad attachment types

- app: Executable Application, blocked in Outlook by default
- aspx: Active Server Page Extended, blocked in Outlook by default
- dll: Dynamic-link Library
- dqy: Microsoft Query File, blocking recommended in MS365
- iqy: ditto
- mht: MHTML File, often abused for phishing and exploit attempts
- mhtml: ditto
- oqy: Microsoft Query File, blocking recommended in MS365
- rqy: ditto
- slk: Microsoft Symbolic Link
- wim: Windows Imaging Format

[Minor] Increase scoring of *.exe attachments

These are already banned in most environments, including GMail and
Outlook. We may as well bump this score up to 4 eventually.

[Minor] Incorporate additional bad attachments from Microsoft

These are as follows:
- htc: HTML Component File
- pyc: Compiled Python Script
- pyo: Optimized Compiled Python Module
- pyw: Python Script To Be Executed With Suppressed Terminal Window
- pyz: Python Zip Application
- pyzw: Python Zip Application
- vhd: Virtual Hard Disk
- vhdx: Virtual Hard Disk Extended
- wsf: Windows Script File

Note that the Python file types remain unscored in archives, so
distribution of these in source tarballs and the like is not affected by
this commit.

Source: https://support.microsoft.com/en-us/office/blocked-attachments-in-outlook-434752e1-02d3-4e90-9124-8b81e49a8519?ui=en-us&rs=en-us&ad=us

[Minor] Refer to third parties for attachment handling whenever possible

This avoids confusion and enqueries to the rspamd project, if it is made
clear that the decision to score certain attachments high has been
incorporated from a well-known third party, such as Google's or
Microsoft's attachment handling policy.

[Minor] Try to fix ICAP scanners by adding use_specific_content_type parameter

Issue: #4643

[Minor] Simplify by using <filesystem>

Merge pull request #4649 from fatalbanana/rspamd_sharedir

[Minor] RSPAMD_SHAREDIR is called SHAREDIR in configuration

[Minor] RSPAMD_SHAREDIR is called SHAREDIR in configuration

Merge pull request #4648 from fatalbanana/luacheck

[Test] Banish luacheck from functional tests

[Test] Banish luacheck from functional tests

 - Use luacheck from GitLab

Merge pull request #4587 from fatalbanana/dmarc_subdomains

[Fix] DMARC reporting: fix reporting for subdomains

[Fix] DMARC reporting: fix reporting for subdomains

 - Reported by: @bilym

Merge pull request #4645 from moisseev/webui

[WebUI] Add control to invert action filter

[WebUI] Add control to invert action filter

to scan results and history tables

Issue: #4098

[Minor] Do not use `setproctitle` on Linux

Issue: #4634

Merge pull request #4640 from dzjaivnt/dzjaivnt-patch-1

Dzjaivnt patch 1

Merge pull request #4642 from twesterhever/temp-cue-attachments

[Minor] Treat *.cue attachments as harmful

Merge pull request #4644 from fatalbanana/blankspam

[Rules] Blank spam detection

[Rules] Blank spam detection

[Minor] Treat *.cue attachments as harmful

Rationale: https://arstechnica.com/information-technology/2023/10/one-click-remote-code-exploit-in-cd-cue-files-affects-most-gnome-based-linux-distros/

[Minor] Fix build on some systems

Merge pull request #4639 from a16bitsysop/backward

[Minor] Make compiling with backward-cpp optional

Update dmarc.lua

With name:

dmarc; dmarc.lua:191: munging debug: {[domain] = domain.tld [flags] = {[valid] = true, [braced] = true}, [name] = Name [domain.tld], [raw] = <user@domain.tld>, [addr] = user@domain.tld, [user] = user}

dmarc; dmarc.lua:234: munged DMARC header for domain.tld: Name [domain.tld] via mark <otheruser@otherdomain.tld> -> user@domain.tld

Without name:
dmarc; dmarc.lua:191: munging debug: {[domain] = domain.tld [flags] = {[valid] = true, [braced] = true}, [name] = , [raw] = <user@domain.tld>, [addr] = user@domain.tld, [user] = user}

dmarc.lua:234: munged DMARC header for domain.tld: user via otheruser <otheruser@otherdomain.tld> -> user@domain.tld

Update dmarc.lua

When from.name is Nil its still show up, with != "" not

Then you get
From: via user <user@domain.tld>

Instead of
From: otheruser via user <user@domain.tld>

Debug:
2023-10-12 12:08:15 #725504(normal) <0b948d>; dmarc; dmarc.lua:191: munging debug: {[user] = user, [domain] = domain.tld, [flags] = {[valid] = true}, [name] = , [raw] = user@domain.tld, [addr] = user@domain.tld}

[Fix] backport fix for dlfcn.h from backward-cpp

https://github.com/bombela/backward-cpp/commit/65fc89e210655aaa707337bc21d19f45805ac8a2

backport fix for powerpc as well
https://github.com/bombela/backward-cpp/commit/4bec538c996e155d487db9aef0fc2f1996202f8e

[Minor] Make compiling with backward-cpp optional

Update dmarc.lua

Debug logs where broken, so muning functionality not working at all.

[Minor] Update version

[Minor] Remove unused FooTable hook

as the ability to set dropdown value through the FooTable options
is not used in the project.

Release 3.7.1

* [CritFix] Fix leak in `gzip` function
* [Feature] Add ICAP Content-Type and Filename
* [Feature] Add `logging`->`task_max_elts` option
* [Feature] Add utility to split string like stuff for C++ code
* [Feature] Allow to set HTTP auth parameters for the maps
* [Feature] Check for plugin configuration errors on `configtest`
* [Feature] `known_senders` plugin
* [Feature] Use backward-cpp instead of manual libunwind stuff
* [Feature] rbl: support checking numeric URLs in isolation
* [Fix] CMakeLists.txt remove whitespace added by linter as it makes tests fail
* [Fix] Change Date: header location to conform with RFC
* [Fix] Correct format pattern for RE tree tempfile name
* [Fix] Correct format string for unw_word_t
* [Fix] Do not accept invalid ucl object types
* [Fix] Do not pollute public headers with libev internals
* [Fix] Do not set output type if list application failed
* [Fix] Fix `url:set_redirected` method
* [Fix] Fix format string and some length issues
* [Fix] Fix grammar definition for content-disposition attributes
* [Fix] Fix lua schema enrichment logic for Redis params
* [Fix] Fix lua stack corruption when logging large tables
* [Fix] Fix merge table utility
* [Fix] Fix output of non-RSA DKIM keys
* [Fix] Fix some corner cases of single-host urls parsing
* [Fix] Fix various issues in the `url_redirector` plugin
* [Fix] MISSING_MIMEOLE: avoid matching messages from Android GMail app (#4561)
* [Fix] Prevent DNSWL sabotage
* [Fix] Try to fix unzip function
* [Fix] rbl: really fix dependency registration when symbols_prefixes is used
* [Fix] rspamadm mime: arguments beginning with letter `t`
* [Rework] Breaking: return back to semver
* [Rework] Move rcl logic to C++

[Minor] Remove outdated file

[Minor] Apply schema for all fuzzy rules

Merge pull request #4627 from netcon-consulting/dnswl

[Fix] Prevent DNSWL sabotage

[Fix] Prevent DNSWL sabotage

When exceeding the query limit for DNSWL it can happen that instead
of the returncode 127.0.0.255, that according to documentation
(https://www.dnswl.org/?page_id=15) indicates a block, the
returncode 127.0.10.3 is returned for all queries.

According to documentation (https://www.dnswl.org/?page_id=15) the
127.0.10.3 returncode indicates the highest level of trustworthiness
that should never be blocked and a category of 'some special cases'.

As it turns out that documentation is a lie and that 127.0.10.3
returncode is used by DNSWL to intentionally sabotage email security
by marking all sending servers as highly trustworthy
(https://www.dnswl.org/?p=120).

Merge pull request #4625 from fatalbanana/native_if

[Test] Use Robot Framework native IF

[Feature] Allow to set HTTP auth parameters for the maps

[Test] Use Robot Framework native IF

 - Since 4.0 (March 2021)

Merge pull request #4624 from fatalbanana/fix_copypasta

Fix wrong copypasta & mis-named file

[Minor] Move configuration to proper location

[Minor] Fix copypasta (#4469)

Merge pull request #4621 from fatalbanana/ci_improvements

Minor improvements for CI

[Test] Skip notification on pull requests

[Test] Try to close coveralls parallel builds when failed

Merge pull request #4620 from fatalbanana/testlog

[Minor] Try fix test logs

[Minor] Try fix test logs

Merge pull request #4617 from fatalbanana/multiarch_ci

Run CI on ARM