[Minor] force_actions: set a group for symbols

Merge pull request #4678 from fatalbanana/rbl_exclude_local

[Fix] rbl: unbreak `exclude_local`

Merge pull request #4683 from twesterhever/temp-improve-freemail-aff

[Minor] Improve FREEMAIL_AFF capture rates

[Fix] rbl: fix `exclude_local`

Merge pull request #4681 from twesterhever/temp-suspicious-url-composite

[Enhancement] Add composite rule for suspicious URLs in suspicious messages

[Test] Break test

Merge pull request #4680 from twesterhever/temp-zpaq

[Minor] Treat *.zpaq attachments as archives and harmful

Merge pull request #4682 from twesterhever/temp-no-ua

[Minor] Add rule for messages missing both X-Mailer and User-Agent header

[Minor] Improve FREEMAIL_AFF capture rates

[Minor] Add rule for messages missing both X-Mailer and User-Agent header

[Enhancement] Add composite rule for suspicious URLs in suspicious messages

[Minor] Treat *.zpaq attachments as archives and harmful

Rationale: https://dshield.org/diary/Malware+Dropped+Through+a+ZPAQ+Archive/30366/

[Feature] Allow to set `max_users` for Redis bayes backend

Issue: #4659

[Conf] Add note

Issue: #4677

[Minor] Improve diagnostic by rising log level

Merge pull request #4675 from arkamar/algorithm

[Minor] Add missing <algorithm> include for gcc 14

[Minor] Add missing <algorithm> include for gcc 14

This commit addresses a compilation issue when using GCC 14. According
to GCC 14's porting guide [1], some C++ Standard Library headers no
longer include other headers they used to use internally. Specifically,
<algorithm> must now be explicitly included.

[1] https://gcc.gnu.org/gcc-14/porting_to.html

See-also: https://bugs.gentoo.org/916438
Signed-off-by: Petr Vaněk <arkamar@atlas.cz>

[Minor] Add selector transformer `filter_method`

Merge pull request #4674 from rspamd/log_json

[Project] Support of JSON logging

[Minor] Use floating point ts instead of microseconds

[Fix] Do not cleanup hyperscan files unless new ones are loaded

Merge pull request #4672 from fatalbanana/robot_export_vars

[Minor] Make Robot Framework loop unfunny

[Feature] Escape JSON when needed

[Minor] Fix some minor issues

[Project] Preliminary support of JSON logging

[Minor] Make Robot Framework loop unfunny

Merge pull request #4668 from moisseev/webui

[WebUI] Update map editor

[WebUI] Update map editor

CodeJar 3.7.0 -> 4.2.0

[Minor] Update version

Release 3.7.3

* [Fix] Emergency fix for the hyperscan path error

[Minor] Really fix the issue

[Fix] A workaround for brain-damaged std::filesystem behaviour

Issue: #4665

[Minor] Update version

Release 3.7.2

* [Feature] rbl: support checking returncodes by CIDR
* [Feature] rbl: support checking returncodes by regex
* [Feature] rbl: support globbed return codes
* [Fix] DMARC reporting: fix reporting for subdomains
* [Fix] Deal with fmtlib exceptions properly
* [Fix] backport fix for dlfcn.h from backward-cpp
* [Rules] Blank spam detection

Merge pull request #4657 from fatalbanana/rbl_matchers

[Feature] rbl: support use of different matchers for return codes

[Minor] Reiterate on the previous changes

 - Demote message to info level
 - Name it returncodes_matcher for better specificity

Merge pull request #4656 from twesterhever/temp-tighten-attachment-policy

Tighten rspamd's attachment policy

Merge pull request #4661 from moisseev/webui

[WebUI] Fix history table vanishing

[Feature] rbl: support globbed return codes

[Minor] Remove duplicate *.app attachment type

Reported by @fatalbanana.

[Feature] rbl: support checking returncodes by CIDR

[WebUI] Fix history table vanishing

on repeated rows per page input

[Minor] Improve diagnostics

Revert "[Minor] Increase scoring of *.exe attachments"

Reverted based on feedback by @moisseev.

This reverts commit 8171424d846a3e33b5d0f9f7f4ee09ec8d553a03.

[Feature] rbl: support checking returncodes by regex

[Minor] rbl: support use of different matchers for return codes

[Fix] Deal with fmtlib exceptions properly

[Minor] Add additional bad attachment types

- app: Executable Application, blocked in Outlook by default
- aspx: Active Server Page Extended, blocked in Outlook by default
- dll: Dynamic-link Library
- dqy: Microsoft Query File, blocking recommended in MS365
- iqy: ditto
- mht: MHTML File, often abused for phishing and exploit attempts
- mhtml: ditto
- oqy: Microsoft Query File, blocking recommended in MS365
- rqy: ditto
- slk: Microsoft Symbolic Link
- wim: Windows Imaging Format

[Minor] Increase scoring of *.exe attachments

These are already banned in most environments, including GMail and
Outlook. We may as well bump this score up to 4 eventually.

[Minor] Incorporate additional bad attachments from Microsoft

These are as follows:
- htc: HTML Component File
- pyc: Compiled Python Script
- pyo: Optimized Compiled Python Module
- pyw: Python Script To Be Executed With Suppressed Terminal Window
- pyz: Python Zip Application
- pyzw: Python Zip Application
- vhd: Virtual Hard Disk
- vhdx: Virtual Hard Disk Extended
- wsf: Windows Script File

Note that the Python file types remain unscored in archives, so
distribution of these in source tarballs and the like is not affected by
this commit.

Source: https://support.microsoft.com/en-us/office/blocked-attachments-in-outlook-434752e1-02d3-4e90-9124-8b81e49a8519?ui=en-us&rs=en-us&ad=us

[Minor] Refer to third parties for attachment handling whenever possible

This avoids confusion and enqueries to the rspamd project, if it is made
clear that the decision to score certain attachments high has been
incorporated from a well-known third party, such as Google's or
Microsoft's attachment handling policy.

[Minor] Try to fix ICAP scanners by adding use_specific_content_type parameter

Issue: #4643

[Minor] Simplify by using <filesystem>

Merge pull request #4649 from fatalbanana/rspamd_sharedir

[Minor] RSPAMD_SHAREDIR is called SHAREDIR in configuration

[Minor] RSPAMD_SHAREDIR is called SHAREDIR in configuration

Merge pull request #4648 from fatalbanana/luacheck

[Test] Banish luacheck from functional tests

[Test] Banish luacheck from functional tests

 - Use luacheck from GitLab

Merge pull request #4587 from fatalbanana/dmarc_subdomains

[Fix] DMARC reporting: fix reporting for subdomains

[Fix] DMARC reporting: fix reporting for subdomains

 - Reported by: @bilym

Merge pull request #4645 from moisseev/webui

[WebUI] Add control to invert action filter

[WebUI] Add control to invert action filter

to scan results and history tables

Issue: #4098

[Minor] Do not use `setproctitle` on Linux

Issue: #4634

Merge pull request #4640 from dzjaivnt/dzjaivnt-patch-1

Dzjaivnt patch 1

Merge pull request #4642 from twesterhever/temp-cue-attachments

[Minor] Treat *.cue attachments as harmful

Merge pull request #4644 from fatalbanana/blankspam

[Rules] Blank spam detection

[Rules] Blank spam detection

[Minor] Treat *.cue attachments as harmful

Rationale: https://arstechnica.com/information-technology/2023/10/one-click-remote-code-exploit-in-cd-cue-files-affects-most-gnome-based-linux-distros/

[Minor] Fix build on some systems

Merge pull request #4639 from a16bitsysop/backward

[Minor] Make compiling with backward-cpp optional

Update dmarc.lua

With name:

dmarc; dmarc.lua:191: munging debug: {[domain] = domain.tld [flags] = {[valid] = true, [braced] = true}, [name] = Name [domain.tld], [raw] = <user@domain.tld>, [addr] = user@domain.tld, [user] = user}

dmarc; dmarc.lua:234: munged DMARC header for domain.tld: Name [domain.tld] via mark <otheruser@otherdomain.tld> -> user@domain.tld

Without name:
dmarc; dmarc.lua:191: munging debug: {[domain] = domain.tld [flags] = {[valid] = true, [braced] = true}, [name] = , [raw] = <user@domain.tld>, [addr] = user@domain.tld, [user] = user}

dmarc.lua:234: munged DMARC header for domain.tld: user via otheruser <otheruser@otherdomain.tld> -> user@domain.tld

Update dmarc.lua

When from.name is Nil its still show up, with != "" not

Then you get
From: via user <user@domain.tld>

Instead of
From: otheruser via user <user@domain.tld>

Debug:
2023-10-12 12:08:15 #725504(normal) <0b948d>; dmarc; dmarc.lua:191: munging debug: {[user] = user, [domain] = domain.tld, [flags] = {[valid] = true}, [name] = , [raw] = user@domain.tld, [addr] = user@domain.tld}

[Fix] backport fix for dlfcn.h from backward-cpp

https://github.com/bombela/backward-cpp/commit/65fc89e210655aaa707337bc21d19f45805ac8a2

backport fix for powerpc as well
https://github.com/bombela/backward-cpp/commit/4bec538c996e155d487db9aef0fc2f1996202f8e

[Minor] Make compiling with backward-cpp optional

Update dmarc.lua

Debug logs where broken, so muning functionality not working at all.

[Minor] Update version

[Minor] Remove unused FooTable hook

as the ability to set dropdown value through the FooTable options
is not used in the project.

Release 3.7.1

* [CritFix] Fix leak in `gzip` function
* [Feature] Add ICAP Content-Type and Filename
* [Feature] Add `logging`->`task_max_elts` option
* [Feature] Add utility to split string like stuff for C++ code
* [Feature] Allow to set HTTP auth parameters for the maps
* [Feature] Check for plugin configuration errors on `configtest`
* [Feature] `known_senders` plugin
* [Feature] Use backward-cpp instead of manual libunwind stuff
* [Feature] rbl: support checking numeric URLs in isolation
* [Fix] CMakeLists.txt remove whitespace added by linter as it makes tests fail
* [Fix] Change Date: header location to conform with RFC
* [Fix] Correct format pattern for RE tree tempfile name
* [Fix] Correct format string for unw_word_t
* [Fix] Do not accept invalid ucl object types
* [Fix] Do not pollute public headers with libev internals
* [Fix] Do not set output type if list application failed
* [Fix] Fix `url:set_redirected` method
* [Fix] Fix format string and some length issues
* [Fix] Fix grammar definition for content-disposition attributes
* [Fix] Fix lua schema enrichment logic for Redis params
* [Fix] Fix lua stack corruption when logging large tables
* [Fix] Fix merge table utility
* [Fix] Fix output of non-RSA DKIM keys
* [Fix] Fix some corner cases of single-host urls parsing
* [Fix] Fix various issues in the `url_redirector` plugin
* [Fix] MISSING_MIMEOLE: avoid matching messages from Android GMail app (#4561)
* [Fix] Prevent DNSWL sabotage
* [Fix] Try to fix unzip function
* [Fix] rbl: really fix dependency registration when symbols_prefixes is used
* [Fix] rspamadm mime: arguments beginning with letter `t`
* [Rework] Breaking: return back to semver
* [Rework] Move rcl logic to C++

[Minor] Remove outdated file

[Minor] Apply schema for all fuzzy rules

Merge pull request #4627 from netcon-consulting/dnswl

[Fix] Prevent DNSWL sabotage

[Fix] Prevent DNSWL sabotage

When exceeding the query limit for DNSWL it can happen that instead
of the returncode 127.0.0.255, that according to documentation
(https://www.dnswl.org/?page_id=15) indicates a block, the
returncode 127.0.10.3 is returned for all queries.

According to documentation (https://www.dnswl.org/?page_id=15) the
127.0.10.3 returncode indicates the highest level of trustworthiness
that should never be blocked and a category of 'some special cases'.

As it turns out that documentation is a lie and that 127.0.10.3
returncode is used by DNSWL to intentionally sabotage email security
by marking all sending servers as highly trustworthy
(https://www.dnswl.org/?p=120).

Merge pull request #4625 from fatalbanana/native_if

[Test] Use Robot Framework native IF

[Feature] Allow to set HTTP auth parameters for the maps

[Test] Use Robot Framework native IF

 - Since 4.0 (March 2021)

Merge pull request #4624 from fatalbanana/fix_copypasta

Fix wrong copypasta & mis-named file

[Minor] Move configuration to proper location

[Minor] Fix copypasta (#4469)

Merge pull request #4621 from fatalbanana/ci_improvements

Minor improvements for CI

[Test] Skip notification on pull requests

[Test] Try to close coveralls parallel builds when failed

Merge pull request #4620 from fatalbanana/testlog

[Minor] Try fix test logs

[Minor] Try fix test logs

Merge pull request #4617 from fatalbanana/multiarch_ci

Run CI on ARM

[Test] Multiarchify tests

[Minor] Fix one corner case

Merge pull request #4615 from rspamd/vstakhov-known-senders

Merge tests into master branch

[Minor] Recreate drone pipeline with jsonnet

[Minor] RBL: Show DNS verification failure reason

Merge pull request #4616 from fatalbanana/tests_encoding_errors

[Test] Ignore encoding errors

[Fix] Fix format string and some length issues