Release 3.7.4

* [Enhancement] Add composite rule for suspicious URLs in suspicious messages
* [Fix] Another try to fix setproctitle
* [Fix] Do not cleanup hyperscan files unless new ones are loaded
* [Fix] Fix various issues with canonicalisation of the paths
* [Fix] Properly set config field when creating tasks from Lua
* [Fix] Set loaded variable explicitly
* [Fix] known_senders: fix config handling
* [Fix] rbl: fix `exclude_local`
* [Minor] Add missing <algorithm> include for gcc 14
* [Minor] Add rule for messages missing both X-Mailer and User-Agent header
* [Minor] Bundle fasttext as linux distributives are just useless
* [Minor] Enable fasttext on RPM based linux
* [Minor] Forgot it in one more place
* [Minor] Improve FREEMAIL_AFF capture rates
* [Minor] Limit fasttext to amd64 only
* [Minor] Properly search for fasttext include
* [Minor] Treat *.zpaq attachments as archives and harmful
* [Minor] Update to 3.7.4
* [Minor] force_actions: set a group for symbols
* [WebUI] Update map editor

Merge pull request #4700 from moisseev/webui

[Minor] Remove obsolete code

Merge pull request #4699 from fatalbanana/umask

[Test] Set umask where it's useful

[Minor] Use modern ESLint globals definition

[Minor] Remove obsolete code

ES6 is required now for WebUI anyway.

[Fix] Another try to fix setproctitle

[Test] Set umask where it's useful

[Fix] Set loaded variable explicitly

[Minor] Properly search for fasttext include

[Minor] Bundle fasttext as linux distributives are just useless

[Minor] Forgot it in one more place

[Minor] Limit fasttext to amd64 only

[Fix] Fix various issues with canonicalisation of the paths

[Minor] Enable fasttext on RPM based linux

Merge pull request #4694 from rspamd/vstakhov-fuzzy-ping

[Feature] Support ping command in fuzzy storage

[Minor] Do something when no successful replies are detected

[Project] Polish output modes

[Minor] Fix override

[Minor] Various fixes

[Fix] Cleanup session on exit

[Minor] Fix events mess

[Fix] Fix bad access when printing pending events on failure path

[Project] Add some major stuff to implement client side of the fuzzy ping

[Fix] Properly set config field when creating tasks from Lua

Merge pull request #4695 from fatalbanana/test_stability

[Minor] Try improve test stability

[Minor] Try improve test stability

[Project] Add preliminary `rspamadm fuzzyping` command

[Minor] Allow to list storages configured from Lua

[Minor] Simplify

[Feature] Support ping command in fuzzy storage

Merge pull request #4691 from rspamd/vstakhov-gtube-patterns

[Feature] Reiterate on gtube patterns

Merge pull request #4693 from fatalbanana/ksconfig

[Fix] known_senders: fix config handling

[Minor] Document `gtube_patterns`

[Fix] known_senders: fix config handling

[Minor] Fix unit tests

[Feature] Reiterate on gtube patterns

Merge pull request #4687 from fatalbanana/doxydown

[Minor] doxydown: fix elements containing few spaces

[Minor] lua_maps docs: apply formatting

[Minor] doxydown: fix elements containing few spaces

[Minor] Update version to 3.8 as we have too many new features

Merge pull request #4685 from fatalbanana/force_actions_group

[Minor] force_actions: set a group for symbols

[Minor] force_actions: set a group for symbols

Merge pull request #4678 from fatalbanana/rbl_exclude_local

[Fix] rbl: unbreak `exclude_local`

Merge pull request #4683 from twesterhever/temp-improve-freemail-aff

[Minor] Improve FREEMAIL_AFF capture rates

[Fix] rbl: fix `exclude_local`

Merge pull request #4681 from twesterhever/temp-suspicious-url-composite

[Enhancement] Add composite rule for suspicious URLs in suspicious messages

[Test] Break test

Merge pull request #4680 from twesterhever/temp-zpaq

[Minor] Treat *.zpaq attachments as archives and harmful

Merge pull request #4682 from twesterhever/temp-no-ua

[Minor] Add rule for messages missing both X-Mailer and User-Agent header

[Minor] Improve FREEMAIL_AFF capture rates

[Minor] Add rule for messages missing both X-Mailer and User-Agent header

[Enhancement] Add composite rule for suspicious URLs in suspicious messages

[Minor] Treat *.zpaq attachments as archives and harmful

Rationale: https://dshield.org/diary/Malware+Dropped+Through+a+ZPAQ+Archive/30366/

[Feature] Allow to set `max_users` for Redis bayes backend

Issue: #4659

[Conf] Add note

Issue: #4677

[Minor] Improve diagnostic by rising log level

Merge pull request #4675 from arkamar/algorithm

[Minor] Add missing <algorithm> include for gcc 14

[Minor] Add missing <algorithm> include for gcc 14

This commit addresses a compilation issue when using GCC 14. According
to GCC 14's porting guide [1], some C++ Standard Library headers no
longer include other headers they used to use internally. Specifically,
<algorithm> must now be explicitly included.

[1] https://gcc.gnu.org/gcc-14/porting_to.html

See-also: https://bugs.gentoo.org/916438
Signed-off-by: Petr Vaněk <arkamar@atlas.cz>

[Minor] Add selector transformer `filter_method`

Merge pull request #4674 from rspamd/log_json

[Project] Support of JSON logging

[Minor] Use floating point ts instead of microseconds

[Fix] Do not cleanup hyperscan files unless new ones are loaded

Merge pull request #4672 from fatalbanana/robot_export_vars

[Minor] Make Robot Framework loop unfunny

[Feature] Escape JSON when needed

[Minor] Fix some minor issues

[Project] Preliminary support of JSON logging

[Minor] Make Robot Framework loop unfunny

Merge pull request #4668 from moisseev/webui

[WebUI] Update map editor

[WebUI] Update map editor

CodeJar 3.7.0 -> 4.2.0

[Minor] Update version

Release 3.7.3

* [Fix] Emergency fix for the hyperscan path error

[Minor] Really fix the issue

[Fix] A workaround for brain-damaged std::filesystem behaviour

Issue: #4665

[Minor] Update version

Release 3.7.2

* [Feature] rbl: support checking returncodes by CIDR
* [Feature] rbl: support checking returncodes by regex
* [Feature] rbl: support globbed return codes
* [Fix] DMARC reporting: fix reporting for subdomains
* [Fix] Deal with fmtlib exceptions properly
* [Fix] backport fix for dlfcn.h from backward-cpp
* [Rules] Blank spam detection

Merge pull request #4657 from fatalbanana/rbl_matchers

[Feature] rbl: support use of different matchers for return codes

[Minor] Reiterate on the previous changes

 - Demote message to info level
 - Name it returncodes_matcher for better specificity

Merge pull request #4656 from twesterhever/temp-tighten-attachment-policy

Tighten rspamd's attachment policy

Merge pull request #4661 from moisseev/webui

[WebUI] Fix history table vanishing

[Feature] rbl: support globbed return codes

[Minor] Remove duplicate *.app attachment type

Reported by @fatalbanana.

[Feature] rbl: support checking returncodes by CIDR

[WebUI] Fix history table vanishing

on repeated rows per page input

[Minor] Improve diagnostics

Revert "[Minor] Increase scoring of *.exe attachments"

Reverted based on feedback by @moisseev.

This reverts commit 8171424d846a3e33b5d0f9f7f4ee09ec8d553a03.

[Feature] rbl: support checking returncodes by regex

[Minor] rbl: support use of different matchers for return codes

[Fix] Deal with fmtlib exceptions properly

[Minor] Add additional bad attachment types

- app: Executable Application, blocked in Outlook by default
- aspx: Active Server Page Extended, blocked in Outlook by default
- dll: Dynamic-link Library
- dqy: Microsoft Query File, blocking recommended in MS365
- iqy: ditto
- mht: MHTML File, often abused for phishing and exploit attempts
- mhtml: ditto
- oqy: Microsoft Query File, blocking recommended in MS365
- rqy: ditto
- slk: Microsoft Symbolic Link
- wim: Windows Imaging Format

[Minor] Increase scoring of *.exe attachments

These are already banned in most environments, including GMail and
Outlook. We may as well bump this score up to 4 eventually.

[Minor] Incorporate additional bad attachments from Microsoft

These are as follows:
- htc: HTML Component File
- pyc: Compiled Python Script
- pyo: Optimized Compiled Python Module
- pyw: Python Script To Be Executed With Suppressed Terminal Window
- pyz: Python Zip Application
- pyzw: Python Zip Application
- vhd: Virtual Hard Disk
- vhdx: Virtual Hard Disk Extended
- wsf: Windows Script File

Note that the Python file types remain unscored in archives, so
distribution of these in source tarballs and the like is not affected by
this commit.

Source: https://support.microsoft.com/en-us/office/blocked-attachments-in-outlook-434752e1-02d3-4e90-9124-8b81e49a8519?ui=en-us&rs=en-us&ad=us

[Minor] Refer to third parties for attachment handling whenever possible

This avoids confusion and enqueries to the rspamd project, if it is made
clear that the decision to score certain attachments high has been
incorporated from a well-known third party, such as Google's or
Microsoft's attachment handling policy.

[Minor] Try to fix ICAP scanners by adding use_specific_content_type parameter

Issue: #4643

[Minor] Simplify by using <filesystem>

Merge pull request #4649 from fatalbanana/rspamd_sharedir

[Minor] RSPAMD_SHAREDIR is called SHAREDIR in configuration

[Minor] RSPAMD_SHAREDIR is called SHAREDIR in configuration

Merge pull request #4648 from fatalbanana/luacheck

[Test] Banish luacheck from functional tests

[Test] Banish luacheck from functional tests

 - Use luacheck from GitLab

Merge pull request #4587 from fatalbanana/dmarc_subdomains

[Fix] DMARC reporting: fix reporting for subdomains

[Fix] DMARC reporting: fix reporting for subdomains

 - Reported by: @bilym