Merge pull request #4704 from wuruilong01/master

Add support for loongarch

Merge pull request #4705 from moisseev/dynload

[WebUI] Load modules dynamically

[Minor] Allow argument atoms to start from `-`

[Minor] Relax arguments grammar for selectors

[Minor] Remove temporary IIFEs

[WebUI] Load modules dynamically

[Minor] Preserve old environ on exit

Add support for loongarch

[Minor] Fix build with no hyperscan

Issue: #4702

Release 3.7.4

* [Enhancement] Add composite rule for suspicious URLs in suspicious messages
* [Fix] Another try to fix setproctitle
* [Fix] Do not cleanup hyperscan files unless new ones are loaded
* [Fix] Fix various issues with canonicalisation of the paths
* [Fix] Properly set config field when creating tasks from Lua
* [Fix] Set loaded variable explicitly
* [Fix] known_senders: fix config handling
* [Fix] rbl: fix `exclude_local`
* [Minor] Add missing <algorithm> include for gcc 14
* [Minor] Add rule for messages missing both X-Mailer and User-Agent header
* [Minor] Bundle fasttext as linux distributives are just useless
* [Minor] Enable fasttext on RPM based linux
* [Minor] Forgot it in one more place
* [Minor] Improve FREEMAIL_AFF capture rates
* [Minor] Limit fasttext to amd64 only
* [Minor] Properly search for fasttext include
* [Minor] Treat *.zpaq attachments as archives and harmful
* [Minor] Update to 3.7.4
* [Minor] force_actions: set a group for symbols
* [WebUI] Update map editor

Merge pull request #4700 from moisseev/webui

[Minor] Remove obsolete code

Merge pull request #4699 from fatalbanana/umask

[Test] Set umask where it's useful

[Minor] Use modern ESLint globals definition

[Minor] Remove obsolete code

ES6 is required now for WebUI anyway.

[Fix] Another try to fix setproctitle

[Test] Set umask where it's useful

[Fix] Set loaded variable explicitly

[Minor] Properly search for fasttext include

[Minor] Bundle fasttext as linux distributives are just useless

[Minor] Forgot it in one more place

[Minor] Limit fasttext to amd64 only

[Fix] Fix various issues with canonicalisation of the paths

[Minor] Enable fasttext on RPM based linux

Merge pull request #4694 from rspamd/vstakhov-fuzzy-ping

[Feature] Support ping command in fuzzy storage

[Minor] Do something when no successful replies are detected

[Project] Polish output modes

[Minor] Fix override

[Minor] Various fixes

[Fix] Cleanup session on exit

[Minor] Fix events mess

[Fix] Fix bad access when printing pending events on failure path

[Project] Add some major stuff to implement client side of the fuzzy ping

[Fix] Properly set config field when creating tasks from Lua

Merge pull request #4695 from fatalbanana/test_stability

[Minor] Try improve test stability

[Minor] Try improve test stability

[Project] Add preliminary `rspamadm fuzzyping` command

[Minor] Allow to list storages configured from Lua

[Minor] Simplify

[Feature] Support ping command in fuzzy storage

Merge pull request #4691 from rspamd/vstakhov-gtube-patterns

[Feature] Reiterate on gtube patterns

Merge pull request #4693 from fatalbanana/ksconfig

[Fix] known_senders: fix config handling

[Minor] Document `gtube_patterns`

[Fix] known_senders: fix config handling

[Minor] Fix unit tests

[Feature] Reiterate on gtube patterns

Merge pull request #4687 from fatalbanana/doxydown

[Minor] doxydown: fix elements containing few spaces

[Minor] lua_maps docs: apply formatting

[Minor] doxydown: fix elements containing few spaces

[Minor] Update version to 3.8 as we have too many new features

Merge pull request #4685 from fatalbanana/force_actions_group

[Minor] force_actions: set a group for symbols

[Minor] force_actions: set a group for symbols

Merge pull request #4678 from fatalbanana/rbl_exclude_local

[Fix] rbl: unbreak `exclude_local`

Merge pull request #4683 from twesterhever/temp-improve-freemail-aff

[Minor] Improve FREEMAIL_AFF capture rates

[Fix] rbl: fix `exclude_local`

Merge pull request #4681 from twesterhever/temp-suspicious-url-composite

[Enhancement] Add composite rule for suspicious URLs in suspicious messages

[Test] Break test

Merge pull request #4680 from twesterhever/temp-zpaq

[Minor] Treat *.zpaq attachments as archives and harmful

Merge pull request #4682 from twesterhever/temp-no-ua

[Minor] Add rule for messages missing both X-Mailer and User-Agent header

[Minor] Improve FREEMAIL_AFF capture rates

[Minor] Add rule for messages missing both X-Mailer and User-Agent header

[Enhancement] Add composite rule for suspicious URLs in suspicious messages

[Minor] Treat *.zpaq attachments as archives and harmful

Rationale: https://dshield.org/diary/Malware+Dropped+Through+a+ZPAQ+Archive/30366/

[Feature] Allow to set `max_users` for Redis bayes backend

Issue: #4659

[Conf] Add note

Issue: #4677

[Minor] Improve diagnostic by rising log level

Merge pull request #4675 from arkamar/algorithm

[Minor] Add missing <algorithm> include for gcc 14

[Minor] Add missing <algorithm> include for gcc 14

This commit addresses a compilation issue when using GCC 14. According
to GCC 14's porting guide [1], some C++ Standard Library headers no
longer include other headers they used to use internally. Specifically,
<algorithm> must now be explicitly included.

[1] https://gcc.gnu.org/gcc-14/porting_to.html

See-also: https://bugs.gentoo.org/916438
Signed-off-by: Petr Vaněk <arkamar@atlas.cz>

[Minor] Add selector transformer `filter_method`

Merge pull request #4674 from rspamd/log_json

[Project] Support of JSON logging

[Minor] Use floating point ts instead of microseconds

[Fix] Do not cleanup hyperscan files unless new ones are loaded

Merge pull request #4672 from fatalbanana/robot_export_vars

[Minor] Make Robot Framework loop unfunny

[Feature] Escape JSON when needed

[Minor] Fix some minor issues

[Project] Preliminary support of JSON logging

[Minor] Make Robot Framework loop unfunny

Merge pull request #4668 from moisseev/webui

[WebUI] Update map editor

[WebUI] Update map editor

CodeJar 3.7.0 -> 4.2.0

[Minor] Update version

Release 3.7.3

* [Fix] Emergency fix for the hyperscan path error

[Minor] Really fix the issue

[Fix] A workaround for brain-damaged std::filesystem behaviour

Issue: #4665

[Minor] Update version

Release 3.7.2

* [Feature] rbl: support checking returncodes by CIDR
* [Feature] rbl: support checking returncodes by regex
* [Feature] rbl: support globbed return codes
* [Fix] DMARC reporting: fix reporting for subdomains
* [Fix] Deal with fmtlib exceptions properly
* [Fix] backport fix for dlfcn.h from backward-cpp
* [Rules] Blank spam detection

Merge pull request #4657 from fatalbanana/rbl_matchers

[Feature] rbl: support use of different matchers for return codes

[Minor] Reiterate on the previous changes

 - Demote message to info level
 - Name it returncodes_matcher for better specificity

Merge pull request #4656 from twesterhever/temp-tighten-attachment-policy

Tighten rspamd's attachment policy

Merge pull request #4661 from moisseev/webui

[WebUI] Fix history table vanishing

[Feature] rbl: support globbed return codes

[Minor] Remove duplicate *.app attachment type

Reported by @fatalbanana.

[Feature] rbl: support checking returncodes by CIDR

[WebUI] Fix history table vanishing

on repeated rows per page input

[Minor] Improve diagnostics

Revert "[Minor] Increase scoring of *.exe attachments"

Reverted based on feedback by @moisseev.

This reverts commit 8171424d846a3e33b5d0f9f7f4ee09ec8d553a03.

[Feature] rbl: support checking returncodes by regex

[Minor] rbl: support use of different matchers for return codes

[Fix] Deal with fmtlib exceptions properly

[Minor] Add additional bad attachment types

- app: Executable Application, blocked in Outlook by default
- aspx: Active Server Page Extended, blocked in Outlook by default
- dll: Dynamic-link Library
- dqy: Microsoft Query File, blocking recommended in MS365
- iqy: ditto
- mht: MHTML File, often abused for phishing and exploit attempts
- mhtml: ditto
- oqy: Microsoft Query File, blocking recommended in MS365
- rqy: ditto
- slk: Microsoft Symbolic Link
- wim: Windows Imaging Format

[Minor] Increase scoring of *.exe attachments

These are already banned in most environments, including GMail and
Outlook. We may as well bump this score up to 4 eventually.

[Minor] Incorporate additional bad attachments from Microsoft

These are as follows:
- htc: HTML Component File
- pyc: Compiled Python Script
- pyo: Optimized Compiled Python Module
- pyw: Python Script To Be Executed With Suppressed Terminal Window
- pyz: Python Zip Application
- pyzw: Python Zip Application
- vhd: Virtual Hard Disk
- vhdx: Virtual Hard Disk Extended
- wsf: Windows Script File

Note that the Python file types remain unscored in archives, so
distribution of these in source tarballs and the like is not affected by
this commit.

Source: https://support.microsoft.com/en-us/office/blocked-attachments-in-outlook-434752e1-02d3-4e90-9124-8b81e49a8519?ui=en-us&rs=en-us&ad=us