[Minor] Fix data flow

[Minor] Fix test stage

[Minor] Mx check: Add wait_for_greeting option

Issue: #3966

[Minor] Mx check: Emit quit command

Issue: #3966

[Minor] Remove unused option

[Minor] Remove obsolete WITH_HIREDIS define

[Fix] Rbl: Fix inversed logic of the url_full_hostname

[Minor] Treat empty `from` protocol header as canonical `<>`

Issue: #3983

[Minor] Add safe-guard for the root tag

[Fix] Fix logic in HTML processing FSM

[Minor] Fix triggering of the suspicious url rule on percent encoding

[Fix] Do not double call error handler on ssl errors in the timeout path

[Minor] Fix for old compilers

[Minor] Per luacheck when I'm here

[Fix] Improve duplicate settings error reporting

Issue: #3957

[Fix] Fix parsing of the compound mailto urls

[Fix] Find suspicious url encodings that could break url extraction

Merge pull request #3982 from fatalbanana/query_maps_json

[Feature] JSON endpoint for querying maps

Merge pull request #3981 from moisseev/ip-width

[Minor] Set IP column min-width relative to font-size

[Feature] JSON endpoint for querying maps

[Minor] Set IP column min-width relative to font-size

[Minor] Rbl: Add url_full_hostname option

[Minor] Change error to the notice

With this change, Rspamd will no longer emit error codes on learn condition skipping.

Issue: #3956

Merge pull request #3980 from cpragadeesh/roc_implementation

[Feature] Add ROC based threshold estimation for neural network plugin

[Minor] Update bundled fmt to 8.0.1

[Feature] Add ROC feature to neural network plugin

Revert "[Minor] Disable eslint in CI"

This reverts commit d970e1e7b4271dc6c852ea65a4aabd214ef9ea63.

Merge pull request #3979 from moisseev/stylelint

[Test] Fix Stylelint

[Test] Pet Stylelint

[Test] Add PostCSS syntaxes for embedded styles

(required since Stylelint 14.0.0)

Merge pull request #3978 from yasuhirokimura/enable_pcre2_by_default

Enable PCRE2 by default.

Enable PCRE2 by default.

There are 2 major versions of the PCRE library, PCRE and PCRE2. Rspamd
supports both and current default is the former. But according to the
web page of PCRE library it has reached its end of life. So change the
default to the latter.

Merge pull request #3977 from moisseev/surbl

[Conf] Set one_shot for URIBL rules by default

[Minor] Allow headers addition if configured

[Minor] Add analysis logging

[Minor] Allow to get the maximum message size

[Minor] Allow to register preloads for external services

[Conf] Set one_shot for URIBL rules by default

[Minor] Add default score for cloudmark

Merge pull request #3976 from moisseev/cloudmark

[Feature] Add support of Cloudmark

[Feature] Add support of Cloudmark

in the external services plugin

Merge pull request #3974 from HeinleinSupport/fix/ratelimit

[Fix] ratelimit - symbol per bucket

[Fix] Read file maps if they were not pre-read during preload

[Minor] Fix signing with `skip_process` flag

[Fix] ratelimit - symbol per bucket

[Minor] Bimi: Add version to the path

[Test] Fix automatic training tests

Merge pull request #3969 from HeinleinSupport/fix/lua_cfg_transform

[Fix] lua_cfg_transform - silly break breaks actions

Merge pull request #3968 from cpragadeesh/avoid_duplicate_neural_rows

[Minor] Prevent duplicate rows from being inserted into neural traini…

Merge pull request #3967 from a16bitsysop/386

[Fix] Further fix for i386 compilation

[Minor] Rework fuzzy blocking logic

[Minor] Add potential workaround for the race condition

[Minor] Add IP information

[Fix] lua_cfg_transform - silly break break actions

[Fix] Further fix for i386 compilation

[Minor] Fix flag name

[Minor] Limit x86_64 assembly to x86_64

Issue: #3967

[Minor] Prevent duplicate rows from being inserted into neural training set

[Project] BIMI: Fix helper integration issues

[Minor] Allow to get a port for a specific upstream

Merge pull request #3965 from moisseev/wrap

[WebUI] Wrap long IPv6 addresses

[Feature] BIMI: Add preliminary version of the BIMI plugin

Issue: #3935

[WebUI] Wrap long IPv6 addresses

[Fix] Restrict x86_64 assembly to x86_64

Issue: #3934

[Minor] Avoid null dereference on error path

[Minor] Store newlines type

Merge pull request #3964 from bradleydoherty59/configurable-s3-uri

[Config] Allow configurable s3 urls

[Config] Allow configurable s3 urls

[Minor] Aws: Use enclosing boundary

[Minor] Lua_mimepart: Add `get_enclosing_boundary` method

[Minor] Add boundary to the structured representation of the parts

[Minor] Pet luacheck

Merge pull request #3960 from HeinleinSupport/lua_scanners/icap

lua_scanners/icap

Merge pull request #3959 from HeinleinSupport/fix/lua_cfg_transform

[Fix] lua_cfg_transform - actions without score (discard)

Merge pull request #3958 from HeinleinSupport/lua_scanners/spamassassin

[Minor] external_services - spamassassin - fix result matching

[Test] Add tests for DKIM key record parsing

Issue: #3955

[Fix] lua_cfg_transform - actions without score (discard)

[Minor] lua_scanners - icap - restart from scratch on requery / stop early on failed header

[Minor] lua_scanners - icap - follow Connection header directive

- Kaspersky Scan Engine 2.0 (ICAP) support

[Minor] Skip modifying headers for skipped tasks

[Fix] Allow spaces in DKIM key records

Issue: #3955

[Minor] lua_scanners - icap - lua linting

[Minor] lua_scanners - icap - fix result caching

[Minor] lua_scanners - icap - use Allow 204 again

[Minor] lua_scanners - icap - update comments

[Minor] lua_scanners - icap - analyse HTTP return headers

[Minor] Rbl: Minor performance improvement when checking URL flags

Suggested by: @citrin

[Minor] lua_scanners - icap - add SSL support

[Minor] lua_scanners - icap - add request / http header support (McAfee Web Gateway support)

[Minor] Update version to 3.2

Release 3.1

* [Feature] Add junk_threshold for autolearn
* [Feature] Add neural test command
* [Feature] Antivirus: Allow to set fake eicar patterns for testing AV engines
* [Feature] Lua_cdb: Add cdb building interface
* [Feature] Ratelimit: Add per bucket configurations
* [Feature] S3: Allow to store structured data in messagepack
* [Fix] Add concept of uncancellable events to prevent use-after-free
* [Fix] Add temporary guard to prevent linked list exploitation
* [Fix] Another rework of the ucl hashing
* [Fix] Another try to fix references safety
* [Fix] Another try to fix rspamd_text passing in the selectors
* [Fix] Avoid copy for received structure as it has raw C pointers
* [Fix] Avoid dangling reference
* [Fix] Correctly check numeric URLs in URL DNS lists
* [Fix] Delete the correct pointer type
* [Fix] Dmarc: Always lowercase domain
* [Fix] Fix compilation of the hyperscan databases with errors
* [Fix] Fix hash table lookup
* [Fix] Fix http message flag shift
* [Fix] Fix parsing of the from_hostname when it is an IP address
* [Fix] Fix parsing of the unquoted attributes in HTML
* [Fix] Fix passing of rspamd_text in selectors pipelines
* [Fix] Fix rubbish QP sequences decoding
* [Fix] Fix some complicated case with the closing tags parsing
* [Fix] Fix the case when l tag is too small
* [Fix] Html: Fix the case where only bgcolor is explicitly set
* [Fix] Libucl: Fix deletion from ucl objects
* [Fix] Namespace and add metadata for OpenMetrics, fix interleaving
* [Fix] Plug memory leak in http settings reload
* [Fix] Preserve SPF top record in the mempool variable
* [Fix] Remove aarch64 GC64 workaround
* [Fix] Remove bogus G_LIKELY
* [Fix] Spf: Do not parse non TXT DNS replies as TXT replies
* [Fix] Try to use on_connect/on_disconnect callbacks to handle internal Redis failures
* [Fix] buffer overflow in rspamc counters
* [Fix] fix static building
* [Fix] lua_scanners - message_min_words logic
* [Fix] src/lua/lua_mimepart.c: fix null dereference
* [Project] Add constant iterators
* [Project] Add helper library to handle mime strings in a more safe matter
* [Project] Add preliminary support of CDB bayes dump
* [Project] Add trim operations
* [Project] Allow mempool allocated mime strings
* [Project] Cdb: Finish backend implementation
* [Project] Cdb: Fix configuration load
* [Project] Cdb: Use shared data between cdb statfiles
* [Project] Cdb: continue statistics backend implementation
* [Project] Finish received headers rework part
* [Project] Move C++ specific declarations to C++ header
* [Project] Rework received headers parsing to C++
* [Project] Start using of the new received structure
* [Project] Start work on cdb backend
* [Rework] Further rework of the redis pool
* [Rework] Redis_pool: fix issues found
* [Rework] Rework learn and add classify condition
* [Rework] Save invisible content to a separate buffer
* [Rework] Start rewriting of the redis pool logic
* [Rules] Improve zero font rule

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Use explicit return type

Issue: #3893

[Minor] Fix FP with JFIF files

Issue: #3947

[Minor] Clickhouse: Try to deal with clock skew in retention logic

[Minor] Unify set_pre_result invocations

[Minor] Another try...

[Minor] Disable eslint in CI

It is broken and I don't know how to fix it.

[Minor] Try to fix bloody eslint

[Fix] Correctly check numeric URLs in URL DNS lists

Issue: #3948

Merge pull request #3943 from cpragadeesh/neuraltest

[Feature] Add neural test command