[Feature] Add support of Cloudmark

in the external services plugin

Merge pull request #3974 from HeinleinSupport/fix/ratelimit

[Fix] ratelimit - symbol per bucket

[Fix] Read file maps if they were not pre-read during preload

[Minor] Fix signing with `skip_process` flag

[Fix] ratelimit - symbol per bucket

[Minor] Bimi: Add version to the path

[Test] Fix automatic training tests

Merge pull request #3969 from HeinleinSupport/fix/lua_cfg_transform

[Fix] lua_cfg_transform - silly break breaks actions

Merge pull request #3968 from cpragadeesh/avoid_duplicate_neural_rows

[Minor] Prevent duplicate rows from being inserted into neural traini…

Merge pull request #3967 from a16bitsysop/386

[Fix] Further fix for i386 compilation

[Minor] Rework fuzzy blocking logic

[Minor] Add potential workaround for the race condition

[Minor] Add IP information

[Fix] lua_cfg_transform - silly break break actions

[Fix] Further fix for i386 compilation

[Minor] Fix flag name

[Minor] Limit x86_64 assembly to x86_64

Issue: #3967

[Minor] Prevent duplicate rows from being inserted into neural training set

[Project] BIMI: Fix helper integration issues

[Minor] Allow to get a port for a specific upstream

Merge pull request #3965 from moisseev/wrap

[WebUI] Wrap long IPv6 addresses

[Feature] BIMI: Add preliminary version of the BIMI plugin

Issue: #3935

[WebUI] Wrap long IPv6 addresses

[Fix] Restrict x86_64 assembly to x86_64

Issue: #3934

[Minor] Avoid null dereference on error path

[Minor] Store newlines type

Merge pull request #3964 from bradleydoherty59/configurable-s3-uri

[Config] Allow configurable s3 urls

[Config] Allow configurable s3 urls

[Minor] Aws: Use enclosing boundary

[Minor] Lua_mimepart: Add `get_enclosing_boundary` method

[Minor] Add boundary to the structured representation of the parts

[Minor] Pet luacheck

Merge pull request #3960 from HeinleinSupport/lua_scanners/icap

lua_scanners/icap

Merge pull request #3959 from HeinleinSupport/fix/lua_cfg_transform

[Fix] lua_cfg_transform - actions without score (discard)

Merge pull request #3958 from HeinleinSupport/lua_scanners/spamassassin

[Minor] external_services - spamassassin - fix result matching

[Test] Add tests for DKIM key record parsing

Issue: #3955

[Fix] lua_cfg_transform - actions without score (discard)

[Minor] lua_scanners - icap - restart from scratch on requery / stop early on failed header

[Minor] lua_scanners - icap - follow Connection header directive

- Kaspersky Scan Engine 2.0 (ICAP) support

[Minor] Skip modifying headers for skipped tasks

[Fix] Allow spaces in DKIM key records

Issue: #3955

[Minor] lua_scanners - icap - lua linting

[Minor] lua_scanners - icap - fix result caching

[Minor] lua_scanners - icap - use Allow 204 again

[Minor] lua_scanners - icap - update comments

[Minor] lua_scanners - icap - analyse HTTP return headers

[Minor] Rbl: Minor performance improvement when checking URL flags

Suggested by: @citrin

[Minor] lua_scanners - icap - add SSL support

[Minor] lua_scanners - icap - add request / http header support (McAfee Web Gateway support)

[Minor] Update version to 3.2

Release 3.1

* [Feature] Add junk_threshold for autolearn
* [Feature] Add neural test command
* [Feature] Antivirus: Allow to set fake eicar patterns for testing AV engines
* [Feature] Lua_cdb: Add cdb building interface
* [Feature] Ratelimit: Add per bucket configurations
* [Feature] S3: Allow to store structured data in messagepack
* [Fix] Add concept of uncancellable events to prevent use-after-free
* [Fix] Add temporary guard to prevent linked list exploitation
* [Fix] Another rework of the ucl hashing
* [Fix] Another try to fix references safety
* [Fix] Another try to fix rspamd_text passing in the selectors
* [Fix] Avoid copy for received structure as it has raw C pointers
* [Fix] Avoid dangling reference
* [Fix] Correctly check numeric URLs in URL DNS lists
* [Fix] Delete the correct pointer type
* [Fix] Dmarc: Always lowercase domain
* [Fix] Fix compilation of the hyperscan databases with errors
* [Fix] Fix hash table lookup
* [Fix] Fix http message flag shift
* [Fix] Fix parsing of the from_hostname when it is an IP address
* [Fix] Fix parsing of the unquoted attributes in HTML
* [Fix] Fix passing of rspamd_text in selectors pipelines
* [Fix] Fix rubbish QP sequences decoding
* [Fix] Fix some complicated case with the closing tags parsing
* [Fix] Fix the case when l tag is too small
* [Fix] Html: Fix the case where only bgcolor is explicitly set
* [Fix] Libucl: Fix deletion from ucl objects
* [Fix] Namespace and add metadata for OpenMetrics, fix interleaving
* [Fix] Plug memory leak in http settings reload
* [Fix] Preserve SPF top record in the mempool variable
* [Fix] Remove aarch64 GC64 workaround
* [Fix] Remove bogus G_LIKELY
* [Fix] Spf: Do not parse non TXT DNS replies as TXT replies
* [Fix] Try to use on_connect/on_disconnect callbacks to handle internal Redis failures
* [Fix] buffer overflow in rspamc counters
* [Fix] fix static building
* [Fix] lua_scanners - message_min_words logic
* [Fix] src/lua/lua_mimepart.c: fix null dereference
* [Project] Add constant iterators
* [Project] Add helper library to handle mime strings in a more safe matter
* [Project] Add preliminary support of CDB bayes dump
* [Project] Add trim operations
* [Project] Allow mempool allocated mime strings
* [Project] Cdb: Finish backend implementation
* [Project] Cdb: Fix configuration load
* [Project] Cdb: Use shared data between cdb statfiles
* [Project] Cdb: continue statistics backend implementation
* [Project] Finish received headers rework part
* [Project] Move C++ specific declarations to C++ header
* [Project] Rework received headers parsing to C++
* [Project] Start using of the new received structure
* [Project] Start work on cdb backend
* [Rework] Further rework of the redis pool
* [Rework] Redis_pool: fix issues found
* [Rework] Rework learn and add classify condition
* [Rework] Save invisible content to a separate buffer
* [Rework] Start rewriting of the redis pool logic
* [Rules] Improve zero font rule

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Use explicit return type

Issue: #3893

[Minor] Fix FP with JFIF files

Issue: #3947

[Minor] Clickhouse: Try to deal with clock skew in retention logic

[Minor] Unify set_pre_result invocations

[Minor] Another try...

[Minor] Disable eslint in CI

It is broken and I don't know how to fix it.

[Minor] Try to fix bloody eslint

[Fix] Correctly check numeric URLs in URL DNS lists

Issue: #3948

Merge pull request #3943 from cpragadeesh/neuraltest

[Feature] Add neural test command

Merge pull request #3936 from dminuoso/add-junk-threshold

[Feature] Add junk_threshold for autolearn

Merge pull request #3934 from xtkoba/ArchDep-i386

Support i386 with optimizations

[Minor] Agree on types between dump and backend

[Minor] Fix several issues found

[Minor] Fix log objects for C++

[Minor] Support read only backends for stats

[Minor] Add explicit cast

[Minor] Add a hack to fix termination race condition

[Project] Add preliminary support of CDB bayes dump

[Minor] Lua_cdb: Allow to use more data types as cdb keys/values

[Minor] Save int64 as lua_Integer not lua_Number

[Minor] Add helpers to work with boxed int64 numbers

[Minor] Add helper to convert a string to a uint64 number

[Minor] Release redis pool after Lua state has been destroyed

[Minor] Add documentation for lua cdb module

[Minor] Lua_cdb: Avoid extra copy on lookup

[Feature] Lua_cdb: Add cdb building interface

[Minor] Close fd

[Project] Cdb: Finish backend implementation

[Project] Cdb: Fix configuration load

[Project] Cdb: Use shared data between cdb statfiles

[Project] Cdb: continue statistics backend implementation

[Project] Start work on cdb backend

[Fix] Dmarc: Always lowercase domain

Issue: #3940

[Feature] Add neural test command

[Minor] Fix some issues in the contrib libraries

Found by: coverity scan

[Minor] Further polishing

Merge pull request #3941 from tomop-tg/openssl3

fix compatibility with OpenSSL 3.0.0

[Minor] Fix some issues

Found by: coverity scan

[Minor] Check return value

[Minor] Check returned value

[Minor] Try to fix cleanup code

fix compatibility with OpenSSL 3.0.0

[Feature] S3: Allow to store structured data in messagepack

[Minor] Implement task to object conversion method

[Minor] Set table index

[Minor] Allow ucl emitters to output rspamd_text

[Minor] Rspamadm: Add `mime dump` command

[Minor] Add method to get headers from mime parts

[Feature] Add junk_threshold for autolearn