[Rework] Convert multipattern to use hyperscan tools

[Project] Start C API implementation

[Minor] Fix corner cases

[CritFix] Restore compatibility with the integrations and headers alterations

[Minor] Do not sort part urls, it was added by a mistake

Discussed with: @citrin

[Fix] Lua_tcp: Sigh, another try to fix `close` invocation

[Minor] Fix url_cmp operation

[Minor] Remove vectorized hyperscan mode: it has been always broken

Merge pull request #4308 from frederikbosch/patch-1

[Rules] Penalize bounce spam

[Fix] Mx_check: Cache the fact of a missing MX record

[Rules] Reduce score of HTTP_TO_HTTPS - subject to remove completely

[Minor] Use __func__ in c++ mode as defined by standard

[Minor] Fix error copying/move behaviour

[Minor] Use a separate error class instead of std::string

[Minor] Rename file to a more appropriate name

Update composites.conf

[Rework] Store the current worker, so other libraries could use this information

[Minor] Move hyperscan tools to the libserver domain

[Project] (Re)implement hyperscan caching

[Minor] More tests and fixes to raii file

[Minor] Add some more utilities

[Minor] Commit leftovers

[Rework] Split locked and unlocked files, as mmap does not need flock normally

[Fix] Another try to fix close method in lua_tcp

[Minor] Add some debug logs for mx_check

Merge pull request #4304 from twesterhever/temp-comosites-freemail-aff

[Enhancement] Add composite rule against AFF involving freemailers

Composites should not be recursive

Protect against bounce spam

[Test] Add more tests for the passwords checking logic

[Fix] Another fix for the enable password

[Fix] Try to fix the case where password == enable_password

Issue: #4306

Merge pull request #4300 from yo000/master

Add basic auth to metadata_exporter http pusher

[Minor] Add method to extract shared memory from RAII ownership

Merge pull request #4305 from moisseev/favicon

[Minor] Fix copy-paste error

[Minor] Fix copy-paste error

PR: #4302

Merge pull request #4302 from moisseev/favicon

[Fix] Fix favicon.ico Content-Type header

[Enhancement] Add composite rule against AFF involving freemailers

[Fix] Fix favicon.ico Content-Type header

Issue: #4301

[Rework] Start movement of the hyperscan related routines into a single unit

[Minor] Add some more methods and tests to the file raii abstraction

Add basic auth to metadata_exporter http pusher

[Feature] Share hyperscan database among processes

[Minor] Include config.h to the build target

[Minor] Remove redundant check

[Minor] Detect ffsll presence in a target system

[Fix] Fix hang when close is used

Merge pull request #4294 from yo000/master

[Fix] metadata_exporter: fix the case with many recipients

[Minor] Do not use names starting from `_` as they might be reserved

Issue: #4293

Fix metadata_exporter with many recipients

[Test] Fix failing test

[Fix] Fix emoji joiner FP

Issue: #4290

[Minor] Update version to 3.4

Release 3.3

* [Conf] Add missing groups for whitelist module symbols
* [CritFix] Neural: Fix keys regression after #3968
* [Feature] Accept upstream in lua_tcp
* [Feature] Add ability to statically maintain disabled/enabled patterns
* [Feature] Add function to store upstreams for HTTP urls
* [Feature] Allow augmentations set in Lua API
* [Feature] Allow lua_http module to accept upstreams
* [Feature] Allow to limit write access to fuzzy storage by key
* [Feature] Allow to sort symbols output
* [Feature] Check content for binary stuff before dumping it to Lua
* [Feature] Implement symbols augmentations
* [Fix] Add missing flags
* [Fix] Add more sanity checks for rua in dmarc_report
* [Fix] Adjust length of the fuzzy checks for short text parts
* [Fix] Another try to fix add headers compatibility logic
* [Fix] Another try to fix race condition in the runtime destruction
* [Fix] Avoid cyclic references in symcache and fix memory leaks
* [Fix] Avoid overriding IP with Sender IP
* [Fix] BAD_REP_POLICIES did not trigger when message was classified as spam by Bayes
* [Fix] Bind AF_UNIX DGRAM client connection to annonymous address
* [Fix] Disable IPv6 lookups for Blocklist.de RBL
* [Fix] Distinguish dynamic and static items
* [Fix] Dkim: Ignore unknown DKIM kv pairs as stated in RFC
* [Fix] Dmarc report: Use local timezone instead of GMT
* [Fix] Do not exclude authenticated users from URIBL lookups
* [Fix] Empty envelopes should not be emitted as arrays (json+messagepack) when populated envelopes are objects. This greatly complicates decoding in strictly typed languages.
* [Fix] External_relay: Restore the originating hostname check
* [Fix] Fix DKIM keys with spaces still allowing errors on invalid base64
* [Fix] Fix copying of sockaddr_un addresses
* [Fix] Fix crash with cname replies
* [Fix] Fix dependencies propagation
* [Fix] Fix iteration over milter headers
* [Fix] Fix ordering when sorting symcache
* [Fix] Fix reading of the cached maps
* [Fix] Fix several issues with the HTTP keepalive parsing
* [Fix] Fix stack smashing
* [Fix] Fix synchronous auth/select in lua_redis
* [Fix] Fix various symcache issues
* [Fix] Ignore all (I hope) unknown DKIM signature KV pairs
* [Fix] Ignore directories in RarV5 archives
* [Fix] Libucl: avoid memory leak on objects merging
* [Fix] Lua_tcp: Another try to fix closing logic
* [Fix] Mempool: Fix alloc_array function to actually multiply nmembers by size
* [Fix] Only check allowed fuzzy worker update ips for non-unix sockets
* [Fix] Plug memory leak in regexp destruction with pcre2
* [Fix] Properly check the original email flag
* [Fix] Properly deal with `get_symbol/get_metric_symbol` ambiguity
* [Fix] Properly parse expressions atoms
* [Fix] Properly set `Host` in rspamd_proxy
* [Fix] Rbl: Fix received positioned checks
* [Fix] Remove check for a score with no symbol being registered
* [Fix] Same fix for lua_tcp
* [Fix] Skip cname records when processing SPF records
* [Fix] Skip sending dmarc reports in no-opt mode fixes https://github.com/rspamd/rspamd/issues/4241
* [Fix] Stop slow timer on task destruction
* [Fix] Symcache: Do not use C style comparators in C++ sorts
* [Fix] Try to avoid a corner case for `@` pattern
* [Fix] Try to fix dkim reputation adjustements
* [Fix] Try to fix passthrough results processing logic
* [Fix] Try to fix the mess with read only flag
* [Fix] Upstreams: Don't ignore revive_time config option
* [Fix] Use proper format string, sigh...
* [Fix] Use space category in ragel automata to resolve space characters
* [Fix] Zstd: Fix compression with the new Zstd API
* [Fix] milter_headers: Header fields may be inserted at wrong position.
* [Project] Add experimental HTTP statistics backend
* [Project] Add more methods for symbols addition
* [Project] Add raii_sink file helper
* [Project] Add some more methods
* [Project] Add symbols processing methods
* [Project] Allow `=` separated augmentations to be treated as kv pairs
* [Project] Allow to extract augmentation values
* [Project] Few more methods
* [Project] Fix on conditions
* [Project] Further efforts to make a more consistent architecture
* [Project] Further rework
* [Project] Further rework tracking
* [Project] Further split of the code
* [Project] Get rid of C style ctors/dtors
* [Project] Http_stat: Notice statfiles when creating runtime
* [Project] Implement dynamic items lookup and processing
* [Project] Implement item finalization
* [Project] Implement more methods
* [Project] Implement runtime creation
* [Project] Implement settings processing + some neats
* [Project] Implement some conditions checks
* [Project] Implement validation logic
* [Project] More methods
* [Project] Move runtime cache part to a separate unit
* [Project] Move some more methods
* [Project] Re-implement counters method
* [Project] Reimplement dependencies processing
* [Project] Remove obsoleted methods
* [Project] Remove old code (finally)
* [Project] Rework symbols execution
* [Project] Some more adjustments in symbols registration
* [Project] Start rewrite symcache in c++
* [Project] Support augmentations with values
* [Project] Symcache: Use ordered filters to avoid extra lookups
* [Rework] Another movement
* [Rework] Augmentations can now imply flags
* [Rework] Further steps
* [Rework] Further work on deps processing
* [Rework] Implement cache resorting
* [Rework] Isolate disable/enable logic for the configuration ucl objects
* [Rework] Move item implementation to a separate header
* [Rework] Multimap: Avoid prefilters usage where augmentations can be used
* [Rework] Pass upstream when sending TCP requests
* [Rework] Re-implement cache sorting
* [Rework] Reimplement saving/loading the cache items
* [Rework] Reiterate on priorities
* [Rework] Rework files structure
* [Rework] Rewrite rspamc in C++
* [Rework] Simplify scores check and extend it to pre/post filters
* [Rework] Switch minimum C++ standard version to C++20
* [Rework] Try to fix the mess with types & flags
* [Rework] Use another version of hash table from the same author
* [Rework] Use dynamic items for calling callbacks
* [Rework] Use dynamic items in the callbacks
* [Rework] Use hash map for id->symbol mappings
* [Rework] Use khash instead of uthash in rdns compression logic

[Fix] Fix DNS reply handling for HTTP maps

[Minor] Add some standard types for .p7s extension

Merge pull request #4283 from BtbN/fix_unix_fuzzy

[Fix] Allow fuzzy worker to listen on AF_UNIX sockets successfully

[Fix] Fix copying of sockaddr_un addresses

They can be very tiny (hence the adjustment of the size assert)
and the path can contain intermittent null bytes, so the only choice
is to trust the input slen and copy the whole struct.

An autobound unix socket uses an abstract address, which starts with a
null byte, hence this change is neccesary for such an address getting
copied properly.

[Fix] Bind AF_UNIX DGRAM client connection to annonymous address

Fixes #4278

[Fix] Only check allowed fuzzy worker update ips for non-unix sockets

The source will always be localhost, it makes no sense to check for
allowed IPs.

[Fix] Same fix for lua_tcp

[Fix] Fix crash with cname replies

[Minor] Oops, remove experiment

[Minor] Some neats when working with Unix sockets

[Minor] Plug memory leak on cdb backend closing

[Minor] Add some error reporting

[Fix] Libucl: avoid memory leak on objects merging

[Minor] Partially restore reverted patch

Revert "[Minor] Try to fix refcounts related crash"

This reverts commit 5bae837e5fb282e055a9d80d9d6aaf7eaed9a2d5.

[Fix] Lua_tcp: Another try to fix closing logic

[Minor] Fix empty strings import

Issue: #4281

[Fix] External_relay: Restore the originating hostname check

Issue: #4272

[Minor] Slightly improve readability

[Minor] Try to fix refcounts related crash

[Minor] Make panic more informant

[Minor] Respect full debug request in sanitizers config

[Fix] Plug memory leak in regexp destruction with pcre2

[Fix] Avoid cyclic references in symcache and fix memory leaks

[Minor] Fix warning

[Minor] Allow to specify multiple sanitize targets and slightly rework

[Minor] Dmarc: Move `no_reporting_domains` to `reporting.exclude_domains`

This is done for consistency with provision of the backward compatibility

[Minor] Restore `task:has_urls(true)` behaviour

Issue: #4124

[Minor] Try to deal with some deprecations

Merge pull request #4268 from dragoangel/patch-1

[Fix] Avoid overriding IP with Sender IP

Update rspamd_template.json

Update elastic.lua

[Fix] Avoid overriding IP with Sender IP

[Test] Another try to fix env variable

[Test] Avoid clashing with the main DBDIR

Submitted by: @fatalbanana

[Minor] Add augmentation for aws_s3 plugin

[Test] Fix broken test

[Minor] Minor debugging improvements

[Rework] Reiterate on priorities

[Minor] Remove priorities from idempotent filters

[Minor] Properly print top symbols by timeout

[Minor] FIx arc timeout

[Minor] Register more timeouts

[Minor] Register some more timeouts

[Minor] Slightly improve log message

[Minor] Add timeout augmentation for external services/av plugins

[Minor] Mime_types: Add application/tlsrpt+gzip as known type

Issue: #4243