[Rework] Move item implementation to a separate header

[Rework] Implement cache resorting

[Project] Re-implement counters method

[Project] Implement validation logic

Merge branch 'master' into rework-symcache

[Fix] Fix DKIM keys with spaces still allowing errors on invalid base64

Issue: #4149

[Minor] Fix bogus comment

[Test] Properly set test cases

[Test] Do not cause sigsegv on failed test

[Test] Add a test with DKIM key with spaces in base64

Issue: #4149

Merge branch 'master' into rework-symcache

[Minor] Fix more lua issues

[Minor] Fix issues found by the new luacheck version

[Fix] Add more sanity checks for rua in dmarc_report

Issue: #4148

[Minor] Add some more helpers

[Minor] Add delayed condition method

[Fix] Ignore directories in RarV5 archives

Issue: #4134

[Minor] Add some more debug to mime_types

[Minor] Try to fix issue with incorrect indexing in url_reputation

Issue: #4139

[Project] Some more adjustments in symbols registration

[Project] Add more methods for symbols addition

Merge pull request #4141 from twesterhever/temp-uribl-surbl-queries

[Feature] Query HELOs, PTRs, and Reply-To's against SURBL and URIBL as well

Merge pull request #4142 from twesterhever/temp-adjust-sbl-scores

[Enhancement] Adjust scores of Spamhaus SBL hits

[Rework] Try to fix the mess with types & flags

[Rework] Re-implement cache sorting

[Minor] Add noexcept qualifier

[Minor] Forgot to add a file

[Project] Reimplement dependencies processing

[Rework] Further work on deps processing

Merge pull request #4144 from twesterhever/temp-enable-uribl-lookups-local-users

[Fix] Do not exclude authenticated users from URIBL lookups

Merge pull request #4143 from twesterhever/temp-rbl-blocklist-de-disable-ipv6

[Fix] Disable IPv6 lookups for Blocklist.de RBL

[Fix] Do not exclude authenticated users from URIBL lookups

[Fix] Disable IPv6 lookups for Blocklist.de RBL

[Enhancement] Adjust scores of Spamhaus SBL hits

[Enhancement] Query HELOs, PTRs, and Reply-To's against SURBL and URIBL as well

Merge pull request #4140 from arkamar/zstd-new-api

Migrate ZSTD_reset{C,D}Stream to a new API

Migrate ZSTD_reset{C,D}Stream to a new API

ZSTD_reset{C,D}Stream functions are deprecated since 1.4.0 version. This
change migrates them to a new equivalents as described in documentation.

Merge pull request #4138 from arkamar/system-xxhash

New SYSTEM_XXHASH option and zstd MODULES  fix

Merge pull request #4137 from kamilsztuke/fix-typo-in-config-documentation

[Minor] Fix typo in config documentation in statistic.conf

Search for libzstd module

Default pkg-config name of zstd is libzstd.pc. Let's add it to the
MODULES list.

Add SYSTEM_XXHASH cmake option

It is now possible to use system xxhash since commits 23889da9ae11
("[Minor] Update bundled xxhash") and 7ad02fc1f7e7 ("[Rework] Use xxh3
as a default hash and fix memory/alignment issues"). Let's give
packagers this possibility with a new SYSTEM_XXHASH option.

Merge pull request #4135 from arkamar/dangling-comment

[Minor] Remove dangling comment

Merge branch 'rspamd:master' into fix-typo-in-config-documentation

[Fix] Try to fix dkim reputation adjustements

Reported and discussed with @moisseev

[Minor] Fix typo in config documentation in statistic.conf

Remove dangling comment

The dangling comment is result of commit bfe48b659baf ("[Fix] Fix
logging for rspamadm"), where the same comment was removed from rspamadm
but this one stayed. It should be removed as well.

[Project] Fix on conditions

[Project] Further rework tracking

[Rework] Reimplement saving/loading the cache items

[Minor] Add some tests

[Project] Add raii_sink file helper

[Minor] Add missing include

Issue: #4131

[Rework] Rework files structure

[Minor] Also allow mmaps to be RAII protected

[Minor] Add a simple utility to deal with locked files

[Project] Get rid of C style ctors/dtors

[Project] Further rework

[Minor] Add array allocation methods to handle integer overflow

[Project] Start rewrite symcache in c++

[Minor] Oops, fix null check logic

[Minor] Also allow to set objects to null for disabling

[Minor] Well, I've said `mirrors`!

[Minor] Check enabled/disabled logic for the proxy upstreams/mirrors

[Rework] Isolate disable/enable logic for the configuration ucl objects

[Minor] Sort error ips by number of errors

[Minor] Remove useless checks

[Minor] Use a more neat approach

[Minor] Update more copyright years/email

[Minor] Update readme

[Fix] Rbl: Fix received positioned checks

[Minor] Update version to 3.3

Release 3.2

* [Conf] Score MIME_OBFUSCATED_ARCHIVE to 8 points
* [Conf] Set one_shot for URIBL rules by default
* [CritFix] Fix upstreams name resolution when there is also a port
* [Feature] Add ROC feature to neural network plugin
* [Feature] Add public suffic compilation utility
* [Feature] Add support of Cloudmark
* [Feature] Allow hyperscan for ppc64, as vectorscan now suports it.
* [Feature] Allow to skip DNS resolution for keep-alive connections
* [Feature] Aws_s3: Allow to store large parts separately
* [Feature] BIMI: Add preliminary version of the BIMI plugin
* [Feature] JSON endpoint for querying maps
* [Feature] Lua_magic: Add a sane CSV heuristic
* [Feature] Lua_mime: Add schema for message transfer
* [Feature] Output average scan time in /stat endpoint
* [Feature] Show average scan time in `rspamc stat` output
* [Fix] Add guards to avoid race condition on TCP connection
* [Fix] Allow spaces in DKIM key records
* [Fix] Apply the similar fix to the url_reputation
* [Fix] Avoid overwriting whitelisted_signers_map
* [Fix] Backport PR from libucl
* [Fix] Clear SSL errors
* [Fix] ClickHouse cleanup of old partitions
* [Fix] Do not double call error handler on ssl errors in the timeout path
* [Fix] Do not forget to clear pointers on IOC reset
* [Fix] External_relay: Remove useless check of the map value
* [Fix] Find suspicious url encodings that could break url extraction
* [Fix] Fix HTTP(s) client timeout
* [Fix] Fix exclude flags setting
* [Fix] Fix expanding of the variables
* [Fix] Fix host header usage in lua_http
* [Fix] Fix http maps shared memory cache cleanup
* [Fix] Fix logic in HTML processing FSM
* [Fix] Fix parsing of the compound mailto urls
* [Fix] Fix processing captures from pcre2
* [Fix] Fix removing from khash
* [Fix] Fix stuctured headers pushing
* [Fix] Further fix for i386 compilation
* [Fix] Improve duplicate settings error reporting
* [Fix] Lua: task:remove_result didn't work in some cases
* [Fix] Output service parts as well
* [Fix] Phishing: Deal with phishing + redirected URL
* [Fix] Phishing: Fix finding domains in the phishing map
* [Fix] Plug memory leak by using mempool for a copied address
* [Fix] Properly find the request and the number of requested entries
* [Fix] Rbl: Fix inversed logic of the url_full_hostname
* [Fix] Read file maps if they were not pre-read during preload
* [Fix] Restrict x86_64 assembly to x86_64
* [Fix] Return a real number of recipients when dealing with aliases
* [Fix] Rework unshedule DNS request function
* [Fix] Support definition of ungrouped symbol in conf file, use group info from lua or other conf file
* [Fix] Unschedule DNS request when clearing IO channel
* [Fix] When checking for phishing, we need to convert punicode -> UTF8, not vice versa
* [Fix] lua_cfg_transform - actions without score (discard)
* [Fix] lua_cfg_transform - silly break break actions
* [Fix] ratelimit - symbol per bucket
* [Project] BIMI: Fix helper integration issues
* [Project] Further DNS over TCP architecturing
* [Project] Rdns: Add more functions for TCP based requests
* [Project] Rdns: Add preliminary reading logic for TCP channels
* [Project] Rdns: Add reaper for inactive TCP connections
* [Project] Rdns: Add timeout logic for TCP requests
* [Project] Rdns: Do not treat TCP channels failure as fatal
* [Project] Rdns: Fix TCP connection mess
* [Project] Rdns: Fix TCP stuff cleanup
* [Project] Rdns: Fix various ownership issues
* [Project] Rdns: Implement TCP writing logic
* [Project] Rdns: Initial support of TCP IO channels
* [Project] Rdns: More fixes in TCP handling
* [Project] Rdns: Restore the previous EDNS0 size
* [Project] Rdns: Send truncated replies via TCP
* [Project] Rdns: Unregister TCP requests
* [Rework] Allow to restore SSL handlers after keepalive pooling
* [Rework] Allow to set a different behaviour for actions from settings
* [Rework] Include SSL flag into keepalive hash
* [Rework] Make `rspamadm dmarc_report` default behaviour more sane
* [Rework] Mempool: Use explicit alignment
* [Rework] Rdns: Use faster and more compact hash table for DNS requests
* [Rework] Rework SSL flag operations
* [Rework] Take disabled flag into account
* [Rework] Timeouts are now global per event and not reseted by IO activity
* [Rework] Use xxh3 as a default hash and fix memory/alignment issues
* [Rules] Fix old rules to stop global functions usage
* [Rules] Fix symbol for DKIM temporary failure
* [Rules] Remove ancient and inefficient rules
* [Rules] Slightly reduce MULTIPLE_FROM score

[Minor] Update my email and the copyright year

[Test] Split test

[Rules] Slightly reduce MULTIPLE_FROM score

[Minor] Micro-optimisation

Suggested by: @citrin

[Minor] Add max scores for some groups

[Minor] Free structure on exit

[Minor] Multimap: Fix default score

Issue: #4117

[Minor] Allow to disable composites without config breaking

Issue: #4078

[Minor] Cleanup memory on the error path

[Minor] Optimise boundaries processing by avoiding small strings allocation

[Fix] Plug memory leak by using mempool for a copied address

[Minor] Allow to specify mempool when copying an IP address structure

[Minor] Plug memory leak when rescheduling requests over TCP

[Minor] Rbl: Do not check empty user/domain in rbl

[Minor] Adopt lua_url stuff for the new PRG

[Minor] Use wyrand for fast random as we already use mumhash for fast hashing

Merge pull request #4112 from msuslu/master

make gcc 8.5 happy

Merge pull request #4113 from PHPGangsta/patch-2

Small fix in a comment

Merge pull request #4114 from HeinleinSupport/lua_scanners/spamassassin

[Minor] lua_scanner - spamassassin - another try to match all spamd r…

[Minor] lua_scanner - spamassassin - another try to match all spamd returns

fix #4088

Small fix in a comment

make gcc 8.5 happy

gcc 8.5 doesn't compile this file without template parameters for ptr_and_refcnt constructor.

[Fix] Return a real number of recipients when dealing with aliases

Issue: #4104

[Minor] Fix find to search for plain substrings only

[Test] Add test for csv detection

[Minor] Fix detection for some csv cases

[Minor] Another fix for `task:get_symbol`

[Minor] Fix use of task:get_symbol