[Fix] Fix DNS write errors processing

Issue: #971
MFH: true

[Minor] MX checks should be one_shot

[Fix] Use memmove for overlapping regions

Issue: #961
MFH: true

[Minor] Allow port-less connections for lua_tcp

Merge pull request #936 from fatalbanana/dkim

[Feature] Add R_DKIM_PERMFAIL symbol

Merge pull request #951 from moisseev/mid

[Feature] Add `mid` Lua module

[Feature] Add R_DKIM_PERMFAIL symbol

[Fix] mid: handle incorrect rgexps in the map

[Minor] Fix ASN caching

Merge pull request #960 from fatalbanana/minor

[Minor] Clarify display message

[Feature] Add redis cache to asn module

[Fix] mid: fix map initialization

[Test] Test DKIM permfail

Merge pull request #958 from moisseev/once_received

[Minor] Disable ONCE_RECEIVED for local networks

[Minor] Clarify display message

[Minor] Disable ONCE_RECEIVED for local networks

Merge pull request #956 from moisseev/patch-1

[Fix] Skip MX check for authenticated users and local networks

[Feature] Add `mid` Lua module

[Fix] Skip MX check for authenticated users and local networks

[Minor] Resolve A record if all MXes are absent

[Minor] Use HELO when SMTP from is empty

[Feature] Add plugin to check MX'es for the sender's domain

[Minor] Some fixes to lua_tcp module

[Minor] Allow to set timeout for a connection

[Minor] Use byte array not gstring for input buffer

[Feature] Rework lua tcp module

[Fix] Fix parsing of lua comments with empty lines

[Minor] Improve logging for fann train

[Minor] Reduce log noise

[Minor] Fix compilation

[Minor] Use attachments filenames as bayes tokens

[Minor] Improve constant memcmp function

Merge pull request #952 from fatalbanana/rlimit4

Ratelimit fixes

[Minor] Use mime recipients count as a metatoken

[Minor] Fix whitelisted_user map initialisation

[Minor] Ratelimit: don't copy data

[Fix] Allow plain IP addresses in Rspamd maps

MFH: true

Merge pull request #950 from fatalbanana/rlimit3

More ratelimit cleanup

[Minor] Remove more useless code from ratelimit

Merge pull request #949 from fatalbanana/rbl

[Minor] RBL: Display matched IP instead of thing being matched against

Merge pull request #948 from fatalbanana/rlimit3

[Minor] Some small changes to ratelimit

[Feature] Normalize all ANN inputs

[Minor] Some small changes to ratelimit

 - Don't bother calling init() on builtin keywords
 - Adjust adaptive ratelimits to better deal with new model
 - Populate user_data from custom keyword file
 - Restore & extend user-specific ratelimit behaviour

[Minor] RBL: Display matched IP instead of thing being matched against

[Minor] Do not use shortcut ANNs

[Minor] Fix fann inputs count check

[Minor] Remove debug message

Merge pull request #946 from fatalbanana/rlimit3

[Minor] Fix ratelimit rework: don't recycle stale value

[Minor] Fix ratelimit rework: don't recycle stale value

Merge pull request #945 from fatalbanana/rlimit3

[Feature] User-defined ratelimits

[Feature] Fann scores now uses metadata from a message

By introducing of extra data, it is now possible to train ANN with
metadata of messages improving quality of filtering.

[Feature] Allow to pass extra data from plugins to log helper

[Feature] Return symbol scores when getting resulting symbols

[Feature] User-defined ratelimits

[Minor] Set symmetric activation functions for ANN

[Fix] Do not classify when a message has not enough tokens

Issue: #556
MFH: true

[Minor] Explicitly reinit libevent PRNG on fork

Merge pull request #942 from fatalbanana/rlimit

Ratelimit: handle nil values & fix nonconformant key

[Fix] Properly handle nil values in ratelimit plugin

 - Also fix nonconformant ratelimit key

Merge pull request #941 from fatalbanana/xunit

[Minor] Generate XUnit output from tests

Merge pull request #940 from fatalbanana/rlimit

[Fix] Fix setting ratelimit key for 'ip' bucket

Merge pull request #939 from fatalbanana/hfilter

[Minor] Mostly disable Hfilter for local networks as well

Merge pull request #938 from fatalbanana/rbl

[Feature] Descriptive options for RBL symbols

[CritFix] Fix hyperscan compilation on regexp change

Rspamd could use an incorrect hyperscan database in the case when a
single regexp has been changed. In this case, Rspamd did not recalculate
the cached files causing shifting of regexp IDs. Subsequently, that
caused random regexp to match whilst completely different patterns were
expected.

With this change, Rspamd also takes care about the order of regexps
(by including it in the crypto hash). This change eliminates the issue
and Rspamd can deal with regexps changes correctly.

MFH: true

[Minor] Generate XUnit output from tests

[Fix] Fix setting ratelimit key for 'ip' bucket

[Fix] Fix processing of redirect in SPF includes

MFH: true

[Fix] Fix processing of fuzzy learns from Lua

[Feature] Add decompression support in rspamd client

[Feature] Add replies compression

[Feature] Preserve decompression context between tasks

[Feature] Add support for dictionary in client compression

[Feature] Allow to use dictionaries for compression

[Minor] Mostly disable Hfilter for local networks as well

[Feature] Descriptive options for RBL symbols

Merge pull request #937 from fatalbanana/replies

Don't force action in replies module for authed users/local networks

[Feature] Add compression support to rspamd client

[Minor] Small fixes to compressed requests

[Feature] Add support for input encryption

[Fix] Don't force action in replies module for authenticated users/local networks

[Feature] Add zstd compression library

[Minor] Improve shared memory fd check

Merge pull request #935 from fatalbanana/composites

[Minor] Fine-tune composites

Merge pull request #934 from fatalbanana/dmarc

[Feature] Descriptive options for DMARC failure symbols

[Minor] Fine-tune composites

[Feature] Descriptive options for DMARC failure symbols

[Fix] Handle failures for inactive pooled connections

[Fix] Fix hiredis stupidity

[Fix] Treat all errors in redis_pool as fatal errors for a connection

[Fix] Use real size instead of displayed for core limits

[Minor] Fix order check for post-filters

[Feature] Implement real priorities for pre and post filters

Now pre and post filters with higher priorities have guarantee to be
finished before (or after in case of postfilters) filters with lower priorities.
Previously, there was a guarantee for start time which was not enough
for many use cases.

[Minor] Improve logging for ratelimit

[Minor] Remove redundant config line

[Minor] Improve log message

[Fix] Another fix for rdns_make_request_full invocation

[Fix] Fix DNS request in monitored

[Minor] Try to hunt issue with redis pool failures

Merge pull request #930 from fatalbanana/ratelimit

Ratelimit: remove duplicated division on ham scores; fix registration

[Feature] Add support for fuzzy learn and unlearn from lua