Merge pull request #948 from fatalbanana/rlimit3

[Minor] Some small changes to ratelimit

[Feature] Normalize all ANN inputs

[Minor] Some small changes to ratelimit

 - Don't bother calling init() on builtin keywords
 - Adjust adaptive ratelimits to better deal with new model
 - Populate user_data from custom keyword file
 - Restore & extend user-specific ratelimit behaviour

[Minor] Do not use shortcut ANNs

[Minor] Fix fann inputs count check

[Minor] Remove debug message

Merge pull request #946 from fatalbanana/rlimit3

[Minor] Fix ratelimit rework: don't recycle stale value

[Minor] Fix ratelimit rework: don't recycle stale value

Merge pull request #945 from fatalbanana/rlimit3

[Feature] User-defined ratelimits

[Feature] Fann scores now uses metadata from a message

By introducing of extra data, it is now possible to train ANN with
metadata of messages improving quality of filtering.

[Feature] Allow to pass extra data from plugins to log helper

[Feature] Return symbol scores when getting resulting symbols

[Feature] User-defined ratelimits

[Minor] Set symmetric activation functions for ANN

[Fix] Do not classify when a message has not enough tokens

Issue: #556
MFH: true

[Minor] Explicitly reinit libevent PRNG on fork

Merge pull request #942 from fatalbanana/rlimit

Ratelimit: handle nil values & fix nonconformant key

[Fix] Properly handle nil values in ratelimit plugin

 - Also fix nonconformant ratelimit key

Merge pull request #941 from fatalbanana/xunit

[Minor] Generate XUnit output from tests

Merge pull request #940 from fatalbanana/rlimit

[Fix] Fix setting ratelimit key for 'ip' bucket

Merge pull request #939 from fatalbanana/hfilter

[Minor] Mostly disable Hfilter for local networks as well

Merge pull request #938 from fatalbanana/rbl

[Feature] Descriptive options for RBL symbols

[CritFix] Fix hyperscan compilation on regexp change

Rspamd could use an incorrect hyperscan database in the case when a
single regexp has been changed. In this case, Rspamd did not recalculate
the cached files causing shifting of regexp IDs. Subsequently, that
caused random regexp to match whilst completely different patterns were
expected.

With this change, Rspamd also takes care about the order of regexps
(by including it in the crypto hash). This change eliminates the issue
and Rspamd can deal with regexps changes correctly.

MFH: true

[Minor] Generate XUnit output from tests

[Fix] Fix setting ratelimit key for 'ip' bucket

[Fix] Fix processing of redirect in SPF includes

MFH: true

[Fix] Fix processing of fuzzy learns from Lua

[Feature] Add decompression support in rspamd client

[Feature] Add replies compression

[Feature] Preserve decompression context between tasks

[Feature] Add support for dictionary in client compression

[Feature] Allow to use dictionaries for compression

[Minor] Mostly disable Hfilter for local networks as well

[Feature] Descriptive options for RBL symbols

Merge pull request #937 from fatalbanana/replies

Don't force action in replies module for authed users/local networks

[Feature] Add compression support to rspamd client

[Minor] Small fixes to compressed requests

[Feature] Add support for input encryption

[Fix] Don't force action in replies module for authenticated users/local networks

[Feature] Add zstd compression library

[Minor] Improve shared memory fd check

Merge pull request #935 from fatalbanana/composites

[Minor] Fine-tune composites

Merge pull request #934 from fatalbanana/dmarc

[Feature] Descriptive options for DMARC failure symbols

[Minor] Fine-tune composites

[Feature] Descriptive options for DMARC failure symbols

[Fix] Handle failures for inactive pooled connections

[Fix] Fix hiredis stupidity

[Fix] Treat all errors in redis_pool as fatal errors for a connection

[Fix] Use real size instead of displayed for core limits

[Minor] Fix order check for post-filters

[Feature] Implement real priorities for pre and post filters

Now pre and post filters with higher priorities have guarantee to be
finished before (or after in case of postfilters) filters with lower priorities.
Previously, there was a guarantee for start time which was not enough
for many use cases.

[Minor] Improve logging for ratelimit

[Minor] Remove redundant config line

[Minor] Improve log message

[Fix] Another fix for rdns_make_request_full invocation

[Fix] Fix DNS request in monitored

[Minor] Try to hunt issue with redis pool failures

Merge pull request #930 from fatalbanana/ratelimit

Ratelimit: remove duplicated division on ham scores; fix registration

[Feature] Add support for fuzzy learn and unlearn from lua

[Feature] Allow plugins to publish their lua API via rspamd_plugins

[Minor] Ratelimit: remove duplicated division on ham scores; fix registration

[Fix] Fix variable in ann module

[Minor] Fix use-after-free

[Minor] Create updates queue befroe periodic updates

[Minor] Fix symbols registration in fann

[Minor] Add logging to the redis backend for fuzzy

Merge pull request #928 from fatalbanana/derp

Revert useless commits

Merge pull request #929 from fatalbanana/forged

[Feature] Relax FORGED_RECIPIENTS: allow senders to BCC themselves

[Feature] Insert two symbols: FANN_HAM and FANN_SPAM instead of one

[Minor] Fix multiple issues in redis fuzzy backend

[Fix] Adopt fuzzy storage for flexible backends

[Minor] Print worker index when starting it

[Minor] Implement the rest functions for redis fuzzy backend

[Minor] Implement checks in redis fuzzy backend

[Fix] Correctly propagate redis timeouts to Lua

[Feature] Relax FORGED_RECIPIENTS: allow senders to BCC themselves

Revert "[WebUI] Fix saving actions from web interface (#769)"

This reverts commit 692a0de56d09031d96864fc71bdefb361be41a33.

Revert "[Feature] Add common way to disable Lua modules"

This reverts commit f552edd887794a5086dcf93d36f8f82d83553196.

Conflicts:
src/plugins/lua/antivirus.lua
src/plugins/lua/asn.lua
src/plugins/lua/dcc.lua
src/plugins/lua/dmarc.lua
src/plugins/lua/emails.lua
src/plugins/lua/forged_recipients.lua
src/plugins/lua/greylist.lua
src/plugins/lua/hfilter.lua
src/plugins/lua/ip_score.lua
src/plugins/lua/maillist.lua
src/plugins/lua/mime_types.lua
src/plugins/lua/multimap.lua
src/plugins/lua/once_received.lua
src/plugins/lua/ratelimit.lua
src/plugins/lua/rbl.lua
src/plugins/lua/replies.lua
src/plugins/lua/rspamd_update.lua
src/plugins/lua/trie.lua
src/plugins/lua/whitelist.lua

[Minor] Forgot to save in the previous commit

[Minor] Use infox instead of info in logging

[Minor] Fix macro usage

[Feature] Add more meta-tokens to bayes

Merge pull request #927 from fatalbanana/fixtest

[Test] Fix setting DBDIR

Merge pull request #926 from fatalbanana/minor

[Minor] Fix log message; don't use legacy API

[Test] Fix stats_path

[Minor] Implement some features of redis backend

[Minor] Skeleton for redis fuzzy backend

[Minor] `type` -> `backend` for fuzzy backend type

[Minor] Fix periodic updates

Merge branch 'fuzzy-backend-rework'

[Rework] Adopt fuzzy storage for abstract backend

[Minor] Fix log message; don't use legacy API

[Minor] Add more routines to fuzzy backend subrs

Merge pull request #924 from fatalbanana/enabled

[Feature] Add common way to disable Lua modules

[Minor] Add sqlite helpers to the abstract API

[Feature] Add common way to disable Lua modules

[Minor] Add skeleton for backend abstract functions

[Rework] Reorganize the internal backend structure

[Rework] Reorganize fuzzy backend structure

Merge pull request #922 from fatalbanana/dkim

[Minor] Don't yield R_DKIM_NA for local/authenticated/whitelisted senders