[Feature] Read redis backend statistics configuration from global section

Issue: #766

Merge pull request #858 from fatalbanana/ipscore

[Fix] Defer insertion of results in ip_score to avoid skewing stats

Merge pull request #857 from fatalbanana/mempool

[Feature] Add mempool maps in multimap (instead of ASN/country)

[Fix] Fix reload in some plugins and workers

[Fix] Fix reloading on SIGHUP

[Feature] Add mempool maps in multimap

[Fix] Defer insertion of results in ip_score to avoid skewing stats

[Minor] Remove google.com from whitelist because of spam abuse

Merge pull request #856 from fatalbanana/asn

[Feature] Dedicated module for getting ASN information (Fixes #197)

[Feature] ASN module; support matching ASN/country in multimap

 - Also removed stuff from ip_score
 - Updated tests

[Feature] Log URLs encrypted if we have log encryption pubkey

[Feature] Implement encrypted logs

[Rework] Rework flags in rspamd logger

Merge pull request #853 from fatalbanana/cc

[Test] Use out of tree build for tests/code coverage

[Test] Use out of tree build for tests/code coverage

 - Also a loosely-related fix for test library

[Feature] Add task:get_digest method

[Fix] Fix hex printing of strings

Merge pull request #852 from fatalbanana/statconvert

[Fix] rspamadm statconvert: Oops- fix variable clobbering

[Fix] rspamadm statconvert: Oops- fix variable clobbering

Merge pull request #850 from fatalbanana/statconvert

Fixes for rspamadm statconvert (#766)

[Fix] rspamadm statconvert: force db to be a string

[Fix] Avoid setting limits when required elements are missing

[Fix] rspamadm statconvert: use db/password for learn cache

[Feature] Allow to print message digest in logs

[Feature] Store task checksum

[Feature] Allow to get digest of a mime part from lua

[Feature] Fold DKIM-Signature header

[Minor] Update to 1.3.4

Release 1.3.3

* [CritFix] Check hyperscan cache sanity before loading
* [CritFix] Fix setting of fuzzy keys (completely breaks fuzzy storage)
* [Feature] Add SARBL (sarbl.org) uribl
* [Feature] Add `--search-pattern` option to rspamd_stats
* [Feature] Add some sanity check for very long from/to log elements
* [Feature] Allow to create hashes from string in a single step
* [Feature] Fix order of pre and postfilters
* [Feature] Improve lua URLs API
* [Feature] Improve message about fuzzy rules
* [Feature] Pre-calculate blake2 digest for all parts
* [Feature] Print radix duplicate keys as IP addresses
* [Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf
* [Feature] Use faster hash function for fuzzy storage
* [Feature] rspamd_stats: support log directory reading
* [Fix] Add sanity check for url filters
* [Fix] Do not show rmilter section as a fake metric in rspamc
* [Fix] Fix URL filters
* [Fix] Fix a stupid mistake in util.strequal_caseless
* [Fix] Fix blake2b hash of the string "rspamd"
* [Fix] Fix filename maps filter
* [Fix] Fix finding tld in util.get_tld
* [Fix] Fix multimap content filters
* [Fix] Fix returning boolean from Lua
* [Fix] Fix returning of REDIS_NIL
* [Fix] Try to deal with multiple workers terminated
* [Fix] Use forced DNS request when calling for lua_http
* [Rework] Rework multimap filters, add redis maps

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #849 from fatalbanana/testfix

[Test] Additions for multimap & proxy tests

[Test] Additions for multimap & proxy tests

 - Test unfiltered URL map
 - Test SPAMC & RSPAMC protocols at proxy

[Fix] Try to deal with multiple workers terminated

Merge pull request #848 from fatalbanana/fixxx

[Test] Forgot to commit

[Fix] Add sanity check for url filters

[Test] Forgot to commit

Merge pull request #847 from fatalbanana/mmtest

[Test] Add test for multimap URL maps & filters

Merge pull request #846 from fatalbanana/fuzzytest

[Test] Rework fuzzy tests

[Test] Add test for multimap URL maps & filters

[Fix] Fix URL filters

[Test] Rework fuzzy tests

 - Add fuzzy & negative match tests
 - Check attachment & text samples
 - Add suites for different algorithms; keyed/unkeyed
 - Move overwrite/delete tests into general suite

Merge pull request #845 from fatalbanana/fixtests

[Test] Fix tests

[Test] Fix tests

Merge pull request #832 from fatalbanana/tldtest

[Test] Add test for TLD parts

[Fix] Fix finding tld in util.get_tld

[Feature] Improve lua URLs API

[Test] Add test for TLD parts

[Feature] Add SARBL (sarbl.org) uribl

[Fix] Fix filename maps filter

[Feature] Improve message about fuzzy rules

[Feature] Use faster hash function for fuzzy storage

[CritFix] Fix setting of fuzzy keys (completely breaks fuzzy storage)

[Fix] Fix blake2b hash of the string "rspamd"

[Feature] Allow to create hashes from string in a single step

[Feature] Pre-calculate blake2 digest for all parts

[Feature] Print radix duplicate keys as IP addresses

Merge pull request #844 from fatalbanana/teststeststests

[Test] Some minor updates for tests

[Test] Some minor updates for tests

 - Removed horrible features from test library
 - Negative cases for SpamAssassin WLBLEval
 - Restructured JSON tests

Merge pull request #843 from fatalbanana/redistest

[Test] Add tests for redis maps in multimap

[Test] Add tests for redis maps in multimap

[Fix] Fix multimap content filters

[Fix] Fix returning of REDIS_NIL

Merge pull request #840 from fatalbanana/sa_wlbl

[Test] Some tests for SpamAssassin WLBLEval

Merge pull request #839 from fatalbanana/cdbtest

[Test] Fix multimap CDB test

[Fix] Fix a stupid mistake in util.strequal_caseless

[Fix] Fix returning boolean from Lua

[Test] Some tests for SpamAssassin WLBLEval

[Minor] Fix multimap initialization

[Rework] Rework multimap filters, add redis maps

Issue: #838
Reported by: @andrejzverev

[Test] Fix multimap CDB test

[Feature] Fix order of pre and postfilters

Prefilters are executed in order inverse to their priorities, e.g.
prefilter with priority 10 will be called before prefilter witj priority
0.

Postfilters are executed in the opposite order: so postfilter with
priority 10 will be executed after postfilter with priority 0.

It is also possible to specify negative priorities for pre and post
filters to inverse this logic.

[Minor] Reduce log noise for missing dependencies

[Minor] Use more portable archivers

Merge pull request #837 from moisseev/rspamd_stats

[Feature] rspamd_stats: support log directory reading

[Feature] rspamd_stats: support log directory reading

rspamd_stats will read (and decompress) multiple log files in the specified directory.

[Minor] rspamd_stats: fix typo

Reported by: @dehnli via IRC

[Minor] rspamd_stats: place parser code in a subroutine

Merge pull request #836 from fatalbanana/rmilter

[Doc] Fix set_rmilter_reply example

[Doc] Fix set_rmilter_reply example

Merge pull request #833 from fatalbanana/coverage

[WIP] Some fixes for code coverage

Merge pull request #834 from fatalbanana/RBL

[Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf

[Fix] Do not show rmilter section as a fake metric in rspamc

[Fix] Use forced DNS request when calling for lua_http

[Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf

[Test] Some fixes for code coverage

[Minor] Add alibaba domains to whitelist

[CritFix] Check hyperscan cache sanity before loading

When regexp database is changed it is possible that hyperscan cache will
contain some invalid or shifted regexps IDs. In this situation, Rspamd
could not correctly detect that such an event occurred and loaded an
incorrect database.

This commit adds strict crc checking that includes:

1. HS ids
2. HS flags
3. HS serialized blob

If this crc fails to match then Rspamd recompiles the corrupted cache
file.

Merge pull request #830 from fatalbanana/www

[WebUI] Retain history length on update (#829)

[WebUI] Retain history length on update (#829)

Merge pull request #828 from fatalbanana/proxytest

Add simple test for proxying

[Feature] Add some sanity check for very long from/to log elements

[Test] Add custom rspamd log follower for non-standard tests

[Test] Add simple test for proxying

[Test] Make `Run Rspamd` function reusable by other stuff

Merge pull request #827 from moisseev/patch-1

[Minor] Update redirectors.inc

Merge pull request #826 from fatalbanana/oneshot

[Minor] Give RAMBLER_EMAILBL & URIBL_GREY one_shot = true

Merge pull request #823 from fatalbanana/fixtests

[Test] Remove nasty artifact from `Run Rspamd` function

[Feature] Add `--search-pattern` option to rspamd_stats

[Minor] Update redirectors.inc

[Minor] Update to 1.3.3

Release 1.3.2

* [Feature] Add a special symbol for SPF DNS errors: R_SPF_DNSFAIL
* [Feature] Add correlations report in fuzzy stats
* [Feature] Add experimental CGP integration
* [Feature] Add method to get urls length in a text part
* [Feature] Add new methods to lua_html to access HTML tags
* [Feature] Allow all types of symbols to be added via __newindex method
* [Feature] Allow to create settings for authenticated users
* [Feature] Allow to get block content for HTML tags
* [Feature] Improve DNS failures when dealing with SPF
* [Feature] Properly implement R_WHITE_ON_WHITE rule
* [Feature] Remove old ugly rules
* [Feature] Rspamc can now add dkim signature in mime mode
* [Feature] Store content length for HTML tags
* [Feature] Support reacher set of HTML colors
* [Feature] Try to avoid FP for low contrast fonts detection
* [Fix] Add missing HTML colors
* [Fix] Add spaces to dkim signature to allow folding
* [Fix] Avoid returning NaN as score on scan
* [Fix] Decode entitles in href parts
* [Fix] Do not cache SPF records with DNS errors
* [Fix] Do not crash on cyclic depends
* [Fix] Do not insert HELO/HOSTNAME unknown when they are not passed
* [Fix] Do not set absent hostname to "unknown"
* [Fix] Do not stress redis with KEYS command (#791)
* [Fix] Fix DMARC_BAD_POLICY symbol
* [Fix] Fix HFILTER_URL module
* [Fix] Fix HFILTER_URL_ONELINE rule
* [Fix] Fix buffering in CGP integration
* [Fix] Fix colors propagation from parent nodes
* [Fix] Fix confusing OpenSSL API usage of i2d_RSAPublicKey
* [Fix] Fix dependencies id sanity check
* [Fix] Fix folding for semicolon separated tokens
* [Fix] Fix largest possible TLD behaviour
* [Fix] Fix last token folding
* [Fix] Fix length calculations in white on white rule
* [Fix] Fix multiple request headers structure
* [Fix] Fix multiple values headers freeing
* [Fix] Fix parsing of background color
* [Fix] Fix printing from field in log_urls
* [Fix] Fix processing of last element of DMARC policies
* [Fix] Further fixes for HTML colors
* [Fix] Further fixes for multiple values headers
* [Fix] Further fixes for white on white rule
* [Fix] Further fixes in HTML tags parsing
* [Fix] Ignore content type/subtype case
* [Fix] Increase score of R_WHITE_ON_WHITE
* [Fix] Parse CGP envelope data
* [Fix] Propagate colors in HTML
* [Fix] Restore multiple values headers in protocol
* [Fix] Restore multiple values in headers processing
* [Fix] Some more changes to tag's content length calculations
* [Fix] Some more fixes for low contrast fonts detector
* [Fix] SpamAssassin plugin: support check_freemail_header('EnvelopeFrom', [..])
* [Fix] Trigger HTML_SHORT_LINK_IMG on any external image
* [Fix] rspamd_stats: remove deprecated defined(@array)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>