Merge pull request #860 from fatalbanana/ipscore2

[Feature] Allow for more fine-grained scoring for ip_score

[Feature] Allow for more fine-grained scoring for ip_score

 - Also simplify some funny math

[Feature] Add SPF method in spf return result

Issue: #831
Reported by: @moisseev

[Fix] Make dnssec configurable option disabled by default for now

[Feature] Pass authenticated bit to lua

[Minor] Make function to punycode DNS values publicly available

[Feature] Add support of stub DNSSEC resolver to rdns

[Feature] Read redis backend statistics configuration from global section

Issue: #766

Merge pull request #858 from fatalbanana/ipscore

[Fix] Defer insertion of results in ip_score to avoid skewing stats

Merge pull request #857 from fatalbanana/mempool

[Feature] Add mempool maps in multimap (instead of ASN/country)

[Fix] Fix reload in some plugins and workers

[Fix] Fix reloading on SIGHUP

[Feature] Add mempool maps in multimap

[Fix] Defer insertion of results in ip_score to avoid skewing stats

[Minor] Remove google.com from whitelist because of spam abuse

Merge pull request #856 from fatalbanana/asn

[Feature] Dedicated module for getting ASN information (Fixes #197)

[Feature] ASN module; support matching ASN/country in multimap

 - Also removed stuff from ip_score
 - Updated tests

[Feature] Log URLs encrypted if we have log encryption pubkey

[Feature] Implement encrypted logs

[Rework] Rework flags in rspamd logger

Merge pull request #853 from fatalbanana/cc

[Test] Use out of tree build for tests/code coverage

[Test] Use out of tree build for tests/code coverage

 - Also a loosely-related fix for test library

[Feature] Add task:get_digest method

[Fix] Fix hex printing of strings

Merge pull request #852 from fatalbanana/statconvert

[Fix] rspamadm statconvert: Oops- fix variable clobbering

[Fix] rspamadm statconvert: Oops- fix variable clobbering

Merge pull request #850 from fatalbanana/statconvert

Fixes for rspamadm statconvert (#766)

[Fix] rspamadm statconvert: force db to be a string

[Fix] Avoid setting limits when required elements are missing

[Fix] rspamadm statconvert: use db/password for learn cache

[Feature] Allow to print message digest in logs

[Feature] Store task checksum

[Feature] Allow to get digest of a mime part from lua

[Feature] Fold DKIM-Signature header

[Minor] Update to 1.3.4

Release 1.3.3

* [CritFix] Check hyperscan cache sanity before loading
* [CritFix] Fix setting of fuzzy keys (completely breaks fuzzy storage)
* [Feature] Add SARBL (sarbl.org) uribl
* [Feature] Add `--search-pattern` option to rspamd_stats
* [Feature] Add some sanity check for very long from/to log elements
* [Feature] Allow to create hashes from string in a single step
* [Feature] Fix order of pre and postfilters
* [Feature] Improve lua URLs API
* [Feature] Improve message about fuzzy rules
* [Feature] Pre-calculate blake2 digest for all parts
* [Feature] Print radix duplicate keys as IP addresses
* [Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf
* [Feature] Use faster hash function for fuzzy storage
* [Feature] rspamd_stats: support log directory reading
* [Fix] Add sanity check for url filters
* [Fix] Do not show rmilter section as a fake metric in rspamc
* [Fix] Fix URL filters
* [Fix] Fix a stupid mistake in util.strequal_caseless
* [Fix] Fix blake2b hash of the string "rspamd"
* [Fix] Fix filename maps filter
* [Fix] Fix finding tld in util.get_tld
* [Fix] Fix multimap content filters
* [Fix] Fix returning boolean from Lua
* [Fix] Fix returning of REDIS_NIL
* [Fix] Try to deal with multiple workers terminated
* [Fix] Use forced DNS request when calling for lua_http
* [Rework] Rework multimap filters, add redis maps

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #849 from fatalbanana/testfix

[Test] Additions for multimap & proxy tests

[Test] Additions for multimap & proxy tests

 - Test unfiltered URL map
 - Test SPAMC & RSPAMC protocols at proxy

[Fix] Try to deal with multiple workers terminated

Merge pull request #848 from fatalbanana/fixxx

[Test] Forgot to commit

[Fix] Add sanity check for url filters

[Test] Forgot to commit

Merge pull request #847 from fatalbanana/mmtest

[Test] Add test for multimap URL maps & filters

Merge pull request #846 from fatalbanana/fuzzytest

[Test] Rework fuzzy tests

[Test] Add test for multimap URL maps & filters

[Fix] Fix URL filters

[Test] Rework fuzzy tests

 - Add fuzzy & negative match tests
 - Check attachment & text samples
 - Add suites for different algorithms; keyed/unkeyed
 - Move overwrite/delete tests into general suite

Merge pull request #845 from fatalbanana/fixtests

[Test] Fix tests

[Test] Fix tests

Merge pull request #832 from fatalbanana/tldtest

[Test] Add test for TLD parts

[Fix] Fix finding tld in util.get_tld

[Feature] Improve lua URLs API

[Test] Add test for TLD parts

[Feature] Add SARBL (sarbl.org) uribl

[Fix] Fix filename maps filter

[Feature] Improve message about fuzzy rules

[Feature] Use faster hash function for fuzzy storage

[CritFix] Fix setting of fuzzy keys (completely breaks fuzzy storage)

[Fix] Fix blake2b hash of the string "rspamd"

[Feature] Allow to create hashes from string in a single step

[Feature] Pre-calculate blake2 digest for all parts

[Feature] Print radix duplicate keys as IP addresses

Merge pull request #844 from fatalbanana/teststeststests

[Test] Some minor updates for tests

[Test] Some minor updates for tests

 - Removed horrible features from test library
 - Negative cases for SpamAssassin WLBLEval
 - Restructured JSON tests

Merge pull request #843 from fatalbanana/redistest

[Test] Add tests for redis maps in multimap

[Test] Add tests for redis maps in multimap

[Fix] Fix multimap content filters

[Fix] Fix returning of REDIS_NIL

Merge pull request #840 from fatalbanana/sa_wlbl

[Test] Some tests for SpamAssassin WLBLEval

Merge pull request #839 from fatalbanana/cdbtest

[Test] Fix multimap CDB test

[Fix] Fix a stupid mistake in util.strequal_caseless

[Fix] Fix returning boolean from Lua

[Test] Some tests for SpamAssassin WLBLEval

[Minor] Fix multimap initialization

[Rework] Rework multimap filters, add redis maps

Issue: #838
Reported by: @andrejzverev

[Test] Fix multimap CDB test

[Feature] Fix order of pre and postfilters

Prefilters are executed in order inverse to their priorities, e.g.
prefilter with priority 10 will be called before prefilter witj priority
0.

Postfilters are executed in the opposite order: so postfilter with
priority 10 will be executed after postfilter with priority 0.

It is also possible to specify negative priorities for pre and post
filters to inverse this logic.

[Minor] Reduce log noise for missing dependencies

[Minor] Use more portable archivers

Merge pull request #837 from moisseev/rspamd_stats

[Feature] rspamd_stats: support log directory reading

[Feature] rspamd_stats: support log directory reading

rspamd_stats will read (and decompress) multiple log files in the specified directory.

[Minor] rspamd_stats: fix typo

Reported by: @dehnli via IRC

[Minor] rspamd_stats: place parser code in a subroutine

Merge pull request #836 from fatalbanana/rmilter

[Doc] Fix set_rmilter_reply example

[Doc] Fix set_rmilter_reply example

Merge pull request #833 from fatalbanana/coverage

[WIP] Some fixes for code coverage

Merge pull request #834 from fatalbanana/RBL

[Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf

[Fix] Do not show rmilter section as a fake metric in rspamc

[Fix] Use forced DNS request when calling for lua_http

[Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf

[Test] Some fixes for code coverage

[Minor] Add alibaba domains to whitelist

[CritFix] Check hyperscan cache sanity before loading

When regexp database is changed it is possible that hyperscan cache will
contain some invalid or shifted regexps IDs. In this situation, Rspamd
could not correctly detect that such an event occurred and loaded an
incorrect database.

This commit adds strict crc checking that includes:

1. HS ids
2. HS flags
3. HS serialized blob

If this crc fails to match then Rspamd recompiles the corrupted cache
file.

Merge pull request #830 from fatalbanana/www

[WebUI] Retain history length on update (#829)

[WebUI] Retain history length on update (#829)

Merge pull request #828 from fatalbanana/proxytest

Add simple test for proxying

[Feature] Add some sanity check for very long from/to log elements

[Test] Add custom rspamd log follower for non-standard tests

[Test] Add simple test for proxying

[Test] Make `Run Rspamd` function reusable by other stuff