Merge pull request #846 from fatalbanana/fuzzytest

[Test] Rework fuzzy tests

[Fix] Fix URL filters

[Test] Rework fuzzy tests

 - Add fuzzy & negative match tests
 - Check attachment & text samples
 - Add suites for different algorithms; keyed/unkeyed
 - Move overwrite/delete tests into general suite

Merge pull request #845 from fatalbanana/fixtests

[Test] Fix tests

[Test] Fix tests

Merge pull request #832 from fatalbanana/tldtest

[Test] Add test for TLD parts

[Fix] Fix finding tld in util.get_tld

[Feature] Improve lua URLs API

[Test] Add test for TLD parts

[Feature] Add SARBL (sarbl.org) uribl

[Fix] Fix filename maps filter

[Feature] Improve message about fuzzy rules

[Feature] Use faster hash function for fuzzy storage

[CritFix] Fix setting of fuzzy keys (completely breaks fuzzy storage)

[Fix] Fix blake2b hash of the string "rspamd"

[Feature] Allow to create hashes from string in a single step

[Feature] Pre-calculate blake2 digest for all parts

[Feature] Print radix duplicate keys as IP addresses

Merge pull request #844 from fatalbanana/teststeststests

[Test] Some minor updates for tests

[Test] Some minor updates for tests

 - Removed horrible features from test library
 - Negative cases for SpamAssassin WLBLEval
 - Restructured JSON tests

Merge pull request #843 from fatalbanana/redistest

[Test] Add tests for redis maps in multimap

[Test] Add tests for redis maps in multimap

[Fix] Fix multimap content filters

[Fix] Fix returning of REDIS_NIL

Merge pull request #840 from fatalbanana/sa_wlbl

[Test] Some tests for SpamAssassin WLBLEval

Merge pull request #839 from fatalbanana/cdbtest

[Test] Fix multimap CDB test

[Fix] Fix a stupid mistake in util.strequal_caseless

[Fix] Fix returning boolean from Lua

[Test] Some tests for SpamAssassin WLBLEval

[Minor] Fix multimap initialization

[Rework] Rework multimap filters, add redis maps

Issue: #838
Reported by: @andrejzverev

[Test] Fix multimap CDB test

[Feature] Fix order of pre and postfilters

Prefilters are executed in order inverse to their priorities, e.g.
prefilter with priority 10 will be called before prefilter witj priority
0.

Postfilters are executed in the opposite order: so postfilter with
priority 10 will be executed after postfilter with priority 0.

It is also possible to specify negative priorities for pre and post
filters to inverse this logic.

[Minor] Reduce log noise for missing dependencies

[Minor] Use more portable archivers

Merge pull request #837 from moisseev/rspamd_stats

[Feature] rspamd_stats: support log directory reading

[Feature] rspamd_stats: support log directory reading

rspamd_stats will read (and decompress) multiple log files in the specified directory.

[Minor] rspamd_stats: fix typo

Reported by: @dehnli via IRC

[Minor] rspamd_stats: place parser code in a subroutine

Merge pull request #836 from fatalbanana/rmilter

[Doc] Fix set_rmilter_reply example

[Doc] Fix set_rmilter_reply example

Merge pull request #833 from fatalbanana/coverage

[WIP] Some fixes for code coverage

Merge pull request #834 from fatalbanana/RBL

[Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf

[Fix] Do not show rmilter section as a fake metric in rspamc

[Fix] Use forced DNS request when calling for lua_http

[Feature] Simple mechanism for disabling RBLs in local.d/rbl.conf

[Test] Some fixes for code coverage

[Minor] Add alibaba domains to whitelist

[CritFix] Check hyperscan cache sanity before loading

When regexp database is changed it is possible that hyperscan cache will
contain some invalid or shifted regexps IDs. In this situation, Rspamd
could not correctly detect that such an event occurred and loaded an
incorrect database.

This commit adds strict crc checking that includes:

1. HS ids
2. HS flags
3. HS serialized blob

If this crc fails to match then Rspamd recompiles the corrupted cache
file.

Merge pull request #830 from fatalbanana/www

[WebUI] Retain history length on update (#829)

[WebUI] Retain history length on update (#829)

Merge pull request #828 from fatalbanana/proxytest

Add simple test for proxying

[Feature] Add some sanity check for very long from/to log elements

[Test] Add custom rspamd log follower for non-standard tests

[Test] Add simple test for proxying

[Test] Make `Run Rspamd` function reusable by other stuff

Merge pull request #827 from moisseev/patch-1

[Minor] Update redirectors.inc

Merge pull request #826 from fatalbanana/oneshot

[Minor] Give RAMBLER_EMAILBL & URIBL_GREY one_shot = true

Merge pull request #823 from fatalbanana/fixtests

[Test] Remove nasty artifact from `Run Rspamd` function

[Feature] Add `--search-pattern` option to rspamd_stats

[Minor] Update redirectors.inc

[Minor] Update to 1.3.3

Release 1.3.2

* [Feature] Add a special symbol for SPF DNS errors: R_SPF_DNSFAIL
* [Feature] Add correlations report in fuzzy stats
* [Feature] Add experimental CGP integration
* [Feature] Add method to get urls length in a text part
* [Feature] Add new methods to lua_html to access HTML tags
* [Feature] Allow all types of symbols to be added via __newindex method
* [Feature] Allow to create settings for authenticated users
* [Feature] Allow to get block content for HTML tags
* [Feature] Improve DNS failures when dealing with SPF
* [Feature] Properly implement R_WHITE_ON_WHITE rule
* [Feature] Remove old ugly rules
* [Feature] Rspamc can now add dkim signature in mime mode
* [Feature] Store content length for HTML tags
* [Feature] Support reacher set of HTML colors
* [Feature] Try to avoid FP for low contrast fonts detection
* [Fix] Add missing HTML colors
* [Fix] Add spaces to dkim signature to allow folding
* [Fix] Avoid returning NaN as score on scan
* [Fix] Decode entitles in href parts
* [Fix] Do not cache SPF records with DNS errors
* [Fix] Do not crash on cyclic depends
* [Fix] Do not insert HELO/HOSTNAME unknown when they are not passed
* [Fix] Do not set absent hostname to "unknown"
* [Fix] Do not stress redis with KEYS command (#791)
* [Fix] Fix DMARC_BAD_POLICY symbol
* [Fix] Fix HFILTER_URL module
* [Fix] Fix HFILTER_URL_ONELINE rule
* [Fix] Fix buffering in CGP integration
* [Fix] Fix colors propagation from parent nodes
* [Fix] Fix confusing OpenSSL API usage of i2d_RSAPublicKey
* [Fix] Fix dependencies id sanity check
* [Fix] Fix folding for semicolon separated tokens
* [Fix] Fix largest possible TLD behaviour
* [Fix] Fix last token folding
* [Fix] Fix length calculations in white on white rule
* [Fix] Fix multiple request headers structure
* [Fix] Fix multiple values headers freeing
* [Fix] Fix parsing of background color
* [Fix] Fix printing from field in log_urls
* [Fix] Fix processing of last element of DMARC policies
* [Fix] Further fixes for HTML colors
* [Fix] Further fixes for multiple values headers
* [Fix] Further fixes for white on white rule
* [Fix] Further fixes in HTML tags parsing
* [Fix] Ignore content type/subtype case
* [Fix] Increase score of R_WHITE_ON_WHITE
* [Fix] Parse CGP envelope data
* [Fix] Propagate colors in HTML
* [Fix] Restore multiple values headers in protocol
* [Fix] Restore multiple values in headers processing
* [Fix] Some more changes to tag's content length calculations
* [Fix] Some more fixes for low contrast fonts detector
* [Fix] SpamAssassin plugin: support check_freemail_header('EnvelopeFrom', [..])
* [Fix] Trigger HTML_SHORT_LINK_IMG on any external image
* [Fix] rspamd_stats: remove deprecated defined(@array)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Give RAMBLER_EMAILBL & URIBL_GREY one_shot = true

[Fix] Further fixes for white on white rule

[Fix] Fix length calculations in white on white rule

[Fix] Increase score of R_WHITE_ON_WHITE

[Fix] Some more fixes for low contrast fonts detector

[Feature] Try to avoid FP for low contrast fonts detection

[Minor] Slightly reduce R_WHITE_ON_WHITE score

[Minor] Lower negative DMARC score

[Minor] Further reduce negative weights for SPF and DKIM success

Merge pull request #819 from moisseev/patch-1

[Doc] Correct README

[Test] Remove nasty artifact from `Run Rspamd` function

[Fix] Fix dependencies id sanity check

[Doc] Correct README

[Doc] Correct capitalization (mostly) in README

[Fix] Add missing HTML colors

[Feature] Support reacher set of HTML colors

[Fix] Fix colors propagation from parent nodes

Merge pull request #816 from moisseev/patch-1

[Fix] Fix HFILTER_URL_ONELINE rule

Merge pull request #813 from moisseev/hfilter-helo

Remove symbol HFILTER_HELO_UNKNOWN from mertics.conf

[Fix] Fix HFILTER_URL_ONELINE rule

[Minor] Remove unnecessary dependency

Merge pull request #815 from fatalbanana/unknown2

[Minor] Fix multimap hostname check

[Minor] Fix multimap hostname check

Merge pull request #812 from fatalbanana/circleci

[Minor] Small improvement for coverage flags

[Feature] Properly implement R_WHITE_ON_WHITE rule

[Feature] Remove old ugly rules

[Minor] Small fixes to lua stack management

[Fix] Further fixes for HTML colors

[Minor] Forgotten to save file

[Feature] Allow to get block content for HTML tags

[Fix] Propagate colors in HTML

[Fix] Fix parsing of background color

[Fix] Trigger HTML_SHORT_LINK_IMG on any external image

Remove symbol HFILTER_HELO_UNKNOWN from mertics.conf

The symbol is not used anymore.

[Minor] Small improvement for coverage flags

Merge pull request #811 from fatalbanana/spamassassin

[Test] Add SpamAssassin metas/foreign dependencies test

[Minor] Increase HFILTER_URL scores as FP rate should be reduced now