[CritFix] Check hyperscan cache sanity before loading

When regexp database is changed it is possible that hyperscan cache will
contain some invalid or shifted regexps IDs. In this situation, Rspamd
could not correctly detect that such an event occurred and loaded an
incorrect database.

This commit adds strict crc checking that includes:

1. HS ids
2. HS flags
3. HS serialized blob

If this crc fails to match then Rspamd recompiles the corrupted cache
file.

Merge pull request #830 from fatalbanana/www

[WebUI] Retain history length on update (#829)

[WebUI] Retain history length on update (#829)

Merge pull request #828 from fatalbanana/proxytest

Add simple test for proxying

[Feature] Add some sanity check for very long from/to log elements

[Test] Add custom rspamd log follower for non-standard tests

[Test] Add simple test for proxying

[Test] Make `Run Rspamd` function reusable by other stuff

Merge pull request #827 from moisseev/patch-1

[Minor] Update redirectors.inc

Merge pull request #826 from fatalbanana/oneshot

[Minor] Give RAMBLER_EMAILBL & URIBL_GREY one_shot = true

Merge pull request #823 from fatalbanana/fixtests

[Test] Remove nasty artifact from `Run Rspamd` function

[Feature] Add `--search-pattern` option to rspamd_stats

[Minor] Update redirectors.inc

[Minor] Update to 1.3.3

Release 1.3.2

* [Feature] Add a special symbol for SPF DNS errors: R_SPF_DNSFAIL
* [Feature] Add correlations report in fuzzy stats
* [Feature] Add experimental CGP integration
* [Feature] Add method to get urls length in a text part
* [Feature] Add new methods to lua_html to access HTML tags
* [Feature] Allow all types of symbols to be added via __newindex method
* [Feature] Allow to create settings for authenticated users
* [Feature] Allow to get block content for HTML tags
* [Feature] Improve DNS failures when dealing with SPF
* [Feature] Properly implement R_WHITE_ON_WHITE rule
* [Feature] Remove old ugly rules
* [Feature] Rspamc can now add dkim signature in mime mode
* [Feature] Store content length for HTML tags
* [Feature] Support reacher set of HTML colors
* [Feature] Try to avoid FP for low contrast fonts detection
* [Fix] Add missing HTML colors
* [Fix] Add spaces to dkim signature to allow folding
* [Fix] Avoid returning NaN as score on scan
* [Fix] Decode entitles in href parts
* [Fix] Do not cache SPF records with DNS errors
* [Fix] Do not crash on cyclic depends
* [Fix] Do not insert HELO/HOSTNAME unknown when they are not passed
* [Fix] Do not set absent hostname to "unknown"
* [Fix] Do not stress redis with KEYS command (#791)
* [Fix] Fix DMARC_BAD_POLICY symbol
* [Fix] Fix HFILTER_URL module
* [Fix] Fix HFILTER_URL_ONELINE rule
* [Fix] Fix buffering in CGP integration
* [Fix] Fix colors propagation from parent nodes
* [Fix] Fix confusing OpenSSL API usage of i2d_RSAPublicKey
* [Fix] Fix dependencies id sanity check
* [Fix] Fix folding for semicolon separated tokens
* [Fix] Fix largest possible TLD behaviour
* [Fix] Fix last token folding
* [Fix] Fix length calculations in white on white rule
* [Fix] Fix multiple request headers structure
* [Fix] Fix multiple values headers freeing
* [Fix] Fix parsing of background color
* [Fix] Fix printing from field in log_urls
* [Fix] Fix processing of last element of DMARC policies
* [Fix] Further fixes for HTML colors
* [Fix] Further fixes for multiple values headers
* [Fix] Further fixes for white on white rule
* [Fix] Further fixes in HTML tags parsing
* [Fix] Ignore content type/subtype case
* [Fix] Increase score of R_WHITE_ON_WHITE
* [Fix] Parse CGP envelope data
* [Fix] Propagate colors in HTML
* [Fix] Restore multiple values headers in protocol
* [Fix] Restore multiple values in headers processing
* [Fix] Some more changes to tag's content length calculations
* [Fix] Some more fixes for low contrast fonts detector
* [Fix] SpamAssassin plugin: support check_freemail_header('EnvelopeFrom', [..])
* [Fix] Trigger HTML_SHORT_LINK_IMG on any external image
* [Fix] rspamd_stats: remove deprecated defined(@array)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Give RAMBLER_EMAILBL & URIBL_GREY one_shot = true

[Fix] Further fixes for white on white rule

[Fix] Fix length calculations in white on white rule

[Fix] Increase score of R_WHITE_ON_WHITE

[Fix] Some more fixes for low contrast fonts detector

[Feature] Try to avoid FP for low contrast fonts detection

[Minor] Slightly reduce R_WHITE_ON_WHITE score

[Minor] Lower negative DMARC score

[Minor] Further reduce negative weights for SPF and DKIM success

Merge pull request #819 from moisseev/patch-1

[Doc] Correct README

[Test] Remove nasty artifact from `Run Rspamd` function

[Fix] Fix dependencies id sanity check

[Doc] Correct README

[Doc] Correct capitalization (mostly) in README

[Fix] Add missing HTML colors

[Feature] Support reacher set of HTML colors

[Fix] Fix colors propagation from parent nodes

Merge pull request #816 from moisseev/patch-1

[Fix] Fix HFILTER_URL_ONELINE rule

Merge pull request #813 from moisseev/hfilter-helo

Remove symbol HFILTER_HELO_UNKNOWN from mertics.conf

[Fix] Fix HFILTER_URL_ONELINE rule

[Minor] Remove unnecessary dependency

Merge pull request #815 from fatalbanana/unknown2

[Minor] Fix multimap hostname check

[Minor] Fix multimap hostname check

Merge pull request #812 from fatalbanana/circleci

[Minor] Small improvement for coverage flags

[Feature] Properly implement R_WHITE_ON_WHITE rule

[Feature] Remove old ugly rules

[Minor] Small fixes to lua stack management

[Fix] Further fixes for HTML colors

[Minor] Forgotten to save file

[Feature] Allow to get block content for HTML tags

[Fix] Propagate colors in HTML

[Fix] Fix parsing of background color

[Fix] Trigger HTML_SHORT_LINK_IMG on any external image

Remove symbol HFILTER_HELO_UNKNOWN from mertics.conf

The symbol is not used anymore.

[Minor] Small improvement for coverage flags

Merge pull request #811 from fatalbanana/spamassassin

[Test] Add SpamAssassin metas/foreign dependencies test

[Minor] Increase HFILTER_URL scores as FP rate should be reduced now

[Fix] Do not set absent hostname to "unknown"

[Fix] Fix HFILTER_URL module

[Fix] Do not insert HELO/HOSTNAME unknown when they are not passed

[Feature] Add method to get urls length in a text part

[Fix] Fix printing from field in log_urls

[Fix] Some more changes to tag's content length calculations

[Test] Add SpamAssassin metas/foreign dependencies test

Merge pull request #810 from fatalbanana/dmarc

[Fix] Fix processing of last element of DMARC policies

[Feature] Add new methods to lua_html to access HTML tags

[Fix] Further fixes in HTML tags parsing

[Fix] Fix processing of last element of DMARC policies

[Feature] Store content length for HTML tags

[Test] Fix recipients test

[Fix] Fix multiple request headers structure

Merge pull request #809 from fatalbanana/rcpt

[Test] Add test for recipient parsing sanity

Merge pull request #808 from fatalbanana/spamassassin

Spamassassin plugin stuffs

[Fix] Further fixes for multiple values headers

[Test] Add test for recipient parsing sanity

[Fix] Restore multiple values headers in protocol

[Fix] Fix multiple values headers freeing

[Fix] Restore multiple values in headers processing

[Feature] Add correlations report in fuzzy stats

[Fix] SpamAssassin plugin: support check_freemail_header('EnvelopeFrom', [..])

[Test] Beginnings of tests for SpamAssassin plugin

[Minor] Reformat test data

[Fix] Do not crash on cyclic depends

[Minor] Add some debug for multimap depends

[Test] Unify some configs

Merge pull request #805 from fatalbanana/cdb

[Test] Add test for CDB maps

Merge pull request #804 from fatalbanana/warnings

[Minor] Silence warning

Merge pull request #803 from fatalbanana/lua

[Minor] Remove duplicated element from task:get_metric_score()

[Feature] Allow all types of symbols to be added via __newindex method

[Test] Add test for CDB maps

[Fix] Parse CGP envelope data

[Minor] Silence warning

[Minor] Remove duplicated element from task:get_metric_score()

[Fix] Fix buffering in CGP integration

[Minor] Print the real version of rspamd in Server header

[Fix] Decode entitles in href parts

Merge pull request #800 from fatalbanana/json

[Test] Some basic tests for JSON sanity

[Test] Some basic tests for JSON sanity

[Fix] Fix largest possible TLD behaviour

Merge pull request #798 from fatalbanana/nan

[Fix] Avoid returning NaN as score on scan

Merge pull request #796 from bryongloden/patch-2

Update local_scan.c

Merge pull request #794 from bryongloden/patch-1

Update acism_create.c

Merge pull request #793 from fatalbanana/dmarc

[Fix] Fix DMARC_BAD_POLICY symbol

Merge pull request #792 from fatalbanana/tests

[Test] Add DKIM sign + verify tests

Merge pull request #789 from moisseev/defined-array

[Fix] rspamd_stats: remove deprecated defined(@array)