[CritFix] Fix hyperscan compilation on regexp change

Rspamd could use an incorrect hyperscan database in the case when a
single regexp has been changed. In this case, Rspamd did not recalculate
the cached files causing shifting of regexp IDs. Subsequently, that
caused random regexp to match whilst completely different patterns were
expected.

With this change, Rspamd also takes care about the order of regexps
(by including it in the crypto hash). This change eliminates the issue
and Rspamd can deal with regexps changes correctly.

MFH: true

[Fix] Fix processing of redirect in SPF includes

MFH: true

Release 1.3.5

* [CritFix] Fix issue with finding of end of lines pointers
* [Feature] Add DMARC_NA symbol
* [Feature] Add R_DKIM_NA / R_SPF_NA / AUTH_NA symbols
* [Feature] Add spamhaus DROP dnsbl
* [Feature] Add termination callbacks for workers
* [Feature] Add user-agent for rspamc
* [Feature] Allow parsing of mailbox messages from the commandline
* [Feature] Support excluding selected users from ratelimits
* [Feature] Yield DMARC_DNSFAIL on lookup failure
* [Fix] Banish table.maxn from Lua parts
* [Fix] Do not use headers to calculate messages digests
* [Fix] Fix absurdic scores for HFILTER_URL_ONLY
* [Fix] Fix actrie patterns
* [Fix] Fix format string
* [Fix] Fix handling of '\0' in lua_tcp
* [Fix] Fix issue with empty messages and dkim
* [Fix] Fix min_learns option
* [Fix] Fix options for SPF dnsfail symbol
* [Fix] Fix processing of symbols when reject limit is reached
* [Fix] Settings: fix `authenticated` parameter (#886)
* [Fix] Try to avoid race condition when using rrd
* [Fix] Use the correct macro to get the size of controller
* [Fix] Fix build and tests on OpenBSD

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Banish table.maxn from Lua parts

[Minor] Don't yield R_DKIM_NA for local/authenticated/whitelisted senders

[Fix] Use the correct macro to get the size of control

[Minor] Do not blame about unsupported file locks

[Fix] Fix actrie patterns

[Minor] Silence RBL log

[Minor] Tune printf for hex and base32 input strings

Merge pull request #918 from fatalbanana/rspamd-1.3

[Minor] Remove artefact

[Minor] Remove artefact

[Fix] Fix format string

[Fix] Fix min_learns option

[Feature] Support excluding selected users from ratelimits

[Minor] Disable IP Score for authenticated users & local networks

[Minor] Fix forcing actions in DMARC plugin

[Minor] Yield DMARC_NA when From header is missing

 - Also make DMARC symbols configurable
 - Register some additional symbols

[Fix] Fix options for SPF dnsfail symbol

[Fix] Fix processing of symbols when reject limit is reached

[Feature] Add R_DKIM_NA / R_SPF_NA / AUTH_NA symbols

[Minor] Rein in excess QP/base64 symbols

[Feature] Add spamhaus DROP dnsbl

[Fix] Fix issue with empty messages and dkim

Issue: #880

[Feature] Add DMARC_NA symbol

 - Also allow forcing action on DMARC_NA; DMARC_DNSFAIL; DMARC_BAD_POLICY

[Fix] Fix absurdic scores for HFILTER_URL_ONLY

[Feature] Yield DMARC_DNSFAIL on lookup failure

[CritFix] Fix issue with finding of end of lines pointers

[Fix] Try to avoid race condition when using rrd

[Feature] Add termination callbacks for workers

[Fix] Settings: fix `authenticated` parameter (#886)

[Fix] Do not use headers to calculate messages digests

[Minor] Skip greylisting for local networks as well

[Minor] Disable DKIM for authed users & local networks (#888)

[Fix] Fix handling of '\0' in lua_tcp

[Feature] Allow parsing of mailbox messages from the commandline

[Feature] Add user-agent for rspamc

Release 1.3.4

* [Feature] ASN module; support matching ASN/country in multimap
* [Feature] Add SPF method in spf return result
* [Feature] Add Yandex and Mail.ru forwarding rules
* [Feature] Add mempool maps in multimap
* [Feature] Add rule for identifying mail sent by eval()'d PHP code
* [Feature] Add support of stub DNSSEC resolver to rdns
* [Feature] Add task:get_digest method
* [Feature] Allow for more fine-grained scoring for ip_score
* [Feature] Allow to get digest of a mime part from lua
* [Feature] Allow to print message digest in logs
* [Feature] Fold DKIM-Signature header
* [Feature] Implement encrypted logs
* [Feature] Log URLs encrypted if we have log encryption pubkey
* [Feature] Pass authenticated bit to lua
* [Feature] Read redis backend statistics configuration from global section
* [Feature] Show the exact value matched for multima symbols
* [Feature] Store task checksum
* [Fix] Avoid setting limits when required elements are missing
* [Fix] DMARC: Fix alignment checking for subdomains
* [Fix] DMARC: deal with missing and spurious spaces
* [Fix] Defer insertion of results in ip_score to avoid skewing stats
* [Fix] Disable DMARC for local/authorized mail
* [Fix] Fix handling of proxied headers in controller
* [Fix] Fix hex printing of strings
* [Fix] Fix issue with spaces in maps
* [Fix] Fix parsing of forwarded IP
* [Fix] Fix reload in some plugins and workers
* [Fix] Fix reloading on SIGHUP
* [Fix] Fix some border cases for DKIM canonicalization
* [Fix] Fix url maps
* [Fix] Make dnssec configurable option disabled by default for now
* [Fix] rspamadm statconvert: force db to be a string
* [Fix] rspamadm statconvert: use db/password for learn cache
* [Rework] Rework flags in rspamd logger

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Fix parsing of commas

[Fix] Fix parsing of forwarded IP

[Fix] Fix handling of proxied headers in controller

[Feature] Add rspamd_memrchr utility function

Revert "Disable reload command in rc scripts"

This reverts commit 869af99b494d89e6d100657db4d5430cc6539f51.

[Fix] Fix some border cases for DKIM canonicalization

Issue: #880

Merge pull request #882 from fatalbanana/dmarc

[Fix] DMARC: Fix alignment checking for subdomains

[Fix] DMARC: Fix alignment checking for subdomains

Merge pull request #879 from fatalbanana/mmpre

[Minor] Fix registration of prefilters in multimap (#878)

Merge pull request #877 from fatalbanana/c

Composites

[Minor] Fix registration of prefilters in multimap (#878)

[Minor] Composite: Don't penalise for SPF/DKIM failure when DMARC passed

[Minor] Composite: Remove FORGED_RECIPIENTS if it's forwarding

Merge pull request #876 from moisseev/d3Evolution

[WebUI] Update d3evolution

Merge pull request #875 from fatalbanana/c

[Minor] Fix composite (#874)

[WebUI] Update d3evolution

Update to moisseev/D3Evolution@3e5867b9940eadf14b677fa2cd333e02a0929e4e
    - Fix stacked area yScale for negative values

[Minor] Fix composite (#874)

Merge pull request #872 from fatalbanana/d

[Minor] Fix log message

[Minor] Fix log message

 - Also clean up X_PHP_EVAL rule

Merge pull request #866 from fatalbanana/whitelist

[Minor] Sort & clean up spf-dkim/dmarc whitelist

Merge pull request #867 from xpunkt/patch-1

kam_lotto7 moved to r_lotto_subject

[Fix] Disable DMARC for local/authorized mail

Merge pull request #870 from AlexeySa/master

[Feature] Add Yandex and Mail.ru forwarding rules

Update forwarding.lua

Update composites.conf

Update composites.conf

Fix Mail.ru forwarding (bad SPF)

[Feature] Add Yandex and Mail.ru forwarding rules

kam_lotto7 moved to r_lotto_subject

hopefully i did this right

[Minor] Sort & clean up spf-dkim/dmarc whitelists

 - Removed domains with SPF records indicating no authorised sources
 - Removed 'bad' domains

[Fix] Fix url maps

[Feature] Show the exact value matched for multima symbols

[Fix] Fix issue with spaces in maps

Merge pull request #865 from fatalbanana/dmarc

[Fix] DMARC: deal with missing and spurious spaces

Merge pull request #864 from fatalbanana/xphp

[Feature] Add rule for identifying mail sent by eval()'d PHP code

[Fix] DMARC: deal with missing and spurious spaces

[Minor] Do not traverse empty HTML tree

[Feature] Add rule for identifying mail sent by eval()'d PHP code

Merge pull request #862 from fatalbanana/userdata

Make REDIS_REPLY_NIL non-nil again

[Minor] Deal with non-nil REDIS_NIL in multimap

Revert "[Fix] Fix returning of REDIS_NIL"

This reverts commit ca2374d88c09759f2a46e68801e5eb557eee7d3b.

Merge pull request #861 from fatalbanana/scoring

[Minor] Zero scoring on some informational symbols

Merge pull request #860 from fatalbanana/ipscore2

[Feature] Allow for more fine-grained scoring for ip_score

[Minor] Zero scoring on some informational symbols

[Feature] Allow for more fine-grained scoring for ip_score

 - Also simplify some funny math

[Feature] Add SPF method in spf return result

Issue: #831
Reported by: @moisseev

[Fix] Make dnssec configurable option disabled by default for now

[Feature] Pass authenticated bit to lua

[Minor] Make function to punycode DNS values publicly available

[Feature] Add support of stub DNSSEC resolver to rdns

[Feature] Read redis backend statistics configuration from global section

Issue: #766

Merge pull request #858 from fatalbanana/ipscore

[Fix] Defer insertion of results in ip_score to avoid skewing stats

Merge pull request #857 from fatalbanana/mempool

[Feature] Add mempool maps in multimap (instead of ASN/country)

[Fix] Fix reload in some plugins and workers

[Fix] Fix reloading on SIGHUP

[Feature] Add mempool maps in multimap

[Fix] Defer insertion of results in ip_score to avoid skewing stats

[Minor] Remove google.com from whitelist because of spam abuse

Merge pull request #856 from fatalbanana/asn

[Feature] Dedicated module for getting ASN information (Fixes #197)

[Feature] ASN module; support matching ASN/country in multimap

 - Also removed stuff from ip_score
 - Updated tests

[Feature] Log URLs encrypted if we have log encryption pubkey

[Feature] Implement encrypted logs