[Minor] Improve handling of directories for rspamc

[Fix] Fix issues with the recent SPF changes

[Minor] Fix build with glib < 2.40

[Minor] Allow regexp patterns for HTTP router

Merge pull request #975 from fatalbanana/spf

[Feature] Add R_SPF_PERMFAIL symbol

Merge pull request #976 from fatalbanana/google

[Feature] Rules for scoring Google Message-ID fixes

[Feature] Rules for scoring Google Message-ID fixes

[Fix] Fix DKIM signing for messages with no newline at the end

[Fix] Do not add extra newline in MIME mode

[Feature] Add R_SPF_PERMFAIL symbol

 - Also yield R_SPF_DNSFAIL on bogus redirect
 - Also grow SPF tests

[Minor] Allow to parse GString memory pool vars

[Fix] More spaces fix in DKIM signature

[Fix] Fix crash on OpenBSD in `url_email_start`

Issue: #969
MFH: true

[Minor] More fixes to headers folding

[Fix] Fix DKIM calculations

[Feature] Try to guess line endings when folding headers

[Feature] Allow to store settings in redis

[Feature] Use FFI to optimize SA module

[Feature] Add ffi friendly version of process_regexp function

[Fix] Another fix for rdns write errors

Issue: #971

Merge pull request #974 from fatalbanana/spf

[Fix] Yield R_SPF_DNSFAIL if lookup of included record fails

Merge pull request #973 from fatalbanana/dmarc

[Minor] Return policy in DMARC_POLICY_ACCEPT options

[Test] Some tests for SPF

[Fix] Yield R_SPF_DNSFAIL if lookup of included record fails

[Minor] Return policy in DMARC_POLICY_ACCEPT options

[Fix] Another try to fix RDNS events processing logic

Issue: #971
MFH: true

[Fix] Fix format string usage in controller errors handling

Issue: #970
MFH: true

[Fix] Fix DNS write errors processing

Issue: #971
MFH: true

[Minor] MX checks should be one_shot

[Fix] Use memmove for overlapping regions

Issue: #961
MFH: true

[Minor] Allow port-less connections for lua_tcp

Merge pull request #936 from fatalbanana/dkim

[Feature] Add R_DKIM_PERMFAIL symbol

Merge pull request #951 from moisseev/mid

[Feature] Add `mid` Lua module

[Feature] Add R_DKIM_PERMFAIL symbol

[Fix] mid: handle incorrect rgexps in the map

[Minor] Fix ASN caching

Merge pull request #960 from fatalbanana/minor

[Minor] Clarify display message

[Feature] Add redis cache to asn module

[Fix] mid: fix map initialization

[Test] Test DKIM permfail

Merge pull request #958 from moisseev/once_received

[Minor] Disable ONCE_RECEIVED for local networks

[Minor] Clarify display message

[Minor] Disable ONCE_RECEIVED for local networks

Merge pull request #956 from moisseev/patch-1

[Fix] Skip MX check for authenticated users and local networks

[Feature] Add `mid` Lua module

[Fix] Skip MX check for authenticated users and local networks

[Minor] Resolve A record if all MXes are absent

[Minor] Use HELO when SMTP from is empty

[Feature] Add plugin to check MX'es for the sender's domain

[Minor] Some fixes to lua_tcp module

[Minor] Allow to set timeout for a connection

[Minor] Use byte array not gstring for input buffer

[Feature] Rework lua tcp module

[Fix] Fix parsing of lua comments with empty lines

[Minor] Improve logging for fann train

[Minor] Reduce log noise

[Minor] Fix compilation

[Minor] Use attachments filenames as bayes tokens

[Minor] Improve constant memcmp function

Merge pull request #952 from fatalbanana/rlimit4

Ratelimit fixes

[Minor] Use mime recipients count as a metatoken

[Minor] Fix whitelisted_user map initialisation

[Minor] Ratelimit: don't copy data

[Fix] Allow plain IP addresses in Rspamd maps

MFH: true

Merge pull request #950 from fatalbanana/rlimit3

More ratelimit cleanup

[Minor] Remove more useless code from ratelimit

Merge pull request #949 from fatalbanana/rbl

[Minor] RBL: Display matched IP instead of thing being matched against

Merge pull request #948 from fatalbanana/rlimit3

[Minor] Some small changes to ratelimit

[Feature] Normalize all ANN inputs

[Minor] Some small changes to ratelimit

 - Don't bother calling init() on builtin keywords
 - Adjust adaptive ratelimits to better deal with new model
 - Populate user_data from custom keyword file
 - Restore & extend user-specific ratelimit behaviour

[Minor] RBL: Display matched IP instead of thing being matched against

[Minor] Do not use shortcut ANNs

[Minor] Fix fann inputs count check

[Minor] Remove debug message

Merge pull request #946 from fatalbanana/rlimit3

[Minor] Fix ratelimit rework: don't recycle stale value

[Minor] Fix ratelimit rework: don't recycle stale value

Merge pull request #945 from fatalbanana/rlimit3

[Feature] User-defined ratelimits

[Feature] Fann scores now uses metadata from a message

By introducing of extra data, it is now possible to train ANN with
metadata of messages improving quality of filtering.

[Feature] Allow to pass extra data from plugins to log helper

[Feature] Return symbol scores when getting resulting symbols

[Feature] User-defined ratelimits

[Minor] Set symmetric activation functions for ANN

[Fix] Do not classify when a message has not enough tokens

Issue: #556
MFH: true

[Minor] Explicitly reinit libevent PRNG on fork

Merge pull request #942 from fatalbanana/rlimit

Ratelimit: handle nil values & fix nonconformant key

[Fix] Properly handle nil values in ratelimit plugin

 - Also fix nonconformant ratelimit key

Merge pull request #941 from fatalbanana/xunit

[Minor] Generate XUnit output from tests

Merge pull request #940 from fatalbanana/rlimit

[Fix] Fix setting ratelimit key for 'ip' bucket

Merge pull request #939 from fatalbanana/hfilter

[Minor] Mostly disable Hfilter for local networks as well

Merge pull request #938 from fatalbanana/rbl

[Feature] Descriptive options for RBL symbols

[CritFix] Fix hyperscan compilation on regexp change

Rspamd could use an incorrect hyperscan database in the case when a
single regexp has been changed. In this case, Rspamd did not recalculate
the cached files causing shifting of regexp IDs. Subsequently, that
caused random regexp to match whilst completely different patterns were
expected.

With this change, Rspamd also takes care about the order of regexps
(by including it in the crypto hash). This change eliminates the issue
and Rspamd can deal with regexps changes correctly.

MFH: true

[Minor] Generate XUnit output from tests

[Fix] Fix setting ratelimit key for 'ip' bucket

[Fix] Fix processing of redirect in SPF includes

MFH: true

[Fix] Fix processing of fuzzy learns from Lua

[Feature] Add decompression support in rspamd client

[Feature] Add replies compression

[Feature] Preserve decompression context between tasks

[Feature] Add support for dictionary in client compression

[Feature] Allow to use dictionaries for compression