[Fix] Plug another possible memory leak

MFH: rspamd-1.6

[Fix] Fix empty headers simple canonicalization

Issue: #1904
MFH: rspamd-1.6

[Fix] Plan new event on HTTP errors

Issue: #1898
MFH: rspamd-1.6

[Fix] Do not skip the last character

MFH: rspamd-1.6

[Fix] Do not try to dereference last character

MFH: rspamd-1.6

[Fix] Fix extra hits in PCRE mode for regular expressions

MFH: rspamd-1.6
Issue: #1880

[Fix] Better handling of the legacy protocol

[Fix] Fix bad archive characters stripping

MFH: rspamd-1.6

Merge pull request #1945 from dupondje/rspamd-1.6

Backport Rspamd-1.6 fixes

[Fix] First load selector_map and path_map. And only return false when domain not found if try_fallback is false

[Fix] Do not try to sign unknown domains

[Feature] Allow to receive signing keys from mempool vars

Release 1.6.5

* [CritFix] Another portion of tokenization fixes
* [CritFix] Fix memory leak in spf caching logic
* [CritFix] Fix milter commands pipelining
* [CritFix] Fix newlines detection
* [Feature] Filter nan and inf when adding scores
* [Feature] Implement headers flags in mime parser
* [Feature] Support Expires header when using HTTP maps
* [Fix] Actively load skip hashes map in fuzzy storage
* [Fix] Add workaround for IPv6 in sendmail
* [Fix] Authentication Results: Fix SPF smtp.mail_from
* [Fix] Check for magic when checking for an archive
* [Fix] Deal with another case when processing exceptions
* [Fix] Deal with URLs with no slashes after protocol
* [Fix] Do not allow garbadge when checking url domain
* [Fix] Do not ignore short words
* [Fix] Do not strip last character in the last word
* [Fix] Do not treat script content as text
* [Fix] Erase unknown HTML entities
* [Fix] Fix another tokenization issue
* [Fix] Fix DKIM forgeries via multiple headers
* [Fix] Fix emails detection
* [Fix] Fix empty threshold check in greylisting module
* [Fix] Fix enormous scores for R_WHITE_ON_WHITE
* [Fix] Fix loading of per-user redis backend for statistics
* [Fix] Fix multiple headers in DKIM headers list
* [Fix] Fix obscured url in format user@@example.com
* [Fix] Further tokenization fixes
* [Fix] Load skip map from all processes as shared cache is unavailable
* [Fix] Lowercase words
* [Fix] Milter headers: skip_local / skip_authenticated settings
* [Fix] Milter headers: X-Spamd-Result header if X-Virus ran first
* [Fix] Ratelimit: fix whitelisted_rcpts matching
* [Fix] Some more fixes towards emails detection
* [Fix] SpamAssassin: Fail check_freemail_header if regexp didn't match
* [Fix] Use greylisting threshold in greylisting module

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1877 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Fix] Load skip map from all processes as shared cache is unavailable

MFH: rspamd-1.6

[Test] e-Mail detection

[Fix] Some more fixes towards emails detection

MFH: rspamd-1.6

[Fix] Actively load skip hashes map in fuzzy storage

MFH: rspamd-1.6

[CritFix] Fix milter commands pipelining

[Minor] Grr, forgot to save change for the previous commit

MFH: rspamd-1.6

[Fix] Fix multiple headers in DKIM headers list

MFH: rspamd-1.6
Issue: #1876

[CritFix] Fix newlines detection

MFH: rspamd-1.6

[Fix] Further tokenization fixes

MFH: rspamd-1.6

[Fix] Do not treat script content as text

MFH: rspamd-1.6

[Minor] Improve tags lookup slightly

[Feature] Filter nan and inf when adding scores

MFH: rspamd-1.6

[Fix] Deal with another case when processing exceptions

MFH: rspamd-1.6

[Fix] Fix emails detection

MFH: rspamd-1.6

[Fix] Do not strip last character in the last word

MFH: rspamd-1.6

[Fix] Fix another tokenization issue

MFH: rspamd-1.6

[Minor] Update public suffix list

Merge pull request #1870 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Fix] Fix empty threshold check in greylisting module

[Fix] Fix loading of per-user redis backend for statistics

Issue: #1843
Closes: #1843

Merge pull request #1867 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Minor] Fix tests

[CritFix] Another portion of tokenization fixes

MFH: rspamd-1.6

[Fix] Do not ignore short words

MFH: rspamd-1.6

[Fix] Lowercase words

MFH: rspamd-1.6

[Minor] Allow to get words from text parts

[Minor] Fix lua_text processing in lua_util_tokenize_text

[Feature] Support Expires header when using HTTP maps

[Fix] Use greylisting threshold in greylisting module

[CritFix] Fix memory leak in spf caching logic

MFH: rspamd-1.6

[Fix] SpamAssassin: Fail check_freemail_header if regexp didn't match

 - MFH: rspamd-1.6

[Fix] Fix obscured url in format user@@example.com

MFH: rspamd-1.6

[Fix] Do not allow garbadge when checking url domain

[Fix] Erase unknown HTML entities

MFH: rspamd-1.6

[Fix] Authentication Results: Fix SPF smtp.mail_from

 - MFH: rspamd-1.6

[Fix] Fix DKIM forgeries via multiple headers

MFH: rspamd-1.6
URL: http://noxxi.de/research/breaking-dkim-on-purpose-and-by-chance.html

[Fix] Fix enormous scores for R_WHITE_ON_WHITE

MFH: 1.6

[Feature] Implement headers flags in mime parser

MFH: rspamd-1.6

[Fix] Deal with URLs with no slashes after protocol

[Fix] Milter headers: X-Spamd-Result header if X-Virus ran first

 - Fixes: #1851
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Milter headers: skip_local / skip_authenticated settings

 - Fixes: #1850
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Check for magic when checking for an archive

Issue: #1848
Closes: #1848
MFH: 1.6

[Fix] Add workaround for IPv6 in sendmail

Issue: #1760

[Fix] Ratelimit: fix whitelisted_rcpts matching

Fix symbol name in history

Commit 75cfe801 broke the display of the symbols in the history. This patch fixes that.

Release 1.6.4

* [Feature] Add method to get all content-type attributes in Lua
* [Feature] Add some sanity checks for actions and controller
* [Feature] Allow randomly select User-Agent from a list
* [Feature] Deal with obscured URLs with @ symbols
* [Feature] Milter headers: support adding/removing arbitrary headers from config
* [Fix] Add another workaround to display history properly
* [Fix] Add missing rspamadm control options to help
* [Fix] Auth-Results: Multiple DKIM signatures
* [Fix] Crash in URL processing
* [Fix] Default monitoring domain for surbl plugin
* [Fix] Detection of maillist optimized and fixed
* [Fix] Do not cache SPF records with PTR elements
* [Fix] Fix blacklists and DMARC in whitelist
* [Fix] Fix exceptions list in surbl
* [Fix] Fix processing of closed tags
* [Fix] Fix PTR processing in SPF
* [Fix] Lowercase HTTP headers to make them searchable from Lua
* [Fix] options.local_networks setting
* [Fix] Ratelimit: lowercase email addresses
* [Fix] Rebalance and slightly rework MX check plugin
* [Fix] Redis script loading in DMARC; URL tags; URL reputation
* [Fix] Reject invalid bh for DKIM signatures earlier
* [Fix] Remove incorrect method `task:set_metric_subject`
* [Fix] Rewriting subjects via force actions module
* [Fix] RPM postinstall
* [Fix] Treat 'rewrite subject' as spam action
* [Fix] Try harder to find urls
* [Fix] Use full URL when making an HTTP request
* [Fix] Use raw urls when sending requests to redirector
* [Fix] Use weight from map for fuzzy scoring
* [Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Update version to 1.6.4

[Minor] Import updates from public suffix list

[Minor] Fix previous commit: avoid doing useless things

[Fix] Auth-Results: Multiple DKIM signatures

[Fix] Rebalance and slightly rework MX check plugin

[Fix] Fix PTR processing in SPF

Issue: #1828

Revert "[Minor] Avoid usage of the incorrect API"

This reverts commit 7b207cf0f21f89f78f41ca15ef8c0bddfb5bc264.

Revert "[Fix] Remove incorrect method `task:set_metric_subject`"

This reverts commit e809039a9e84cb6235a6447d1c9c8fc34ddcf8c6.

[Minor] More efforts to handle SPF PTR properly

[Fix] Do not cache SPF records with PTR elements

[Test] SPF PTR macro

[Fix] Rewriting subjects via force actions module

[Fix] Crash in URL processing

[Test] Some tests for whitelist module

[Fix] Fix blacklists and DMARC in whitelist

Issue: #1824

[Minor] Avoid usage of the incorrect API

[Fix] Remove incorrect method `task:set_metric_subject`

[Fix] Fix exceptions list in surbl

Merge pull request #1820 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Minor] Fix types when iterating hash

[Feature] Add method to get all content-type attributes in Lua

[Fix] Default monitoring domain for surbl plugin

[Fix] Treat 'rewrite subject' as spam action

Issue: #1803
Closes: #1803

Merge pull request #1817 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] options.local_networks setting

 - Issue: #1763
 - Reported by: @pclemot

[Feature] Allow randomly select User-Agent from a list

[Feature] Milter headers: support adding/removing arbitrary headers from config

[Fix] Use full URL when making an HTTP request

[Fix] Use raw urls when sending requests to redirector

[Minor] Store raw urls

[Feature] Deal with obscured URLs with @ symbols

fix copy/paste error in comment

[Minor] Suppress base64 symbols for mails sent with 1C v8

[Minor] Reduce MIME_BASE64_TEXT score

[Minor] Some more minor fixes to lua

Conflicts:
src/plugins/lua/fann_redis.lua

Improve CTYPE_MIXED_BOGUS and MIME_BASE64_TEXT rules

Update Message-ID rules with new observed patterns

[Minor] Remove reduntant debug

[Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

[Fix] Detection of maillist optimized and fixed

Some maillists were not detected correctly. Because by default all mails were checked for 'List-Unsubscribe' and 'List-Post' headers.
But those headers do not exist on all maillists.
For example majordomo detection was broken because of this.