Merge pull request #2012 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Fix] Another try to deal with #1998

Issue: #1998

[Fix] Another try to fix #1998

Issue: #1998
MFH: rspamd-1.6

[Fix] Fix comparision

Issue: #1998
MFH: rspamd-1.6

[Fix] Fix sanity checks on macro value

Issue: #1998
MFH: rspamd-1.6

[Test] Relax controller errors check

[Fix] Do not fail rbl plugin when there are no received or emails

[Test] Beginning of tests for milter

[Minor] Avoid letting miltertest crash rspamd_proxy

[CritFix] Fix ARC chain verification

MFH: rspamd-1.6

[Minor] Delivered-to is not intended to be unique

[Fix] Check decoded headers sanity (e.g. by excluding \0)

MFH: rspamd-1.6

[CritFix] Another errors path handling fix

MFH: rspamd-1.6

[CritFix] Fix crash in milter errors handler

[WebUI] Fix message count in throughput summary (#1724)

MFH: rspamd-1.6

[WebUI] Fix NaNs display on Throughput graph

MFH: rspamd-1.6

Merge pull request #2000 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Minor] Do not propagate command name to error output

Issue: #1979

[Minor] Ignore case for imap/lmtp

[Minor] CHECK_FROM rule: avoid indexing of nil

[Fix] Metadata exporter: check IP sanity

[Fix] Sanitize IP in history redis

[Fix] Settings: avoid checking invalid IP (#1981)

[Fix] Remove hop-by-hop headers in proxy

Issue: #1973

[Minor] Fix previous commit

f-prot: match virus name non-greedily

[Minor] Support INSHEADER in the milter API

[Minor] Silence luacheck

[Minor] Insert Authentication-Results at top of headers

[Minor] Move DKIM signature after received

[Feature] Allow to insert headers into specific position

[Fix] Fix parsing of the per-user script

Issue: #1843
MFH: rspamd-1.6

[Feature] Authentication-Results: support hiding usernames

[Fix] DKIM signing: allow for auth_only to be false

[Minor] Set pointer to NULL after usage to avoid confusion

[Minor] Add some sanity checks when doing simple canonicalization

[Fix] Exim Received header protocol parsing

 - MFH: rspamd-1.6

[Fix] Deal with URLs wrapped in [] in text parts

[Fix] Multimap: received: filtering of artificial header

[Fix] Setting check_local / check_authed in plugins (#1954)

[Minor] Add some tags limit to avoid HTML parser DoS

[CritFix] Add sanity guards for badly broken HTML

[Minor] Fix off-boundary access

[Fix] Fix processing of skip-hashes in fuzzy storage

MFH: rspamd-1.6

[Fix] Fix text splitting: stack overflow (too many captures)

MFH: rspamd-1.6

[Fix] Fix Redis timeout setup

MFH: rspamd-1.6

[Fix] Try harder in passing IPv6 addresses

Issue: #1916
MFH: rspamd-1.6

[Fix] Deal with nan and inf encoding in json/ucl

[Fix] Plug another possible memory leak

MFH: rspamd-1.6

[Fix] Fix empty headers simple canonicalization

Issue: #1904
MFH: rspamd-1.6

[Fix] Plan new event on HTTP errors

Issue: #1898
MFH: rspamd-1.6

[Fix] Do not skip the last character

MFH: rspamd-1.6

[Fix] Do not try to dereference last character

MFH: rspamd-1.6

[Fix] Fix extra hits in PCRE mode for regular expressions

MFH: rspamd-1.6
Issue: #1880

[Fix] Better handling of the legacy protocol

[Fix] Fix bad archive characters stripping

MFH: rspamd-1.6

Merge pull request #1945 from dupondje/rspamd-1.6

Backport Rspamd-1.6 fixes

[Fix] First load selector_map and path_map. And only return false when domain not found if try_fallback is false

[Fix] Do not try to sign unknown domains

[Feature] Allow to receive signing keys from mempool vars

Release 1.6.5

* [CritFix] Another portion of tokenization fixes
* [CritFix] Fix memory leak in spf caching logic
* [CritFix] Fix milter commands pipelining
* [CritFix] Fix newlines detection
* [Feature] Filter nan and inf when adding scores
* [Feature] Implement headers flags in mime parser
* [Feature] Support Expires header when using HTTP maps
* [Fix] Actively load skip hashes map in fuzzy storage
* [Fix] Add workaround for IPv6 in sendmail
* [Fix] Authentication Results: Fix SPF smtp.mail_from
* [Fix] Check for magic when checking for an archive
* [Fix] Deal with another case when processing exceptions
* [Fix] Deal with URLs with no slashes after protocol
* [Fix] Do not allow garbadge when checking url domain
* [Fix] Do not ignore short words
* [Fix] Do not strip last character in the last word
* [Fix] Do not treat script content as text
* [Fix] Erase unknown HTML entities
* [Fix] Fix another tokenization issue
* [Fix] Fix DKIM forgeries via multiple headers
* [Fix] Fix emails detection
* [Fix] Fix empty threshold check in greylisting module
* [Fix] Fix enormous scores for R_WHITE_ON_WHITE
* [Fix] Fix loading of per-user redis backend for statistics
* [Fix] Fix multiple headers in DKIM headers list
* [Fix] Fix obscured url in format user@@example.com
* [Fix] Further tokenization fixes
* [Fix] Load skip map from all processes as shared cache is unavailable
* [Fix] Lowercase words
* [Fix] Milter headers: skip_local / skip_authenticated settings
* [Fix] Milter headers: X-Spamd-Result header if X-Virus ran first
* [Fix] Ratelimit: fix whitelisted_rcpts matching
* [Fix] Some more fixes towards emails detection
* [Fix] SpamAssassin: Fail check_freemail_header if regexp didn't match
* [Fix] Use greylisting threshold in greylisting module

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1877 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Fix] Load skip map from all processes as shared cache is unavailable

MFH: rspamd-1.6

[Test] e-Mail detection

[Fix] Some more fixes towards emails detection

MFH: rspamd-1.6

[Fix] Actively load skip hashes map in fuzzy storage

MFH: rspamd-1.6

[CritFix] Fix milter commands pipelining

[Minor] Grr, forgot to save change for the previous commit

MFH: rspamd-1.6

[Fix] Fix multiple headers in DKIM headers list

MFH: rspamd-1.6
Issue: #1876

[CritFix] Fix newlines detection

MFH: rspamd-1.6

[Fix] Further tokenization fixes

MFH: rspamd-1.6

[Fix] Do not treat script content as text

MFH: rspamd-1.6

[Minor] Improve tags lookup slightly

[Feature] Filter nan and inf when adding scores

MFH: rspamd-1.6

[Fix] Deal with another case when processing exceptions

MFH: rspamd-1.6

[Fix] Fix emails detection

MFH: rspamd-1.6

[Fix] Do not strip last character in the last word

MFH: rspamd-1.6

[Fix] Fix another tokenization issue

MFH: rspamd-1.6

[Minor] Update public suffix list

Merge pull request #1870 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Fix] Fix empty threshold check in greylisting module

[Fix] Fix loading of per-user redis backend for statistics

Issue: #1843
Closes: #1843

Merge pull request #1867 from fatalbanana/rspamd-1.6

Rspamd 1.6

[Minor] Fix tests

[CritFix] Another portion of tokenization fixes

MFH: rspamd-1.6

[Fix] Do not ignore short words

MFH: rspamd-1.6

[Fix] Lowercase words

MFH: rspamd-1.6

[Minor] Allow to get words from text parts

[Minor] Fix lua_text processing in lua_util_tokenize_text

[Feature] Support Expires header when using HTTP maps

[Fix] Use greylisting threshold in greylisting module

[CritFix] Fix memory leak in spf caching logic

MFH: rspamd-1.6

[Fix] SpamAssassin: Fail check_freemail_header if regexp didn't match

 - MFH: rspamd-1.6

[Fix] Fix obscured url in format user@@example.com

MFH: rspamd-1.6

[Fix] Do not allow garbadge when checking url domain

[Fix] Erase unknown HTML entities

MFH: rspamd-1.6

[Fix] Authentication Results: Fix SPF smtp.mail_from

 - MFH: rspamd-1.6

[Fix] Fix DKIM forgeries via multiple headers

MFH: rspamd-1.6
URL: http://noxxi.de/research/breaking-dkim-on-purpose-and-by-chance.html

[Fix] Fix enormous scores for R_WHITE_ON_WHITE

MFH: 1.6

[Feature] Implement headers flags in mime parser

MFH: rspamd-1.6