[Minor] Fix lua_text processing in lua_util_tokenize_text

[Feature] Support Expires header when using HTTP maps

[Fix] Use greylisting threshold in greylisting module

[CritFix] Fix memory leak in spf caching logic

MFH: rspamd-1.6

[Fix] SpamAssassin: Fail check_freemail_header if regexp didn't match

 - MFH: rspamd-1.6

[Fix] Fix obscured url in format user@@example.com

MFH: rspamd-1.6

[Fix] Do not allow garbadge when checking url domain

[Fix] Erase unknown HTML entities

MFH: rspamd-1.6

[Fix] Authentication Results: Fix SPF smtp.mail_from

 - MFH: rspamd-1.6

[Fix] Fix DKIM forgeries via multiple headers

MFH: rspamd-1.6
URL: http://noxxi.de/research/breaking-dkim-on-purpose-and-by-chance.html

[Fix] Fix enormous scores for R_WHITE_ON_WHITE

MFH: 1.6

[Feature] Implement headers flags in mime parser

MFH: rspamd-1.6

[Fix] Deal with URLs with no slashes after protocol

[Fix] Milter headers: X-Spamd-Result header if X-Virus ran first

 - Fixes: #1851
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Milter headers: skip_local / skip_authenticated settings

 - Fixes: #1850
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Check for magic when checking for an archive

Issue: #1848
Closes: #1848
MFH: 1.6

[Fix] Add workaround for IPv6 in sendmail

Issue: #1760

[Fix] Ratelimit: fix whitelisted_rcpts matching

Fix symbol name in history

Commit 75cfe801 broke the display of the symbols in the history. This patch fixes that.

Release 1.6.4

* [Feature] Add method to get all content-type attributes in Lua
* [Feature] Add some sanity checks for actions and controller
* [Feature] Allow randomly select User-Agent from a list
* [Feature] Deal with obscured URLs with @ symbols
* [Feature] Milter headers: support adding/removing arbitrary headers from config
* [Fix] Add another workaround to display history properly
* [Fix] Add missing rspamadm control options to help
* [Fix] Auth-Results: Multiple DKIM signatures
* [Fix] Crash in URL processing
* [Fix] Default monitoring domain for surbl plugin
* [Fix] Detection of maillist optimized and fixed
* [Fix] Do not cache SPF records with PTR elements
* [Fix] Fix blacklists and DMARC in whitelist
* [Fix] Fix exceptions list in surbl
* [Fix] Fix processing of closed tags
* [Fix] Fix PTR processing in SPF
* [Fix] Lowercase HTTP headers to make them searchable from Lua
* [Fix] options.local_networks setting
* [Fix] Ratelimit: lowercase email addresses
* [Fix] Rebalance and slightly rework MX check plugin
* [Fix] Redis script loading in DMARC; URL tags; URL reputation
* [Fix] Reject invalid bh for DKIM signatures earlier
* [Fix] Remove incorrect method `task:set_metric_subject`
* [Fix] Rewriting subjects via force actions module
* [Fix] RPM postinstall
* [Fix] Treat 'rewrite subject' as spam action
* [Fix] Try harder to find urls
* [Fix] Use full URL when making an HTTP request
* [Fix] Use raw urls when sending requests to redirector
* [Fix] Use weight from map for fuzzy scoring
* [Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Update version to 1.6.4

[Minor] Import updates from public suffix list

[Minor] Fix previous commit: avoid doing useless things

[Fix] Auth-Results: Multiple DKIM signatures

[Fix] Rebalance and slightly rework MX check plugin

[Fix] Fix PTR processing in SPF

Issue: #1828

Revert "[Minor] Avoid usage of the incorrect API"

This reverts commit 7b207cf0f21f89f78f41ca15ef8c0bddfb5bc264.

Revert "[Fix] Remove incorrect method `task:set_metric_subject`"

This reverts commit e809039a9e84cb6235a6447d1c9c8fc34ddcf8c6.

[Minor] More efforts to handle SPF PTR properly

[Fix] Do not cache SPF records with PTR elements

[Test] SPF PTR macro

[Fix] Rewriting subjects via force actions module

[Fix] Crash in URL processing

[Test] Some tests for whitelist module

[Fix] Fix blacklists and DMARC in whitelist

Issue: #1824

[Minor] Avoid usage of the incorrect API

[Fix] Remove incorrect method `task:set_metric_subject`

[Fix] Fix exceptions list in surbl

Merge pull request #1820 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Minor] Fix types when iterating hash

[Feature] Add method to get all content-type attributes in Lua

[Fix] Default monitoring domain for surbl plugin

[Fix] Treat 'rewrite subject' as spam action

Issue: #1803
Closes: #1803

Merge pull request #1817 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] options.local_networks setting

 - Issue: #1763
 - Reported by: @pclemot

[Feature] Allow randomly select User-Agent from a list

[Feature] Milter headers: support adding/removing arbitrary headers from config

[Fix] Use full URL when making an HTTP request

[Fix] Use raw urls when sending requests to redirector

[Minor] Store raw urls

[Feature] Deal with obscured URLs with @ symbols

fix copy/paste error in comment

[Minor] Suppress base64 symbols for mails sent with 1C v8

[Minor] Reduce MIME_BASE64_TEXT score

[Minor] Some more minor fixes to lua

Conflicts:
src/plugins/lua/fann_redis.lua

Improve CTYPE_MIXED_BOGUS and MIME_BASE64_TEXT rules

Update Message-ID rules with new observed patterns

[Minor] Remove reduntant debug

[Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

[Fix] Detection of maillist optimized and fixed

Some maillists were not detected correctly. Because by default all mails were checked for 'List-Unsubscribe' and 'List-Post' headers.
But those headers do not exist on all maillists.
For example majordomo detection was broken because of this.

[Fix] Use weight from map for fuzzy scoring

[Fix] Add missing rspamadm control options to help

[Fix] Add another workaround to display history properly

[Fix] Reject invalid bh for DKIM signatures earlier

[Fix] Try harder to find urls

[Fix] Lowercase HTTP headers to make them searchable from Lua

[Minor] Randomize Lua PRNG at startup

[Fix] Fix processing of closed tags

[Minor] Update aliexpress.com Message-ID regexp

Various changes to CentOS RPM
Update License to be the same as repo (ASL 2.0)
Remove hardcoded user and group
Add %{rspamd_pluginsdir}/lib/*.lua

[Feature] Add some sanity checks for actions and controller

[Minor] Use controller for single-instance tasks

[Fix] Redis script loading in DMARC; URL tags; URL reputation

 - Issue: #1716

[Fix] RPM postinstall

 - Fixes: #1696

[Fix] Ratelimit: lowercase email addresses

[Test] Settings: few more tests

[Test] Fix tests

Release 1.6.3

* [CritFix] Fix semicolons parsing in the content type
* [Feature] Add EBL to the default config
* [Feature] Allow to configure monitored
* [Feature] Allow to skip specific hashes in fuzzy storage
* [Feature] Multimap: checking of symbol options
* [Feature] Redis settings: support checking multiple keys
* [Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer
* [Fix] Avoid changing content-transfer-encoding header's value
* [Fix] Don't use whitelist/greylist maps as regexp, but as map
* [Fix] Fix get_content method
* [Fix] Header checks: Fix get_raw_header method
* [Fix] Header checks: REPLYTO_UNPARSEABLE rule
* [Fix] Lua_http: freeing
* [Fix] Milter headers: custom headers: removing headers
* [Fix] Parse HREF urls without explicit prefix
* [Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule
* [WebUI] Escape strings inside HTML in history

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1769 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Feature] Add EBL to the default config

[Feature] Redis settings: support checking multiple keys

[Fix] Lua_http: freeing

[WebUI] Escape strings inside HTML in history

[Fix] Don't use whitelist/greylist maps as regexp, but as map

In whitelist & greylist module, the domain files (like spf_dkim_whitelist.inc, etc) were read as regexp map.
This caused the following false whitelists:
WHITELIST_SPF_DKIM(-3)[onmicrosoft.com]
this while only 'microsoft.com' was in the list!

Reading the maps as 'map'/'hash' instead of 'regexp' fixes the issue.

[Feature] Allow to skip specific hashes in fuzzy storage

[CritFix] Fix semicolons parsing in the content type

[Fix] Parse HREF urls without explicit prefix

Issue: #1752

[Fix] Fix get_content method

Issue: #1759

[Feature] Multimap: checking of symbol options

[Minor] Add some sanity checks when managing monitoring timeouts

[Feature] Allow to configure monitored

[Fix] Avoid changing content-transfer-encoding header's value

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1761 from mkuron/multimap_cidr-1.6

Backport "IP netmask support for Redis multimap" to 1.6

Minimum netmask in Redis multimap

Use HMGET to query all netmasks at once in multimap

IP netmask support for multimap

Merge pull request #1746 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] Milter headers: custom headers: removing headers

[Fix] Header checks: REPLYTO_UNPARSEABLE rule