[CritFix] Another portion of tokenization fixes

MFH: rspamd-1.6

[Fix] Do not ignore short words

MFH: rspamd-1.6

[Fix] Lowercase words

MFH: rspamd-1.6

[Minor] Allow to get words from text parts

[Minor] Fix lua_text processing in lua_util_tokenize_text

[Feature] Support Expires header when using HTTP maps

[Fix] Use greylisting threshold in greylisting module

[CritFix] Fix memory leak in spf caching logic

MFH: rspamd-1.6

[Fix] SpamAssassin: Fail check_freemail_header if regexp didn't match

 - MFH: rspamd-1.6

[Fix] Fix obscured url in format user@@example.com

MFH: rspamd-1.6

[Fix] Do not allow garbadge when checking url domain

[Fix] Erase unknown HTML entities

MFH: rspamd-1.6

[Fix] Authentication Results: Fix SPF smtp.mail_from

 - MFH: rspamd-1.6

[Fix] Fix DKIM forgeries via multiple headers

MFH: rspamd-1.6
URL: http://noxxi.de/research/breaking-dkim-on-purpose-and-by-chance.html

[Fix] Fix enormous scores for R_WHITE_ON_WHITE

MFH: 1.6

[Feature] Implement headers flags in mime parser

MFH: rspamd-1.6

[Fix] Deal with URLs with no slashes after protocol

[Fix] Milter headers: X-Spamd-Result header if X-Virus ran first

 - Fixes: #1851
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Milter headers: skip_local / skip_authenticated settings

 - Fixes: #1850
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Check for magic when checking for an archive

Issue: #1848
Closes: #1848
MFH: 1.6

[Fix] Add workaround for IPv6 in sendmail

Issue: #1760

[Fix] Ratelimit: fix whitelisted_rcpts matching

Fix symbol name in history

Commit 75cfe801 broke the display of the symbols in the history. This patch fixes that.

Release 1.6.4

* [Feature] Add method to get all content-type attributes in Lua
* [Feature] Add some sanity checks for actions and controller
* [Feature] Allow randomly select User-Agent from a list
* [Feature] Deal with obscured URLs with @ symbols
* [Feature] Milter headers: support adding/removing arbitrary headers from config
* [Fix] Add another workaround to display history properly
* [Fix] Add missing rspamadm control options to help
* [Fix] Auth-Results: Multiple DKIM signatures
* [Fix] Crash in URL processing
* [Fix] Default monitoring domain for surbl plugin
* [Fix] Detection of maillist optimized and fixed
* [Fix] Do not cache SPF records with PTR elements
* [Fix] Fix blacklists and DMARC in whitelist
* [Fix] Fix exceptions list in surbl
* [Fix] Fix processing of closed tags
* [Fix] Fix PTR processing in SPF
* [Fix] Lowercase HTTP headers to make them searchable from Lua
* [Fix] options.local_networks setting
* [Fix] Ratelimit: lowercase email addresses
* [Fix] Rebalance and slightly rework MX check plugin
* [Fix] Redis script loading in DMARC; URL tags; URL reputation
* [Fix] Reject invalid bh for DKIM signatures earlier
* [Fix] Remove incorrect method `task:set_metric_subject`
* [Fix] Rewriting subjects via force actions module
* [Fix] RPM postinstall
* [Fix] Treat 'rewrite subject' as spam action
* [Fix] Try harder to find urls
* [Fix] Use full URL when making an HTTP request
* [Fix] Use raw urls when sending requests to redirector
* [Fix] Use weight from map for fuzzy scoring
* [Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Update version to 1.6.4

[Minor] Import updates from public suffix list

[Minor] Fix previous commit: avoid doing useless things

[Fix] Auth-Results: Multiple DKIM signatures

[Fix] Rebalance and slightly rework MX check plugin

[Fix] Fix PTR processing in SPF

Issue: #1828

Revert "[Minor] Avoid usage of the incorrect API"

This reverts commit 7b207cf0f21f89f78f41ca15ef8c0bddfb5bc264.

Revert "[Fix] Remove incorrect method `task:set_metric_subject`"

This reverts commit e809039a9e84cb6235a6447d1c9c8fc34ddcf8c6.

[Minor] More efforts to handle SPF PTR properly

[Fix] Do not cache SPF records with PTR elements

[Test] SPF PTR macro

[Fix] Rewriting subjects via force actions module

[Fix] Crash in URL processing

[Test] Some tests for whitelist module

[Fix] Fix blacklists and DMARC in whitelist

Issue: #1824

[Minor] Avoid usage of the incorrect API

[Fix] Remove incorrect method `task:set_metric_subject`

[Fix] Fix exceptions list in surbl

Merge pull request #1820 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Minor] Fix types when iterating hash

[Feature] Add method to get all content-type attributes in Lua

[Fix] Default monitoring domain for surbl plugin

[Fix] Treat 'rewrite subject' as spam action

Issue: #1803
Closes: #1803

Merge pull request #1817 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] options.local_networks setting

 - Issue: #1763
 - Reported by: @pclemot

[Feature] Allow randomly select User-Agent from a list

[Feature] Milter headers: support adding/removing arbitrary headers from config

[Fix] Use full URL when making an HTTP request

[Fix] Use raw urls when sending requests to redirector

[Minor] Store raw urls

[Feature] Deal with obscured URLs with @ symbols

fix copy/paste error in comment

[Minor] Suppress base64 symbols for mails sent with 1C v8

[Minor] Reduce MIME_BASE64_TEXT score

[Minor] Some more minor fixes to lua

Conflicts:
src/plugins/lua/fann_redis.lua

Improve CTYPE_MIXED_BOGUS and MIME_BASE64_TEXT rules

Update Message-ID rules with new observed patterns

[Minor] Remove reduntant debug

[Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

[Fix] Detection of maillist optimized and fixed

Some maillists were not detected correctly. Because by default all mails were checked for 'List-Unsubscribe' and 'List-Post' headers.
But those headers do not exist on all maillists.
For example majordomo detection was broken because of this.

[Fix] Use weight from map for fuzzy scoring

[Fix] Add missing rspamadm control options to help

[Fix] Add another workaround to display history properly

[Fix] Reject invalid bh for DKIM signatures earlier

[Fix] Try harder to find urls

[Fix] Lowercase HTTP headers to make them searchable from Lua

[Minor] Randomize Lua PRNG at startup

[Fix] Fix processing of closed tags

[Minor] Update aliexpress.com Message-ID regexp

Various changes to CentOS RPM
Update License to be the same as repo (ASL 2.0)
Remove hardcoded user and group
Add %{rspamd_pluginsdir}/lib/*.lua

[Feature] Add some sanity checks for actions and controller

[Minor] Use controller for single-instance tasks

[Fix] Redis script loading in DMARC; URL tags; URL reputation

 - Issue: #1716

[Fix] RPM postinstall

 - Fixes: #1696

[Fix] Ratelimit: lowercase email addresses

[Test] Settings: few more tests

[Test] Fix tests

Release 1.6.3

* [CritFix] Fix semicolons parsing in the content type
* [Feature] Add EBL to the default config
* [Feature] Allow to configure monitored
* [Feature] Allow to skip specific hashes in fuzzy storage
* [Feature] Multimap: checking of symbol options
* [Feature] Redis settings: support checking multiple keys
* [Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer
* [Fix] Avoid changing content-transfer-encoding header's value
* [Fix] Don't use whitelist/greylist maps as regexp, but as map
* [Fix] Fix get_content method
* [Fix] Header checks: Fix get_raw_header method
* [Fix] Header checks: REPLYTO_UNPARSEABLE rule
* [Fix] Lua_http: freeing
* [Fix] Milter headers: custom headers: removing headers
* [Fix] Parse HREF urls without explicit prefix
* [Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule
* [WebUI] Escape strings inside HTML in history

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1769 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Feature] Add EBL to the default config

[Feature] Redis settings: support checking multiple keys

[Fix] Lua_http: freeing

[WebUI] Escape strings inside HTML in history

[Fix] Don't use whitelist/greylist maps as regexp, but as map

In whitelist & greylist module, the domain files (like spf_dkim_whitelist.inc, etc) were read as regexp map.
This caused the following false whitelists:
WHITELIST_SPF_DKIM(-3)[onmicrosoft.com]
this while only 'microsoft.com' was in the list!

Reading the maps as 'map'/'hash' instead of 'regexp' fixes the issue.

[Feature] Allow to skip specific hashes in fuzzy storage

[CritFix] Fix semicolons parsing in the content type

[Fix] Parse HREF urls without explicit prefix

Issue: #1752

[Fix] Fix get_content method

Issue: #1759

[Feature] Multimap: checking of symbol options

[Minor] Add some sanity checks when managing monitoring timeouts

[Feature] Allow to configure monitored

[Fix] Avoid changing content-transfer-encoding header's value

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1761 from mkuron/multimap_cidr-1.6

Backport "IP netmask support for Redis multimap" to 1.6

Minimum netmask in Redis multimap

Use HMGET to query all netmasks at once in multimap