[Fix] Crash in URL processing

[Test] Some tests for whitelist module

[Fix] Fix blacklists and DMARC in whitelist

Issue: #1824

[Minor] Avoid usage of the incorrect API

[Fix] Remove incorrect method `task:set_metric_subject`

[Fix] Fix exceptions list in surbl

Merge pull request #1820 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Minor] Fix types when iterating hash

[Feature] Add method to get all content-type attributes in Lua

[Fix] Default monitoring domain for surbl plugin

[Fix] Treat 'rewrite subject' as spam action

Issue: #1803
Closes: #1803

Merge pull request #1817 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] options.local_networks setting

 - Issue: #1763
 - Reported by: @pclemot

[Feature] Allow randomly select User-Agent from a list

[Feature] Milter headers: support adding/removing arbitrary headers from config

[Fix] Use full URL when making an HTTP request

[Fix] Use raw urls when sending requests to redirector

[Minor] Store raw urls

[Feature] Deal with obscured URLs with @ symbols

fix copy/paste error in comment

[Minor] Suppress base64 symbols for mails sent with 1C v8

[Minor] Reduce MIME_BASE64_TEXT score

[Minor] Some more minor fixes to lua

Conflicts:
src/plugins/lua/fann_redis.lua

Improve CTYPE_MIXED_BOGUS and MIME_BASE64_TEXT rules

Update Message-ID rules with new observed patterns

[Minor] Remove reduntant debug

[Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

[Fix] Detection of maillist optimized and fixed

Some maillists were not detected correctly. Because by default all mails were checked for 'List-Unsubscribe' and 'List-Post' headers.
But those headers do not exist on all maillists.
For example majordomo detection was broken because of this.

[Fix] Use weight from map for fuzzy scoring

[Fix] Add missing rspamadm control options to help

[Fix] Add another workaround to display history properly

[Fix] Reject invalid bh for DKIM signatures earlier

[Fix] Try harder to find urls

[Fix] Lowercase HTTP headers to make them searchable from Lua

[Minor] Randomize Lua PRNG at startup

[Fix] Fix processing of closed tags

[Minor] Update aliexpress.com Message-ID regexp

Various changes to CentOS RPM
Update License to be the same as repo (ASL 2.0)
Remove hardcoded user and group
Add %{rspamd_pluginsdir}/lib/*.lua

[Feature] Add some sanity checks for actions and controller

[Minor] Use controller for single-instance tasks

[Fix] Redis script loading in DMARC; URL tags; URL reputation

 - Issue: #1716

[Fix] RPM postinstall

 - Fixes: #1696

[Fix] Ratelimit: lowercase email addresses

[Test] Settings: few more tests

[Test] Fix tests

Release 1.6.3

* [CritFix] Fix semicolons parsing in the content type
* [Feature] Add EBL to the default config
* [Feature] Allow to configure monitored
* [Feature] Allow to skip specific hashes in fuzzy storage
* [Feature] Multimap: checking of symbol options
* [Feature] Redis settings: support checking multiple keys
* [Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer
* [Fix] Avoid changing content-transfer-encoding header's value
* [Fix] Don't use whitelist/greylist maps as regexp, but as map
* [Fix] Fix get_content method
* [Fix] Header checks: Fix get_raw_header method
* [Fix] Header checks: REPLYTO_UNPARSEABLE rule
* [Fix] Lua_http: freeing
* [Fix] Milter headers: custom headers: removing headers
* [Fix] Parse HREF urls without explicit prefix
* [Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule
* [WebUI] Escape strings inside HTML in history

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1769 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Feature] Add EBL to the default config

[Feature] Redis settings: support checking multiple keys

[Fix] Lua_http: freeing

[WebUI] Escape strings inside HTML in history

[Fix] Don't use whitelist/greylist maps as regexp, but as map

In whitelist & greylist module, the domain files (like spf_dkim_whitelist.inc, etc) were read as regexp map.
This caused the following false whitelists:
WHITELIST_SPF_DKIM(-3)[onmicrosoft.com]
this while only 'microsoft.com' was in the list!

Reading the maps as 'map'/'hash' instead of 'regexp' fixes the issue.

[Feature] Allow to skip specific hashes in fuzzy storage

[CritFix] Fix semicolons parsing in the content type

[Fix] Parse HREF urls without explicit prefix

Issue: #1752

[Fix] Fix get_content method

Issue: #1759

[Feature] Multimap: checking of symbol options

[Minor] Add some sanity checks when managing monitoring timeouts

[Feature] Allow to configure monitored

[Fix] Avoid changing content-transfer-encoding header's value

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1761 from mkuron/multimap_cidr-1.6

Backport "IP netmask support for Redis multimap" to 1.6

Minimum netmask in Redis multimap

Use HMGET to query all netmasks at once in multimap

IP netmask support for multimap

Merge pull request #1746 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] Milter headers: custom headers: removing headers

[Fix] Header checks: REPLYTO_UNPARSEABLE rule

[Fix] Header checks: Fix get_raw_header method

[Minor] WHITE_ON_WHITE: Use per-part transparency length

[Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule

Fix lua_util_is_utf_spoofed logic

When compiled against libicu < 51 the list of allowed characters was
set to none, so all strings were flagged as spoofed.

Fixes #1689.

[Minor] Ratelimit: Custom limits: Pass task to get_limit

More htmlEscapes.

Also escape message ID

Escape HTML in cells by using underscores escaper

Release 1.6.2

* [Conf] Remove Rambler email bl for now
* [Conf] Switch RAMBLER_URIBL to a locally managed source
* [CritFix] Switch from ragel to C for Content-Type parsing
* [Feature] Add `-e` option for lua_repl
* [Feature] Add per-domain emails normalisation rules
* [Feature] Add sessions cache to debug dangling sessions
* [Feature] Add short_text_direct_hash for fuzzy check module
* [Feature] Add text_part:get_stats function
* [Feature] Allow to add custom processing script for surbl
* [Feature] Allow to check reply-to email
* [Feature] Allow to customize spam header, remove existing spam headers
* [Feature] Allow to disable specific workers in the config
* [Feature] Allow to discard messages instead of rejection
* [Feature] Allow to specify custom delimiter in emails plugin
* [Feature] Allow to specify custom User-Agent for rspamc
* [Feature] Allow to store symbols data in Clickhouse
* [Feature] Allow to use HTTPS when connecting to Clickhouse
* [Feature] Enable sessions cache tracking for milter connections
* [Feature] Implement per-line mode in lua_repl (like `perl -p`)
* [Feature] Implement rdns-curve plugin based on rspamd cryptobox
* [Feature] Improve maps cached data lifetime
* [Feature] Improve maps checking frequency
* [Feature] Improve monitored timeouts logic
* [Feature] milter_headers: add `extended_headers_rcpt` option
* [Feature] Milter headers: Add X-Spam-Flag to rmilter-compatibility headers
* [Feature] Milter headers: remove-header routine
* [Feature] Multimap: received filters for extracting TLDs from hostnames
* [Feature] Normalize email aliases in emails module
* [Feature] Re-add rambler email bl (as hashed list)
* [Feature] Reload file maps more frequently
* [Feature] Rework newlines strip parser one more time
* [Feature] Skip updates for messages scanned via controller
* [Feature] Split long DKIM public keys
* [Feature] Store more data when stripping newlines
* [Feature] Support SPF macros transformations
* [Feature] Support suppressing DMARC reports for some domains
* [Fix] Add missing `break` statement
* [Fix] Allow modifiers in SPF macros
* [Fix] DKIM sign tools: edge-cases around use_esld
* [Fix] Do not cache SPF records with macros
* [Fix] Do not overwrite score when setting pre-action
* [Fix] Fix comparision logic
* [Fix] Fix DKIM base64 folding for milter flagged messages
* [Fix] Fix emails module configuration
* [Fix] Fix folding for arc headers when milter interface is used
* [Fix] Fix gmail dots removal
* [Fix] Fix rspamc detection in greylist module
* [Fix] Fix some more issues with HTTP maps
* [Fix] Milter sessions can live forever
* [Fix] Normalize fuzzy probability better
* [Fix] Plug memory leak
* [Fix] RBL: Fixed hashed email address lookups
* [Fix] Try to deal with brain-damaged milter behaviour
* [Fix] Use `\n` to fold headers for milter
* [Rework] Allow to use custom callback for monitored checks
* [Rework] Further steps towards one process monitoring
* [Rework] Send health checks from a single worker
* [WebUI] Round-up throughput summary values

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Fix some more issues with HTTP maps

[Minor] Fix config

[Minor] Download updated data even if cache is still available

[Feature] Re-add rambler email bl (as hashed list)

[Fix] Fix emails module configuration

[Feature] Allow to specify custom delimiter in emails plugin

[Minor] Leave the real url request instead of Lua processed

[Conf] Switch RAMBLER_URIBL to a locally managed source

[Feature] Improve maps checking frequency

Merge pull request #1735 from moisseev/patch-1

[Minor] Update redirectors list

Merge pull request #1734 from fatalbanana/maps

[Feature] Reload file maps more frequently

[Minor] Update redirectors list

[Feature] Reload file maps more frequently

[Minor] RBL: don't register duplicate monitoring

[Minor] Import changes from public suffix list

[Feature] Allow to add custom processing script for surbl

[Feature] Improve maps cached data lifetime

[Minor] Further fixes to the monitored logic

[Feature] Improve monitored timeouts logic

We now reduce timeout on the first error when a monitored object is used
and reduce it when we have subsequent errors when a monitored object is
dead. In conjunction with the previous changes, it should make
monitoring really clever and responsive.

[Rework] Send health checks from a single worker

[Rework] Further steps towards one process monitoring

[Rework] Allow to use custom callback for monitored checks

[Feature] Add `-e` option for lua_repl