Update Message-ID rules with new observed patterns

[Fix] Lua_http: freeing

Merge pull request #1767 from moisseev/webui

[WebUI] Fix history table

[Minor] Use rspamd_socketpair in spawn_subprocess

[Fix] Fix setting of signals when spawning a thread

[Minor] Use rspamd_socketpair everywhere

[Fix] Set CLOEXEC flag on files opened

[Minor] Allow to get worker object from a task

[Minor] Further fixes for subprocess spawning logic

[Minor] Prevent data corruption when dealing with signals

[Minor] Store parent pid inside workers

[Rework] Run post-loads when all initialization is completed

[Minor] Treat skipped error properly

[Feature] Allow to skip specific hashes in fuzzy storage

[WebUI] Escape strings inside HTML in history

Revert "Merge pull request #1747 from andryyy/patch-11"

This reverts commit 3be2002b3605f3792221122283cacb3f7c5c0cb9, reversing
changes made to df28dfea4a624b9b6d73808817be4967e3f3bfbc.

[Feature] Allow to spawn asynchronous processes from Lua

[Feature] Allow to reuse signal handlers chains

[Minor] Fix randomness part in torch

[Minor] Further fixes for torch RPATH

[Feature] Allow to set headers from settings

[Minor] Do not use avx/avx2 in torch as their detection is broken

[Minor] Avoid obsolete function usage

[Minor] Fix install path for torch libpaths

[Minor] Remove unused file

[Minor] Set lua cpath to RSPAMD_LIBDIR, not LUALIBDIR

[Minor] Fix installation directory for shared libs

[Feature] Multimap: checking of symbol options

[Fix] Relax pem signature detection

Merge pull request #1762 from outtersg/master

[Fix] Lua: lpeg to be loaded with rspamd_lua_add_preload

[Feature] Allow to configure monitored

[Fix] Lua: lpeg to be loaded with rspamd_lua_add_preload, to avoid "rspamd_config_read: rcl parse error: cannot init lua file […] module 'lpeg' not found"

[Minor] Add some sanity checks when managing monitoring timeouts

[Minor] Revert back logic error introduced

Issue: #1757

[Feature] Redis settings: support checking multiple keys

[Feature] Add EBL to the default config

[Minor] Remove reduntant debug

[Fix] Fix crashes in the rspamd_control path

Issue: #1757

[Minor] Add lua source code information to monitored

[Fix] Add workaround for IPv6 in sendmail

Issue: #1760

[Fix] Fix get_content method

Issue: #1759

Merge pull request #1756 from dupondje/fix_whitelists

[Fix] Don't use whitelist/greylist maps as regexp, but as map

[Fix] Don't use whitelist/greylist maps as regexp, but as map

In whitelist & greylist module, the domain files (like spf_dkim_whitelist.inc, etc) were read as regexp map.
This caused the following false whitelists:
WHITELIST_SPF_DKIM(-3)[onmicrosoft.com]
this while only 'microsoft.com' was in the list!

Reading the maps as 'map'/'hash' instead of 'regexp' fixes the issue.

[Feature] Implement forked workers children monitoring

[Feature] Import torch to Rspamd...

[Fix] Fix setting of path and cpath for Lua

Merge pull request #1751 from dupondje/fix_maillist_detection

Fix maillist detection

Merge pull request #1753 from mkuron/multimap_cidr

IP netmask support for Redis multimap

Minimum netmask in Redis multimap

Use HMGET to query all netmasks at once in multimap

[Feature] Add expected ip check for emails plugin

Merge pull request #1748 from fatalbanana/lua53

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1749 from dupondje/fix_indent

Fix indent in metrics.conf

[Fix] Parse HREF urls without explicit prefix

Issue: #1752

IP netmask support for multimap

[Fix] Detection of maillist optimized and fixed

Some maillists were not detected correctly. Because by default all mails were checked for 'List-Unsubscribe' and 'List-Post' headers.
But those headers do not exist on all maillists.
For example majordomo detection was broken because of this.

[Feature] Allow to set custom mempool variables from settings

[Fetaure] Add auto detection for the key passed to the signing cb

[Feature] Allow to receive signing keys from mempool vars

[Fix] Avoid changing content-transfer-encoding header's value

[CritFix] Fix semicolons parsing in the content type

[Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

[Minor] Fix types when iterating hash

[Feature] Add method to get all content-type attributes in Lua

[Minor] Fix clickhouse operations

[Feature] Automatically create tables in clickhouse

Fix indent in metrics.conf

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1747 from andryyy/patch-11

Escape all the things \o/

Escape all the things \o/

[Minor] Fix init order for dkim module

[Minor] Do not load ARC plugin if dkim module is disabled

[Feature] Metadata Exporter: e-Mail Alerts: support multiple recipients; alerting senders/recipients/users (#1600)

[Fix] Milter headers: custom headers: removing headers

[Feature] Allow to attach stat signature to messages

[Minor] Move stats signatures generation to tokenization stage

[Fix] Header checks: REPLYTO_UNPARSEABLE rule

[Fix] Header checks: Fix get_raw_header method

[Feature] Antivirus: ordered pattern matches

Merge pull request #1744 from fatalbanana/wow

[Minor] WHITE_ON_WHITE: Use per-part transparency length

[Minor] WHITE_ON_WHITE: Use per-part transparency length

Merge pull request #1743 from fatalbanana/wow

[Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the …

[Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule

Merge pull request #1742 from flowerysong/homographs

Fix lua_util_is_utf_spoofed logic

Fix lua_util_is_utf_spoofed logic

When compiled against libicu < 51 the list of allowed characters was
set to none, so all strings were flagged as spoofed.

Fixes #1689.

Merge pull request #1739 from andryyy/patch-10

Escape HTML in cells by using underscores escaper, fixes #1738

More htmlEscapes.

[Minor] Ratelimit: Custom limits: Pass task to get_limit

[Feature] Milter headers: support adding/removing arbitrary headers from config

Also escape message ID

Escape HTML in cells by using underscores escaper

[Minor] Free memory

[Feature] Implement bayes signatures storage

[Minor] Update version to 1.7.0

Release 1.6.2

* [Conf] Remove Rambler email bl for now
* [Conf] Switch RAMBLER_URIBL to a locally managed source
* [CritFix] Switch from ragel to C for Content-Type parsing
* [Feature] Add `-e` option for lua_repl
* [Feature] Add per-domain emails normalisation rules
* [Feature] Add sessions cache to debug dangling sessions
* [Feature] Add short_text_direct_hash for fuzzy check module
* [Feature] Add text_part:get_stats function
* [Feature] Allow to add custom processing script for surbl
* [Feature] Allow to check reply-to email
* [Feature] Allow to customize spam header, remove existing spam headers
* [Feature] Allow to disable specific workers in the config
* [Feature] Allow to discard messages instead of rejection
* [Feature] Allow to specify custom delimiter in emails plugin
* [Feature] Allow to specify custom User-Agent for rspamc
* [Feature] Allow to store symbols data in Clickhouse
* [Feature] Allow to use HTTPS when connecting to Clickhouse
* [Feature] Enable sessions cache tracking for milter connections
* [Feature] Implement per-line mode in lua_repl (like `perl -p`)
* [Feature] Implement rdns-curve plugin based on rspamd cryptobox
* [Feature] Improve maps cached data lifetime
* [Feature] Improve maps checking frequency
* [Feature] Improve monitored timeouts logic
* [Feature] milter_headers: add `extended_headers_rcpt` option
* [Feature] Milter headers: Add X-Spam-Flag to rmilter-compatibility headers
* [Feature] Milter headers: remove-header routine
* [Feature] Multimap: received filters for extracting TLDs from hostnames
* [Feature] Normalize email aliases in emails module
* [Feature] Re-add rambler email bl (as hashed list)
* [Feature] Reload file maps more frequently
* [Feature] Rework newlines strip parser one more time
* [Feature] Skip updates for messages scanned via controller
* [Feature] Split long DKIM public keys
* [Feature] Store more data when stripping newlines
* [Feature] Support SPF macros transformations
* [Feature] Support suppressing DMARC reports for some domains
* [Fix] Add missing `break` statement
* [Fix] Allow modifiers in SPF macros
* [Fix] DKIM sign tools: edge-cases around use_esld
* [Fix] Do not cache SPF records with macros
* [Fix] Do not overwrite score when setting pre-action
* [Fix] Fix comparision logic
* [Fix] Fix DKIM base64 folding for milter flagged messages
* [Fix] Fix emails module configuration
* [Fix] Fix folding for arc headers when milter interface is used
* [Fix] Fix gmail dots removal
* [Fix] Fix rspamc detection in greylist module
* [Fix] Fix some more issues with HTTP maps
* [Fix] Milter sessions can live forever
* [Fix] Normalize fuzzy probability better
* [Fix] Plug memory leak
* [Fix] RBL: Fixed hashed email address lookups
* [Fix] Try to deal with brain-damaged milter behaviour
* [Fix] Use `\n` to fold headers for milter
* [Rework] Allow to use custom callback for monitored checks
* [Rework] Further steps towards one process monitoring
* [Rework] Send health checks from a single worker
* [WebUI] Round-up throughput summary values

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Fix some more issues with HTTP maps

[Minor] Fix config

[Minor] Download updated data even if cache is still available

[Feature] Re-add rambler email bl (as hashed list)

[Fix] Fix emails module configuration