[Feature] Import torch to Rspamd...

[Fix] Fix setting of path and cpath for Lua

Merge pull request #1751 from dupondje/fix_maillist_detection

Fix maillist detection

Merge pull request #1753 from mkuron/multimap_cidr

IP netmask support for Redis multimap

Minimum netmask in Redis multimap

Use HMGET to query all netmasks at once in multimap

[Feature] Add expected ip check for emails plugin

Merge pull request #1748 from fatalbanana/lua53

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1749 from dupondje/fix_indent

Fix indent in metrics.conf

[Fix] Parse HREF urls without explicit prefix

Issue: #1752

IP netmask support for multimap

[Fix] Detection of maillist optimized and fixed

Some maillists were not detected correctly. Because by default all mails were checked for 'List-Unsubscribe' and 'List-Post' headers.
But those headers do not exist on all maillists.
For example majordomo detection was broken because of this.

[Feature] Allow to set custom mempool variables from settings

[Fetaure] Add auto detection for the key passed to the signing cb

[Feature] Allow to receive signing keys from mempool vars

[Fix] Avoid changing content-transfer-encoding header's value

[CritFix] Fix semicolons parsing in the content type

[Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

[Minor] Fix types when iterating hash

[Feature] Add method to get all content-type attributes in Lua

[Minor] Fix clickhouse operations

[Feature] Automatically create tables in clickhouse

Fix indent in metrics.conf

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1747 from andryyy/patch-11

Escape all the things \o/

Escape all the things \o/

[Minor] Fix init order for dkim module

[Minor] Do not load ARC plugin if dkim module is disabled

[Feature] Metadata Exporter: e-Mail Alerts: support multiple recipients; alerting senders/recipients/users (#1600)

[Fix] Milter headers: custom headers: removing headers

[Feature] Allow to attach stat signature to messages

[Minor] Move stats signatures generation to tokenization stage

[Fix] Header checks: REPLYTO_UNPARSEABLE rule

[Fix] Header checks: Fix get_raw_header method

[Feature] Antivirus: ordered pattern matches

Merge pull request #1744 from fatalbanana/wow

[Minor] WHITE_ON_WHITE: Use per-part transparency length

[Minor] WHITE_ON_WHITE: Use per-part transparency length

Merge pull request #1743 from fatalbanana/wow

[Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the …

[Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule

Merge pull request #1742 from flowerysong/homographs

Fix lua_util_is_utf_spoofed logic

Fix lua_util_is_utf_spoofed logic

When compiled against libicu < 51 the list of allowed characters was
set to none, so all strings were flagged as spoofed.

Fixes #1689.

Merge pull request #1739 from andryyy/patch-10

Escape HTML in cells by using underscores escaper, fixes #1738

More htmlEscapes.

[Minor] Ratelimit: Custom limits: Pass task to get_limit

[Feature] Milter headers: support adding/removing arbitrary headers from config

Also escape message ID

Escape HTML in cells by using underscores escaper

[Minor] Free memory

[Feature] Implement bayes signatures storage

[Minor] Update version to 1.7.0

Release 1.6.2

* [Conf] Remove Rambler email bl for now
* [Conf] Switch RAMBLER_URIBL to a locally managed source
* [CritFix] Switch from ragel to C for Content-Type parsing
* [Feature] Add `-e` option for lua_repl
* [Feature] Add per-domain emails normalisation rules
* [Feature] Add sessions cache to debug dangling sessions
* [Feature] Add short_text_direct_hash for fuzzy check module
* [Feature] Add text_part:get_stats function
* [Feature] Allow to add custom processing script for surbl
* [Feature] Allow to check reply-to email
* [Feature] Allow to customize spam header, remove existing spam headers
* [Feature] Allow to disable specific workers in the config
* [Feature] Allow to discard messages instead of rejection
* [Feature] Allow to specify custom delimiter in emails plugin
* [Feature] Allow to specify custom User-Agent for rspamc
* [Feature] Allow to store symbols data in Clickhouse
* [Feature] Allow to use HTTPS when connecting to Clickhouse
* [Feature] Enable sessions cache tracking for milter connections
* [Feature] Implement per-line mode in lua_repl (like `perl -p`)
* [Feature] Implement rdns-curve plugin based on rspamd cryptobox
* [Feature] Improve maps cached data lifetime
* [Feature] Improve maps checking frequency
* [Feature] Improve monitored timeouts logic
* [Feature] milter_headers: add `extended_headers_rcpt` option
* [Feature] Milter headers: Add X-Spam-Flag to rmilter-compatibility headers
* [Feature] Milter headers: remove-header routine
* [Feature] Multimap: received filters for extracting TLDs from hostnames
* [Feature] Normalize email aliases in emails module
* [Feature] Re-add rambler email bl (as hashed list)
* [Feature] Reload file maps more frequently
* [Feature] Rework newlines strip parser one more time
* [Feature] Skip updates for messages scanned via controller
* [Feature] Split long DKIM public keys
* [Feature] Store more data when stripping newlines
* [Feature] Support SPF macros transformations
* [Feature] Support suppressing DMARC reports for some domains
* [Fix] Add missing `break` statement
* [Fix] Allow modifiers in SPF macros
* [Fix] DKIM sign tools: edge-cases around use_esld
* [Fix] Do not cache SPF records with macros
* [Fix] Do not overwrite score when setting pre-action
* [Fix] Fix comparision logic
* [Fix] Fix DKIM base64 folding for milter flagged messages
* [Fix] Fix emails module configuration
* [Fix] Fix folding for arc headers when milter interface is used
* [Fix] Fix gmail dots removal
* [Fix] Fix rspamc detection in greylist module
* [Fix] Fix some more issues with HTTP maps
* [Fix] Milter sessions can live forever
* [Fix] Normalize fuzzy probability better
* [Fix] Plug memory leak
* [Fix] RBL: Fixed hashed email address lookups
* [Fix] Try to deal with brain-damaged milter behaviour
* [Fix] Use `\n` to fold headers for milter
* [Rework] Allow to use custom callback for monitored checks
* [Rework] Further steps towards one process monitoring
* [Rework] Send health checks from a single worker
* [WebUI] Round-up throughput summary values

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Fix some more issues with HTTP maps

[Minor] Fix config

[Minor] Download updated data even if cache is still available

[Feature] Re-add rambler email bl (as hashed list)

[Fix] Fix emails module configuration

[Feature] Allow to specify custom delimiter in emails plugin

[Minor] Leave the real url request instead of Lua processed

[Conf] Switch RAMBLER_URIBL to a locally managed source

[Feature] Improve maps checking frequency

Merge pull request #1735 from moisseev/patch-1

[Minor] Update redirectors list

Merge pull request #1734 from fatalbanana/maps

[Feature] Reload file maps more frequently

[Minor] Update redirectors list

[Feature] Reload file maps more frequently

[Minor] RBL: don't register duplicate monitoring

[Minor] Import changes from public suffix list

[Feature] Allow to add custom processing script for surbl

[Feature] Improve maps cached data lifetime

[Minor] Further fixes to the monitored logic

[Feature] Improve monitored timeouts logic

We now reduce timeout on the first error when a monitored object is used
and reduce it when we have subsequent errors when a monitored object is
dead. In conjunction with the previous changes, it should make
monitoring really clever and responsive.

[Rework] Send health checks from a single worker

[Rework] Further steps towards one process monitoring

[Rework] Allow to use custom callback for monitored checks

[Feature] Add `-e` option for lua_repl

[Feature] Implement per-line mode in lua_repl (like `perl -p`)

[Minor] Reduce hfilter log noise

[Feature] Allow to discard messages instead of rejection

Issue: #1723

[Minor] Add /ping path to the controller

[Fix] Milter sessions can live forever

[Fix] Plug memory leak

Issue: #1697

[Minor] Tweaks for sessions cache

[Feature] Enable sessions cache tracking for milter connections

[Feature] Add sessions cache to debug dangling sessions

[Minor] Add configuration knobs for sessions cache

[Minor] Do not overwrite score occasionally

[Fix] Fix gmail dots removal

[Fix] Do not cache SPF records with macros

[Feature] Support SPF macros transformations

[Fix] Allow modifiers in SPF macros

[Fix] Add missing `break` statement

[Feature] Allow to specify custom User-Agent for rspamc

[Fix] Normalize fuzzy probability better

[Feature] Skip updates for messages scanned via controller

Rationale: controller worker is not designed to perform scan jobs,
hence, we check for `Password` header or check `User-Agent` for `rspamc`
and skip some of rules parts:

- DMARC reports
- Greylisting
- Ratelimits
- Ip score update
- Clickhouse export

[Minor] Reduce logger level

[Minor] Fix aliases removal function

[Fix] Do not overwrite score when setting pre-action

[Minor] Tests: don't try bind ports

[Minor] Clickhouse: add missing comma

[Feature] Implement rdns-curve plugin based on rspamd cryptobox

[Minor] Do not redefine uthash allocation routines