[Fix] Check for magic when checking for an archive

Issue: #1848
Closes: #1848
MFH: 1.6

[Fix] Add workaround for IPv6 in sendmail

Issue: #1760

[Fix] Ratelimit: fix whitelisted_rcpts matching

Fix symbol name in history

Commit 75cfe801 broke the display of the symbols in the history. This patch fixes that.

Release 1.6.4

* [Feature] Add method to get all content-type attributes in Lua
* [Feature] Add some sanity checks for actions and controller
* [Feature] Allow randomly select User-Agent from a list
* [Feature] Deal with obscured URLs with @ symbols
* [Feature] Milter headers: support adding/removing arbitrary headers from config
* [Fix] Add another workaround to display history properly
* [Fix] Add missing rspamadm control options to help
* [Fix] Auth-Results: Multiple DKIM signatures
* [Fix] Crash in URL processing
* [Fix] Default monitoring domain for surbl plugin
* [Fix] Detection of maillist optimized and fixed
* [Fix] Do not cache SPF records with PTR elements
* [Fix] Fix blacklists and DMARC in whitelist
* [Fix] Fix exceptions list in surbl
* [Fix] Fix processing of closed tags
* [Fix] Fix PTR processing in SPF
* [Fix] Lowercase HTTP headers to make them searchable from Lua
* [Fix] options.local_networks setting
* [Fix] Ratelimit: lowercase email addresses
* [Fix] Rebalance and slightly rework MX check plugin
* [Fix] Redis script loading in DMARC; URL tags; URL reputation
* [Fix] Reject invalid bh for DKIM signatures earlier
* [Fix] Remove incorrect method `task:set_metric_subject`
* [Fix] Rewriting subjects via force actions module
* [Fix] RPM postinstall
* [Fix] Treat 'rewrite subject' as spam action
* [Fix] Try harder to find urls
* [Fix] Use full URL when making an HTTP request
* [Fix] Use raw urls when sending requests to redirector
* [Fix] Use weight from map for fuzzy scoring
* [Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Update version to 1.6.4

[Minor] Import updates from public suffix list

[Minor] Fix previous commit: avoid doing useless things

[Fix] Auth-Results: Multiple DKIM signatures

[Fix] Rebalance and slightly rework MX check plugin

[Fix] Fix PTR processing in SPF

Issue: #1828

Revert "[Minor] Avoid usage of the incorrect API"

This reverts commit 7b207cf0f21f89f78f41ca15ef8c0bddfb5bc264.

Revert "[Fix] Remove incorrect method `task:set_metric_subject`"

This reverts commit e809039a9e84cb6235a6447d1c9c8fc34ddcf8c6.

[Minor] More efforts to handle SPF PTR properly

[Fix] Do not cache SPF records with PTR elements

[Test] SPF PTR macro

[Fix] Rewriting subjects via force actions module

[Fix] Crash in URL processing

[Test] Some tests for whitelist module

[Fix] Fix blacklists and DMARC in whitelist

Issue: #1824

[Minor] Avoid usage of the incorrect API

[Fix] Remove incorrect method `task:set_metric_subject`

[Fix] Fix exceptions list in surbl

Merge pull request #1820 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Minor] Fix types when iterating hash

[Feature] Add method to get all content-type attributes in Lua

[Fix] Default monitoring domain for surbl plugin

[Fix] Treat 'rewrite subject' as spam action

Issue: #1803
Closes: #1803

Merge pull request #1817 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] options.local_networks setting

 - Issue: #1763
 - Reported by: @pclemot

[Feature] Allow randomly select User-Agent from a list

[Feature] Milter headers: support adding/removing arbitrary headers from config

[Fix] Use full URL when making an HTTP request

[Fix] Use raw urls when sending requests to redirector

[Minor] Store raw urls

[Feature] Deal with obscured URLs with @ symbols

fix copy/paste error in comment

[Minor] Suppress base64 symbols for mails sent with 1C v8

[Minor] Reduce MIME_BASE64_TEXT score

[Minor] Some more minor fixes to lua

Conflicts:
src/plugins/lua/fann_redis.lua

Improve CTYPE_MIXED_BOGUS and MIME_BASE64_TEXT rules

Update Message-ID rules with new observed patterns

[Minor] Remove reduntant debug

[Rules] Penalise R_BAD_CTE_7BIT for utf8 messages

[Fix] Detection of maillist optimized and fixed

Some maillists were not detected correctly. Because by default all mails were checked for 'List-Unsubscribe' and 'List-Post' headers.
But those headers do not exist on all maillists.
For example majordomo detection was broken because of this.

[Fix] Use weight from map for fuzzy scoring

[Fix] Add missing rspamadm control options to help

[Fix] Add another workaround to display history properly

[Fix] Reject invalid bh for DKIM signatures earlier

[Fix] Try harder to find urls

[Fix] Lowercase HTTP headers to make them searchable from Lua

[Minor] Randomize Lua PRNG at startup

[Fix] Fix processing of closed tags

[Minor] Update aliexpress.com Message-ID regexp

Various changes to CentOS RPM
Update License to be the same as repo (ASL 2.0)
Remove hardcoded user and group
Add %{rspamd_pluginsdir}/lib/*.lua

[Feature] Add some sanity checks for actions and controller

[Minor] Use controller for single-instance tasks

[Fix] Redis script loading in DMARC; URL tags; URL reputation

 - Issue: #1716

[Fix] RPM postinstall

 - Fixes: #1696

[Fix] Ratelimit: lowercase email addresses

[Test] Settings: few more tests

[Test] Fix tests

Release 1.6.3

* [CritFix] Fix semicolons parsing in the content type
* [Feature] Add EBL to the default config
* [Feature] Allow to configure monitored
* [Feature] Allow to skip specific hashes in fuzzy storage
* [Feature] Multimap: checking of symbol options
* [Feature] Redis settings: support checking multiple keys
* [Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer
* [Fix] Avoid changing content-transfer-encoding header's value
* [Fix] Don't use whitelist/greylist maps as regexp, but as map
* [Fix] Fix get_content method
* [Fix] Header checks: Fix get_raw_header method
* [Fix] Header checks: REPLYTO_UNPARSEABLE rule
* [Fix] Lua_http: freeing
* [Fix] Milter headers: custom headers: removing headers
* [Fix] Parse HREF urls without explicit prefix
* [Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule
* [WebUI] Escape strings inside HTML in history

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1769 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Feature] Add EBL to the default config

[Feature] Redis settings: support checking multiple keys

[Fix] Lua_http: freeing

[WebUI] Escape strings inside HTML in history

[Fix] Don't use whitelist/greylist maps as regexp, but as map

In whitelist & greylist module, the domain files (like spf_dkim_whitelist.inc, etc) were read as regexp map.
This caused the following false whitelists:
WHITELIST_SPF_DKIM(-3)[onmicrosoft.com]
this while only 'microsoft.com' was in the list!

Reading the maps as 'map'/'hash' instead of 'regexp' fixes the issue.

[Feature] Allow to skip specific hashes in fuzzy storage

[CritFix] Fix semicolons parsing in the content type

[Fix] Parse HREF urls without explicit prefix

Issue: #1752

[Fix] Fix get_content method

Issue: #1759

[Feature] Multimap: checking of symbol options

[Minor] Add some sanity checks when managing monitoring timeouts

[Feature] Allow to configure monitored

[Fix] Avoid changing content-transfer-encoding header's value

[Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer

Merge pull request #1761 from mkuron/multimap_cidr-1.6

Backport "IP netmask support for Redis multimap" to 1.6

Minimum netmask in Redis multimap

Use HMGET to query all netmasks at once in multimap

IP netmask support for multimap

Merge pull request #1746 from fatalbanana/rspamd-1.6

Rspamd 1.6: backports

[Fix] Milter headers: custom headers: removing headers

[Fix] Header checks: REPLYTO_UNPARSEABLE rule

[Fix] Header checks: Fix get_raw_header method

[Minor] WHITE_ON_WHITE: Use per-part transparency length

[Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule

Fix lua_util_is_utf_spoofed logic

When compiled against libicu < 51 the list of allowed characters was
set to none, so all strings were flagged as spoofed.

Fixes #1689.

[Minor] Ratelimit: Custom limits: Pass task to get_limit

More htmlEscapes.

Also escape message ID

Escape HTML in cells by using underscores escaper

Release 1.6.2

* [Conf] Remove Rambler email bl for now
* [Conf] Switch RAMBLER_URIBL to a locally managed source
* [CritFix] Switch from ragel to C for Content-Type parsing
* [Feature] Add `-e` option for lua_repl
* [Feature] Add per-domain emails normalisation rules
* [Feature] Add sessions cache to debug dangling sessions
* [Feature] Add short_text_direct_hash for fuzzy check module
* [Feature] Add text_part:get_stats function
* [Feature] Allow to add custom processing script for surbl
* [Feature] Allow to check reply-to email
* [Feature] Allow to customize spam header, remove existing spam headers
* [Feature] Allow to disable specific workers in the config
* [Feature] Allow to discard messages instead of rejection
* [Feature] Allow to specify custom delimiter in emails plugin
* [Feature] Allow to specify custom User-Agent for rspamc
* [Feature] Allow to store symbols data in Clickhouse
* [Feature] Allow to use HTTPS when connecting to Clickhouse
* [Feature] Enable sessions cache tracking for milter connections
* [Feature] Implement per-line mode in lua_repl (like `perl -p`)
* [Feature] Implement rdns-curve plugin based on rspamd cryptobox
* [Feature] Improve maps cached data lifetime
* [Feature] Improve maps checking frequency
* [Feature] Improve monitored timeouts logic
* [Feature] milter_headers: add `extended_headers_rcpt` option
* [Feature] Milter headers: Add X-Spam-Flag to rmilter-compatibility headers
* [Feature] Milter headers: remove-header routine
* [Feature] Multimap: received filters for extracting TLDs from hostnames
* [Feature] Normalize email aliases in emails module
* [Feature] Re-add rambler email bl (as hashed list)
* [Feature] Reload file maps more frequently
* [Feature] Rework newlines strip parser one more time
* [Feature] Skip updates for messages scanned via controller
* [Feature] Split long DKIM public keys
* [Feature] Store more data when stripping newlines
* [Feature] Support SPF macros transformations
* [Feature] Support suppressing DMARC reports for some domains
* [Fix] Add missing `break` statement
* [Fix] Allow modifiers in SPF macros
* [Fix] DKIM sign tools: edge-cases around use_esld
* [Fix] Do not cache SPF records with macros
* [Fix] Do not overwrite score when setting pre-action
* [Fix] Fix comparision logic
* [Fix] Fix DKIM base64 folding for milter flagged messages
* [Fix] Fix emails module configuration
* [Fix] Fix folding for arc headers when milter interface is used
* [Fix] Fix gmail dots removal
* [Fix] Fix rspamc detection in greylist module
* [Fix] Fix some more issues with HTTP maps
* [Fix] Milter sessions can live forever
* [Fix] Normalize fuzzy probability better
* [Fix] Plug memory leak
* [Fix] RBL: Fixed hashed email address lookups
* [Fix] Try to deal with brain-damaged milter behaviour
* [Fix] Use `\n` to fold headers for milter
* [Rework] Allow to use custom callback for monitored checks
* [Rework] Further steps towards one process monitoring
* [Rework] Send health checks from a single worker
* [WebUI] Round-up throughput summary values

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Fix some more issues with HTTP maps

[Minor] Fix config

[Minor] Download updated data even if cache is still available

[Feature] Re-add rambler email bl (as hashed list)

[Fix] Fix emails module configuration

[Feature] Allow to specify custom delimiter in emails plugin