Release 3.2

* [Conf] Score MIME_OBFUSCATED_ARCHIVE to 8 points
* [Conf] Set one_shot for URIBL rules by default
* [CritFix] Fix upstreams name resolution when there is also a port
* [Feature] Add ROC feature to neural network plugin
* [Feature] Add public suffic compilation utility
* [Feature] Add support of Cloudmark
* [Feature] Allow hyperscan for ppc64, as vectorscan now suports it.
* [Feature] Allow to skip DNS resolution for keep-alive connections
* [Feature] Aws_s3: Allow to store large parts separately
* [Feature] BIMI: Add preliminary version of the BIMI plugin
* [Feature] JSON endpoint for querying maps
* [Feature] Lua_magic: Add a sane CSV heuristic
* [Feature] Lua_mime: Add schema for message transfer
* [Feature] Output average scan time in /stat endpoint
* [Feature] Show average scan time in `rspamc stat` output
* [Fix] Add guards to avoid race condition on TCP connection
* [Fix] Allow spaces in DKIM key records
* [Fix] Apply the similar fix to the url_reputation
* [Fix] Avoid overwriting whitelisted_signers_map
* [Fix] Backport PR from libucl
* [Fix] Clear SSL errors
* [Fix] ClickHouse cleanup of old partitions
* [Fix] Do not double call error handler on ssl errors in the timeout path
* [Fix] Do not forget to clear pointers on IOC reset
* [Fix] External_relay: Remove useless check of the map value
* [Fix] Find suspicious url encodings that could break url extraction
* [Fix] Fix HTTP(s) client timeout
* [Fix] Fix exclude flags setting
* [Fix] Fix expanding of the variables
* [Fix] Fix host header usage in lua_http
* [Fix] Fix http maps shared memory cache cleanup
* [Fix] Fix logic in HTML processing FSM
* [Fix] Fix parsing of the compound mailto urls
* [Fix] Fix processing captures from pcre2
* [Fix] Fix removing from khash
* [Fix] Fix stuctured headers pushing
* [Fix] Further fix for i386 compilation
* [Fix] Improve duplicate settings error reporting
* [Fix] Lua: task:remove_result didn't work in some cases
* [Fix] Output service parts as well
* [Fix] Phishing: Deal with phishing + redirected URL
* [Fix] Phishing: Fix finding domains in the phishing map
* [Fix] Plug memory leak by using mempool for a copied address
* [Fix] Properly find the request and the number of requested entries
* [Fix] Rbl: Fix inversed logic of the url_full_hostname
* [Fix] Read file maps if they were not pre-read during preload
* [Fix] Restrict x86_64 assembly to x86_64
* [Fix] Return a real number of recipients when dealing with aliases
* [Fix] Rework unshedule DNS request function
* [Fix] Support definition of ungrouped symbol in conf file, use group info from lua or other conf file
* [Fix] Unschedule DNS request when clearing IO channel
* [Fix] When checking for phishing, we need to convert punicode -> UTF8, not vice versa
* [Fix] lua_cfg_transform - actions without score (discard)
* [Fix] lua_cfg_transform - silly break break actions
* [Fix] ratelimit - symbol per bucket
* [Project] BIMI: Fix helper integration issues
* [Project] Further DNS over TCP architecturing
* [Project] Rdns: Add more functions for TCP based requests
* [Project] Rdns: Add preliminary reading logic for TCP channels
* [Project] Rdns: Add reaper for inactive TCP connections
* [Project] Rdns: Add timeout logic for TCP requests
* [Project] Rdns: Do not treat TCP channels failure as fatal
* [Project] Rdns: Fix TCP connection mess
* [Project] Rdns: Fix TCP stuff cleanup
* [Project] Rdns: Fix various ownership issues
* [Project] Rdns: Implement TCP writing logic
* [Project] Rdns: Initial support of TCP IO channels
* [Project] Rdns: More fixes in TCP handling
* [Project] Rdns: Restore the previous EDNS0 size
* [Project] Rdns: Send truncated replies via TCP
* [Project] Rdns: Unregister TCP requests
* [Rework] Allow to restore SSL handlers after keepalive pooling
* [Rework] Allow to set a different behaviour for actions from settings
* [Rework] Include SSL flag into keepalive hash
* [Rework] Make `rspamadm dmarc_report` default behaviour more sane
* [Rework] Mempool: Use explicit alignment
* [Rework] Rdns: Use faster and more compact hash table for DNS requests
* [Rework] Rework SSL flag operations
* [Rework] Take disabled flag into account
* [Rework] Timeouts are now global per event and not reseted by IO activity
* [Rework] Use xxh3 as a default hash and fix memory/alignment issues
* [Rules] Fix old rules to stop global functions usage
* [Rules] Fix symbol for DKIM temporary failure
* [Rules] Remove ancient and inefficient rules
* [Rules] Slightly reduce MULTIPLE_FROM score

[Minor] Update my email and the copyright year

[Test] Split test

[Rules] Slightly reduce MULTIPLE_FROM score

[Minor] Micro-optimisation

Suggested by: @citrin

[Minor] Add max scores for some groups

[Minor] Free structure on exit

[Minor] Multimap: Fix default score

Issue: #4117

[Minor] Allow to disable composites without config breaking

Issue: #4078

[Minor] Cleanup memory on the error path

[Minor] Optimise boundaries processing by avoiding small strings allocation

[Fix] Plug memory leak by using mempool for a copied address

[Minor] Allow to specify mempool when copying an IP address structure

[Minor] Plug memory leak when rescheduling requests over TCP

[Minor] Rbl: Do not check empty user/domain in rbl

[Minor] Adopt lua_url stuff for the new PRG

[Minor] Use wyrand for fast random as we already use mumhash for fast hashing

Merge pull request #4112 from msuslu/master

make gcc 8.5 happy

Merge pull request #4113 from PHPGangsta/patch-2

Small fix in a comment

Merge pull request #4114 from HeinleinSupport/lua_scanners/spamassassin

[Minor] lua_scanner - spamassassin - another try to match all spamd r…

[Minor] lua_scanner - spamassassin - another try to match all spamd returns

fix #4088

Small fix in a comment

make gcc 8.5 happy

gcc 8.5 doesn't compile this file without template parameters for ptr_and_refcnt constructor.

[Fix] Return a real number of recipients when dealing with aliases

Issue: #4104

[Minor] Fix find to search for plain substrings only

[Test] Add test for csv detection

[Minor] Fix detection for some csv cases

[Minor] Another fix for `task:get_symbol`

[Minor] Fix use of task:get_symbol

[Minor] Reputation: Another bunch of fixes

Issue: #4100

[Minor] Reputation: Fix config variable

[Fix] Apply the similar fix to the url_reputation

Issue: #4100

[Fix] Properly find the request and the number of requested entries

Issue: #4100

Merge pull request #4097 from moisseev/webui

Webui

[Minor] Add average scan time metric

Issue: #4096

[Minor] Deduplicate sum function

[Minor] Move summation to a separate routine

[Minor] Fix printing

[WebUI] Show scan time in server list

[Test] Enable ECMAScript 6 features

[Minor] Move common stuff to a function

[Minor] Obsolete old fuzzy epochs

Merge pull request #4093 from citrin/str_endswith

[Minor] Microoptimize lua_util.str_endswith

Merge pull request #4079 from HeinleinSupport/lua_scanners/icap

Lua scanners/icap

[Minor] lua_scanners - icap - lua linting

[Minor] lua_scanners - icap - adjust threat_table function

[Minor] lua_scanners - icap - update compatibility

[Minor] lua_scanners - icap - add another variant of icap return

[Minor] Add missing division

Pointed by: @moisseev

[Minor] Microoptimize lua_util.str_endswith

Use find to check string suffix instead of sub (which involves string
interning of a returned string).  Benchmarks with LuaJIT 2.1.0 shows
that an option with find is significantly faster.

While here added unit test for this function.

[Feature] Show average scan time in `rspamc stat` output

[Feature] Output average scan time in /stat endpoint

[Minor] Always report actions count

[Minor] Mark `c` in Kahan sum volatile

[Minor] Add average time processing slots

[Minor] Align rspamd_stat structure

[Test] Ignore index.html

Spelling (#4086)

[Rework] Massive spelling fix from @jsoref

Merge pull request #4085 from moisseev/d3pie

[WebUI] Replace pie chart library

[WebUI] Replace pie chart library

[Minor] Strip message id from enclosing spaces

Issue: #4081

[Test] Add a test case

Issue: #4081

[Fix] External_relay: Remove useless check of the map value

Issue: #4080

Merge pull request #4077 from citrin/DKIM_MIXED

[Rules] Fix symbol for DKIM temporary failure

[Rules] Fix symbol for DKIM temporary failure

There is no R_DKIM_DNSFAIL symbol (in default config), but there is R_DKIM_TEMPFAIL.

[Minor] Add an example for the lua_maps usage

[Fix] When checking for phishing, we need to convert punicode -> UTF8, not vice versa

Previosly, Rspamd has checked for `xn--` signature just to convert it back to `xn--` form.
According to the expected results, it should do the opposite conversion.

Issue: #4065

[Minor] Improve error reporting

Issue: #4076

[Fix] Fix http maps shared memory cache cleanup

It must be initiated by active http worker as it really has the shm object
available.

[Minor] Store map pointer in a backend structure

[Minor] Add more logging for the shm cache for the maps

Merge pull request #4074 from citrin/clickhouse

[Fix] ClickHouse cleanup of old partitions

Merge pull request #4070 from moisseev/lua-stat

[Minor] Disable Received tokens

Merge pull request #4069 from moisseev/webui

[Minor] WebUI CSS: Drop ancient gradient syntaxes

[Fix] ClickHouse cleanup of old partitions

If /var/lib/rspamd/clickhouse_retention_run is missing or has no
number cleanup was not performed because of a following Lua error:

lua_periodic_callback_error: call to periodic script (registered at clickhouse.lua:1531) failed: /usr/share/rspamd/plugins/clickhouse.lua:991: attempt to compare number with nil; trace: [1]:{/usr/share/rspamd/plugins/clickhouse.lua:1069 - <unknown> [Lua]};

[Minor] Disable Received tokens

[Minor] WebUI CSS: Drop ancient gradient syntaxes

Merge pull request #4067 from citrin/nitpick

[Minor] Remove repeated strcmp(key, "score")

Merge pull request #4066 from citrin/lua-tests-gc

[Minor] Tune Lua GC for Lua unit tests

[Minor] Remove repeated strcmp(key, "score")

[Minor] Tune Lua GC for Lua unit tests

Fixes sporadic unit test failures (on Mac OS X).

[Minor] Off by one

[Minor] Fix a corner case

[CritFix] Fix upstreams name resolution when there is also a port

This fix is intended to address the case when Rspamd queries for a hostname with
a port part when re-resolving upstreams addresses via the upstreams module.

Found by: @slavkoja
Confirmed by: @moisseev

[Rework] Make `rspamadm dmarc_report` default behaviour more sane

Issue: #4062

[Fix] Rework unshedule DNS request function

[Minor] Improve logging logic

[Minor] Do not trigger obfuscated archive on undetecde 8bit characters

Merge pull request #4056 from fatalbanana/remove_result_fix

[Fix] Lua: task:remove_result didn't work in some cases

[Fix] Lua: task:remove_result didn't work in some cases

Merge pull request #4055 from fatalbanana/remove_result_test

[Test] task:remove_symbol() on grouped virtual symbol

[Test] task:remove_symbol() on grouped virtual symbol

Merge pull request #4052 from twesterhever/rbl-dbl-helo-ptr-replyto

[Feature] Query HELOs, PTRs, and Reply-To's against Spamhaus DBL as well

[Enhancement] Query HELOs, PTRs, and Reply-To's against Spamhaus DBL too

[Minor] Try to fix on-termination race

[Minor] Fix inversed logic

[Minor] malloc -> g_malloc

[Fix] Fix host header usage in lua_http

The issue is that `rspamd_http_message_get_http_host` actually returns
non zero-terminated string in the case where `Host` header is found in a
message. Hence, we *cannot* treat it as a zero terminated string.

The proper approach is to use `rspamd_ftok_t` everywhere for strings
but the change will be too intrusive, since it also involves many libraries,
e.g. `rdns` and others.

The current approach is much simplier: just copy a string into a temporary
buffer ensuring that it is zero terminated in all the cases.

Issue: #4051

[Minor] Sigh, reverse loop is bloody hard in C

[Fix] Do not forget to clear pointers on IOC reset