[Enhancement] Query HELOs, PTRs, and Reply-To's against SURBL and URIBL as well

Merge pull request #4140 from arkamar/zstd-new-api

Migrate ZSTD_reset{C,D}Stream to a new API

Migrate ZSTD_reset{C,D}Stream to a new API

ZSTD_reset{C,D}Stream functions are deprecated since 1.4.0 version. This
change migrates them to a new equivalents as described in documentation.

Merge pull request #4138 from arkamar/system-xxhash

New SYSTEM_XXHASH option and zstd MODULES  fix

Merge pull request #4137 from kamilsztuke/fix-typo-in-config-documentation

[Minor] Fix typo in config documentation in statistic.conf

Search for libzstd module

Default pkg-config name of zstd is libzstd.pc. Let's add it to the
MODULES list.

Add SYSTEM_XXHASH cmake option

It is now possible to use system xxhash since commits 23889da9ae11
("[Minor] Update bundled xxhash") and 7ad02fc1f7e7 ("[Rework] Use xxh3
as a default hash and fix memory/alignment issues"). Let's give
packagers this possibility with a new SYSTEM_XXHASH option.

Merge pull request #4135 from arkamar/dangling-comment

[Minor] Remove dangling comment

Merge branch 'rspamd:master' into fix-typo-in-config-documentation

[Fix] Try to fix dkim reputation adjustements

Reported and discussed with @moisseev

[Minor] Fix typo in config documentation in statistic.conf

Remove dangling comment

The dangling comment is result of commit bfe48b659baf ("[Fix] Fix
logging for rspamadm"), where the same comment was removed from rspamadm
but this one stayed. It should be removed as well.

[Minor] Add missing include

Issue: #4131

[Minor] Oops, fix null check logic

[Minor] Also allow to set objects to null for disabling

[Minor] Well, I've said `mirrors`!

[Minor] Check enabled/disabled logic for the proxy upstreams/mirrors

[Rework] Isolate disable/enable logic for the configuration ucl objects

[Minor] Sort error ips by number of errors

[Minor] Remove useless checks

[Minor] Use a more neat approach

[Minor] Update more copyright years/email

[Minor] Update readme

[Fix] Rbl: Fix received positioned checks

[Minor] Update version to 3.3

Release 3.2

* [Conf] Score MIME_OBFUSCATED_ARCHIVE to 8 points
* [Conf] Set one_shot for URIBL rules by default
* [CritFix] Fix upstreams name resolution when there is also a port
* [Feature] Add ROC feature to neural network plugin
* [Feature] Add public suffic compilation utility
* [Feature] Add support of Cloudmark
* [Feature] Allow hyperscan for ppc64, as vectorscan now suports it.
* [Feature] Allow to skip DNS resolution for keep-alive connections
* [Feature] Aws_s3: Allow to store large parts separately
* [Feature] BIMI: Add preliminary version of the BIMI plugin
* [Feature] JSON endpoint for querying maps
* [Feature] Lua_magic: Add a sane CSV heuristic
* [Feature] Lua_mime: Add schema for message transfer
* [Feature] Output average scan time in /stat endpoint
* [Feature] Show average scan time in `rspamc stat` output
* [Fix] Add guards to avoid race condition on TCP connection
* [Fix] Allow spaces in DKIM key records
* [Fix] Apply the similar fix to the url_reputation
* [Fix] Avoid overwriting whitelisted_signers_map
* [Fix] Backport PR from libucl
* [Fix] Clear SSL errors
* [Fix] ClickHouse cleanup of old partitions
* [Fix] Do not double call error handler on ssl errors in the timeout path
* [Fix] Do not forget to clear pointers on IOC reset
* [Fix] External_relay: Remove useless check of the map value
* [Fix] Find suspicious url encodings that could break url extraction
* [Fix] Fix HTTP(s) client timeout
* [Fix] Fix exclude flags setting
* [Fix] Fix expanding of the variables
* [Fix] Fix host header usage in lua_http
* [Fix] Fix http maps shared memory cache cleanup
* [Fix] Fix logic in HTML processing FSM
* [Fix] Fix parsing of the compound mailto urls
* [Fix] Fix processing captures from pcre2
* [Fix] Fix removing from khash
* [Fix] Fix stuctured headers pushing
* [Fix] Further fix for i386 compilation
* [Fix] Improve duplicate settings error reporting
* [Fix] Lua: task:remove_result didn't work in some cases
* [Fix] Output service parts as well
* [Fix] Phishing: Deal with phishing + redirected URL
* [Fix] Phishing: Fix finding domains in the phishing map
* [Fix] Plug memory leak by using mempool for a copied address
* [Fix] Properly find the request and the number of requested entries
* [Fix] Rbl: Fix inversed logic of the url_full_hostname
* [Fix] Read file maps if they were not pre-read during preload
* [Fix] Restrict x86_64 assembly to x86_64
* [Fix] Return a real number of recipients when dealing with aliases
* [Fix] Rework unshedule DNS request function
* [Fix] Support definition of ungrouped symbol in conf file, use group info from lua or other conf file
* [Fix] Unschedule DNS request when clearing IO channel
* [Fix] When checking for phishing, we need to convert punicode -> UTF8, not vice versa
* [Fix] lua_cfg_transform - actions without score (discard)
* [Fix] lua_cfg_transform - silly break break actions
* [Fix] ratelimit - symbol per bucket
* [Project] BIMI: Fix helper integration issues
* [Project] Further DNS over TCP architecturing
* [Project] Rdns: Add more functions for TCP based requests
* [Project] Rdns: Add preliminary reading logic for TCP channels
* [Project] Rdns: Add reaper for inactive TCP connections
* [Project] Rdns: Add timeout logic for TCP requests
* [Project] Rdns: Do not treat TCP channels failure as fatal
* [Project] Rdns: Fix TCP connection mess
* [Project] Rdns: Fix TCP stuff cleanup
* [Project] Rdns: Fix various ownership issues
* [Project] Rdns: Implement TCP writing logic
* [Project] Rdns: Initial support of TCP IO channels
* [Project] Rdns: More fixes in TCP handling
* [Project] Rdns: Restore the previous EDNS0 size
* [Project] Rdns: Send truncated replies via TCP
* [Project] Rdns: Unregister TCP requests
* [Rework] Allow to restore SSL handlers after keepalive pooling
* [Rework] Allow to set a different behaviour for actions from settings
* [Rework] Include SSL flag into keepalive hash
* [Rework] Make `rspamadm dmarc_report` default behaviour more sane
* [Rework] Mempool: Use explicit alignment
* [Rework] Rdns: Use faster and more compact hash table for DNS requests
* [Rework] Rework SSL flag operations
* [Rework] Take disabled flag into account
* [Rework] Timeouts are now global per event and not reseted by IO activity
* [Rework] Use xxh3 as a default hash and fix memory/alignment issues
* [Rules] Fix old rules to stop global functions usage
* [Rules] Fix symbol for DKIM temporary failure
* [Rules] Remove ancient and inefficient rules
* [Rules] Slightly reduce MULTIPLE_FROM score

[Minor] Update my email and the copyright year

[Test] Split test

[Rules] Slightly reduce MULTIPLE_FROM score

[Minor] Micro-optimisation

Suggested by: @citrin

[Minor] Add max scores for some groups

[Minor] Free structure on exit

[Minor] Multimap: Fix default score

Issue: #4117

[Minor] Allow to disable composites without config breaking

Issue: #4078

[Minor] Cleanup memory on the error path

[Minor] Optimise boundaries processing by avoiding small strings allocation

[Fix] Plug memory leak by using mempool for a copied address

[Minor] Allow to specify mempool when copying an IP address structure

[Minor] Plug memory leak when rescheduling requests over TCP

[Minor] Rbl: Do not check empty user/domain in rbl

[Minor] Adopt lua_url stuff for the new PRG

[Minor] Use wyrand for fast random as we already use mumhash for fast hashing

Merge pull request #4112 from msuslu/master

make gcc 8.5 happy

Merge pull request #4113 from PHPGangsta/patch-2

Small fix in a comment

Merge pull request #4114 from HeinleinSupport/lua_scanners/spamassassin

[Minor] lua_scanner - spamassassin - another try to match all spamd r…

[Minor] lua_scanner - spamassassin - another try to match all spamd returns

fix #4088

Small fix in a comment

make gcc 8.5 happy

gcc 8.5 doesn't compile this file without template parameters for ptr_and_refcnt constructor.

[Fix] Return a real number of recipients when dealing with aliases

Issue: #4104

[Minor] Fix find to search for plain substrings only

[Test] Add test for csv detection

[Minor] Fix detection for some csv cases

[Minor] Another fix for `task:get_symbol`

[Minor] Fix use of task:get_symbol

[Minor] Reputation: Another bunch of fixes

Issue: #4100

[Minor] Reputation: Fix config variable

[Fix] Apply the similar fix to the url_reputation

Issue: #4100

[Fix] Properly find the request and the number of requested entries

Issue: #4100

Merge pull request #4097 from moisseev/webui

Webui

[Minor] Add average scan time metric

Issue: #4096

[Minor] Deduplicate sum function

[Minor] Move summation to a separate routine

[Minor] Fix printing

[WebUI] Show scan time in server list

[Test] Enable ECMAScript 6 features

[Minor] Move common stuff to a function

[Minor] Obsolete old fuzzy epochs

Merge pull request #4093 from citrin/str_endswith

[Minor] Microoptimize lua_util.str_endswith

Merge pull request #4079 from HeinleinSupport/lua_scanners/icap

Lua scanners/icap

[Minor] lua_scanners - icap - lua linting

[Minor] lua_scanners - icap - adjust threat_table function

[Minor] lua_scanners - icap - update compatibility

[Minor] lua_scanners - icap - add another variant of icap return

[Minor] Add missing division

Pointed by: @moisseev

[Minor] Microoptimize lua_util.str_endswith

Use find to check string suffix instead of sub (which involves string
interning of a returned string).  Benchmarks with LuaJIT 2.1.0 shows
that an option with find is significantly faster.

While here added unit test for this function.

[Feature] Show average scan time in `rspamc stat` output

[Feature] Output average scan time in /stat endpoint

[Minor] Always report actions count

[Minor] Mark `c` in Kahan sum volatile

[Minor] Add average time processing slots

[Minor] Align rspamd_stat structure

[Test] Ignore index.html

Spelling (#4086)

[Rework] Massive spelling fix from @jsoref

Merge pull request #4085 from moisseev/d3pie

[WebUI] Replace pie chart library

[WebUI] Replace pie chart library

[Minor] Strip message id from enclosing spaces

Issue: #4081

[Test] Add a test case

Issue: #4081

[Fix] External_relay: Remove useless check of the map value

Issue: #4080

Merge pull request #4077 from citrin/DKIM_MIXED

[Rules] Fix symbol for DKIM temporary failure

[Rules] Fix symbol for DKIM temporary failure

There is no R_DKIM_DNSFAIL symbol (in default config), but there is R_DKIM_TEMPFAIL.

[Minor] Add an example for the lua_maps usage

[Fix] When checking for phishing, we need to convert punicode -> UTF8, not vice versa

Previosly, Rspamd has checked for `xn--` signature just to convert it back to `xn--` form.
According to the expected results, it should do the opposite conversion.

Issue: #4065

[Minor] Improve error reporting

Issue: #4076

[Fix] Fix http maps shared memory cache cleanup

It must be initiated by active http worker as it really has the shm object
available.

[Minor] Store map pointer in a backend structure

[Minor] Add more logging for the shm cache for the maps

Merge pull request #4074 from citrin/clickhouse

[Fix] ClickHouse cleanup of old partitions

Merge pull request #4070 from moisseev/lua-stat

[Minor] Disable Received tokens

Merge pull request #4069 from moisseev/webui

[Minor] WebUI CSS: Drop ancient gradient syntaxes

[Fix] ClickHouse cleanup of old partitions

If /var/lib/rspamd/clickhouse_retention_run is missing or has no
number cleanup was not performed because of a following Lua error:

lua_periodic_callback_error: call to periodic script (registered at clickhouse.lua:1531) failed: /usr/share/rspamd/plugins/clickhouse.lua:991: attempt to compare number with nil; trace: [1]:{/usr/share/rspamd/plugins/clickhouse.lua:1069 - <unknown> [Lua]};