[Minor] lua_scanner - spamassassin - another try to match all spamd returns

fix #4088

[Fix] Return a real number of recipients when dealing with aliases

Issue: #4104

[Minor] Fix find to search for plain substrings only

[Test] Add test for csv detection

[Minor] Fix detection for some csv cases

[Minor] Another fix for `task:get_symbol`

[Minor] Fix use of task:get_symbol

[Minor] Reputation: Another bunch of fixes

Issue: #4100

[Minor] Reputation: Fix config variable

[Fix] Apply the similar fix to the url_reputation

Issue: #4100

[Fix] Properly find the request and the number of requested entries

Issue: #4100

Merge pull request #4097 from moisseev/webui

Webui

[Minor] Add average scan time metric

Issue: #4096

[Minor] Deduplicate sum function

[Minor] Move summation to a separate routine

[Minor] Fix printing

[WebUI] Show scan time in server list

[Test] Enable ECMAScript 6 features

[Minor] Move common stuff to a function

[Minor] Obsolete old fuzzy epochs

Merge pull request #4093 from citrin/str_endswith

[Minor] Microoptimize lua_util.str_endswith

Merge pull request #4079 from HeinleinSupport/lua_scanners/icap

Lua scanners/icap

[Minor] lua_scanners - icap - lua linting

[Minor] lua_scanners - icap - adjust threat_table function

[Minor] lua_scanners - icap - update compatibility

[Minor] lua_scanners - icap - add another variant of icap return

[Minor] Add missing division

Pointed by: @moisseev

[Minor] Microoptimize lua_util.str_endswith

Use find to check string suffix instead of sub (which involves string
interning of a returned string).  Benchmarks with LuaJIT 2.1.0 shows
that an option with find is significantly faster.

While here added unit test for this function.

[Feature] Show average scan time in `rspamc stat` output

[Feature] Output average scan time in /stat endpoint

[Minor] Always report actions count

[Minor] Mark `c` in Kahan sum volatile

[Minor] Add average time processing slots

[Minor] Align rspamd_stat structure

[Test] Ignore index.html

Spelling (#4086)

[Rework] Massive spelling fix from @jsoref

Merge pull request #4085 from moisseev/d3pie

[WebUI] Replace pie chart library

[WebUI] Replace pie chart library

[Minor] Strip message id from enclosing spaces

Issue: #4081

[Test] Add a test case

Issue: #4081

[Fix] External_relay: Remove useless check of the map value

Issue: #4080

Merge pull request #4077 from citrin/DKIM_MIXED

[Rules] Fix symbol for DKIM temporary failure

[Rules] Fix symbol for DKIM temporary failure

There is no R_DKIM_DNSFAIL symbol (in default config), but there is R_DKIM_TEMPFAIL.

[Minor] Add an example for the lua_maps usage

[Fix] When checking for phishing, we need to convert punicode -> UTF8, not vice versa

Previosly, Rspamd has checked for `xn--` signature just to convert it back to `xn--` form.
According to the expected results, it should do the opposite conversion.

Issue: #4065

[Minor] Improve error reporting

Issue: #4076

[Fix] Fix http maps shared memory cache cleanup

It must be initiated by active http worker as it really has the shm object
available.

[Minor] Store map pointer in a backend structure

[Minor] Add more logging for the shm cache for the maps

Merge pull request #4074 from citrin/clickhouse

[Fix] ClickHouse cleanup of old partitions

Merge pull request #4070 from moisseev/lua-stat

[Minor] Disable Received tokens

Merge pull request #4069 from moisseev/webui

[Minor] WebUI CSS: Drop ancient gradient syntaxes

[Fix] ClickHouse cleanup of old partitions

If /var/lib/rspamd/clickhouse_retention_run is missing or has no
number cleanup was not performed because of a following Lua error:

lua_periodic_callback_error: call to periodic script (registered at clickhouse.lua:1531) failed: /usr/share/rspamd/plugins/clickhouse.lua:991: attempt to compare number with nil; trace: [1]:{/usr/share/rspamd/plugins/clickhouse.lua:1069 - <unknown> [Lua]};

[Minor] Disable Received tokens

[Minor] WebUI CSS: Drop ancient gradient syntaxes

Merge pull request #4067 from citrin/nitpick

[Minor] Remove repeated strcmp(key, "score")

Merge pull request #4066 from citrin/lua-tests-gc

[Minor] Tune Lua GC for Lua unit tests

[Minor] Remove repeated strcmp(key, "score")

[Minor] Tune Lua GC for Lua unit tests

Fixes sporadic unit test failures (on Mac OS X).

[Minor] Off by one

[Minor] Fix a corner case

[CritFix] Fix upstreams name resolution when there is also a port

This fix is intended to address the case when Rspamd queries for a hostname with
a port part when re-resolving upstreams addresses via the upstreams module.

Found by: @slavkoja
Confirmed by: @moisseev

[Rework] Make `rspamadm dmarc_report` default behaviour more sane

Issue: #4062

[Fix] Rework unshedule DNS request function

[Minor] Improve logging logic

[Minor] Do not trigger obfuscated archive on undetecde 8bit characters

Merge pull request #4056 from fatalbanana/remove_result_fix

[Fix] Lua: task:remove_result didn't work in some cases

[Fix] Lua: task:remove_result didn't work in some cases

Merge pull request #4055 from fatalbanana/remove_result_test

[Test] task:remove_symbol() on grouped virtual symbol

[Test] task:remove_symbol() on grouped virtual symbol

Merge pull request #4052 from twesterhever/rbl-dbl-helo-ptr-replyto

[Feature] Query HELOs, PTRs, and Reply-To's against Spamhaus DBL as well

[Enhancement] Query HELOs, PTRs, and Reply-To's against Spamhaus DBL too

[Minor] Try to fix on-termination race

[Minor] Fix inversed logic

[Minor] malloc -> g_malloc

[Fix] Fix host header usage in lua_http

The issue is that `rspamd_http_message_get_http_host` actually returns
non zero-terminated string in the case where `Host` header is found in a
message. Hence, we *cannot* treat it as a zero terminated string.

The proper approach is to use `rspamd_ftok_t` everywhere for strings
but the change will be too intrusive, since it also involves many libraries,
e.g. `rdns` and others.

The current approach is much simplier: just copy a string into a temporary
buffer ensuring that it is zero terminated in all the cases.

Issue: #4051

[Minor] Sigh, reverse loop is bloody hard in C

[Fix] Do not forget to clear pointers on IOC reset

[Rework] Take disabled flag into account

Issue: #4025

[Rework] Allow to set a different behaviour for actions from settings

Issue: #4025

Merge pull request #4049 from StSturge/feature/configdump_symbol_detail

[Minor] rspamadm configdump: parsing fixes and output enhancements

Fix build error with conflicting definition between .h and .c

Address PR review comments

[Minor] Improve documentation

Merge pull request #4047 from a16bitsysop/ppc64le

[Feature] Allow hyperscan for ppc64, as vectorscan now suports it.

[Feature] Allow hyperscan for ppc64, as vectorscan now suports it.

[Enhancement] Add rspamadm configdump option --symbol-detail which provides a consolidated output of every setting for a symbol across all configuration locations.

[Fix] Support definition of ungrouped symbol in conf file, use group info from lua or other conf file

[Minor] Oops, fix refactoring aftermath

[Minor] Fix a name and the description of bogus `user` field in the task

[Minor] Remove redundant abs call

[Fix] Unschedule DNS request when clearing IO channel

[Minor] Use raw more intentionally in a client

--raw flag now means raw **input**, and there is a special flag to emit
reply in ucl. Previously, `--raw` and `--ucl` had the same meaning which
was stupid. Now `--raw` is an input flag whilst `--ucl` is an output flag
as intended.

[Minor] Rbl: The default behaviour must be bypass

[Minor] Rbl: Fix require symbols option

[Minor] Remove sequential algorithm as it is not actually a rotation alg

Sequential rotation was used just to rotate all upstreams in the loop (e.g.
when you need to do some action for all upstreams). Allowing to specify it as
a user defined algorithm was a mistake as it breaks upstreams API expectations.
See #4043

[Minor] Place obfuscated check properly to count u16 characters and not u8

[Minor] Fix for random monitored

Reported by: @moisseev

[Minor] Improve logic to select a random monitored mode for RBLs

[Minor] Add missing namespace