Merge pull request #4074 from citrin/clickhouse

[Fix] ClickHouse cleanup of old partitions

Merge pull request #4070 from moisseev/lua-stat

[Minor] Disable Received tokens

Merge pull request #4069 from moisseev/webui

[Minor] WebUI CSS: Drop ancient gradient syntaxes

[Fix] ClickHouse cleanup of old partitions

If /var/lib/rspamd/clickhouse_retention_run is missing or has no
number cleanup was not performed because of a following Lua error:

lua_periodic_callback_error: call to periodic script (registered at clickhouse.lua:1531) failed: /usr/share/rspamd/plugins/clickhouse.lua:991: attempt to compare number with nil; trace: [1]:{/usr/share/rspamd/plugins/clickhouse.lua:1069 - <unknown> [Lua]};

[Minor] Disable Received tokens

[Minor] WebUI CSS: Drop ancient gradient syntaxes

Merge pull request #4067 from citrin/nitpick

[Minor] Remove repeated strcmp(key, "score")

Merge pull request #4066 from citrin/lua-tests-gc

[Minor] Tune Lua GC for Lua unit tests

[Minor] Remove repeated strcmp(key, "score")

[Minor] Tune Lua GC for Lua unit tests

Fixes sporadic unit test failures (on Mac OS X).

[Minor] Off by one

[Minor] Fix a corner case

[CritFix] Fix upstreams name resolution when there is also a port

This fix is intended to address the case when Rspamd queries for a hostname with
a port part when re-resolving upstreams addresses via the upstreams module.

Found by: @slavkoja
Confirmed by: @moisseev

[Rework] Make `rspamadm dmarc_report` default behaviour more sane

Issue: #4062

[Fix] Rework unshedule DNS request function

[Minor] Improve logging logic

[Minor] Do not trigger obfuscated archive on undetecde 8bit characters

Merge pull request #4056 from fatalbanana/remove_result_fix

[Fix] Lua: task:remove_result didn't work in some cases

[Fix] Lua: task:remove_result didn't work in some cases

Merge pull request #4055 from fatalbanana/remove_result_test

[Test] task:remove_symbol() on grouped virtual symbol

[Test] task:remove_symbol() on grouped virtual symbol

Merge pull request #4052 from twesterhever/rbl-dbl-helo-ptr-replyto

[Feature] Query HELOs, PTRs, and Reply-To's against Spamhaus DBL as well

[Enhancement] Query HELOs, PTRs, and Reply-To's against Spamhaus DBL too

[Minor] Try to fix on-termination race

[Minor] Fix inversed logic

[Minor] malloc -> g_malloc

[Fix] Fix host header usage in lua_http

The issue is that `rspamd_http_message_get_http_host` actually returns
non zero-terminated string in the case where `Host` header is found in a
message. Hence, we *cannot* treat it as a zero terminated string.

The proper approach is to use `rspamd_ftok_t` everywhere for strings
but the change will be too intrusive, since it also involves many libraries,
e.g. `rdns` and others.

The current approach is much simplier: just copy a string into a temporary
buffer ensuring that it is zero terminated in all the cases.

Issue: #4051

[Minor] Sigh, reverse loop is bloody hard in C

[Fix] Do not forget to clear pointers on IOC reset

[Rework] Take disabled flag into account

Issue: #4025

[Rework] Allow to set a different behaviour for actions from settings

Issue: #4025

Merge pull request #4049 from StSturge/feature/configdump_symbol_detail

[Minor] rspamadm configdump: parsing fixes and output enhancements

Fix build error with conflicting definition between .h and .c

Address PR review comments

[Minor] Improve documentation

Merge pull request #4047 from a16bitsysop/ppc64le

[Feature] Allow hyperscan for ppc64, as vectorscan now suports it.

[Feature] Allow hyperscan for ppc64, as vectorscan now suports it.

[Enhancement] Add rspamadm configdump option --symbol-detail which provides a consolidated output of every setting for a symbol across all configuration locations.

[Fix] Support definition of ungrouped symbol in conf file, use group info from lua or other conf file

[Minor] Oops, fix refactoring aftermath

[Minor] Fix a name and the description of bogus `user` field in the task

[Minor] Remove redundant abs call

[Fix] Unschedule DNS request when clearing IO channel

[Minor] Use raw more intentionally in a client

--raw flag now means raw **input**, and there is a special flag to emit
reply in ucl. Previously, `--raw` and `--ucl` had the same meaning which
was stupid. Now `--raw` is an input flag whilst `--ucl` is an output flag
as intended.

[Minor] Rbl: The default behaviour must be bypass

[Minor] Rbl: Fix require symbols option

[Minor] Remove sequential algorithm as it is not actually a rotation alg

Sequential rotation was used just to rotate all upstreams in the loop (e.g.
when you need to do some action for all upstreams). Allowing to specify it as
a user defined algorithm was a mistake as it breaks upstreams API expectations.
See #4043

[Minor] Place obfuscated check properly to count u16 characters and not u8

[Minor] Fix for random monitored

Reported by: @moisseev

[Minor] Improve logic to select a random monitored mode for RBLs

[Minor] Add missing namespace

[Minor] Composites: Always register composite symbols

[Minor] Deal with unknown weight more carefully to avoid special meaning of 0

The special unknown weight must be NAN not 0.0

[Minor] Improve logging

[Conf] Score MIME_OBFUSCATED_ARCHIVE to 8 points

[Minor] Mime_types: Insert MIME_OBFUSCATED_ARCHIVE symbol

[Minor] Add knobs to check if an archive was obfuscated

[Minor] Check archive file names for 'strange' stuff

[Minor] Damn C++ implicit conversions

[Minor] Oops, fix foldl call

[Minor] Fix some issues in URI_COUNT_ODD rule

Issue: #4037

[Minor] Set special flag for non A generated html urls

[Minor] Add `special` flag for URLs

[Fix] Fix exclude flags setting

[Minor] Arc: Do not fail if no AAR header is presented

[Minor] Arc: Add logic to adjust rejected dmarc policy by ARC trusted forwarding

[Minor] Arc: Use ARC_CHECK as the callback symbol's name

[Minor] Arc: Check AAR on trusted forwarding check

[Minor] Fix iteration

[Minor] Arc: Process AAR headers

[Minor] Add authentication results parser function

[Minor] Arc: Rename bogus variable

[Minor] Close socket on connect error

[Fix] Add guards to avoid race condition on TCP connection

[Rework] Timeouts are now global per event and not reseted by IO activity

This actually reproduces old libevent behaviour and it was changed by a big design mistake.
We really want IO timeouts to be fired for the whole set of subsequent events, otherwise it should be
designed in a more configurable way...

[Minor] Fix parsing of the very long TXT records

[Fix] Fix expanding of the variables

[Fix] Backport PR from libucl

https://github.com/vstakhov/libucl/pull/260

[Fix] Fix HTTP(s) client timeout

[Minor] Rdns: Fix hash delisting

[Minor] Fix format string

[Minor] Use memcpy instead of unaligned access

[Minor] Init xxhash3 state properly

Merge pull request #4033 from rspamd/rdns-tcp-rework

Rdns tcp rework

[Project] Rdns: Fix various ownership issues

[Project] Rdns: Restore the previous EDNS0 size

[Project] Rdns: Add timeout logic for TCP requests

[Project] Rdns: More fixes in TCP handling

[Project] Rdns: Unregister TCP requests

[Project] Rdns: Send truncated replies via TCP

Merge pull request #4031 from dupondje/add_soft_reject

[Minor] Add no soft reject selector for metadata exporter

[Project] Rdns: Fix TCP stuff cleanup

[Project] Rdns: Add preliminary reading logic for TCP channels

[Minor] Add no soft reject selector for metadata exporter

I think its quite common to not export soft rejects via the metadata
exporter. Because when its not spam, the sender will most likely try to
redeliver it again anyway.

[Project] Rdns: Implement TCP writing logic

[Project] Rdns: Fix TCP connection mess

[Project] Rdns: Add reaper for inactive TCP connections

Merge pull request #4030 from moisseev/webui

[WebUI] Add scan options

[Project] Rdns: Add more functions for TCP based requests

[Fix] Fix removing from khash