Merge pull request #2935 from citrin/clickhouse

[Minor] ClickHouse: Improve schema and tests

Merge pull request #2937 from citrin/robot

[Minor] Update test to work with current robot version

[Minor] Update test to work with current robot version

[Minor] Fix pipeline

[Fix] Fix out of bound access in lua logger

Save ClickHouse error log

[Minor] Tests: Fix robot warning and reformat to better redability

Merge pull request #2934 from citrin/perltidy

[Minor] Perltidy

[Minor] Format perl scripts using current perltidy version

[Minor] CI: show perltidy/tidyall versions

Different perltidy versions format code differently.

[Minor] Fix ClickHouse test after upgrade

Current ClickHouse version refuses to run from root if data directory is
not owned by root. Run it from user clickhouse as it supposed to be run.

Also cleanup ClickHouse config (some options prevented it to start,
others just unnecessary).

[Minor] Document ClickHouse table schema

[Rules] Rework LEAKED_PASSWORD_SCAM rule one more time

[Minor] Add has_symbol function to rspamd expressions

[Rules] Add dedicated bitcoin addresses filter rule

[Feature] Lua_mimepart: Add function filter_words

[Rules] Add more detection to LEAKED_PASSWORD_SCAM

[Minor] Clickhouse: Fix escaping

[Fix] Clickhouse: Fix quoting

Issue: #2928

[Minor] Try to fix types

[Minor] Fix various settings issues

Merge pull request #2927 from moisseev/webui

[Minor] WebUI: Remove hyperlink from logo

[Minor] WebUI: Remove hyperlink from logo

Merge pull request #2926 from moisseev/webui

[Minor] Remove `form` role

[Minor] WebUI: Remove unused code

[Minor] Remove `form` role

as it is unnecessary for a `form` element.

[Minor] Lua_config: Add config unload scripts

[Test] Improve settings tests coverage

[Project] Allow to set allowed and forbidden ids for symbols

[Test] Add test for virtual symbols

[Project] Fix virtual symbols processing in settings

[Project] Fix some more issues

[Project] Lua_config: Add post init scripts

[Project] Various fixes

[Doc] Support available versions in doxydown

[Project] Add missing methods to lua_config

[Project] Rework settings registration

[Minor] Lua_task: Allow to set settings id

[Project] Implement checks for symbols against allowed ids

[Project] Add symbols for explicit enabling

[Project] Link symcache item to metric symbol

[Minor] Lua_config: Add get_group_symbols method

[Project] Implement logic to deal with settings id in the cache

[Project] Add preprocessed settings to the config structure

[Fix] Html: Fix processing of fjlig entity

TODO: Make a generic fix

[Project] Implement settings ids checks

[Project] Add methods to manipulate with allowed ids

[Minor] Protocol: Allow parsing of recipients with commas

[Minor] Clickhouse: Store settings id

[Project] Settings: Add lua_settings library

[Test] Fix clickhose tests

[Feature] Clickhouse: Add authenticated user and settings id columns

[Minor] Another try to fix transactions mess

[Minor] Sqlite: Try to fix messy transaction

[Test] Copy statistics to avoid permissions problem

[Rework] Eliminate lua_squeeze as it has shown no improvements

[Test] Forgotten data files

[Test] Add classifier symbols to the tests

[Test] Add some classifiers to settings tests

[Minor] Sqlite: Improve tokens retreiving

[Conf] Slashing: Change default stats backend to Redis

[Test] Add settings id tests

[Minor] Settings: Use numeric settings id

[Minor] Settings: Treat settings section name as implicit id

Merge pull request #2921 from moisseev/mime-types

[Minor] Add "application/excel" CT for "*.xls"

[Minor] Add "application/excel" CT for "*.xls"

[Test] Improve address parsing unit tests

[Minor] Allow braced and prefixed IPv6 addresses

Merge pull request #2915 from gollux/master

libutil: Fix parsing of address "IPv6:::1"

[Conf] Surbl: Utilise new `check_emails` option

[Feature] SURBL: Allow to check email domains

Issue: #2913

[Minor] Lua_cryptobox: Allow to define output hash length

[Minor] Fix types

[Fix] Do not assert if length of sig is bad, just fail verification

[Project] Store settings id directly

Merge pull request #2917 from moisseev/webui

[WebUI] Scan/Learn: enable/disable buttons on mouse events

[WebUI] Scan/Learn: enable/disable buttons on mouse events

(drag-and-drop and context menu cut, delete, paste)

[Minor] Langdet: Improve debugging slightly

[CritFix] Langdet: Fix language detection where no stop words found

[Minor] Langdet: Increase cut-off limit

[Fix] Lang_det: Try better to distinguish Chinese and Japanese

[Fix] Really fix hyperscan workaround

Closes: #2916

Revert "[Fix] Escape utf in regexp to dodge ragel/hyperscan issue"

This reverts commit e658c7fcb5d275f144954b9cea1c34fadfa81902.

libutil: Fix parsing of address "IPv6:::1"

Dropping of leading colon must be performed after the "IPv6:" prefix
is stripped.

Also fixed a couple of wrong comments.

[Test] Fix json tests

[Fix] Escape utf in regexp to dodge ragel/hyperscan issue

[Minor] Arm64: Implement poor man slabs

Issue: #2906

[Minor] Fix missing require

[Minor] Dkim_signing: NDR are not DKIM signed

Issue: #2901

[Minor] Fix indentation

[Minor] Fix tabulation

[Test] Adopt dkim signing tests to load modules

[Minor] Compat: Allow to use old style sign_condition

[Rework] Dkim: Remove signing code

[Rework] Dkim_signing: Move sign condition to dkim_signing

[Minor] Lua_util: Add callback_from_string routine

[Test] Add functional tests for ssl in lua_tcp

[Test] Add dummy ssl echo server

[Test] Fix sockets reusing

[Minor] LibUCL: Fix reading at the end of chunk