[Feature] Support metrics command in normal/proxy workers

[Minor] Unify metrics conversion

[Rework] Allow metrics endpoint to be enabled for each scanner

Merge pull request #5020 from rspamd/vstakhov-slow-timer

[Rework] Rething slow timer

[Minor] Further logic tunes

Merge pull request #5011 from rspamd/vstakhov-bayes-experiments

Improve bayes performance by setting the default window size to 2

[Project] Finally fix slow timer behaviour

[Minor] Set pending status where appropriate

[Feature] Report slow synchronous rules

[Minor] Use internal flags

[Conf] Add missing symbol

[Rework] Another bunch of changes to the dependencies processing

[Minor] Remove bogus message

[Minor] Add notice about unknown deps

[Rework] Dependencies must be unique...

[Rework] Use explicit item status

Merge branch 'master' into vstakhov-bayes-experiments

[Rework] Rething slow timer

[Minor] Use files instead of arguments for rspamc

[Minor] Allow to use --list-files without other arguments

[Feature] Rspamc: add `files-list` option

Merge pull request #5015 from rspamd/vstakhov-metaexporter-timeouts

[Fix] Use explicit timeouts in the metadata exporter

[Fix] Use explicit timeouts in the metadata exporter

[Project] Reduce default window size of OSB tokenizer to 2

[Minor] Add timings

Merge pull request #5012 from moisseev/webui

[WebUI] Fix "Avg. time" column sorting

[Project] Improve stats processing

[WebUI] Fix "Avg. time" column sorting

for Symbols tab

[Project] Add a tool to perform statistical analysis of classifiers

[Minor] Fix uitil.unpack function

Merge pull request #5007 from rspamd/vstakhov-upstream-minor-config

Upstreams: make `min_resolve_interval` configurable

[Minor] Allow `options.upstreams` to be used as well

[Fix] Fix documentation nesting

[Feature] Make min_resolve_interval configurable

Merge pull request #5006 from moisseev/replies

[Minor] Set negative default scores

[Minor] Set negative default scores

for known senders

Merge pull request #4980 from fatalbanana/mw

[Rules] Added rules for detecting likely malware

Merge branch 'master' into mw

Merge pull request #5000 from spithash/patch-1

Updated broken quickstart url

Merge pull request #5001 from spithash/patch-2

Update broken writing rules url

Merge pull request #5003 from fatalbanana/milter_headers_noremoval

[Feature] milter_headers: support not removing headers

Merge branch 'master' into milter_headers_noremoval

[Fix] Resgore the collaterally removed line

Issue: #4981

[Feature] milter_headers: support not removing headers

Update broken writing rules url

Updated broken quickstart url

it was 404ring

Merge pull request #4987 from twesterhever/temp-txz

[Minor] Treat *.txz attachments as archives and harmful

Upgraded replies and known senders modules (#4895)

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* [Fix] Fix test conflict

* [Minor] Revert rename

* [Minor] Clean up code

* [Fix] Fix commit history

Merge pull request #4997 from dragoangel/patch-6

Fix hfilter checks_hello_badip

Fix hfilter checks_hello_badip

Merge pull request #4995 from lucasRolff/master

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

Merge pull request #4992 from PxPert/master

[FIX] call get_words_count method on the textpart in AV Scan

Fix get_words_count method to be called on the textpart and not on the mimepart

Merge pull request #4988 from fatalbanana/test4981

[Test] Test multimap regexp_multi map

[Test] Test multimap regexp_multi map

[Rules] Added rules for detecting likely malware

[Minor] Treat *.txz attachments as archives and harmful

Rationale: https://dshield.org/diary/Files%20with%20TXZ%20extension%20used%20as%20malspam%20attachments/30958

[Fix] Unset autolearn flag if we learn explicitly

Merge pull request #4976 from rspamd/vstakhov-fix-multimap-multisym

Fix multimaps with dynamic symbols

Merge pull request #4967 from ishisora/master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

correct headers.lua

[Fix] Fix dynamic_symbols in the multimap plugin

[Test] Properly test symbols registration

Merge pull request #4975 from rspamd/vstakhov-dkim-l-sanity

Verify `l=` tag in DKIM signatures

[Minor] Tweak some checks

[Minor] Grr, fix misprint

[Minor] Oops, fix the build

[Feature] Verify sanity of l= tag in DKIM

Merge pull request #4972 from dragoangel/patch-5

Add bayes_expiry.conf to provide ability to set custom settings

[Minor] Use proper typing and allocation logic in kann

[Fix] Allow autolearn for the controller worker

Merge branch 'master' into patch-5

Merge pull request #4973 from rspamd/vstakhov-fix-dmarc-rua

Fix parsing of DMARC records with spaces

[Minor] Oops, fix `for` loop

[Minor] Relax mailto processing with no TLD

[Minor] Improve string splitting

[Fix] Allow spaces in DMARC records

Issue: #4906

Merge branch 'master' into patch-5

Update bayes_expiry.conf

Merge pull request #4965 from rspamd/vstakhov-check-nconns-shutdown

[Fix] Check nconns when firing the final termination event

Create bayes_expiry.conf

Merge pull request #4963 from fatalbanana/debian_fasttext

Revert "[Minor] debian: enable fasttext"

Merge branch 'rspamd:master' into master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

Merge pull request #4966 from moisseev/eslint

[Test] Disable @stylistic/multiline-comment-style

[Test] Disable @stylistic/multiline-comment-style

[Minor] Make log message less confusing

[Fix] Check nconns when firing the final termination event

Issue: #4941

Revert "[Minor] debian: enable fasttext"

This reverts commit afe7a39faf6a414f484ca15ff585e785c3da2e2c.

Merge pull request #4961 from fatalbanana/debian_fasttext

Enable fasttext support on debianalikes

[Minor] debian: enable fasttext

[Minor] debian: add libarchive-dev to Build-Depends

Merge pull request #4955 from twesterhever/temp-dnsbl-mid-fix-selector

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

Related to: https://github.com/rspamd/rspamd/pull/4888

Merge pull request #4953 from ikedas/fix_is_uppercase

[Fix] SUBJ_ALL_CAPS is overkill with some unicase scripts

Merge pull request #4954 from moisseev/webui

[Minor] Remove redundant sub-property

[Minor] Remove redundant sub-property

SUBJ_ALL_CAPS is overkill

It should consider characters in unicase scripts as being not uppercase.