[Minor] Push dynamic symbol weight

Merge pull request #5035 from rspamd/vstakhov-gpt-experiments

Trying to test various things with GPT

[Project] Trying to test various things with GPT

Merge pull request #5034 from rspamd/vstakhov-fmt-11

Update embedded fmtlib to 11.0

[Minor] Update dependency info

[Rework] Update fmt to version 11

[Minor] Set mres earlier

Issue: #5028

Merge pull request #5032 from rspamd/vstakhov-gpt-plugin

Add GPT plugin

[Minor] Log FP and FN

[Minor] Add some missing symbols

[Minor] Add from and subject to the prompt

[Minor] Allow to specify spam/ham symbols in classifier_test

[Minor] Allow autolearn

[Minor] Apply review suggestion

[Minor] Adjust configuration

[Minor] Make except symbols configurable

Update src/plugins/lua/gpt.lua

Co-authored-by: Andrew Lewis <nerf@judo.za.org>

[Minor] Check words count properly

[Project] Add checks to decide if we need a GPT check

[Minor] Also use gzip compression

[Minor] Use keep-alive and upstreams logic

[Minor] Disable module by default

[Minor] Copy&paste fix

[Project] Add GPT plugin

Exclude MIME_BAD_UNICODE false positive (#5030)

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update mime_types_group.conf

* Update mime_types_group.conf

* Update composites.conf

Fixed bug with task:inject() function according to the issue #5010 (#5021)

* [Fix] Fix issue with task:inject_url

* [Minor] Code clean up

* [Minor] Clean up

* [Minor] Small fix

* [Minor] Fix small typo

* [Test] Debug

* [Test] Debug

* [Test] Debug inject_url

* [Test] Debugging

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Minor] Debug task:inject_url test

* [Minor] Small fix

* [Minor] Debug task:inject_url test

* [Test] Test base task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test fixed task:inject

* [Test] Test fixed task:inject

* [Test] Testing task:inject

* [Test] Testing task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Minor] Clean up code in task:inject

* [Minor] Updated test for task:inject

* [Test] Debug test for task:inject_url

* [Test] Debug test for task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Minor] Clean up code

* [Minor] Clean up code

* [Minor] Little fix for error messages in url.create function

* [Test] Change way to inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Minor] Clean up code

* [Test] Without fake mime_part

* [Test] Without fake mime_part

* [Minor] Clean up

* [Test] Mime part of the task

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Another check for mpart->urls

* [Minor] Clean up

* [Minor] Clean up

* [Fix] Fixing OpenSSL 3.0 compatibility

* [Fix] Reverted

Merge pull request #5026 from rspamd/vstakhov-metrics-worker

[Rework] Allow metrics endpoint to be enabled for each scanner

[Feature] Support metrics command in normal/proxy workers

[Minor] Unify metrics conversion

[Rework] Allow metrics endpoint to be enabled for each scanner

Merge pull request #5020 from rspamd/vstakhov-slow-timer

[Rework] Rething slow timer

[Minor] Further logic tunes

Merge pull request #5011 from rspamd/vstakhov-bayes-experiments

Improve bayes performance by setting the default window size to 2

[Project] Finally fix slow timer behaviour

[Minor] Set pending status where appropriate

[Feature] Report slow synchronous rules

[Minor] Use internal flags

[Conf] Add missing symbol

[Rework] Another bunch of changes to the dependencies processing

[Minor] Remove bogus message

[Minor] Add notice about unknown deps

[Rework] Dependencies must be unique...

[Rework] Use explicit item status

Merge branch 'master' into vstakhov-bayes-experiments

[Rework] Rething slow timer

[Minor] Use files instead of arguments for rspamc

[Minor] Allow to use --list-files without other arguments

[Feature] Rspamc: add `files-list` option

Merge pull request #5015 from rspamd/vstakhov-metaexporter-timeouts

[Fix] Use explicit timeouts in the metadata exporter

[Fix] Use explicit timeouts in the metadata exporter

[Project] Reduce default window size of OSB tokenizer to 2

[Minor] Add timings

Merge pull request #5012 from moisseev/webui

[WebUI] Fix "Avg. time" column sorting

[Project] Improve stats processing

[WebUI] Fix "Avg. time" column sorting

for Symbols tab

[Project] Add a tool to perform statistical analysis of classifiers

[Minor] Fix uitil.unpack function

Merge pull request #5007 from rspamd/vstakhov-upstream-minor-config

Upstreams: make `min_resolve_interval` configurable

[Minor] Allow `options.upstreams` to be used as well

[Fix] Fix documentation nesting

[Feature] Make min_resolve_interval configurable

Merge pull request #5006 from moisseev/replies

[Minor] Set negative default scores

[Minor] Set negative default scores

for known senders

Merge pull request #4980 from fatalbanana/mw

[Rules] Added rules for detecting likely malware

Merge branch 'master' into mw

Merge pull request #5000 from spithash/patch-1

Updated broken quickstart url

Merge pull request #5001 from spithash/patch-2

Update broken writing rules url

Merge pull request #5003 from fatalbanana/milter_headers_noremoval

[Feature] milter_headers: support not removing headers

Merge branch 'master' into milter_headers_noremoval

[Fix] Resgore the collaterally removed line

Issue: #4981

[Feature] milter_headers: support not removing headers

Update broken writing rules url

Updated broken quickstart url

it was 404ring

Merge pull request #4987 from twesterhever/temp-txz

[Minor] Treat *.txz attachments as archives and harmful

Upgraded replies and known senders modules (#4895)

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* [Fix] Fix test conflict

* [Minor] Revert rename

* [Minor] Clean up code

* [Fix] Fix commit history

Merge pull request #4997 from dragoangel/patch-6

Fix hfilter checks_hello_badip

Fix hfilter checks_hello_badip

Merge pull request #4995 from lucasRolff/master

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

Merge pull request #4992 from PxPert/master

[FIX] call get_words_count method on the textpart in AV Scan

Fix get_words_count method to be called on the textpart and not on the mimepart

Merge pull request #4988 from fatalbanana/test4981

[Test] Test multimap regexp_multi map

[Test] Test multimap regexp_multi map

[Rules] Added rules for detecting likely malware

[Minor] Treat *.txz attachments as archives and harmful

Rationale: https://dshield.org/diary/Files%20with%20TXZ%20extension%20used%20as%20malspam%20attachments/30958

[Fix] Unset autolearn flag if we learn explicitly

Merge pull request #4976 from rspamd/vstakhov-fix-multimap-multisym

Fix multimaps with dynamic symbols

Merge pull request #4967 from ishisora/master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

correct headers.lua

[Fix] Fix dynamic_symbols in the multimap plugin

[Test] Properly test symbols registration

Merge pull request #4975 from rspamd/vstakhov-dkim-l-sanity

Verify `l=` tag in DKIM signatures

[Minor] Tweak some checks

[Minor] Grr, fix misprint

[Minor] Oops, fix the build

[Feature] Verify sanity of l= tag in DKIM

Merge pull request #4972 from dragoangel/patch-5

Add bayes_expiry.conf to provide ability to set custom settings

[Minor] Use proper typing and allocation logic in kann

[Fix] Allow autolearn for the controller worker

Merge branch 'master' into patch-5