Merge branch 'master' into vstakhov-fuzzy-tcp

Merge pull request #5035 from rspamd/vstakhov-gpt-experiments

Trying to test various things with GPT

[Project] Trying to test various things with GPT

Merge pull request #5034 from rspamd/vstakhov-fmt-11

Update embedded fmtlib to 11.0

[Minor] Update dependency info

[Rework] Update fmt to version 11

[Minor] Set mres earlier

Issue: #5028

Merge pull request #5032 from rspamd/vstakhov-gpt-plugin

Add GPT plugin

[Minor] Log FP and FN

[Minor] Add some missing symbols

[Minor] Add from and subject to the prompt

[Minor] Allow to specify spam/ham symbols in classifier_test

[Minor] Allow autolearn

[Minor] Apply review suggestion

[Minor] Adjust configuration

[Minor] Make except symbols configurable

Update src/plugins/lua/gpt.lua

Co-authored-by: Andrew Lewis <nerf@judo.za.org>

[Minor] Check words count properly

[Project] Add checks to decide if we need a GPT check

[Minor] Also use gzip compression

[Minor] Use keep-alive and upstreams logic

[Minor] Disable module by default

[Minor] Copy&paste fix

[Project] Add GPT plugin

Exclude MIME_BAD_UNICODE false positive (#5030)

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update mime_types_group.conf

* Update mime_types_group.conf

* Update composites.conf

[Project] Start client implementation

[Minor] Fix issue found by QL scan

[Minor] Fix shingles processing

[Project] Further tcp logic implementation

[Project] Further tcp/udp refactoring

[Project] Add some basic tcp session handling

[Project] Unify more utility functions

[Minor] Start functions unification

[Project] Add server side IO state machine

[Project] Implement write logic for TCP

[Project] Add some basic bits

[Project] Support fuzzy protocol over TCP

It seems that we need to use TCP for bulk requests in terms of performance
and network secureity. This project is intended to track all work in these
terms.

Fixed bug with task:inject() function according to the issue #5010 (#5021)

* [Fix] Fix issue with task:inject_url

* [Minor] Code clean up

* [Minor] Clean up

* [Minor] Small fix

* [Minor] Fix small typo

* [Test] Debug

* [Test] Debug

* [Test] Debug inject_url

* [Test] Debugging

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Minor] Debug task:inject_url test

* [Minor] Small fix

* [Minor] Debug task:inject_url test

* [Test] Test base task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test fixed task:inject

* [Test] Test fixed task:inject

* [Test] Testing task:inject

* [Test] Testing task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Minor] Clean up code in task:inject

* [Minor] Updated test for task:inject

* [Test] Debug test for task:inject_url

* [Test] Debug test for task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Minor] Clean up code

* [Minor] Clean up code

* [Minor] Little fix for error messages in url.create function

* [Test] Change way to inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Minor] Clean up code

* [Test] Without fake mime_part

* [Test] Without fake mime_part

* [Minor] Clean up

* [Test] Mime part of the task

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Another check for mpart->urls

* [Minor] Clean up

* [Minor] Clean up

* [Fix] Fixing OpenSSL 3.0 compatibility

* [Fix] Reverted

Merge pull request #5026 from rspamd/vstakhov-metrics-worker

[Rework] Allow metrics endpoint to be enabled for each scanner

[Feature] Support metrics command in normal/proxy workers

[Minor] Unify metrics conversion

[Rework] Allow metrics endpoint to be enabled for each scanner

Merge pull request #5020 from rspamd/vstakhov-slow-timer

[Rework] Rething slow timer

[Minor] Further logic tunes

Merge pull request #5011 from rspamd/vstakhov-bayes-experiments

Improve bayes performance by setting the default window size to 2

[Project] Finally fix slow timer behaviour

[Minor] Set pending status where appropriate

[Feature] Report slow synchronous rules

[Minor] Use internal flags

[Conf] Add missing symbol

[Rework] Another bunch of changes to the dependencies processing

[Minor] Remove bogus message

[Minor] Add notice about unknown deps

[Rework] Dependencies must be unique...

[Rework] Use explicit item status

Merge branch 'master' into vstakhov-bayes-experiments

[Rework] Rething slow timer

[Minor] Use files instead of arguments for rspamc

[Minor] Allow to use --list-files without other arguments

[Feature] Rspamc: add `files-list` option

Merge pull request #5015 from rspamd/vstakhov-metaexporter-timeouts

[Fix] Use explicit timeouts in the metadata exporter

[Fix] Use explicit timeouts in the metadata exporter

[Project] Reduce default window size of OSB tokenizer to 2

[Minor] Add timings

Merge pull request #5012 from moisseev/webui

[WebUI] Fix "Avg. time" column sorting

[Project] Improve stats processing

[WebUI] Fix "Avg. time" column sorting

for Symbols tab

[Project] Add a tool to perform statistical analysis of classifiers

[Minor] Fix uitil.unpack function

Merge pull request #5007 from rspamd/vstakhov-upstream-minor-config

Upstreams: make `min_resolve_interval` configurable

[Minor] Allow `options.upstreams` to be used as well

[Fix] Fix documentation nesting

[Feature] Make min_resolve_interval configurable

Merge pull request #5006 from moisseev/replies

[Minor] Set negative default scores

[Minor] Set negative default scores

for known senders

Merge pull request #4980 from fatalbanana/mw

[Rules] Added rules for detecting likely malware

Merge branch 'master' into mw

Merge pull request #5000 from spithash/patch-1

Updated broken quickstart url

Merge pull request #5001 from spithash/patch-2

Update broken writing rules url

Merge pull request #5003 from fatalbanana/milter_headers_noremoval

[Feature] milter_headers: support not removing headers

Merge branch 'master' into milter_headers_noremoval

[Fix] Resgore the collaterally removed line

Issue: #4981

[Feature] milter_headers: support not removing headers

Update broken writing rules url

Updated broken quickstart url

it was 404ring

Merge pull request #4987 from twesterhever/temp-txz

[Minor] Treat *.txz attachments as archives and harmful

Upgraded replies and known senders modules (#4895)

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* [Fix] Fix test conflict

* [Minor] Revert rename

* [Minor] Clean up code

* [Fix] Fix commit history

Merge pull request #4997 from dragoangel/patch-6

Fix hfilter checks_hello_badip

Fix hfilter checks_hello_badip

Merge pull request #4995 from lucasRolff/master

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

Merge pull request #4992 from PxPert/master

[FIX] call get_words_count method on the textpart in AV Scan

Fix get_words_count method to be called on the textpart and not on the mimepart

Merge pull request #4988 from fatalbanana/test4981

[Test] Test multimap regexp_multi map

[Test] Test multimap regexp_multi map

[Rules] Added rules for detecting likely malware

[Minor] Treat *.txz attachments as archives and harmful

Rationale: https://dshield.org/diary/Files%20with%20TXZ%20extension%20used%20as%20malspam%20attachments/30958

[Fix] Unset autolearn flag if we learn explicitly

Merge pull request #4976 from rspamd/vstakhov-fix-multimap-multisym

Fix multimaps with dynamic symbols

Merge pull request #4967 from ishisora/master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION