Merge pull request #5003 from fatalbanana/milter_headers_noremoval

[Feature] milter_headers: support not removing headers

Merge branch 'master' into milter_headers_noremoval

[Fix] Resgore the collaterally removed line

Issue: #4981

[Feature] milter_headers: support not removing headers

Merge pull request #4987 from twesterhever/temp-txz

[Minor] Treat *.txz attachments as archives and harmful

Upgraded replies and known senders modules (#4895)

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* [Fix] Fix test conflict

* [Minor] Revert rename

* [Minor] Clean up code

* [Fix] Fix commit history

Merge pull request #4997 from dragoangel/patch-6

Fix hfilter checks_hello_badip

Fix hfilter checks_hello_badip

Merge pull request #4995 from lucasRolff/master

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

Merge pull request #4992 from PxPert/master

[FIX] call get_words_count method on the textpart in AV Scan

Fix get_words_count method to be called on the textpart and not on the mimepart

Merge pull request #4988 from fatalbanana/test4981

[Test] Test multimap regexp_multi map

[Test] Test multimap regexp_multi map

[Minor] Treat *.txz attachments as archives and harmful

Rationale: https://dshield.org/diary/Files%20with%20TXZ%20extension%20used%20as%20malspam%20attachments/30958

[Fix] Unset autolearn flag if we learn explicitly

Merge pull request #4976 from rspamd/vstakhov-fix-multimap-multisym

Fix multimaps with dynamic symbols

Merge pull request #4967 from ishisora/master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

correct headers.lua

[Fix] Fix dynamic_symbols in the multimap plugin

[Test] Properly test symbols registration

Merge pull request #4975 from rspamd/vstakhov-dkim-l-sanity

Verify `l=` tag in DKIM signatures

[Minor] Tweak some checks

[Minor] Grr, fix misprint

[Minor] Oops, fix the build

[Feature] Verify sanity of l= tag in DKIM

Merge pull request #4972 from dragoangel/patch-5

Add bayes_expiry.conf to provide ability to set custom settings

[Minor] Use proper typing and allocation logic in kann

[Fix] Allow autolearn for the controller worker

Merge branch 'master' into patch-5

Merge pull request #4973 from rspamd/vstakhov-fix-dmarc-rua

Fix parsing of DMARC records with spaces

[Minor] Oops, fix `for` loop

[Minor] Relax mailto processing with no TLD

[Minor] Improve string splitting

[Fix] Allow spaces in DMARC records

Issue: #4906

Merge branch 'master' into patch-5

Update bayes_expiry.conf

Merge pull request #4965 from rspamd/vstakhov-check-nconns-shutdown

[Fix] Check nconns when firing the final termination event

Create bayes_expiry.conf

Merge pull request #4963 from fatalbanana/debian_fasttext

Revert "[Minor] debian: enable fasttext"

Merge branch 'rspamd:master' into master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

Merge pull request #4966 from moisseev/eslint

[Test] Disable @stylistic/multiline-comment-style

[Test] Disable @stylistic/multiline-comment-style

[Minor] Make log message less confusing

[Fix] Check nconns when firing the final termination event

Issue: #4941

Revert "[Minor] debian: enable fasttext"

This reverts commit afe7a39faf6a414f484ca15ff585e785c3da2e2c.

Merge pull request #4961 from fatalbanana/debian_fasttext

Enable fasttext support on debianalikes

[Minor] debian: enable fasttext

[Minor] debian: add libarchive-dev to Build-Depends

Merge pull request #4955 from twesterhever/temp-dnsbl-mid-fix-selector

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

Related to: https://github.com/rspamd/rspamd/pull/4888

Merge pull request #4953 from ikedas/fix_is_uppercase

[Fix] SUBJ_ALL_CAPS is overkill with some unicase scripts

Merge pull request #4954 from moisseev/webui

[Minor] Remove redundant sub-property

[Minor] Remove redundant sub-property

SUBJ_ALL_CAPS is overkill

It should consider characters in unicase scripts as being not uppercase.

Merge pull request #4888 from twesterhever/temp-rbl-mid

Implement DNSBL checks for Message-ID RHS

Merge pull request #4950 from twesterhever/temp-cd-message-body

Add Content-Description header rules

[Minor] Constrain Content-Description regexp

[Minor] Remove superflous "string.format()"

Merge pull request #4915 from twesterhever/temp-freemail-mdn

Add detection for freemail and disposable e-mail usage for message delivery notification

[Fix] Allow to set 0 as number of rows to disable roll history

Issue: #4947
Closes: #4947

Merge pull request #4951 from rspamd/vstakhov-langdet-fix

Apply detection phase if fasttext could not detect language

[Fix] Fix another corner case that allows candidates to be freed without init

[Fix] Apply detection phase if fasttext could not detect language

Issue: #4929

Merge pull request #4949 from twesterhever/temp-archive-content

[Minor] Add bad file types commonly found in archives attached to malspam

[Enhancement] Catch "Mail message body" Content-Description

This header frequently surfaces in spam, mostly advance fee fraud.

[Minor] Add rule for presence of Content-Description header

[Minor] Add bad file types commonly found in archives attached to malspam

[Minor] Query MID RHS FQDNs against popular DNSBL using selectors

See https://github.com/rspamd/rspamd/pull/4888 for the related
discussion.

Revert "[Enhancement] Check Message-ID RHS against popular DNSBLs by default"

This reverts commit c78c70c76bb7ae8e714ed773037ccce1012dd20f.

Revert "[Enhancement] Implement Message-ID RHS checks against DNSBLs"

This reverts commit 5e84a82f8742ed2bcef65859759c0dd14aa9c4ca.

[Enhancement] Check Message-ID RHS against popular DNSBLs by default

[Enhancement] Implement Message-ID RHS checks against DNSBLs

Merge pull request #4914 from twesterhever/temp-rework-injector-composite

Rework composites for spam injected into compromised accounts

[Fix] Backport fixes from libucl

Merge pull request #4942 from rspamd/vstakhov-fix-base64

Do not read out-of-boundary when doing base64 encoding

[Fix] Do not read out-of-boundary when doing base64 encoding

Merge pull request #4939 from rspamd/vstakhov-fuzzy-backpressure

Implement backpressure for fuzzy check

[Minor] Further normalization

[Minor] Jitter backpressure

[Project] Implement fuzzy check retransmits backpressure

[Minor] Change log logic in fuzzy_check

[Minor] Add function to reschedule events at specific timer

Merge pull request #4937 from rspamd/vstakhov-control-fixes

Serialize control commands

[Minor] Deal with descriptors in the wait queue

[Minor] Do not use pointers to local variables, sigh

[Minor] Try to fix mess with refcounts

[Rework] Serialize control commands

In fact, we cannot send multiple commands and read them through the pipe. It has
caused multiple weird issues in the past but I can now see clearly how it should
be done. We should send commands and serialize all requests pending to let them
being sent one by one, after reply for the previous command has been received.

Merge pull request #4935 from moisseev/webui

[Minor] Update Bootstrap

Merge pull request #4934 from dragoangel/patch-5

Fix error in headers_checks.lua

[Minor] Update Bootstrap

Merge pull request #4933 from rspamd/vstakhov-utf8-received

Support UTF8 flag for the received headers

[Fix] Backport multiple fixes from libucl

Merge pull request #4932 from rspamd/vstakhov-fix-bayes-disable

Fix statfile symbols disabling

Fix error in headers_checks.lua

[Minor] Support UTF8 in Received flags

Issue: #4919

[Fix] If we have one statfile disabled we need to disable all

Merge pull request #4930 from aduernberger/bayes_relearn

[Fix] Relearn messages in bayes filter