Merge pull request #5015 from rspamd/vstakhov-metaexporter-timeouts

[Fix] Use explicit timeouts in the metadata exporter

[Fix] Use explicit timeouts in the metadata exporter

Merge pull request #5012 from moisseev/webui

[WebUI] Fix "Avg. time" column sorting

[WebUI] Fix "Avg. time" column sorting

for Symbols tab

Merge pull request #5007 from rspamd/vstakhov-upstream-minor-config

Upstreams: make `min_resolve_interval` configurable

[Minor] Allow `options.upstreams` to be used as well

[Fix] Fix documentation nesting

[Feature] Make min_resolve_interval configurable

Merge pull request #5006 from moisseev/replies

[Minor] Set negative default scores

[Minor] Set negative default scores

for known senders

Merge pull request #4980 from fatalbanana/mw

[Rules] Added rules for detecting likely malware

Merge branch 'master' into mw

Merge pull request #5000 from spithash/patch-1

Updated broken quickstart url

Merge pull request #5001 from spithash/patch-2

Update broken writing rules url

Merge pull request #5003 from fatalbanana/milter_headers_noremoval

[Feature] milter_headers: support not removing headers

Merge branch 'master' into milter_headers_noremoval

[Fix] Resgore the collaterally removed line

Issue: #4981

[Feature] milter_headers: support not removing headers

Update broken writing rules url

Updated broken quickstart url

it was 404ring

Merge pull request #4987 from twesterhever/temp-txz

[Minor] Treat *.txz attachments as archives and harmful

Upgraded replies and known senders modules (#4895)

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* FIXED. Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Made the individual replies_set for senders and their recipients.
Made the global replies_set for verified recipients.

* Added pre-test for replies set

* Update functional of replies_set

* Few changes to replies and added check for incoming mail

* Few changes in known_senders in check_known_incoming_mail_callback

* Few changes in known_senders and replies

* An attempt to write test(not tested)

* Clean up

* Clean up

* Clean up

* Added tests for replies and known_senders (all tests failed, debug required)

* Moved replies test to the 001_merged

* Cleared up code

* Few changes to replies

* Small changes in score of CHECK_INC_MAIL symbol

* Small debug in known_senders

* Plugin known_senders is fully working

* Troubleshooting replies module

* Changed symbol for check_known_incoming_mail_callback

* Added test for failed incoming mail check

* Little rework

* Rewritten test for more appropriate

* Rewritten tests for replies module. All test passed(debugging not adding to global set)

* Debugged replies module

* Replies module works and tested(needs performance improvements)

* Cleaned up code

* Improved readability and cleaned up code

* Connected auth back(Tests not working, needs user)

* Added test for incoming mail check in known senders module

* Debugged. Works normally(tested, needs to add user)

* Debug + clean up. Tested. Works. User auth required for tests

* Improved performance

* Small changes

* Changed adding to global replies set logic + improved logs messaging

* Added authenticated user to tests

* Cleaned up

* Made a few changes according to the comments on pull request

* [Rework] Added removal of extra senders and recipients in global and local replies sets

* [Minor] Small cleanup

* [Minor] Cleaned up code

* [Fix] Fixed call of incorrect function when making key

* [Rework] Reworked scripts. Added ZADD redis call for local and global replies set

* [Minor] Cleaned up code

* [Fix] Improved performance and eliminated unnecessary invocations

* [Minor] Reassigned script ids

* [Feature] Made a check for local set

* [Fix] Upgraded tests for known senders

* [Fix] Upgraded tests for known senders

* [Fix] Fixed performance of verification of local replies set

* [Minor] Cleaned up code

* [Feature] Added new test to the known_senders tests

* [Test] Ubuntu test

* [Fix] Fixing local replies test check

* [Fix] Fixed code for local replies set check(was not working in previous versions of redis)

* [Fix] Reorganized code to more convenient style and made better loading for scripts

* [Minor] Code has been rewritten in a more appropriate format

* [Minor] Fixed debug messaging

* [Fix] Reworked expiration of replies sets

* [Minor] Upgrade code style

* [Fix] Small fix

* [Feature] Change LFU logic of global replies set to LRU logic

* [Fix] Fix test conflict

* [Minor] Revert rename

* [Minor] Clean up code

* [Fix] Fix commit history

Merge pull request #4997 from dragoangel/patch-6

Fix hfilter checks_hello_badip

Fix hfilter checks_hello_badip

Merge pull request #4995 from lucasRolff/master

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

[Minor] Fix typo in Prometheus helper message for rspamd_ham_total

Merge pull request #4992 from PxPert/master

[FIX] call get_words_count method on the textpart in AV Scan

Fix get_words_count method to be called on the textpart and not on the mimepart

Merge pull request #4988 from fatalbanana/test4981

[Test] Test multimap regexp_multi map

[Test] Test multimap regexp_multi map

[Rules] Added rules for detecting likely malware

[Minor] Treat *.txz attachments as archives and harmful

Rationale: https://dshield.org/diary/Files%20with%20TXZ%20extension%20used%20as%20malspam%20attachments/30958

[Fix] Unset autolearn flag if we learn explicitly

Merge pull request #4976 from rspamd/vstakhov-fix-multimap-multisym

Fix multimaps with dynamic symbols

Merge pull request #4967 from ishisora/master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

correct headers.lua

[Fix] Fix dynamic_symbols in the multimap plugin

[Test] Properly test symbols registration

Merge pull request #4975 from rspamd/vstakhov-dkim-l-sanity

Verify `l=` tag in DKIM signatures

[Minor] Tweak some checks

[Minor] Grr, fix misprint

[Minor] Oops, fix the build

[Feature] Verify sanity of l= tag in DKIM

Merge pull request #4972 from dragoangel/patch-5

Add bayes_expiry.conf to provide ability to set custom settings

[Minor] Use proper typing and allocation logic in kann

[Fix] Allow autolearn for the controller worker

Merge branch 'master' into patch-5

Merge pull request #4973 from rspamd/vstakhov-fix-dmarc-rua

Fix parsing of DMARC records with spaces

[Minor] Oops, fix `for` loop

[Minor] Relax mailto processing with no TLD

[Minor] Improve string splitting

[Fix] Allow spaces in DMARC records

Issue: #4906

Merge branch 'master' into patch-5

Update bayes_expiry.conf

Merge pull request #4965 from rspamd/vstakhov-check-nconns-shutdown

[Fix] Check nconns when firing the final termination event

Create bayes_expiry.conf

Merge pull request #4963 from fatalbanana/debian_fasttext

Revert "[Minor] debian: enable fasttext"

Merge branch 'rspamd:master' into master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

Merge pull request #4966 from moisseev/eslint

[Test] Disable @stylistic/multiline-comment-style

[Test] Disable @stylistic/multiline-comment-style

[Minor] Make log message less confusing

[Fix] Check nconns when firing the final termination event

Issue: #4941

Revert "[Minor] debian: enable fasttext"

This reverts commit afe7a39faf6a414f484ca15ff585e785c3da2e2c.

Merge pull request #4961 from fatalbanana/debian_fasttext

Enable fasttext support on debianalikes

[Minor] debian: enable fasttext

[Minor] debian: add libarchive-dev to Build-Depends

Merge pull request #4955 from twesterhever/temp-dnsbl-mid-fix-selector

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

Related to: https://github.com/rspamd/rspamd/pull/4888

Merge pull request #4953 from ikedas/fix_is_uppercase

[Fix] SUBJ_ALL_CAPS is overkill with some unicase scripts

Merge pull request #4954 from moisseev/webui

[Minor] Remove redundant sub-property

[Minor] Remove redundant sub-property

SUBJ_ALL_CAPS is overkill

It should consider characters in unicase scripts as being not uppercase.

Merge pull request #4888 from twesterhever/temp-rbl-mid

Implement DNSBL checks for Message-ID RHS

Merge pull request #4950 from twesterhever/temp-cd-message-body

Add Content-Description header rules

[Minor] Constrain Content-Description regexp

[Minor] Remove superflous "string.format()"

Merge pull request #4915 from twesterhever/temp-freemail-mdn

Add detection for freemail and disposable e-mail usage for message delivery notification

[Fix] Allow to set 0 as number of rows to disable roll history

Issue: #4947
Closes: #4947

Merge pull request #4951 from rspamd/vstakhov-langdet-fix

Apply detection phase if fasttext could not detect language

[Fix] Fix another corner case that allows candidates to be freed without init

[Fix] Apply detection phase if fasttext could not detect language

Issue: #4929

Merge pull request #4949 from twesterhever/temp-archive-content

[Minor] Add bad file types commonly found in archives attached to malspam

[Enhancement] Catch "Mail message body" Content-Description

This header frequently surfaces in spam, mostly advance fee fraud.

[Minor] Add rule for presence of Content-Description header

[Minor] Add bad file types commonly found in archives attached to malspam

[Minor] Query MID RHS FQDNs against popular DNSBL using selectors

See https://github.com/rspamd/rspamd/pull/4888 for the related
discussion.

Revert "[Enhancement] Check Message-ID RHS against popular DNSBLs by default"

This reverts commit c78c70c76bb7ae8e714ed773037ccce1012dd20f.

Revert "[Enhancement] Implement Message-ID RHS checks against DNSBLs"

This reverts commit 5e84a82f8742ed2bcef65859759c0dd14aa9c4ca.

[Enhancement] Check Message-ID RHS against popular DNSBLs by default

[Enhancement] Implement Message-ID RHS checks against DNSBLs

Merge pull request #4914 from twesterhever/temp-rework-injector-composite

Rework composites for spam injected into compromised accounts

[Fix] Backport fixes from libucl

Merge pull request #4942 from rspamd/vstakhov-fix-base64

Do not read out-of-boundary when doing base64 encoding

[Fix] Do not read out-of-boundary when doing base64 encoding

Merge pull request #4939 from rspamd/vstakhov-fuzzy-backpressure

Implement backpressure for fuzzy check

[Minor] Further normalization

[Minor] Jitter backpressure

[Project] Implement fuzzy check retransmits backpressure