Merge pull request #4976 from rspamd/vstakhov-fix-multimap-multisym

Fix multimaps with dynamic symbols

Merge pull request #4967 from ishisora/master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

correct headers.lua

[Fix] Fix dynamic_symbols in the multimap plugin

[Test] Properly test symbols registration

Merge pull request #4975 from rspamd/vstakhov-dkim-l-sanity

Verify `l=` tag in DKIM signatures

[Minor] Tweak some checks

[Minor] Grr, fix misprint

[Minor] Oops, fix the build

[Feature] Verify sanity of l= tag in DKIM

Merge pull request #4972 from dragoangel/patch-5

Add bayes_expiry.conf to provide ability to set custom settings

[Minor] Use proper typing and allocation logic in kann

[Fix] Allow autolearn for the controller worker

Merge branch 'master' into patch-5

Merge pull request #4973 from rspamd/vstakhov-fix-dmarc-rua

Fix parsing of DMARC records with spaces

[Minor] Oops, fix `for` loop

[Minor] Relax mailto processing with no TLD

[Minor] Improve string splitting

[Fix] Allow spaces in DMARC records

Issue: #4906

Merge branch 'master' into patch-5

Update bayes_expiry.conf

Merge pull request #4965 from rspamd/vstakhov-check-nconns-shutdown

[Fix] Check nconns when firing the final termination event

Create bayes_expiry.conf

Merge pull request #4963 from fatalbanana/debian_fasttext

Revert "[Minor] debian: enable fasttext"

Merge branch 'rspamd:master' into master

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

Merge pull request #4966 from moisseev/eslint

[Test] Disable @stylistic/multiline-comment-style

[Test] Disable @stylistic/multiline-comment-style

[Minor] Make log message less confusing

[Fix] Check nconns when firing the final termination event

Issue: #4941

Revert "[Minor] debian: enable fasttext"

This reverts commit afe7a39faf6a414f484ca15ff585e785c3da2e2c.

Merge pull request #4961 from fatalbanana/debian_fasttext

Enable fasttext support on debianalikes

[Minor] debian: enable fasttext

[Minor] debian: add libarchive-dev to Build-Depends

Merge pull request #4955 from twesterhever/temp-dnsbl-mid-fix-selector

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

Related to: https://github.com/rspamd/rspamd/pull/4888

Merge pull request #4953 from ikedas/fix_is_uppercase

[Fix] SUBJ_ALL_CAPS is overkill with some unicase scripts

Merge pull request #4954 from moisseev/webui

[Minor] Remove redundant sub-property

[Minor] Remove redundant sub-property

SUBJ_ALL_CAPS is overkill

It should consider characters in unicase scripts as being not uppercase.

Merge pull request #4888 from twesterhever/temp-rbl-mid

Implement DNSBL checks for Message-ID RHS

Merge pull request #4950 from twesterhever/temp-cd-message-body

Add Content-Description header rules

[Minor] Constrain Content-Description regexp

[Minor] Remove superflous "string.format()"

Merge pull request #4915 from twesterhever/temp-freemail-mdn

Add detection for freemail and disposable e-mail usage for message delivery notification

[Fix] Allow to set 0 as number of rows to disable roll history

Issue: #4947
Closes: #4947

Merge pull request #4951 from rspamd/vstakhov-langdet-fix

Apply detection phase if fasttext could not detect language

[Fix] Fix another corner case that allows candidates to be freed without init

[Fix] Apply detection phase if fasttext could not detect language

Issue: #4929

Merge pull request #4949 from twesterhever/temp-archive-content

[Minor] Add bad file types commonly found in archives attached to malspam

[Enhancement] Catch "Mail message body" Content-Description

This header frequently surfaces in spam, mostly advance fee fraud.

[Minor] Add rule for presence of Content-Description header

[Minor] Add bad file types commonly found in archives attached to malspam

[Minor] Query MID RHS FQDNs against popular DNSBL using selectors

See https://github.com/rspamd/rspamd/pull/4888 for the related
discussion.

Revert "[Enhancement] Check Message-ID RHS against popular DNSBLs by default"

This reverts commit c78c70c76bb7ae8e714ed773037ccce1012dd20f.

Revert "[Enhancement] Implement Message-ID RHS checks against DNSBLs"

This reverts commit 5e84a82f8742ed2bcef65859759c0dd14aa9c4ca.

[Enhancement] Check Message-ID RHS against popular DNSBLs by default

[Enhancement] Implement Message-ID RHS checks against DNSBLs

Merge pull request #4914 from twesterhever/temp-rework-injector-composite

Rework composites for spam injected into compromised accounts

[Fix] Backport fixes from libucl

Merge pull request #4942 from rspamd/vstakhov-fix-base64

Do not read out-of-boundary when doing base64 encoding

[Fix] Do not read out-of-boundary when doing base64 encoding

Merge pull request #4939 from rspamd/vstakhov-fuzzy-backpressure

Implement backpressure for fuzzy check

[Minor] Further normalization

[Minor] Jitter backpressure

[Project] Implement fuzzy check retransmits backpressure

[Minor] Change log logic in fuzzy_check

[Minor] Add function to reschedule events at specific timer

Merge pull request #4937 from rspamd/vstakhov-control-fixes

Serialize control commands

[Minor] Deal with descriptors in the wait queue

[Minor] Do not use pointers to local variables, sigh

[Minor] Try to fix mess with refcounts

[Rework] Serialize control commands

In fact, we cannot send multiple commands and read them through the pipe. It has
caused multiple weird issues in the past but I can now see clearly how it should
be done. We should send commands and serialize all requests pending to let them
being sent one by one, after reply for the previous command has been received.

Merge pull request #4935 from moisseev/webui

[Minor] Update Bootstrap

Merge pull request #4934 from dragoangel/patch-5

Fix error in headers_checks.lua

[Minor] Update Bootstrap

Merge pull request #4933 from rspamd/vstakhov-utf8-received

Support UTF8 flag for the received headers

[Fix] Backport multiple fixes from libucl

Merge pull request #4932 from rspamd/vstakhov-fix-bayes-disable

Fix statfile symbols disabling

Fix error in headers_checks.lua

[Minor] Support UTF8 in Received flags

Issue: #4919

[Fix] If we have one statfile disabled we need to disable all

Merge pull request #4930 from aduernberger/bayes_relearn

[Fix] Relearn messages in bayes filter

Merge pull request #4926 from lucasRolff/master

[Minor] Add selector to get rspamd_hostname

[Fix] Increase/decrease hash_key value for tokens depending on is_unlearn

When relearning a message, this script is called twice:

1. With `is_unlearn` true and the old `is_spam` value
2. With `is_unlearn` false and the new `is_spam` value

If `is_unlearn` is true, the code should not increase the value of the hash_key. Decreasing it ensures that it behaves like a fresh learn with the new is_spam value.

[Fix] Update is_spam in learned_ids when relearning

[Fix] Always set the unlearn flag when relearning

Treat relearning from ham to spam the same as relearning from spam to ham. `res` is only set to true if the mail is already learned.

[Minor] Move hostname resolution up to cache it

Instead of calling get_hostname() for every processed message, we instead reuse the variable value from rspamd boot time

Merge pull request #4927 from moisseev/navbar

[WebUI] Prevent navbar layout shift

Merge pull request #4922 from moisseev/webui

[WebUI] Add missing handler for file input

[Minor] Add selector to get rspamd_hostname

Merge pull request #4924 from fatalbanana/cmae_scores

[Minor] Cloudmark scores_symbols: convert keys to numeric values

[WebUI] Prevent navbar layout shift

caused by buttons hiding and scroll bar

[Minor] Cloudmark scores_symbols: convert keys to numeric values

[WebUI] Add missing handler for file input

Merge pull request #4920 from dragoangel/patch-4

[Enhancement] Exclude false positives of MIME_DOUBLE_BAD_EXTENSION

Merge pull request #4916 from twesterhever/temp-increase-rdns-none-score

[Minor] Increase RDNS_NONE score to 2.0

[Enhancement] Exclude false positives of MIME_DOUBLE_BAD_EXTENSION

If we detected extension of the file and this extension is equal to the real extension then we should not pass second extension to check function as it will trigger false positive for MIME_DOUBLE_BAD_EXTENSION.

Merge pull request #4918 from fatalbanana/grow_factor_tests

Add tests for grow_factor