[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

[Minor] Exclude User-Agent: Mozilla Thunderbird from XM_UA_NO_VERSION

Merge pull request #4961 from fatalbanana/debian_fasttext

Enable fasttext support on debianalikes

[Minor] debian: enable fasttext

[Minor] debian: add libarchive-dev to Build-Depends

Merge pull request #4955 from twesterhever/temp-dnsbl-mid-fix-selector

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

[Minor] Properly make use of selectors for checking MID RHSs against DNSBLs

Related to: https://github.com/rspamd/rspamd/pull/4888

Merge pull request #4953 from ikedas/fix_is_uppercase

[Fix] SUBJ_ALL_CAPS is overkill with some unicase scripts

Merge pull request #4954 from moisseev/webui

[Minor] Remove redundant sub-property

[Minor] Remove redundant sub-property

SUBJ_ALL_CAPS is overkill

It should consider characters in unicase scripts as being not uppercase.

Merge pull request #4888 from twesterhever/temp-rbl-mid

Implement DNSBL checks for Message-ID RHS

Merge pull request #4950 from twesterhever/temp-cd-message-body

Add Content-Description header rules

[Minor] Constrain Content-Description regexp

[Minor] Remove superflous "string.format()"

Merge pull request #4915 from twesterhever/temp-freemail-mdn

Add detection for freemail and disposable e-mail usage for message delivery notification

[Fix] Allow to set 0 as number of rows to disable roll history

Issue: #4947
Closes: #4947

Merge pull request #4951 from rspamd/vstakhov-langdet-fix

Apply detection phase if fasttext could not detect language

[Fix] Fix another corner case that allows candidates to be freed without init

[Fix] Apply detection phase if fasttext could not detect language

Issue: #4929

Merge pull request #4949 from twesterhever/temp-archive-content

[Minor] Add bad file types commonly found in archives attached to malspam

[Enhancement] Catch "Mail message body" Content-Description

This header frequently surfaces in spam, mostly advance fee fraud.

[Minor] Add rule for presence of Content-Description header

[Minor] Add bad file types commonly found in archives attached to malspam

[Minor] Query MID RHS FQDNs against popular DNSBL using selectors

See https://github.com/rspamd/rspamd/pull/4888 for the related
discussion.

Revert "[Enhancement] Check Message-ID RHS against popular DNSBLs by default"

This reverts commit c78c70c76bb7ae8e714ed773037ccce1012dd20f.

Revert "[Enhancement] Implement Message-ID RHS checks against DNSBLs"

This reverts commit 5e84a82f8742ed2bcef65859759c0dd14aa9c4ca.

[Enhancement] Check Message-ID RHS against popular DNSBLs by default

[Enhancement] Implement Message-ID RHS checks against DNSBLs

Merge pull request #4914 from twesterhever/temp-rework-injector-composite

Rework composites for spam injected into compromised accounts

[Fix] Backport fixes from libucl

Merge pull request #4942 from rspamd/vstakhov-fix-base64

Do not read out-of-boundary when doing base64 encoding

[Fix] Do not read out-of-boundary when doing base64 encoding

Merge pull request #4939 from rspamd/vstakhov-fuzzy-backpressure

Implement backpressure for fuzzy check

[Minor] Further normalization

[Minor] Jitter backpressure

[Project] Implement fuzzy check retransmits backpressure

[Minor] Change log logic in fuzzy_check

[Minor] Add function to reschedule events at specific timer

Merge pull request #4937 from rspamd/vstakhov-control-fixes

Serialize control commands

[Minor] Deal with descriptors in the wait queue

[Minor] Do not use pointers to local variables, sigh

[Minor] Try to fix mess with refcounts

[Rework] Serialize control commands

In fact, we cannot send multiple commands and read them through the pipe. It has
caused multiple weird issues in the past but I can now see clearly how it should
be done. We should send commands and serialize all requests pending to let them
being sent one by one, after reply for the previous command has been received.

Merge pull request #4935 from moisseev/webui

[Minor] Update Bootstrap

Merge pull request #4934 from dragoangel/patch-5

Fix error in headers_checks.lua

[Minor] Update Bootstrap

Merge pull request #4933 from rspamd/vstakhov-utf8-received

Support UTF8 flag for the received headers

[Fix] Backport multiple fixes from libucl

Merge pull request #4932 from rspamd/vstakhov-fix-bayes-disable

Fix statfile symbols disabling

Fix error in headers_checks.lua

[Minor] Support UTF8 in Received flags

Issue: #4919

[Fix] If we have one statfile disabled we need to disable all

Merge pull request #4930 from aduernberger/bayes_relearn

[Fix] Relearn messages in bayes filter

Merge pull request #4926 from lucasRolff/master

[Minor] Add selector to get rspamd_hostname

[Fix] Increase/decrease hash_key value for tokens depending on is_unlearn

When relearning a message, this script is called twice:

1. With `is_unlearn` true and the old `is_spam` value
2. With `is_unlearn` false and the new `is_spam` value

If `is_unlearn` is true, the code should not increase the value of the hash_key. Decreasing it ensures that it behaves like a fresh learn with the new is_spam value.

[Fix] Update is_spam in learned_ids when relearning

[Fix] Always set the unlearn flag when relearning

Treat relearning from ham to spam the same as relearning from spam to ham. `res` is only set to true if the mail is already learned.

[Minor] Move hostname resolution up to cache it

Instead of calling get_hostname() for every processed message, we instead reuse the variable value from rspamd boot time

Merge pull request #4927 from moisseev/navbar

[WebUI] Prevent navbar layout shift

Merge pull request #4922 from moisseev/webui

[WebUI] Add missing handler for file input

[Minor] Add selector to get rspamd_hostname

Merge pull request #4924 from fatalbanana/cmae_scores

[Minor] Cloudmark scores_symbols: convert keys to numeric values

[WebUI] Prevent navbar layout shift

caused by buttons hiding and scroll bar

[Minor] Cloudmark scores_symbols: convert keys to numeric values

[WebUI] Add missing handler for file input

Merge pull request #4920 from dragoangel/patch-4

[Enhancement] Exclude false positives of MIME_DOUBLE_BAD_EXTENSION

Merge pull request #4916 from twesterhever/temp-increase-rdns-none-score

[Minor] Increase RDNS_NONE score to 2.0

[Enhancement] Exclude false positives of MIME_DOUBLE_BAD_EXTENSION

If we detected extension of the file and this extension is equal to the real extension then we should not pass second extension to check function as it will trigger false positive for MIME_DOUBLE_BAD_EXTENSION.

Merge pull request #4918 from fatalbanana/grow_factor_tests

Add tests for grow_factor

[Test] Add tests for grow_factor

[Minor] Fix grow_factor

Merge pull request #4917 from fatalbanana/gha_whups

[Test] Fix uploading of test logs when tests are failed

[Test] Fix uploading of test logs when tests are failed

Merge pull request #4913 from moisseev/webui

[WebUI] Escape HTML characters in errors history

Merge pull request #4912 from rspamd/vstakhov-grow-factor-rework

Rework grow factor

[Minor] Increase RDNS_NONE score to 2.0

[Minor] Fix typo in rule name

[Minor] Add composite for suspicios free/disposamail MDN usage

[Minor] Improve FREEMAIL_AFF detection

[Enhancement] Detect freemail and disposable e-mail usage for MDN

[Minor] Also respect HAS_XOIP for authenticated messages

[Minor] Add some missing groups to existing composite rules

[Minor] Rework composites for spam injected into compromised accounts

[WebUI] Escape HTML characters in errors history

[Project] Adjust some final bits

[Project] Write a function to adjust grow factor properly

[Project] Rework grow factor as it is currently broken

Merge pull request #4910 from rspamd/vstakhov-fix-greylist-threshold

Update greylisting threshold on each scan as it can be easily dynamic

Merge branch 'master' into vstakhov-fix-greylist-threshold

Merge pull request #4911 from fatalbanana/break_greylisting_tests

[Test] Try break greylisting tests

[Test] Try break greylisting tests

[Fix] Honor dynamic thresholds for greylisting module

[Minor] Remove redundant metric name

[Fix] Update greylisting threshold as it can be easily dynamic

Issue: #4908
Closes: #4908

[Minor] Fix issue with ucl variables

Pointed by: @crest

Merge pull request #4903 from rspamd/vstakhov-fix-zstd-mmap

Fix shared memory proxying when compression is set

[Fix] Fix shared memory proxying when compression is set

Merge pull request #4901 from rspamd/vstakhov-milter-quarantine-message

Allow custom milter quarantine and tempfail messages

[Feature] Allow custom milter quarantine and tempfail messages

Issue: #4892
Closes: #4892