Release 3.9.1

* [Conf] Spf: Add R_SPF_PLUSALL symbol with some score
* [Feature] Spf: Treat SPF +all in a special way
* [Minor] Ensure some safety when checking weights
* [Minor] Fix several issues with flag propagation
* [Minor] Gpt: Improve prompt and add some conversion heursitics
* [Minor] Gpt: Remove top_p reduce temperature to 0
* [Minor] Gpt: Set response_format
* [Minor] Gpt: Use gpt-4o-mini by default

Merge pull request #5068 from rspamd/vstakhov-gpt-fixes

Some tunes and fixes for GPT

[Minor] Use gpt-4o-mini by default

[Minor] Improve prompt and add some conversion heursitics

[Minor] Ensure some safety when checking weights

Issue: #5065

[Minor] Set response_format

[Minor] Remove top_p reduce temperature to 0

Merge pull request #5063 from moisseev/eslint

[Test] Migrate ESLint to 9.7.0

[Test] Migrate ESLint to 9.7.0

Merge pull request #5059 from rspamd/vstakhov-spf-plusall

[Feature] Treat SPF +all in a special way

Merge branch 'master' into vstakhov-spf-plusall

[Conf] Add R_SPF_PLUSALL symbol with some score

[Minor] Fix several issues with flag propagation

[Test] Add test for SPF +all

Merge pull request #5058 from moisseev/setup-node-ci

[Test] Use actions/setup-node

[Test] Use actions/setup-node

The `npm ci`sets up exact versions of Node.js packages listed in the package-lock.json file,
which is ensuring consistency across different test runs and environments.

[Feature] Treat SPF +all in a special way

Issue: #4996

[Minor] Update version to 3.9.1

Release 3.9.0

* [CritFix] Protect regexp matcher from regexps with empty patterns
* [Feature] Allow adding X-CMAE-Score header
* [Feature] Allow custom milter quarantine and tempfail messages
* [Feature] Allow to specify minimum weight in GPT plugin
* [Feature] Cloudmark: Add scores_symbols setting
* [Feature] Further optimization to the hot path
* [Feature] Make min_resolve_interval configurable
* [Feature] Report slow synchronous rules
* [Feature] Rspamc: add `files-list` option
* [Feature] Support metrics command in normal/proxy workers
* [Feature] Support reply in message pack format
* [Feature] Use msgpack in the client
* [Feature] Verify sanity of l= tag in DKIM
* [Feature] milter_headers: support not removing headers
* [Fix] Allow autolearn for the controller worker
* [Fix] Allow spaces in DMARC records
* [Fix] Allow to set 0 as number of rows to disable roll history
* [Fix] Always set the unlearn flag when relearning
* [Fix] Apply detection phase if fasttext could not detect language
* [Fix] Backport fixes from libucl
* [Fix] Backport multiple fixes from libucl
* [Fix] Change expiration logic for redis_cache
* [Fix] Check nconns when firing the final termination event
* [Fix] Do not apply tableshape for known senders
* [Fix] Do not crash if symbol is missing in the metric
* [Fix] Do not read out-of-boundary when doing base64 encoding
* [Fix] Do not save multipatterns to FS in certain cases
* [Fix] Fix another corner case that allows candidates to be freed without init
* [Fix] Fix documentation nesting
* [Fix] Fix dynamic_symbols in the multimap plugin
* [Fix] Fix inconsistent nesting in mime parts
* [Fix] Fix parsing of maps definitions
* [Fix] Fix shared memory proxying when compression is set
* [Fix] Fuzzy add/delete handlers are badly broken for compression
* [Fix] Honor dynamic thresholds for greylisting module
* [Fix] If we have one statfile disabled we need to disable all
* [Fix] Increase/decrease hash_key value for tokens depending on is_unlearn
* [Fix] Libucl: Fix messagepack autodetection
* [Fix] Resgore the collaterally removed line
* [Fix] Unset autolearn flag if we learn explicitly
* [Fix] Update `nconns` in proxy
* [Fix] Update greylisting threshold as it can be easily dynamic
* [Fix] Update is_spam in learned_ids when relearning
* [Fix] Use explicit timeouts in the metadata exporter
* [Fix] metric_exporter: avoid sending `nil` in metric values
* [Project] Add GPT plugin
* [Project] Add a tool to perform statistical analysis of classifiers
* [Project] Finally fix slow timer behaviour
* [Project] Implement fuzzy check retransmits backpressure
* [Project] Improve stats processing
* [Project] Reduce default window size of OSB tokenizer to 2
* [Project] Rework grow factor
* [Project] Start optimization of userdata hashing
* [Project] Use libarchive for troublesome archives
* [Rework] Allow metrics endpoint to be enabled for each scanner
* [Rework] Allow multiple conditions for dkim signing when using vault/redis
* [Rework] Introduce dynamic_rate_limit for ratelimits
* [Rework] Serialize control commands
* [Rework] Update fmt to version 11
* [Rework] Use direct hashing instead of string hashing
* [Rules] Added rules for detecting likely malware

Merge pull request #5053 from moisseev/ratelimit

Update comments in ratelimit.conf example

Update comments in ratelimit.conf example

[Fix] Do not crash if symbol is missing in the metric

[Fix] Do not apply tableshape for known senders

Merge pull request #5045 from rspamd/vstakhov-ratelimits-disable-dyn

Introduce dynamic_rate_limit for ratelimits plugin

Merge branch 'master' into vstakhov-ratelimits-disable-dyn

Merge pull request #5051 from fatalbanana/fix_ratelimit_tests

[Test] Fix ratelimit tests

[Minor] cmath is a bit more strict

[Test] Add missing

[Minor] Specify failure reason clearly

[Minor] Fix logic

[Test] Fix ratelimit tests

Merge branch 'master' into vstakhov-ratelimits-disable-dyn

Merge pull request #5048 from fatalbanana/ratelimit_tests

[Test] Add tests for ratelimit module

[Test] Add tests for ratelimit module

[Minor] Mention mode of dynamic limits in the log

Merge pull request #5043 from rspamd/vstakhov-gpt-tunes

Improve some functions in the GPT plugin

[Project] Enable compatibility with the existing buckets

[Rework] Introduce dynamic_rate_limit for ratelimits

Merge pull request #5041 from fatalbanana/graphite_nil

[Fix] metric_exporter: avoid sending `nil` in metric values (#5027)

[Fix] metric_exporter: avoid sending `nil` in metric values

Merge pull request #5042 from fatalbanana/suspicious_images

[Minor] Fix description (#3867)

[Minor] Fix description

[Feature] Allow to specify minimum weight in GPT plugin

[Minor] Push dynamic symbol weight

Merge pull request #5035 from rspamd/vstakhov-gpt-experiments

Trying to test various things with GPT

[Project] Trying to test various things with GPT

Merge pull request #5034 from rspamd/vstakhov-fmt-11

Update embedded fmtlib to 11.0

[Minor] Update dependency info

[Rework] Update fmt to version 11

[Minor] Set mres earlier

Issue: #5028

Merge pull request #5032 from rspamd/vstakhov-gpt-plugin

Add GPT plugin

[Minor] Log FP and FN

[Minor] Add some missing symbols

[Minor] Add from and subject to the prompt

[Minor] Allow to specify spam/ham symbols in classifier_test

[Minor] Allow autolearn

[Minor] Apply review suggestion

[Minor] Adjust configuration

[Minor] Make except symbols configurable

Update src/plugins/lua/gpt.lua

Co-authored-by: Andrew Lewis <nerf@judo.za.org>

[Minor] Check words count properly

[Project] Add checks to decide if we need a GPT check

[Minor] Also use gzip compression

[Minor] Use keep-alive and upstreams logic

[Minor] Disable module by default

[Minor] Copy&paste fix

[Project] Add GPT plugin

Exclude MIME_BAD_UNICODE false positive (#5030)

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update mime_types_group.conf

* Update mime_types_group.conf

* Update composites.conf

Fixed bug with task:inject() function according to the issue #5010 (#5021)

* [Fix] Fix issue with task:inject_url

* [Minor] Code clean up

* [Minor] Clean up

* [Minor] Small fix

* [Minor] Fix small typo

* [Test] Debug

* [Test] Debug

* [Test] Debug inject_url

* [Test] Debugging

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Minor] Debug task:inject_url test

* [Minor] Small fix

* [Minor] Debug task:inject_url test

* [Test] Test base task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test fixed task:inject

* [Test] Test fixed task:inject

* [Test] Testing task:inject

* [Test] Testing task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Minor] Clean up code in task:inject

* [Minor] Updated test for task:inject

* [Test] Debug test for task:inject_url

* [Test] Debug test for task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Minor] Clean up code

* [Minor] Clean up code

* [Minor] Little fix for error messages in url.create function

* [Test] Change way to inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Minor] Clean up code

* [Test] Without fake mime_part

* [Test] Without fake mime_part

* [Minor] Clean up

* [Test] Mime part of the task

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Another check for mpart->urls

* [Minor] Clean up

* [Minor] Clean up

* [Fix] Fixing OpenSSL 3.0 compatibility

* [Fix] Reverted

Merge pull request #5026 from rspamd/vstakhov-metrics-worker

[Rework] Allow metrics endpoint to be enabled for each scanner

[Feature] Support metrics command in normal/proxy workers

[Minor] Unify metrics conversion

[Rework] Allow metrics endpoint to be enabled for each scanner

Merge pull request #5020 from rspamd/vstakhov-slow-timer

[Rework] Rething slow timer

[Minor] Further logic tunes

Merge pull request #5011 from rspamd/vstakhov-bayes-experiments

Improve bayes performance by setting the default window size to 2

[Project] Finally fix slow timer behaviour

[Minor] Set pending status where appropriate

[Feature] Report slow synchronous rules

[Minor] Use internal flags

[Conf] Add missing symbol

[Rework] Another bunch of changes to the dependencies processing

[Minor] Remove bogus message

[Minor] Add notice about unknown deps

[Rework] Dependencies must be unique...

[Rework] Use explicit item status

Merge branch 'master' into vstakhov-bayes-experiments

[Rework] Rething slow timer

[Minor] Use files instead of arguments for rspamc

[Minor] Allow to use --list-files without other arguments

[Feature] Rspamc: add `files-list` option

Merge pull request #5015 from rspamd/vstakhov-metaexporter-timeouts

[Fix] Use explicit timeouts in the metadata exporter

[Fix] Use explicit timeouts in the metadata exporter

[Project] Reduce default window size of OSB tokenizer to 2

[Minor] Add timings

Merge pull request #5012 from moisseev/webui

[WebUI] Fix "Avg. time" column sorting

[Project] Improve stats processing

[WebUI] Fix "Avg. time" column sorting

for Symbols tab

[Project] Add a tool to perform statistical analysis of classifiers

[Minor] Fix uitil.unpack function