Merge branch 'master' into vstakhov-fuzzy-tcp

Merge pull request #5079 from dragoangel/patch-7

Add name in statistic.conf

Merge branch 'master' into patch-7

Merge pull request #5077 from moisseev/senderscore

[Conf] Add SenderScore RPBL return codes

Update conf/statistic.conf

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Rename unrecognized SenderScore RBL result symbol

Update statistic.conf

Update statistic.conf

Set SenderScore RPBL scores

[Conf] Add SenderScore RPBL return codes

[Minor] Try to fix ambigious rvalue

[Minor] Fix known senders to work with empty mime recipients

Issue: #5070

Merge pull request #4960 from JasonStephenson/bugfix/arc-regex-fix

[FIX] Arc regex to no longer match on dmarc=

linter fix

[Conf] Increase scores for strange things in the archives

[Fix] GPT: Fix bug in condition check

Use pattern to get all methodspecs + reasonspecs, and return the value of the arc one if present

[Minor] Update version to 3.9.2

Release 3.9.1

* [Conf] Spf: Add R_SPF_PLUSALL symbol with some score
* [Feature] Spf: Treat SPF +all in a special way
* [Minor] Ensure some safety when checking weights
* [Minor] Fix several issues with flag propagation
* [Minor] Gpt: Improve prompt and add some conversion heursitics
* [Minor] Gpt: Remove top_p reduce temperature to 0
* [Minor] Gpt: Set response_format
* [Minor] Gpt: Use gpt-4o-mini by default

Merge pull request #5068 from rspamd/vstakhov-gpt-fixes

Some tunes and fixes for GPT

[Minor] Use gpt-4o-mini by default

[Minor] Improve prompt and add some conversion heursitics

[Minor] Ensure some safety when checking weights

Issue: #5065

[Minor] Set response_format

[Minor] Remove top_p reduce temperature to 0

Merge pull request #5063 from moisseev/eslint

[Test] Migrate ESLint to 9.7.0

[Test] Migrate ESLint to 9.7.0

Merge pull request #5059 from rspamd/vstakhov-spf-plusall

[Feature] Treat SPF +all in a special way

Merge branch 'master' into vstakhov-spf-plusall

[Conf] Add R_SPF_PLUSALL symbol with some score

[Minor] Fix several issues with flag propagation

[Test] Add test for SPF +all

Merge pull request #5058 from moisseev/setup-node-ci

[Test] Use actions/setup-node

[Test] Use actions/setup-node

The `npm ci`sets up exact versions of Node.js packages listed in the package-lock.json file,
which is ensuring consistency across different test runs and environments.

[Feature] Treat SPF +all in a special way

Issue: #4996

[Minor] Update version to 3.9.1

Release 3.9.0

* [CritFix] Protect regexp matcher from regexps with empty patterns
* [Feature] Allow adding X-CMAE-Score header
* [Feature] Allow custom milter quarantine and tempfail messages
* [Feature] Allow to specify minimum weight in GPT plugin
* [Feature] Cloudmark: Add scores_symbols setting
* [Feature] Further optimization to the hot path
* [Feature] Make min_resolve_interval configurable
* [Feature] Report slow synchronous rules
* [Feature] Rspamc: add `files-list` option
* [Feature] Support metrics command in normal/proxy workers
* [Feature] Support reply in message pack format
* [Feature] Use msgpack in the client
* [Feature] Verify sanity of l= tag in DKIM
* [Feature] milter_headers: support not removing headers
* [Fix] Allow autolearn for the controller worker
* [Fix] Allow spaces in DMARC records
* [Fix] Allow to set 0 as number of rows to disable roll history
* [Fix] Always set the unlearn flag when relearning
* [Fix] Apply detection phase if fasttext could not detect language
* [Fix] Backport fixes from libucl
* [Fix] Backport multiple fixes from libucl
* [Fix] Change expiration logic for redis_cache
* [Fix] Check nconns when firing the final termination event
* [Fix] Do not apply tableshape for known senders
* [Fix] Do not crash if symbol is missing in the metric
* [Fix] Do not read out-of-boundary when doing base64 encoding
* [Fix] Do not save multipatterns to FS in certain cases
* [Fix] Fix another corner case that allows candidates to be freed without init
* [Fix] Fix documentation nesting
* [Fix] Fix dynamic_symbols in the multimap plugin
* [Fix] Fix inconsistent nesting in mime parts
* [Fix] Fix parsing of maps definitions
* [Fix] Fix shared memory proxying when compression is set
* [Fix] Fuzzy add/delete handlers are badly broken for compression
* [Fix] Honor dynamic thresholds for greylisting module
* [Fix] If we have one statfile disabled we need to disable all
* [Fix] Increase/decrease hash_key value for tokens depending on is_unlearn
* [Fix] Libucl: Fix messagepack autodetection
* [Fix] Resgore the collaterally removed line
* [Fix] Unset autolearn flag if we learn explicitly
* [Fix] Update `nconns` in proxy
* [Fix] Update greylisting threshold as it can be easily dynamic
* [Fix] Update is_spam in learned_ids when relearning
* [Fix] Use explicit timeouts in the metadata exporter
* [Fix] metric_exporter: avoid sending `nil` in metric values
* [Project] Add GPT plugin
* [Project] Add a tool to perform statistical analysis of classifiers
* [Project] Finally fix slow timer behaviour
* [Project] Implement fuzzy check retransmits backpressure
* [Project] Improve stats processing
* [Project] Reduce default window size of OSB tokenizer to 2
* [Project] Rework grow factor
* [Project] Start optimization of userdata hashing
* [Project] Use libarchive for troublesome archives
* [Rework] Allow metrics endpoint to be enabled for each scanner
* [Rework] Allow multiple conditions for dkim signing when using vault/redis
* [Rework] Introduce dynamic_rate_limit for ratelimits
* [Rework] Serialize control commands
* [Rework] Update fmt to version 11
* [Rework] Use direct hashing instead of string hashing
* [Rules] Added rules for detecting likely malware

Merge pull request #5053 from moisseev/ratelimit

Update comments in ratelimit.conf example

Update comments in ratelimit.conf example

[Fix] Do not crash if symbol is missing in the metric

[Fix] Do not apply tableshape for known senders

Merge pull request #5045 from rspamd/vstakhov-ratelimits-disable-dyn

Introduce dynamic_rate_limit for ratelimits plugin

Merge branch 'master' into vstakhov-ratelimits-disable-dyn

Merge pull request #5051 from fatalbanana/fix_ratelimit_tests

[Test] Fix ratelimit tests

[Minor] cmath is a bit more strict

[Test] Add missing

[Minor] Specify failure reason clearly

[Minor] Fix logic

[Test] Fix ratelimit tests

Merge branch 'master' into vstakhov-ratelimits-disable-dyn

Merge pull request #5048 from fatalbanana/ratelimit_tests

[Test] Add tests for ratelimit module

[Test] Add tests for ratelimit module

[Minor] Mention mode of dynamic limits in the log

Merge pull request #5043 from rspamd/vstakhov-gpt-tunes

Improve some functions in the GPT plugin

[Project] Enable compatibility with the existing buckets

[Rework] Introduce dynamic_rate_limit for ratelimits

Merge pull request #5041 from fatalbanana/graphite_nil

[Fix] metric_exporter: avoid sending `nil` in metric values (#5027)

[Fix] metric_exporter: avoid sending `nil` in metric values

Merge pull request #5042 from fatalbanana/suspicious_images

[Minor] Fix description (#3867)

[Minor] Fix description

[Feature] Allow to specify minimum weight in GPT plugin

[Minor] Push dynamic symbol weight

Merge branch 'master' into vstakhov-fuzzy-tcp

Merge pull request #5035 from rspamd/vstakhov-gpt-experiments

Trying to test various things with GPT

[Project] Trying to test various things with GPT

Merge pull request #5034 from rspamd/vstakhov-fmt-11

Update embedded fmtlib to 11.0

[Minor] Update dependency info

[Rework] Update fmt to version 11

[Minor] Set mres earlier

Issue: #5028

Merge pull request #5032 from rspamd/vstakhov-gpt-plugin

Add GPT plugin

[Minor] Log FP and FN

[Minor] Add some missing symbols

[Minor] Add from and subject to the prompt

[Minor] Allow to specify spam/ham symbols in classifier_test

[Minor] Allow autolearn

[Minor] Apply review suggestion

[Minor] Adjust configuration

[Minor] Make except symbols configurable

Update src/plugins/lua/gpt.lua

Co-authored-by: Andrew Lewis <nerf@judo.za.org>

[Minor] Check words count properly

[Project] Add checks to decide if we need a GPT check

[Minor] Also use gzip compression

[Minor] Use keep-alive and upstreams logic

[Minor] Disable module by default

[Minor] Copy&paste fix

[Project] Add GPT plugin

Exclude MIME_BAD_UNICODE false positive (#5030)

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update composites.conf

* Update mime_types_group.conf

* Update mime_types_group.conf

* Update composites.conf

[Project] Start client implementation

[Minor] Fix issue found by QL scan

[Minor] Fix shingles processing

[Project] Further tcp logic implementation

[Project] Further tcp/udp refactoring

[Project] Add some basic tcp session handling

[Project] Unify more utility functions

[Minor] Start functions unification

[Project] Add server side IO state machine

[Project] Implement write logic for TCP

[Project] Add some basic bits

[Project] Support fuzzy protocol over TCP

It seems that we need to use TCP for bulk requests in terms of performance
and network secureity. This project is intended to track all work in these
terms.

Fixed bug with task:inject() function according to the issue #5010 (#5021)

* [Fix] Fix issue with task:inject_url

* [Minor] Code clean up

* [Minor] Clean up

* [Minor] Small fix

* [Minor] Fix small typo

* [Test] Debug

* [Test] Debug

* [Test] Debug inject_url

* [Test] Debugging

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Test] Debugging task:inject test

* [Minor] Debug task:inject_url test

* [Minor] Small fix

* [Minor] Debug task:inject_url test

* [Test] Test base task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test updated task:inject

* [Test] Test fixed task:inject

* [Test] Test fixed task:inject

* [Test] Testing task:inject

* [Test] Testing task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Test base task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Test] Fix task:inject

* [Minor] Clean up code in task:inject

* [Minor] Updated test for task:inject

* [Test] Debug test for task:inject_url

* [Test] Debug test for task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Fix task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Test] Check task:inject_url

* [Minor] Clean up code

* [Minor] Clean up code

* [Minor] Little fix for error messages in url.create function

* [Test] Change way to inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Test] Fix inject url

* [Minor] Clean up code

* [Test] Without fake mime_part

* [Test] Without fake mime_part

* [Minor] Clean up

* [Test] Mime part of the task

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Mpart should exist

* [Test] Another check for mpart->urls

* [Minor] Clean up

* [Minor] Clean up

* [Fix] Fixing OpenSSL 3.0 compatibility

* [Fix] Reverted