Merge pull request #5156 from rspamd/vstakhov-dynamic-fuzzy-keys-iter

[Fix] Iterate over dynamic keys in fuzzy storage

[Fix] Iterate over dynamic keys in fuzzy storage

Merge pull request #5154 from rspamd/vstakhov-ssl-fixes

Fixes for OpenSSL

[CI] Learning what ci can

[CI] Maybe enable devtoolset if possible

[Minor] Another compatibility fix

[Minor] Use portable macro for old OpenSSL

[Minor] Another compatibility fix

Merge branch 'master' into vstakhov-ssl-fixes

Merge pull request #5153 from rspamd/vstakhov-ci-try

Add more build targets

[Fix] Get rid of EVP_PKEY_CTX_set1_rsa_keygen_pubexp

OpenSSL uses 65537 by default, no need in explicit set.

Update ci_rspamd_build.yml

Update ci.yml

Create ci_rspamd_build.yml

Add more build targets

Issue: #5152

[Minor] Our version should be 3.10

Merge pull request #5144 from rspamd/vstakhov-keypair-encoding

[Rework] Allow more flexible keypair encoding

[Rework] Allow more flexible keypair encoding

Merge pull request #5140 from rspamd/vstakhov-cpu-detection

[Feature] Detect CPU using __builtin_cpu_supports where it's possible

Merge branch 'master' into vstakhov-cpu-detection

[Feature] Add rspamadm secretbox command

* [Minor] Small fix for error messages

* [Feature] Create rspamadm util to decrypt header

* [Feature] Create python example to encrypt/decrypt header

* [Minor] Small clean up

* [Minor] Change c-rspamadm util to lua-rspamadm util

* [Minor] Small clean up

* [Minor] Add some debug

* [Feature] Add secretbox command

* [Minor] Debug

* [Minor] Add additional return for encrypted string(noce + encrypted string

* [Minor] Small debug

* [Minor] Add a way to provide encrypted text concatenated with nonce

* [Minor] Add nonce to encrypt text

* [Minor] Clean up

* [Minor] Clean up unused variable

* [Minor] Small fix

* [Minor] Fix return issue

* [Minor] Add blake2b for key derivation

* [Minor] Small upgrade to debug

* [Minor] Small clean up

* [Minor] Change return to more convenient form

* [Minor] Change print to test form

* [Test] Provide tests for encrypt/decrypt with rspamadm util and python script

* [Minor] Change python to python3

* [Minor] Add stderr check

* [Minor] Make the function return nonce+text

* [Minor] Change unit tests to new return format

* [Minor] Add flag to manage encodings

* [Minor] Add --encoding argument to manage encodings

* [Minor] Change tests for new input format

* [Minor] Fix lua format

* [Minor] Small fix

* [Minor] Provide full support for new return format of maybe_encrypt_header

* [Test] Test small fix

* [Test] Small fix

* [Minor] Clean up

* [Minor] Small fix for name of variable

* [Minor] Small clean up

* [Minor] Change format of command to a mre convenient

* [Minor] Change tests to be same as a format of a command

* [Minor] Change description of flags

* [Minor] Small fix

---------

Co-authored-by: Ivan Stakhov <50211739+LeftTry@users.noreply.github.com>

Merge pull request #5142 from fatalbanana/dmarc_only_domains

[Feature] DMARC: Implement reporting.only_domains setting

[Feature] DMARC: Implement reporting.only_domains setting

[Rework] Use __builtin_cpu_supports where possible

[Minor] Detect __builtin_cpu_supports

[Minor] Do not autolearn messages without queue id

Suggested by: @moisseev

Merge pull request #5133 from moisseev/test

 [Test] Upgrade linters

Merge pull request #5139 from spacefreak86/fix-dmarc-grammar

[Fix] Rework DMARC grammar to correctly handle spaces in values

[Minor] remove unnecessary calls of lpeg.P in DMARC grammar
Just to make to code more readable.

[Fix] Rework DMARC to correctly handle spaces in DMARC records
Issue: #4906

Merge pull request #5135 from rspamd/vstakhov-fuzzy-keys-limits

Implement individual limits for fuzzy keys

[Minor] Sigh, so hard to fix it

[Minor] C varargs suck

[Minor] Slight explanations of the decision made

[Project] Implement expiration

[Project] Implement per-key ratelimit

 [Test] Upgrade linters

- Upgraded `eslint` from 9.7.0 to 9.10.0
- Upgraded `@stylistic/eslint-plugin` from 2.3.0 to 2.8.0
- Upgraded `stylelint` from 16.7.0 to 16.9.0

[Project] Add parsing of key limits and expire date

[Project] Add ratelimit parsing for fuzzy keys

[Project] Move ratelimit parsing stuff to a common library

[Project] Rework ratelimits check

[Minor] Fix some unsafe chmod

[Minor] Fix some SSL issues

Merge pull request #5131 from rspamd/vstakhov-fuzzy-mode

[Feature] Allow different modes for fuzzy rules

[Feature] Allow differen modes for fuzzy rules

Merge pull request #5129 from rspamd/vstakhov-redis-schema

[Fix] Another fix for Redis schema

[Fix] Another fix for Redis schema

Issue: #5112

Merge pull request #5127 from rspamd/vstakhov-fuzzy-symbols

Rework fuzzy symbols

[Rework] Implement new replies logic on the server's side

[Minor] Add `encryption_required` symbol

[Minor] s/BLOCKED/FORBIDDEN/

We want it to be more informative and to distinguish from FUZZY_DENIED

[Rework] Change fuzzy error symbols

FUZZY_BLOCKED -> FUZZY_RATELIMITED
FUZZY_BLOCKED - new symbol for permanent bans

[Feature] Add tooling to encrypt strings in Lua

* [Fix] Provide support for OpenSSL 3.0

* [Feature] Provide function to encode header with configured public key

* [Feature] Provide function to decode header with configured public key

* [Test] Add tests for maybe encode/decode header

* [Minor] Fix tests for encode/decode header

* [Minor] Small clean up

* [Minor] Small clean up

* [Minor] Small fix for OpenSSL 3.0 support

* [Minor] Provide logging

* [Minor] Small fix

* [Fix] Fix typo error

* [Fix] Another typo

* [Minor] Little clean up

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Minor] Rewrite the arguments of secretbox:encrypt/decrypt functions to a more understandable format

* [Fix] Fix problem with nonce was not provided

* [Test] Add test for nonce

* [Minor] Little clean up

* [Minor] Little clean up

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Test] Small fix

* [Test] Test

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Small fix for fips provider

* [Minor] Change provider apply logic

* [Test] Little fix for provider

* [Minor] Provide OpenSSL <3.0 support

* [Test] Possible provider fix

* [Test] Possible provider fix

* [Test] Little fix

* [Minor] Fix provider issue

* [Minor] Small clean up

* [Minor] Change logging errors

* Update lualib/lua_util.lua

---------

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Merge pull request #5126 from rspamd/vstakhov-change-passthrough

[Rework] Change the logic of skipping symbols

[Rework] Change the logic of skipping symbols

We now do not skip pre/post filters even if the task result has reached
threshold.

Merge pull request #5111 from oliyks/fix-icap-url-encode

[Fix] ICAP: encode constructed  path to be URL safe.

deduplicate url_encode_string

Merge branch 'master' into fix-icap-url-encode

Merge pull request #5125 from rspamd/vstakhov-lua-fix-register-symbols

[Fix] Unify lua symbols registration

[Minor] Forgot to handle `parent`

[Minor] Restore legacy way to register symbols...

[Doc] Discourage old brain damaged method of symbols registration

[Fix] Unify lua symbols registration

I'm curious why this bug has been not mentioned for such a long time...

Merge pull request #5114 from fatalbanana/robot_startup

[Test] Improve startup error handling

[Minor] Change log level for autolearning

Fix unidiomatic string builder when I'm here.

Merge pull request #5121 from rspamd/vstakhov-rdns-check-condition

[Fix] Preserve the previous behaviour of RDNS_* checks

[Fix] Preserve the previous behaviour of RDNS_* checks

Merge pull request #5119 from slavkoja/patch-2

Update URIBL_RED/GREY scores

Update surbl_group.conf

Merge pull request #5118 from rspamd/vstakhov-fix-5089

Fix for issue #5089 - learning of the empty tasks

[Fix] Another safe-guards for learning/classifying an empty message

Merge branch 'master' into robot_startup

[Test] Improve on previous changes

 - Remove unnecessary process waiting
 - Relax retry time

Merge pull request #5115 from dragoangel/patch-7

Set expiration for history_redis to 5 days by default

Update history_redis.lua

Set expiration for history_redis to 5 days by default

[Test] Improve startup error handling

handle nil

[PATCH] Encode constructed path to be URL safe.

fix #4643

Merge pull request #5110 from fatalbanana/re_grow_factor_tests

[Test] Improve grow_factor tests

[Test] Improve grow_factor tests

Fix issue with broken HTTP message to learn endpoints (#5106)

* [Fix] Check message before trying to dereference pointer

Issue: #5089

* [Minor] Fix stripping of the last characters

[Minor] Fix stripping of the last characters

Provide OpenSSL 3.0 support for lua_rsa (#5101)

* [Fix] Provide OSSL 3.0 support for lua_rsa (not working)

* [Fix] Provide full OpenSSL 3.0 for lua_rsa

* [Minor] Little clean up

* [Minor] Clean up code from debug

* [Test] Replace for fixed size fstring allocation

* [Test] Add rsa padding and signature md for pctx

* [Test] Little changes

* [Fix] Little fix for rsa_sign_memory work correctly

* [Minor] Little clean up

* [Minor] Small fix

* [Minor] Little clean up

* [Test] Add signature verification test for rsa2048

[Fix] Check message before trying to dereference pointer

Issue: #5089

Merge pull request #5104 from rspamd/vstakhov-transparent-ucl

[Project] Allow manipulations with opaque UCL objects

[Test] Add more unit tests

[Minor] Add some hacks to convert lua table into either object or an array

[Test] Fix broken test

[Minor] Restore back one more legacy conversion

[Minor] Restore legacy conversions

With new `index` method it seems much easier in fact

[Minor] Add support for transparent ucl in override_defaults

[Minor] Sime minor changes

[Minor] Fix import again

[Minor] Slight cleanup

[Project] Try to allow more transparent access of ucl elements

[Minor] Fix check

[Rework] Breaking: Rewrite cfg transform and remove legacy

What is removed:

* SURBL/Email -> rbl conversion
* IP reputation -> reputation conversion

Reasoning:

* Too hard to support forever
* Outdated
* Want to use transparent UCL instead of modifying the config from Lua

[Minor] Some minor fixes

[Project] Some more fixes