Merge branch 'master' into vstakhov-ssl-fixes

Merge pull request #5153 from rspamd/vstakhov-ci-try

Add more build targets

[Fix] Get rid of EVP_PKEY_CTX_set1_rsa_keygen_pubexp

OpenSSL uses 65537 by default, no need in explicit set.

Update ci_rspamd_build.yml

Update ci.yml

Create ci_rspamd_build.yml

Add more build targets

Issue: #5152

[Minor] Our version should be 3.10

Merge pull request #5144 from rspamd/vstakhov-keypair-encoding

[Rework] Allow more flexible keypair encoding

[Rework] Allow more flexible keypair encoding

Merge pull request #5140 from rspamd/vstakhov-cpu-detection

[Feature] Detect CPU using __builtin_cpu_supports where it's possible

Merge branch 'master' into vstakhov-cpu-detection

[Feature] Add rspamadm secretbox command

* [Minor] Small fix for error messages

* [Feature] Create rspamadm util to decrypt header

* [Feature] Create python example to encrypt/decrypt header

* [Minor] Small clean up

* [Minor] Change c-rspamadm util to lua-rspamadm util

* [Minor] Small clean up

* [Minor] Add some debug

* [Feature] Add secretbox command

* [Minor] Debug

* [Minor] Add additional return for encrypted string(noce + encrypted string

* [Minor] Small debug

* [Minor] Add a way to provide encrypted text concatenated with nonce

* [Minor] Add nonce to encrypt text

* [Minor] Clean up

* [Minor] Clean up unused variable

* [Minor] Small fix

* [Minor] Fix return issue

* [Minor] Add blake2b for key derivation

* [Minor] Small upgrade to debug

* [Minor] Small clean up

* [Minor] Change return to more convenient form

* [Minor] Change print to test form

* [Test] Provide tests for encrypt/decrypt with rspamadm util and python script

* [Minor] Change python to python3

* [Minor] Add stderr check

* [Minor] Make the function return nonce+text

* [Minor] Change unit tests to new return format

* [Minor] Add flag to manage encodings

* [Minor] Add --encoding argument to manage encodings

* [Minor] Change tests for new input format

* [Minor] Fix lua format

* [Minor] Small fix

* [Minor] Provide full support for new return format of maybe_encrypt_header

* [Test] Test small fix

* [Test] Small fix

* [Minor] Clean up

* [Minor] Small fix for name of variable

* [Minor] Small clean up

* [Minor] Change format of command to a mre convenient

* [Minor] Change tests to be same as a format of a command

* [Minor] Change description of flags

* [Minor] Small fix

---------

Co-authored-by: Ivan Stakhov <50211739+LeftTry@users.noreply.github.com>

Merge pull request #5142 from fatalbanana/dmarc_only_domains

[Feature] DMARC: Implement reporting.only_domains setting

[Feature] DMARC: Implement reporting.only_domains setting

[Rework] Use __builtin_cpu_supports where possible

[Minor] Detect __builtin_cpu_supports

[Minor] Do not autolearn messages without queue id

Suggested by: @moisseev

Merge pull request #5133 from moisseev/test

 [Test] Upgrade linters

Merge pull request #5139 from spacefreak86/fix-dmarc-grammar

[Fix] Rework DMARC grammar to correctly handle spaces in values

[Minor] remove unnecessary calls of lpeg.P in DMARC grammar
Just to make to code more readable.

[Fix] Rework DMARC to correctly handle spaces in DMARC records
Issue: #4906

Merge pull request #5135 from rspamd/vstakhov-fuzzy-keys-limits

Implement individual limits for fuzzy keys

[Minor] Sigh, so hard to fix it

[Minor] C varargs suck

[Minor] Slight explanations of the decision made

[Project] Implement expiration

[Project] Implement per-key ratelimit

 [Test] Upgrade linters

- Upgraded `eslint` from 9.7.0 to 9.10.0
- Upgraded `@stylistic/eslint-plugin` from 2.3.0 to 2.8.0
- Upgraded `stylelint` from 16.7.0 to 16.9.0

[Project] Add parsing of key limits and expire date

[Project] Add ratelimit parsing for fuzzy keys

[Project] Move ratelimit parsing stuff to a common library

[Project] Rework ratelimits check

[Minor] Fix some unsafe chmod

[Minor] Fix some SSL issues

Merge pull request #5131 from rspamd/vstakhov-fuzzy-mode

[Feature] Allow different modes for fuzzy rules

[Feature] Allow differen modes for fuzzy rules

Merge pull request #5129 from rspamd/vstakhov-redis-schema

[Fix] Another fix for Redis schema

[Fix] Another fix for Redis schema

Issue: #5112

Merge pull request #5127 from rspamd/vstakhov-fuzzy-symbols

Rework fuzzy symbols

[Rework] Implement new replies logic on the server's side

[Minor] Add `encryption_required` symbol

[Minor] s/BLOCKED/FORBIDDEN/

We want it to be more informative and to distinguish from FUZZY_DENIED

[Rework] Change fuzzy error symbols

FUZZY_BLOCKED -> FUZZY_RATELIMITED
FUZZY_BLOCKED - new symbol for permanent bans

[Feature] Add tooling to encrypt strings in Lua

* [Fix] Provide support for OpenSSL 3.0

* [Feature] Provide function to encode header with configured public key

* [Feature] Provide function to decode header with configured public key

* [Test] Add tests for maybe encode/decode header

* [Minor] Fix tests for encode/decode header

* [Minor] Small clean up

* [Minor] Small clean up

* [Minor] Small fix for OpenSSL 3.0 support

* [Minor] Provide logging

* [Minor] Small fix

* [Fix] Fix typo error

* [Fix] Another typo

* [Minor] Little clean up

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Minor] Rewrite the arguments of secretbox:encrypt/decrypt functions to a more understandable format

* [Fix] Fix problem with nonce was not provided

* [Test] Add test for nonce

* [Minor] Little clean up

* [Minor] Little clean up

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Test] Small fix

* [Test] Test

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Small fix for fips provider

* [Minor] Change provider apply logic

* [Test] Little fix for provider

* [Minor] Provide OpenSSL <3.0 support

* [Test] Possible provider fix

* [Test] Possible provider fix

* [Test] Little fix

* [Minor] Fix provider issue

* [Minor] Small clean up

* [Minor] Change logging errors

* Update lualib/lua_util.lua

---------

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Merge pull request #5126 from rspamd/vstakhov-change-passthrough

[Rework] Change the logic of skipping symbols

[Rework] Change the logic of skipping symbols

We now do not skip pre/post filters even if the task result has reached
threshold.

Merge pull request #5111 from oliyks/fix-icap-url-encode

[Fix] ICAP: encode constructed  path to be URL safe.

deduplicate url_encode_string

Merge branch 'master' into fix-icap-url-encode

Merge pull request #5125 from rspamd/vstakhov-lua-fix-register-symbols

[Fix] Unify lua symbols registration

[Minor] Forgot to handle `parent`

[Minor] Restore legacy way to register symbols...

[Doc] Discourage old brain damaged method of symbols registration

[Fix] Unify lua symbols registration

I'm curious why this bug has been not mentioned for such a long time...

Merge pull request #5114 from fatalbanana/robot_startup

[Test] Improve startup error handling

[Minor] Change log level for autolearning

Fix unidiomatic string builder when I'm here.

Merge pull request #5121 from rspamd/vstakhov-rdns-check-condition

[Fix] Preserve the previous behaviour of RDNS_* checks

[Fix] Preserve the previous behaviour of RDNS_* checks

Merge pull request #5119 from slavkoja/patch-2

Update URIBL_RED/GREY scores

Update surbl_group.conf

Merge pull request #5118 from rspamd/vstakhov-fix-5089

Fix for issue #5089 - learning of the empty tasks

[Fix] Another safe-guards for learning/classifying an empty message

Merge branch 'master' into robot_startup

[Test] Improve on previous changes

 - Remove unnecessary process waiting
 - Relax retry time

Merge pull request #5115 from dragoangel/patch-7

Set expiration for history_redis to 5 days by default

Update history_redis.lua

Set expiration for history_redis to 5 days by default

[Test] Improve startup error handling

handle nil

[PATCH] Encode constructed path to be URL safe.

fix #4643

Merge pull request #5110 from fatalbanana/re_grow_factor_tests

[Test] Improve grow_factor tests

[Test] Improve grow_factor tests

Fix issue with broken HTTP message to learn endpoints (#5106)

* [Fix] Check message before trying to dereference pointer

Issue: #5089

* [Minor] Fix stripping of the last characters

[Minor] Fix stripping of the last characters

Provide OpenSSL 3.0 support for lua_rsa (#5101)

* [Fix] Provide OSSL 3.0 support for lua_rsa (not working)

* [Fix] Provide full OpenSSL 3.0 for lua_rsa

* [Minor] Little clean up

* [Minor] Clean up code from debug

* [Test] Replace for fixed size fstring allocation

* [Test] Add rsa padding and signature md for pctx

* [Test] Little changes

* [Fix] Little fix for rsa_sign_memory work correctly

* [Minor] Little clean up

* [Minor] Small fix

* [Minor] Little clean up

* [Test] Add signature verification test for rsa2048

[Fix] Check message before trying to dereference pointer

Issue: #5089

Merge pull request #5104 from rspamd/vstakhov-transparent-ucl

[Project] Allow manipulations with opaque UCL objects

[Test] Add more unit tests

[Minor] Add some hacks to convert lua table into either object or an array

[Test] Fix broken test

[Minor] Restore back one more legacy conversion

[Minor] Restore legacy conversions

With new `index` method it seems much easier in fact

[Minor] Add support for transparent ucl in override_defaults

[Minor] Sime minor changes

[Minor] Fix import again

[Minor] Slight cleanup

[Project] Try to allow more transparent access of ucl elements

[Minor] Fix check

[Rework] Breaking: Rewrite cfg transform and remove legacy

What is removed:

* SURBL/Email -> rbl conversion
* IP reputation -> reputation conversion

Reasoning:

* Too hard to support forever
* Outdated
* Want to use transparent UCL instead of modifying the config from Lua

[Minor] Some minor fixes

[Project] Some more fixes

[Project] Add API method to push unwrapped UCL object

[Test] Add unit tests for ucl functions

[Fix] Make tostring in UCL a bit less brain-damaged

[Project] Add more stuff to transparent UCL

[Project] Allow manipulations with opaque UCL objects

If we export an UCL object to Lua we actually lose a lot of useful
properties of UCL. For example, we miss ordering, comments, implicit
arrays etc.

This PR is intended to allow manipulation with UCL object like plain
userdata, without unwrapping them to the Lua primitives.

[Minor] Update publicsuffix list

Closes: #5103

[Minor] More docs update

[Minor] Add instructions for update