Merge pull request #5131 from rspamd/vstakhov-fuzzy-mode

[Feature] Allow different modes for fuzzy rules

[Feature] Allow differen modes for fuzzy rules

Merge pull request #5129 from rspamd/vstakhov-redis-schema

[Fix] Another fix for Redis schema

[Fix] Another fix for Redis schema

Issue: #5112

Merge pull request #5127 from rspamd/vstakhov-fuzzy-symbols

Rework fuzzy symbols

[Rework] Implement new replies logic on the server's side

[Minor] Add `encryption_required` symbol

[Minor] s/BLOCKED/FORBIDDEN/

We want it to be more informative and to distinguish from FUZZY_DENIED

[Rework] Change fuzzy error symbols

FUZZY_BLOCKED -> FUZZY_RATELIMITED
FUZZY_BLOCKED - new symbol for permanent bans

[Feature] Add tooling to encrypt strings in Lua

* [Fix] Provide support for OpenSSL 3.0

* [Feature] Provide function to encode header with configured public key

* [Feature] Provide function to decode header with configured public key

* [Test] Add tests for maybe encode/decode header

* [Minor] Fix tests for encode/decode header

* [Minor] Small clean up

* [Minor] Small clean up

* [Minor] Small fix for OpenSSL 3.0 support

* [Minor] Provide logging

* [Minor] Small fix

* [Fix] Fix typo error

* [Fix] Another typo

* [Minor] Little clean up

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Minor] Rewrite the arguments of secretbox:encrypt/decrypt functions to a more understandable format

* [Fix] Fix problem with nonce was not provided

* [Test] Add test for nonce

* [Minor] Little clean up

* [Minor] Little clean up

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Test] Small fix

* [Test] Test

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Small fix for fips provider

* [Minor] Change provider apply logic

* [Test] Little fix for provider

* [Minor] Provide OpenSSL <3.0 support

* [Test] Possible provider fix

* [Test] Possible provider fix

* [Test] Little fix

* [Minor] Fix provider issue

* [Minor] Small clean up

* [Minor] Change logging errors

* Update lualib/lua_util.lua

---------

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Merge pull request #5126 from rspamd/vstakhov-change-passthrough

[Rework] Change the logic of skipping symbols

[Rework] Change the logic of skipping symbols

We now do not skip pre/post filters even if the task result has reached
threshold.

Merge pull request #5111 from oliyks/fix-icap-url-encode

[Fix] ICAP: encode constructed  path to be URL safe.

deduplicate url_encode_string

Merge branch 'master' into fix-icap-url-encode

Merge pull request #5125 from rspamd/vstakhov-lua-fix-register-symbols

[Fix] Unify lua symbols registration

[Minor] Forgot to handle `parent`

[Minor] Restore legacy way to register symbols...

[Doc] Discourage old brain damaged method of symbols registration

[Fix] Unify lua symbols registration

I'm curious why this bug has been not mentioned for such a long time...

Merge pull request #5114 from fatalbanana/robot_startup

[Test] Improve startup error handling

[Minor] Change log level for autolearning

Fix unidiomatic string builder when I'm here.

Merge pull request #5121 from rspamd/vstakhov-rdns-check-condition

[Fix] Preserve the previous behaviour of RDNS_* checks

[Fix] Preserve the previous behaviour of RDNS_* checks

Merge pull request #5119 from slavkoja/patch-2

Update URIBL_RED/GREY scores

Update surbl_group.conf

Merge pull request #5118 from rspamd/vstakhov-fix-5089

Fix for issue #5089 - learning of the empty tasks

[Fix] Another safe-guards for learning/classifying an empty message

Merge branch 'master' into robot_startup

[Test] Improve on previous changes

 - Remove unnecessary process waiting
 - Relax retry time

Merge pull request #5115 from dragoangel/patch-7

Set expiration for history_redis to 5 days by default

Update history_redis.lua

Set expiration for history_redis to 5 days by default

[Test] Improve startup error handling

handle nil

[PATCH] Encode constructed path to be URL safe.

fix #4643

Merge pull request #5110 from fatalbanana/re_grow_factor_tests

[Test] Improve grow_factor tests

[Test] Improve grow_factor tests

Fix issue with broken HTTP message to learn endpoints (#5106)

* [Fix] Check message before trying to dereference pointer

Issue: #5089

* [Minor] Fix stripping of the last characters

[Minor] Fix stripping of the last characters

Provide OpenSSL 3.0 support for lua_rsa (#5101)

* [Fix] Provide OSSL 3.0 support for lua_rsa (not working)

* [Fix] Provide full OpenSSL 3.0 for lua_rsa

* [Minor] Little clean up

* [Minor] Clean up code from debug

* [Test] Replace for fixed size fstring allocation

* [Test] Add rsa padding and signature md for pctx

* [Test] Little changes

* [Fix] Little fix for rsa_sign_memory work correctly

* [Minor] Little clean up

* [Minor] Small fix

* [Minor] Little clean up

* [Test] Add signature verification test for rsa2048

[Fix] Check message before trying to dereference pointer

Issue: #5089

Merge pull request #5104 from rspamd/vstakhov-transparent-ucl

[Project] Allow manipulations with opaque UCL objects

[Test] Add more unit tests

[Minor] Add some hacks to convert lua table into either object or an array

[Test] Fix broken test

[Minor] Restore back one more legacy conversion

[Minor] Restore legacy conversions

With new `index` method it seems much easier in fact

[Minor] Add support for transparent ucl in override_defaults

[Minor] Sime minor changes

[Minor] Fix import again

[Minor] Slight cleanup

[Project] Try to allow more transparent access of ucl elements

[Minor] Fix check

[Rework] Breaking: Rewrite cfg transform and remove legacy

What is removed:

* SURBL/Email -> rbl conversion
* IP reputation -> reputation conversion

Reasoning:

* Too hard to support forever
* Outdated
* Want to use transparent UCL instead of modifying the config from Lua

[Minor] Some minor fixes

[Project] Some more fixes

[Project] Add API method to push unwrapped UCL object

[Test] Add unit tests for ucl functions

[Fix] Make tostring in UCL a bit less brain-damaged

[Project] Add more stuff to transparent UCL

[Project] Allow manipulations with opaque UCL objects

If we export an UCL object to Lua we actually lose a lot of useful
properties of UCL. For example, we miss ordering, comments, implicit
arrays etc.

This PR is intended to allow manipulation with UCL object like plain
userdata, without unwrapping them to the Lua primitives.

[Minor] Update publicsuffix list

Closes: #5103

[Minor] More docs update

[Minor] Add instructions for update

Merge pull request #5100 from rspamd/vstakhov-fix-kp-encryption

Fix keypairs encryption/decryption

Merge pull request #5099 from rspamd/vstakhov-remove-nist-cryptobox

Remove NIST mode from cryptobox

[Test] Add test for keypairs encrypt/decrypt

[Fix] Use proper keys when doing asymmetric encryption

[Minor] Oops, fix pubkey loading

[Project] Remove NIST mode from everywhere

[Project] Remove NIST (OpenSSL) mode from cryptobox

In fact, this mode increases complexity of the crypto library for no
good reason: it is never used in Rspamd and it should not be used in fact.

It was a research project in the past that should not be supported any
longer.

[Fix] Do not install doctest stuff

Reported by: @moisseev

[Fix] Apply the same workaround for signing keys

[Fix] Add workaround for the bug in OpenSSL < 3.0.8

[Minor] CMake: show version of packages found if available

[Minor] Another fight with OpenSSL so called "consistency"

[Minor] Another try to fix p256 encryption

[Fix] More bogus sizes fix

[Minor] Some more fixes for old OSSL

[Fix] Sign key != encryption key, omg

[Test] Use proper keypairs

[Test] Fix some test

[Minor] Some more incompatibilities cleaned up

[Fix] Fix compatibility with OSSL 1.0

[Minor] Avoid some warnings

[Test] Fix unit tests

[CritFix] The max size for signing key is actually 65 bytes for p256

[Minor] Some neats

[Fix] Fix and rework various parts

Merge branch 'master' into master

Merge pull request #5094 from rspamd/vstakhov-update-doctest

[Dep] Update doctest to 2.4.11

[Dep] Update doctest to 2.4.11

[Rework] Use a more straight structure for DKIM keys

[Minor] Another formatting issue

[Minor] Restore formatting

Merge branch 'master' into master

Merge pull request #5093 from rspamd/vstakhov-rdns-separate

[Rework] Resolve rdns in a separate function

[Minor] Reduce priority as settings become broken otherwise

For future settings rework: there should be spill of settings checks
to allow dependency on symbols that are required for settings conditions.

[Rework] Resolve rdns in a separate function

Historically, it was done in `once_received` module, however, that check must
be done early, even before settings (as they could rely on hostname).

Hence, it was discussed to move this code to a separate rule.