Merge branch 'master' into actualize-elastic-module

strip also port from sender_ip

do not allow empty headers, fix stripping of headers by limit of symbols count and add headers count limit

do not allow empty from

Merge pull request #5193 from jscissr/fix_arc

[CritFix] Fix ARC-Seal signing

[CritFix] Fix ARC-Seal signing

Signing of ARC-Seal headers was recently broken; the created signatures
failed to validate. Most likely, this was caused by commit 1e661a2fc6e3,
which changed the way signatures are created in lua_rsa_sign_memory
without adding the calls to EVP_PKEY_CTX_set_rsa_padding and
EVP_PKEY_CTX_set_signature_md needed with the new interface.

After fixing this, some existing tests failed, because the test values
passed to the hash parameter did not have the correct size for a sha256
hash. I fixed these by adjusting the length of the test values.
Additionally, I extended the "RSA sign" unit test to compare the created
signature against the expected one. This is possible because RSA signing
is deterministic, and should prevent the same bug from occuring again.

Fixes: https://github.com/rspamd/rspamd/issues/5173

Merge pull request #5192 from henry-spanka/add-eof-to-openmetrics

add EOF to openmetrics response in proxy and server

Merge pull request #5191 from rspamd/vstakhov-zstd-headers

[Rework] Allow `Content-Encoding` standard header for zstd compression

add EOF to openmetrics response in proxy and server

round scores and weight

[Rework] Allow `Content-Encoding` standard header for zstd compression

Merge branch 'master' into actualize-elastic-module

fix variables for ucl errors

[Fix] Restore propagation of spam/ham learns

return item status and reasons on bulk push error

Fix from and rcpt

do not retry on errors in body as it will create duplicated logs

Merge pull request #5190 from rspamd/vstakhov-some-build-fixes

Some more fixes

Merge branch 'master' into vstakhov-some-build-fixes

[Fix] Load "default" provider as well as "legacy"

Merge pull request #5189 from rspamd/vstakhov-some-build-fixes

Some build fixes

[Minor] Use OSSL_PROVIDER_load on RHEL based distros

[Minor] Remove bogus DEBIAN_BUILD constant

Merge pull request #5188 from rspamd/vstakhov-openssl-provider-message

[Fix] Do not abort when OpenSSL is broken, report that to a user

[Minor] Thank you OpenSSL for all those new names

[Fix] Do not abort when OpenSSL is broken, report that to a user

Issue: #5181

Merge branch 'master' into actualize-elastic-module

[Fix] Use unsigned char for ragel machines

It seems that on aarch64 Linux char is signed by default, so Ragel produces
a wrong code that is "optimized" by a compiler simply to `false`.

Issue: #5172

Revert "[Minor] Remove custom ragel flags to test arm64 bug"

This reverts commit 0d962621f158e0b64693e947beecb3242a229fd2.

[Minor] Fix GCC sanitizer

[Minor] Remove custom ragel flags to test arm64 bug

We need take 2nd hop

Use received for all logs, fix direction

round time_diff to seconds on interval check, improve log message readability

reuse http_request data

fix tabulation

align conf and module settings in lua

add missing change in configured state when no update is needed on index_policy

resolve linter issues and remove custom deep_compare function in favor of lua_util.table_cmp

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

[Rework] Breaking: Actualize elastic module, support Elastic 8 & OpenSearch 2, add index policy with logs retention and many more

Signed-off-by: Dmytro Alieksieiev <1865999+dragoangel@users.noreply.github.com>

Merge pull request #5179 from smarsching/issue-5178

[Fix] Avoid null-bytes in Log-Tag header value

Merge pull request #5176 from wdhdev/patch-1

chore(publicsuffix): update effective_tld_names.dat

[Fix] Avoid null-bytes in Log-Tag header value.

This fixes #5178.

revert IDN removal

Merge pull request #5164 from dragoangel/patch-8

Remove proxy from url_redirector.conf as it not the option

chore(publicsuffix): update effective_tld_names.dat

Merge pull request #5167 from rspamd/vstakhov-new-hiredis

Update hiredis library removing all hacks

Merge pull request #5169 from arkamar/lua-ucl/len-type

[Fix] Use correct type for keylen in lua_ucl_newindex

[Fix] Use correct type for keylen in lua_ucl_newindex

The keylen variable used in lua_ucl_newindex function should use size_t
type instead of lua_Integer, because all functions that use keylen
expect it to be of size_t type. This mismatch leads to incompatible
pointer types, and modern versions of GCC fail to compile the code.

Fixes: 9e87597ceb05 ("[Project] Allow manipulations with opaque UCL objects")
Issue: https://github.com/rspamd/rspamd/issues/5163

[Minor] Update dependencies info

[Rework] Update hiredis to 1.2.0

Remove proxy from url_redirector.conf as it not the option

[Minor] Update version

Release 3.10.0

* [Conf] Add SenderScore RPBL return codes
* [Conf] Add SenderScore Reputationlist RBL
* [Conf] Increase scores for strange things in the archives
* [CritFix] The max size for signing key is actually 65 bytes for p256
* [Feature] Add rspamadm secretbox command
* [Feature] Add rspamd_cxx_unit_cryptobox for unit testing
* [Feature] Add support for OpenSSL 3.0
* [Feature] Add support for OpenSSL 3.0 for DKIM
* [Feature] Add tests for rspamd_cryptobox
* [Feature] Add tooling to encrypt strings in Lua
* [Feature] Allow differen modes for fuzzy rules
* [Feature] Allow to set negative group score limit via `min_score`
* [Feature] DMARC: Implement reporting.only_domains setting
* [Fix] Add workaround for the bug in OpenSSL < 3.0.8
* [Fix] Another fix for Redis schema
* [Fix] Another safe-guards for learning/classifying an empty message
* [Fix] Apply the same workaround for signing keys
* [Fix] Check message before trying to dereference pointer
* [Fix] Do not install doctest stuff
* [Fix] Encode headers that we send to milter add header
* [Fix] Fix DCC `rep` handling
* [Fix] Fix Redis scripts uploading when Redis is not ready
* [Fix] Fix and rework various parts
* [Fix] Fix compatibility with OSSL 1.0
* [Fix] Fix glib internals by setting locale in `rspamc`
* [Fix] GPT: Fix bug in condition check
* [Fix] Get rid of EVP_PKEY_CTX_set1_rsa_keygen_pubexp
* [Fix] Iterate over dynamic keys in fuzzy storage
* [Fix] Make tostring in UCL a bit less brain-damaged
* [Fix] More bogus sizes fix
* [Fix] Preserve the previous behaviour of RDNS_* checks
* [Fix] Rework DMARC to correctly handle spaces in DMARC records Issue: #4906
* [Fix] Sign key != encryption key, omg
* [Fix] Unify lua symbols registration
* [Fix] Use proper keys when doing asymmetric encryption
* [Project] Add API method to push unwrapped UCL object
* [Project] Add more stuff to transparent UCL
* [Project] Add parsing of key limits and expire date
* [Project] Add ratelimit parsing for fuzzy keys
* [Project] Allow manipulations with opaque UCL objects
* [Project] Allow to change log tag from HTTP request
* [Project] Implement expiration
* [Project] Implement per-key ratelimit
* [Project] Move ratelimit parsing stuff to a common library
* [Project] Remove NIST (OpenSSL) mode from cryptobox
* [Project] Remove NIST mode from everywhere
* [Project] Rework ratelimits check
* [Project] Some more fixes
* [Project] Start support of MIME UTF8
* [Project] Try to allow more transparent access of ucl elements
* [Rework] Allow more flexible keypair encoding
* [Rework] Breaking: Rewrite cfg transform and remove legacy
* [Rework] Change fuzzy error symbols
* [Rework] Change the logic of skipping symbols
* [Rework] Clean up legacy code
* [Rework] Implement new replies logic on the server's side
* [Rework] Remove control block support
* [Rework] Resolve rdns in a separate function
* [Rework] Use __builtin_cpu_supports where possible
* [Rework] Use a more straight structure for DKIM keys
* [Rules] Fix some old rules

Merge pull request #5161 from rspamd/vstakhov-fix-dcc

[Fix] Fix DCC `rep` handling

[Fix] Fix DCC `rep` handling

Issue: #5158

[Minor] Make API consistent

[Test] Trying to understand what's up with robot

Merge pull request #5056 from rspamd/vstakhov-utf8-mime

[Feature] MIME UTF8 support

Merge pull request #5160 from rspamd/vstakhov-remove-control-block

[Rework] Remove control block support

[Rework] Remove control block support

It has been buggy and never really used by anyone I suppose.

[Fix] Fix glib internals by setting locale in `rspamc`

Merge branch 'master' into vstakhov-utf8-mime

Merge pull request #5156 from rspamd/vstakhov-dynamic-fuzzy-keys-iter

[Fix] Iterate over dynamic keys in fuzzy storage

[Fix] Iterate over dynamic keys in fuzzy storage

Merge pull request #5154 from rspamd/vstakhov-ssl-fixes

Fixes for OpenSSL

[CI] Learning what ci can

[CI] Maybe enable devtoolset if possible

[Minor] Another compatibility fix

[Minor] Use portable macro for old OpenSSL

[Minor] Another compatibility fix

Merge branch 'master' into vstakhov-ssl-fixes

Merge pull request #5153 from rspamd/vstakhov-ci-try

Add more build targets

[Fix] Get rid of EVP_PKEY_CTX_set1_rsa_keygen_pubexp

OpenSSL uses 65537 by default, no need in explicit set.

Update ci_rspamd_build.yml

Update ci.yml

Create ci_rspamd_build.yml

Add more build targets

Issue: #5152

[Minor] Our version should be 3.10

Merge pull request #5144 from rspamd/vstakhov-keypair-encoding

[Rework] Allow more flexible keypair encoding

[Rework] Allow more flexible keypair encoding

Merge pull request #5140 from rspamd/vstakhov-cpu-detection

[Feature] Detect CPU using __builtin_cpu_supports where it's possible

Merge branch 'master' into vstakhov-cpu-detection

[Feature] Add rspamadm secretbox command

* [Minor] Small fix for error messages

* [Feature] Create rspamadm util to decrypt header

* [Feature] Create python example to encrypt/decrypt header

* [Minor] Small clean up

* [Minor] Change c-rspamadm util to lua-rspamadm util

* [Minor] Small clean up

* [Minor] Add some debug

* [Feature] Add secretbox command

* [Minor] Debug

* [Minor] Add additional return for encrypted string(noce + encrypted string

* [Minor] Small debug

* [Minor] Add a way to provide encrypted text concatenated with nonce

* [Minor] Add nonce to encrypt text

* [Minor] Clean up

* [Minor] Clean up unused variable

* [Minor] Small fix

* [Minor] Fix return issue

* [Minor] Add blake2b for key derivation

* [Minor] Small upgrade to debug

* [Minor] Small clean up

* [Minor] Change return to more convenient form

* [Minor] Change print to test form

* [Test] Provide tests for encrypt/decrypt with rspamadm util and python script

* [Minor] Change python to python3

* [Minor] Add stderr check

* [Minor] Make the function return nonce+text

* [Minor] Change unit tests to new return format

* [Minor] Add flag to manage encodings

* [Minor] Add --encoding argument to manage encodings

* [Minor] Change tests for new input format

* [Minor] Fix lua format

* [Minor] Small fix

* [Minor] Provide full support for new return format of maybe_encrypt_header

* [Test] Test small fix

* [Test] Small fix

* [Minor] Clean up

* [Minor] Small fix for name of variable

* [Minor] Small clean up

* [Minor] Change format of command to a mre convenient

* [Minor] Change tests to be same as a format of a command

* [Minor] Change description of flags

* [Minor] Small fix

---------

Co-authored-by: Ivan Stakhov <50211739+LeftTry@users.noreply.github.com>

Merge pull request #5142 from fatalbanana/dmarc_only_domains

[Feature] DMARC: Implement reporting.only_domains setting

[Feature] DMARC: Implement reporting.only_domains setting

Merge branch 'master' into vstakhov-utf8-mime

[Rework] Use __builtin_cpu_supports where possible

[Minor] Detect __builtin_cpu_supports

[Minor] Do not autolearn messages without queue id

Suggested by: @moisseev

Merge pull request #5133 from moisseev/test

 [Test] Upgrade linters

Merge pull request #5139 from spacefreak86/fix-dmarc-grammar

[Fix] Rework DMARC grammar to correctly handle spaces in values

[Minor] remove unnecessary calls of lpeg.P in DMARC grammar
Just to make to code more readable.

[Fix] Rework DMARC to correctly handle spaces in DMARC records
Issue: #4906

Merge pull request #5135 from rspamd/vstakhov-fuzzy-keys-limits

Implement individual limits for fuzzy keys

[Minor] Sigh, so hard to fix it

[Minor] C varargs suck