Use received for all logs, fix direction

round time_diff to seconds on interval check, improve log message readability

reuse http_request data

fix tabulation

align conf and module settings in lua

add missing change in configured state when no update is needed on index_policy

resolve linter issues and remove custom deep_compare function in favor of lua_util.table_cmp

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

[Rework] Breaking: Actualize elastic module, support Elastic 8 & OpenSearch 2, add index policy with logs retention and many more

Signed-off-by: Dmytro Alieksieiev <1865999+dragoangel@users.noreply.github.com>

Merge pull request #5179 from smarsching/issue-5178

[Fix] Avoid null-bytes in Log-Tag header value

Merge pull request #5176 from wdhdev/patch-1

chore(publicsuffix): update effective_tld_names.dat

[Fix] Avoid null-bytes in Log-Tag header value.

This fixes #5178.

revert IDN removal

Merge pull request #5164 from dragoangel/patch-8

Remove proxy from url_redirector.conf as it not the option

chore(publicsuffix): update effective_tld_names.dat

Merge pull request #5167 from rspamd/vstakhov-new-hiredis

Update hiredis library removing all hacks

Merge pull request #5169 from arkamar/lua-ucl/len-type

[Fix] Use correct type for keylen in lua_ucl_newindex

[Fix] Use correct type for keylen in lua_ucl_newindex

The keylen variable used in lua_ucl_newindex function should use size_t
type instead of lua_Integer, because all functions that use keylen
expect it to be of size_t type. This mismatch leads to incompatible
pointer types, and modern versions of GCC fail to compile the code.

Fixes: 9e87597ceb05 ("[Project] Allow manipulations with opaque UCL objects")
Issue: https://github.com/rspamd/rspamd/issues/5163

[Minor] Update dependencies info

[Rework] Update hiredis to 1.2.0

Remove proxy from url_redirector.conf as it not the option

[Minor] Update version

Release 3.10.0

* [Conf] Add SenderScore RPBL return codes
* [Conf] Add SenderScore Reputationlist RBL
* [Conf] Increase scores for strange things in the archives
* [CritFix] The max size for signing key is actually 65 bytes for p256
* [Feature] Add rspamadm secretbox command
* [Feature] Add rspamd_cxx_unit_cryptobox for unit testing
* [Feature] Add support for OpenSSL 3.0
* [Feature] Add support for OpenSSL 3.0 for DKIM
* [Feature] Add tests for rspamd_cryptobox
* [Feature] Add tooling to encrypt strings in Lua
* [Feature] Allow differen modes for fuzzy rules
* [Feature] Allow to set negative group score limit via `min_score`
* [Feature] DMARC: Implement reporting.only_domains setting
* [Fix] Add workaround for the bug in OpenSSL < 3.0.8
* [Fix] Another fix for Redis schema
* [Fix] Another safe-guards for learning/classifying an empty message
* [Fix] Apply the same workaround for signing keys
* [Fix] Check message before trying to dereference pointer
* [Fix] Do not install doctest stuff
* [Fix] Encode headers that we send to milter add header
* [Fix] Fix DCC `rep` handling
* [Fix] Fix Redis scripts uploading when Redis is not ready
* [Fix] Fix and rework various parts
* [Fix] Fix compatibility with OSSL 1.0
* [Fix] Fix glib internals by setting locale in `rspamc`
* [Fix] GPT: Fix bug in condition check
* [Fix] Get rid of EVP_PKEY_CTX_set1_rsa_keygen_pubexp
* [Fix] Iterate over dynamic keys in fuzzy storage
* [Fix] Make tostring in UCL a bit less brain-damaged
* [Fix] More bogus sizes fix
* [Fix] Preserve the previous behaviour of RDNS_* checks
* [Fix] Rework DMARC to correctly handle spaces in DMARC records Issue: #4906
* [Fix] Sign key != encryption key, omg
* [Fix] Unify lua symbols registration
* [Fix] Use proper keys when doing asymmetric encryption
* [Project] Add API method to push unwrapped UCL object
* [Project] Add more stuff to transparent UCL
* [Project] Add parsing of key limits and expire date
* [Project] Add ratelimit parsing for fuzzy keys
* [Project] Allow manipulations with opaque UCL objects
* [Project] Allow to change log tag from HTTP request
* [Project] Implement expiration
* [Project] Implement per-key ratelimit
* [Project] Move ratelimit parsing stuff to a common library
* [Project] Remove NIST (OpenSSL) mode from cryptobox
* [Project] Remove NIST mode from everywhere
* [Project] Rework ratelimits check
* [Project] Some more fixes
* [Project] Start support of MIME UTF8
* [Project] Try to allow more transparent access of ucl elements
* [Rework] Allow more flexible keypair encoding
* [Rework] Breaking: Rewrite cfg transform and remove legacy
* [Rework] Change fuzzy error symbols
* [Rework] Change the logic of skipping symbols
* [Rework] Clean up legacy code
* [Rework] Implement new replies logic on the server's side
* [Rework] Remove control block support
* [Rework] Resolve rdns in a separate function
* [Rework] Use __builtin_cpu_supports where possible
* [Rework] Use a more straight structure for DKIM keys
* [Rules] Fix some old rules

Merge pull request #5161 from rspamd/vstakhov-fix-dcc

[Fix] Fix DCC `rep` handling

[Fix] Fix DCC `rep` handling

Issue: #5158

[Minor] Make API consistent

[Test] Trying to understand what's up with robot

Merge pull request #5056 from rspamd/vstakhov-utf8-mime

[Feature] MIME UTF8 support

Merge pull request #5160 from rspamd/vstakhov-remove-control-block

[Rework] Remove control block support

[Rework] Remove control block support

It has been buggy and never really used by anyone I suppose.

[Fix] Fix glib internals by setting locale in `rspamc`

Merge branch 'master' into vstakhov-utf8-mime

Merge pull request #5156 from rspamd/vstakhov-dynamic-fuzzy-keys-iter

[Fix] Iterate over dynamic keys in fuzzy storage

[Fix] Iterate over dynamic keys in fuzzy storage

Merge pull request #5154 from rspamd/vstakhov-ssl-fixes

Fixes for OpenSSL

[CI] Learning what ci can

[CI] Maybe enable devtoolset if possible

[Minor] Another compatibility fix

[Minor] Use portable macro for old OpenSSL

[Minor] Another compatibility fix

Merge branch 'master' into vstakhov-ssl-fixes

Merge pull request #5153 from rspamd/vstakhov-ci-try

Add more build targets

[Fix] Get rid of EVP_PKEY_CTX_set1_rsa_keygen_pubexp

OpenSSL uses 65537 by default, no need in explicit set.

Update ci_rspamd_build.yml

Update ci.yml

Create ci_rspamd_build.yml

Add more build targets

Issue: #5152

[Minor] Our version should be 3.10

Merge pull request #5144 from rspamd/vstakhov-keypair-encoding

[Rework] Allow more flexible keypair encoding

[Rework] Allow more flexible keypair encoding

Merge pull request #5140 from rspamd/vstakhov-cpu-detection

[Feature] Detect CPU using __builtin_cpu_supports where it's possible

Merge branch 'master' into vstakhov-cpu-detection

[Feature] Add rspamadm secretbox command

* [Minor] Small fix for error messages

* [Feature] Create rspamadm util to decrypt header

* [Feature] Create python example to encrypt/decrypt header

* [Minor] Small clean up

* [Minor] Change c-rspamadm util to lua-rspamadm util

* [Minor] Small clean up

* [Minor] Add some debug

* [Feature] Add secretbox command

* [Minor] Debug

* [Minor] Add additional return for encrypted string(noce + encrypted string

* [Minor] Small debug

* [Minor] Add a way to provide encrypted text concatenated with nonce

* [Minor] Add nonce to encrypt text

* [Minor] Clean up

* [Minor] Clean up unused variable

* [Minor] Small fix

* [Minor] Fix return issue

* [Minor] Add blake2b for key derivation

* [Minor] Small upgrade to debug

* [Minor] Small clean up

* [Minor] Change return to more convenient form

* [Minor] Change print to test form

* [Test] Provide tests for encrypt/decrypt with rspamadm util and python script

* [Minor] Change python to python3

* [Minor] Add stderr check

* [Minor] Make the function return nonce+text

* [Minor] Change unit tests to new return format

* [Minor] Add flag to manage encodings

* [Minor] Add --encoding argument to manage encodings

* [Minor] Change tests for new input format

* [Minor] Fix lua format

* [Minor] Small fix

* [Minor] Provide full support for new return format of maybe_encrypt_header

* [Test] Test small fix

* [Test] Small fix

* [Minor] Clean up

* [Minor] Small fix for name of variable

* [Minor] Small clean up

* [Minor] Change format of command to a mre convenient

* [Minor] Change tests to be same as a format of a command

* [Minor] Change description of flags

* [Minor] Small fix

---------

Co-authored-by: Ivan Stakhov <50211739+LeftTry@users.noreply.github.com>

Merge pull request #5142 from fatalbanana/dmarc_only_domains

[Feature] DMARC: Implement reporting.only_domains setting

[Feature] DMARC: Implement reporting.only_domains setting

Merge branch 'master' into vstakhov-utf8-mime

[Rework] Use __builtin_cpu_supports where possible

[Minor] Detect __builtin_cpu_supports

[Minor] Do not autolearn messages without queue id

Suggested by: @moisseev

Merge pull request #5133 from moisseev/test

 [Test] Upgrade linters

Merge pull request #5139 from spacefreak86/fix-dmarc-grammar

[Fix] Rework DMARC grammar to correctly handle spaces in values

[Minor] remove unnecessary calls of lpeg.P in DMARC grammar
Just to make to code more readable.

[Fix] Rework DMARC to correctly handle spaces in DMARC records
Issue: #4906

Merge pull request #5135 from rspamd/vstakhov-fuzzy-keys-limits

Implement individual limits for fuzzy keys

[Minor] Sigh, so hard to fix it

[Minor] C varargs suck

[Minor] Slight explanations of the decision made

[Project] Implement expiration

[Project] Implement per-key ratelimit

 [Test] Upgrade linters

- Upgraded `eslint` from 9.7.0 to 9.10.0
- Upgraded `@stylistic/eslint-plugin` from 2.3.0 to 2.8.0
- Upgraded `stylelint` from 16.7.0 to 16.9.0

[Project] Add parsing of key limits and expire date

[Project] Add ratelimit parsing for fuzzy keys

[Project] Move ratelimit parsing stuff to a common library

[Project] Rework ratelimits check

[Minor] Fix some unsafe chmod

[Minor] Fix some SSL issues

Merge pull request #5131 from rspamd/vstakhov-fuzzy-mode

[Feature] Allow different modes for fuzzy rules

[Feature] Allow differen modes for fuzzy rules

Merge pull request #5129 from rspamd/vstakhov-redis-schema

[Fix] Another fix for Redis schema

[Fix] Another fix for Redis schema

Issue: #5112

Merge pull request #5127 from rspamd/vstakhov-fuzzy-symbols

Rework fuzzy symbols

[Rework] Implement new replies logic on the server's side

[Minor] Add `encryption_required` symbol

[Minor] s/BLOCKED/FORBIDDEN/

We want it to be more informative and to distinguish from FUZZY_DENIED

[Rework] Change fuzzy error symbols

FUZZY_BLOCKED -> FUZZY_RATELIMITED
FUZZY_BLOCKED - new symbol for permanent bans

Merge branch 'master' into vstakhov-utf8-mime

[Feature] Add tooling to encrypt strings in Lua

* [Fix] Provide support for OpenSSL 3.0

* [Feature] Provide function to encode header with configured public key

* [Feature] Provide function to decode header with configured public key

* [Test] Add tests for maybe encode/decode header

* [Minor] Fix tests for encode/decode header

* [Minor] Small clean up

* [Minor] Small clean up

* [Minor] Small fix for OpenSSL 3.0 support

* [Minor] Provide logging

* [Minor] Small fix

* [Fix] Fix typo error

* [Fix] Another typo

* [Minor] Little clean up

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Minor] Rewrite the arguments of secretbox:encrypt/decrypt functions to a more understandable format

* [Fix] Fix problem with nonce was not provided

* [Test] Add test for nonce

* [Minor] Little clean up

* [Minor] Little clean up

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Little fix

* [Minor] Small fix

* [Minor] Small fix

* [Test] Small fix

* [Test] Test

* [Test] Test

* [Test] Test

* [Test] Test

* [Minor] Small fix for fips provider

* [Minor] Change provider apply logic

* [Test] Little fix for provider

* [Minor] Provide OpenSSL <3.0 support

* [Test] Possible provider fix

* [Test] Possible provider fix

* [Test] Little fix

* [Minor] Fix provider issue

* [Minor] Small clean up

* [Minor] Change logging errors

* Update lualib/lua_util.lua

---------

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Merge branch 'master' into vstakhov-utf8-mime

Merge pull request #5126 from rspamd/vstakhov-change-passthrough

[Rework] Change the logic of skipping symbols

[Rework] Change the logic of skipping symbols

We now do not skip pre/post filters even if the task result has reached
threshold.

Merge pull request #5111 from oliyks/fix-icap-url-encode

[Fix] ICAP: encode constructed  path to be URL safe.

deduplicate url_encode_string

Merge branch 'master' into fix-icap-url-encode

Merge pull request #5125 from rspamd/vstakhov-lua-fix-register-symbols

[Fix] Unify lua symbols registration

[Minor] Forgot to handle `parent`

[Minor] Restore legacy way to register symbols...

[Doc] Discourage old brain damaged method of symbols registration

[Fix] Unify lua symbols registration

I'm curious why this bug has been not mentioned for such a long time...