[Minor] Get rid of glib utf8 functions

[Fix] Dmarc: Properly encode structured headers

Issue: #5221

[Fix] Milter headers: fold before encoding

Merge pull request #5219 from moisseev/elastic-conf

[Conf] Fix comments in elastic.conf

[Conf] Fix comments in elastic.conf

Merge pull request #5162 from left-try/master

Store LRU cache of last filled ratelimit buckets

Merge pull request #5186 from dragoangel/actualize-elastic-module

[Rework] Breaking: Actualize elastic module

Merge pull request #5214 from rspamd/vstakhov-conf-reorg

[Conf] Add more ways to extend Rspamd configuration

Merge branch 'master' into vstakhov-conf-reorg

Merge pull request #5218 from moisseev/fa6

[WebUI] Upgrade Font Awesome to v6.6.0

Merge pull request #5217 from moisseev/webui

[WebUI] Update RequireJS to address CVE-2024-38999

[WebUI] Upgrade Font Awesome to v6.6.0

[Conf] Allow to install examples conditionally

[WebUI] Update RequireJS to address CVE-2024-38999

Upgraded RequireJS from 2.3.6 to 2.3.7
to mitigate prototype pollution vulnerability (CVE-2024-38999) in `s.contexts._.configure` function,
which could allow arbitrary code execution or Denial of Service.

Fix missing non_en false due to fill_empty_strings function

Merge branch 'master' into master

Merge pull request #5213 from rspamd/vstakhov-surbl-conf-fix

[Conf] Use full hostnames for SURBL

[Minor] Fix optionality

[Conf] Install examples

[Conf] Add lua.local.d folder

[Conf] Add more ways to extend Rspamd configuration

+ Add examples of all that we can do

[Conf] Use full hostnames for SURBL

Merge branch 'master' into master

Merge pull request #5209 from twesterhever/temp-auth-origin-helo-user

[Minor] Add "User" HELO in Received headers to ABUSE_FROM_INJECTOR

Merge pull request #5208 from twesterhever/temp-composites-aff-mm-cd

[Minor] Improve FREEMAIL_AFF catch rate

Merge pull request #5207 from twesterhever/temp-attachment-rdp

[Minor] Score *.rdp attachments as bad

Merge pull request #5210 from rspamd/vstakhov-fix-utf8-ragel

[Fix] Another story about char sign

[Test] Add more test

[Fix] Another story about char sign

Ragel still produces a wrong state machine if `const char *` is used
for characters representation that are actually utf8.

This PR changes all types to `unsigned char *` for consistency.

[Minor] Add "User" HELO in Received headers to ABUSE_FROM_INJECTOR

This pattern often surfaces in spam (frequently advance fee fraud)
disseminated via compromised accounts, adding it to ABUSE_FROM_INJECTOR
to increase the likelihood of such spam getting rejected.

[Minor] Improve FREEMAIL_AFF catch rate

This "Mail message body" Content-Description header appears to be a
common quirk of advance fee fraud e-mails leveraging freemail services.

[Minor] Score *.rdp attachments as bad

Rationale: https://www.microsoft.com/en-us/security/blog/2024/10/29/midnight-blizzard-conducts-large-scale-spear-phishing-campaign-using-rdp-files/

Merge branch 'master' into actualize-elastic-module

* add more validation on empty strings, required to not face errors in saving logs to elastic
* remove max_size as it was looking to rows elements count, not strings size in total, such check will be too much compute intensive
* increase default errors max_fail as usually elastic not recover so quickly and needs a bit more time

[Fix] Fix memory leak in `lua_new_text` invocations

[Test] A workaround for brain-damaged libstdc++ from prehistoric ages

Merge branch 'master' into master

[Test] Add some specific unit tests for Rspamd x25519 DH

Merge branch 'rspamd:master' into master

Merge pull request #5195 from Cloud-Cauldron/update-changelog

[Project] Keep Changelog updated

[Project] Keep Changelog updated

Merge branch 'rspamd:master' into master

better check from to exclude cases when its empty

use rspamd_ip object in sender_ip to avoid posting ipv4:port

Merge branch 'master' into actualize-elastic-module

strip also port from sender_ip

do not allow empty headers, fix stripping of headers by limit of symbols count and add headers count limit

do not allow empty from

Merge pull request #5193 from jscissr/fix_arc

[CritFix] Fix ARC-Seal signing

[CritFix] Fix ARC-Seal signing

Signing of ARC-Seal headers was recently broken; the created signatures
failed to validate. Most likely, this was caused by commit 1e661a2fc6e3,
which changed the way signatures are created in lua_rsa_sign_memory
without adding the calls to EVP_PKEY_CTX_set_rsa_padding and
EVP_PKEY_CTX_set_signature_md needed with the new interface.

After fixing this, some existing tests failed, because the test values
passed to the hash parameter did not have the correct size for a sha256
hash. I fixed these by adjusting the length of the test values.
Additionally, I extended the "RSA sign" unit test to compare the created
signature against the expected one. This is possible because RSA signing
is deterministic, and should prevent the same bug from occuring again.

Fixes: https://github.com/rspamd/rspamd/issues/5173

Merge pull request #5192 from henry-spanka/add-eof-to-openmetrics

add EOF to openmetrics response in proxy and server

Merge branch 'rspamd:master' into master

Merge pull request #5191 from rspamd/vstakhov-zstd-headers

[Rework] Allow `Content-Encoding` standard header for zstd compression

add EOF to openmetrics response in proxy and server

round scores and weight

[Rework] Allow `Content-Encoding` standard header for zstd compression

Merge branch 'master' into actualize-elastic-module

fix variables for ucl errors

[Fix] Restore propagation of spam/ham learns

return item status and reasons on bulk push error

Fix from and rcpt

do not retry on errors in body as it will create duplicated logs

Merge pull request #5190 from rspamd/vstakhov-some-build-fixes

Some more fixes

Merge branch 'master' into vstakhov-some-build-fixes

[Fix] Load "default" provider as well as "legacy"

Merge pull request #5189 from rspamd/vstakhov-some-build-fixes

Some build fixes

[Minor] Use OSSL_PROVIDER_load on RHEL based distros

[Minor] Remove bogus DEBIAN_BUILD constant

Merge pull request #5188 from rspamd/vstakhov-openssl-provider-message

[Fix] Do not abort when OpenSSL is broken, report that to a user

[Minor] Thank you OpenSSL for all those new names

[Fix] Do not abort when OpenSSL is broken, report that to a user

Issue: #5181

Merge branch 'master' into actualize-elastic-module

[Fix] Use unsigned char for ragel machines

It seems that on aarch64 Linux char is signed by default, so Ragel produces
a wrong code that is "optimized" by a compiler simply to `false`.

Issue: #5172

Revert "[Minor] Remove custom ragel flags to test arm64 bug"

This reverts commit 0d962621f158e0b64693e947beecb3242a229fd2.

[Minor] Fix GCC sanitizer

[Minor] Remove custom ragel flags to test arm64 bug

We need take 2nd hop

Use received for all logs, fix direction

round time_diff to seconds on interval check, improve log message readability

reuse http_request data

fix tabulation

align conf and module settings in lua

add missing change in configured state when no update is needed on index_policy

resolve linter issues and remove custom deep_compare function in favor of lua_util.table_cmp

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

Update src/plugins/lua/elastic.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

[Rework] Breaking: Actualize elastic module, support Elastic 8 & OpenSearch 2, add index policy with logs retention and many more

Signed-off-by: Dmytro Alieksieiev <1865999+dragoangel@users.noreply.github.com>

Merge pull request #5179 from smarsching/issue-5178

[Fix] Avoid null-bytes in Log-Tag header value

Merge pull request #5176 from wdhdev/patch-1

chore(publicsuffix): update effective_tld_names.dat

[Fix] Avoid null-bytes in Log-Tag header value.

This fixes #5178.

revert IDN removal

Merge pull request #5164 from dragoangel/patch-8

Remove proxy from url_redirector.conf as it not the option

chore(publicsuffix): update effective_tld_names.dat

Merge pull request #5167 from rspamd/vstakhov-new-hiredis

Update hiredis library removing all hacks

Merge branch 'rspamd:master' into master

Merge pull request #5169 from arkamar/lua-ucl/len-type

[Fix] Use correct type for keylen in lua_ucl_newindex

[Fix] Use correct type for keylen in lua_ucl_newindex

The keylen variable used in lua_ucl_newindex function should use size_t
type instead of lua_Integer, because all functions that use keylen
expect it to be of size_t type. This mismatch leads to incompatible
pointer types, and modern versions of GCC fail to compile the code.

Fixes: 9e87597ceb05 ("[Project] Allow manipulations with opaque UCL objects")
Issue: https://github.com/rspamd/rspamd/issues/5163

[Minor] Update dependencies info

[Rework] Update hiredis to 1.2.0