[Test] Remove demjson dependency as it is clearly outdated and broken

Merge pull request #4870 from rspamd/vstakhov-rspamc-use-zstd

Use zstd compression in client all the time

Merge pull request #4869 from rspamd/vstakhov-fix-maps-parse

Fix parsing of maps definitions

[Minor] Grr, reverse

[Minor] Use zstd compression by default in the client

No reasons why not to do it, as there are no supported versions without compression support

[Fix] Fix parsing of maps definitions

Merge pull request #4867 from rspamd/vstakhov-reply-type

[Feature] Support reply in message pack format

[Fix] Libucl: Fix messagepack autodetection

[Feature] Use msgpack in the client

[Minor] Fix invocation

[Feature] Support reply in message pack format

Rspamd currently sends reply in JSON format. However, message pack seems to
be a better choice for a compatible client. It is faster and does not need
escaping or even UTF8 validation. This is a surface for further updates.

Merge pull request #4866 from rspamd/vstakhov-dkim-signing-vault

Vault signing improvements

[Rework] Another rework of the dkim signing logic

[Rework] Allow multiple conditions for dkim signing when using vault/redis

[Minor] Improve logging when doing signing via Vault

Issue: #4865

[Fix] Change expiration logic for redis_cache

Noticed by: @jeremy

Merge pull request #4864 from moisseev/filtering

[WebUI] Add check/uncheck all checkboxes buttons

[WebUI] Add check/uncheck all checkboxes buttons

to table filter dropdowns

Merge pull request #4863 from moisseev/webui

[Minor] Add HTTP_MAGIC_SVG key

[Minor] Add HTTP_MAGIC_SVG key

Merge pull request #4862 from moisseev/webui

[Minor] Add background icon to drop area

[Minor] Add background icon to drop area

Merge pull request #4861 from moisseev/webui

[Minor] Serve SVG with the correct CT

[Minor] Serve SVG with the correct CT

Merge pull request #4860 from rspamd/vstakhov-lua-udata-opt-moar

Further optimization to the hot path of lua userdata checks

[Feature] Further optimization to the hot path

We check userdata very frequently, so the idea here is the following:

- Store the address of classname (converted to int) in the metatable at index 1
- When we need to check some udata, we can just compare the static address with
  the integer stored in metatable
- This avoid quite an expensive `lua_rawequal` call for two tables as we know that
  our classes are quite static

Merge pull request #4857 from rspamd/vstakhov-lua-udata-opt

[Project] Optimization of userdata hashing

Merge pull request #4856 from moisseev/webui

[Minor] Fix status tables borders

[Rework] Rework dynamic usage

[Minor] Fix lua_tensor usage

[Rework] Use direct hashing instead of string hashing

[Project] Convert the remaining

[Minor] Forgotten files

[Project] Start optimization of userdata hashing

[Minor] Fix status tables borders

Merge pull request #4855 from moisseev/webui

[Minor] Align items in card headers and buttons

[Minor] Update documentation reference

[Minor] Align items in card headers and buttons

Merge pull request #4853 from moisseev/webui

[Minor] Improve minWidth calculation

[Minor] Improve minWidth calculation

Merge pull request #4852 from rspamd/vstakhov-proxy-nconns

Update `nconns` in proxy

[Fix] Update `nconns` in proxy

[Minor] Add CLion artefacts

Merge pull request #4849 from moisseev/webui

[WebUI] Add file input and drop area to scan tab

[WebUI] Add file input and drop area to scan tab

Merge pull request #4845 from fatalbanana/sync_publicsuffix

Sync public suffix list

Merge pull request #4847 from fatalbanana/rspamadm_tests

[Test] rspamadm tests: override DBDIR

Merge pull request #4846 from twesterhever/temp-file-url

[Minor] Add HAS_FILE_URL rule for messages containing a file:// URL

[Test] rspamadm tests: override DBDIR

[Minor] Add HAS_FILE_URL rule for messages containing a file:// URL

These are frequently abused for distributing malware via non-HTTP
protocols, such as public Samba servers. file:// URLs may also be abused
for including files from the victims' machine in a message. Either way,
a legitimate usecase is unlikely.

Signed-off-by: twesterhever <40121680+twesterhever@users.noreply.github.com>

Merge pull request #4834 from fatalbanana/gha_zombies

[Test] Use Robot-native process management

[Test] Use Robot-native process management

 - Partially unbreak functional tests in Github Actions

Sync public suffix list

Merge pull request #4843 from rspamd/vstakhov-libarchive

Support libarchive

[Minor] Ask for utf8 string from libarchive

[Minor] Detect encryption when libarchive is used

[Project] Use libarchive for troublesome archives

[Minor] Escape liquid

Merge pull request #4839 from rspamd/vstakhov-another-lupa-fix

Rework `jinja_template` functions to avoid LUPA global state dependency

Merge pull request #4838 from moisseev/webui

[WebUI] Disable buttons until tables are ready

[Fix] Avoid stupid practice of polluting module's internal state

[Rework] Allow custom filters in `jinja_template`

[WebUI] Disable buttons until tables are ready

to prevent race conditions

[Minor] Remove obsolete code

Merge pull request #4830 from rspamd/vstakhov-fix-history-key

[Fix] Allow different template expansion parameters

[Fix] Allow different template expansion parameters

Probably one of the most dirty hacks I've used in the Lua code in Rspamd...

Merge pull request #4829 from rspamd/revert-4826-vstakhov-fix-history-key

Revert "[Fix] Fix history key, as we use `{=` and not `{{` in templates"

Revert "[Fix] Fix history key, as we use `{=` and not `{{` in templates"

Merge pull request #4826 from rspamd/vstakhov-fix-history-key

[Fix] Fix history key, as we use `{=` and not `{{` in templates

[Fix] Fix history key, as we use `{=` and not `{{` in templates

[Minor] Update version to 3.9.0

[Minor] Allow to have only dynamic keys in fuzzy storage

Merge pull request #4822 from rspamd/vstakhov-ctest

Build tests with CTest in Cmake

[Minor] Build tests with CTest in Cmake

Merge pull request #4818 from rspamd/vstakhov-fuzzy-keymap

Allow dynamic keypairs loading in fuzzy storage

[Test] Working with bloody robot to add some new tests

[Minor] Improve logging

[Fix] Fix initial maps load

[Test] Add tests for dynamic fuzzy keys

Merge pull request #4806 from rspamd/vstakhov-kas-improvements

[Feature] Improve Kaspersky AS integration

[Feature] Implement dynamic keys map in fuzzy storage

[Minor] Add refcounts on fuzzy keys for shared usage

[Rework] Use khash instead of glib hashes for many reasons

Merge pull request #4816 from rspamd/vstakhov-4808

[Fix] Encode headers in metadata exporter

[Fix] Encode headers in metadata exporter

Issue: #4808

[Fix] Make stat tokens allocation consistent

Merge pull request #4814 from rspamd/vstakhov-redirector-fragment

Fix issues with URL fragment in HTTP requests

[Test] Add unit tests

[Fix] Try to fix url path issue

[Minor] Slightly improve log message

[Feature] Lua_url: Add `to_http` method

Merge pull request #4813 from rspamd/vstakhov-json-syslog

[Feature] Support JSON logging when in syslog mode

[Minor] Add LOG_CONS flag to `openlog`

[Feature] Support JSON logging when in syslog mode

Merge pull request #4803 from fatalbanana/surbl_config

[Minor] Add more returnbits to surbl configuration

Merge pull request #4807 from fatalbanana/rspamd_task_docs

[Minor] rspamd_task API docs: fix broken link

[Minor] rspamd_task API docs: fix broken link

[Minor] Support keepalive and authorization

[Minor] Proper header name

[Minor] KAS: add source ip information