[Fix] Do not assert if length of sig is bad, just fail verification

[Project] Store settings id directly

Merge pull request #2917 from moisseev/webui

[WebUI] Scan/Learn: enable/disable buttons on mouse events

[WebUI] Scan/Learn: enable/disable buttons on mouse events

(drag-and-drop and context menu cut, delete, paste)

[Minor] Langdet: Improve debugging slightly

[CritFix] Langdet: Fix language detection where no stop words found

[Minor] Langdet: Increase cut-off limit

[Fix] Lang_det: Try better to distinguish Chinese and Japanese

[Fix] Really fix hyperscan workaround

Closes: #2916

Revert "[Fix] Escape utf in regexp to dodge ragel/hyperscan issue"

This reverts commit e658c7fcb5d275f144954b9cea1c34fadfa81902.

[Test] Fix json tests

[Fix] Escape utf in regexp to dodge ragel/hyperscan issue

[Minor] Arm64: Implement poor man slabs

Issue: #2906

[Minor] Fix missing require

[Minor] Dkim_signing: NDR are not DKIM signed

Issue: #2901

[Minor] Fix indentation

[Minor] Fix tabulation

[Test] Adopt dkim signing tests to load modules

[Minor] Compat: Allow to use old style sign_condition

[Rework] Dkim: Remove signing code

[Rework] Dkim_signing: Move sign condition to dkim_signing

[Minor] Lua_util: Add callback_from_string routine

[Test] Add functional tests for ssl in lua_tcp

[Test] Add dummy ssl echo server

[Test] Fix sockets reusing

[Minor] LibUCL: Fix reading at the end of chunk

[Minor] Disable PCRE jit on OSX completely

[Minor] Fix pcre2 jit checks

[Minor] Lua_tcp: Add starttls implementation

[Minor] SURBL: Do not append suffix to the options list

[Feature] Lua_tcp: Add preliminary support of SSL connections

[CritFix] Fix loading of DKIM public keys

[Fix] Do not output rbl suffix in symbol option

[Minor] Use lua_smtp for dmarc reports

[Minor] Rework API to remove task dependency

[Minor] Use lua_smtp in metadata_exporter

[Feature] Add lua_smtp library

Merge pull request #2911 from HeinleinSupport/master

[Minor] Fix oletools defaults

[Minor] Fix oletools defaults

[Minor] Fix format string

[Minor] Adopt lpeg for aarch64 and luajit

Issue: #2906

[Minor] Remove string from top to avoid lua stack issues

[Minor] Fix processing message ids without braces

[Minor] Settings: Add workarounds for maxscore

[Fix] Do not use lightuserdata for traceback

LuaJIT limits lightuserdata usage to 47 bits. On Arm64, this leads to
break of the C <-> Lua interoperability using this type.

This rework has changed traceback function behaviour from lightuserdata
opaque pointer (GString * in particular) to luaL_Buffer.

Issue: #2906

[Fix] Lua_tcp: Report connection failures

Issue: #2899

[Fix] Fix history reset

Issue: #2910

[Minor] Add Changelog for 1.9.4

[Minor] Clickhouse: Add exceptions logic

[Minor] Archives: Distinguish compressed headers and encrypted archives

[Minor] Write email address in options

[CritFix] Fix case sensivity when parsing Content-Type

[Feature] Clickhouse: Utilise LowCardinality feature

[Feature] Adopt emails module to use lua_maps

[Feature] Use maps logic from lua_maps for multimap

[Feature] Add maps cache and type refinement

[Fix] Fix dkim signing exceptions

Issue: #2909

[Test] Add combined maps tests

[Minor] Fix occasional break

[Minor] Fix testing for zero

[Feature] Multimap: Add combined maps prototype

[Minor] More fixes

[Minor] Fix selectors usage

[Minor] Clickhouse: Change scores to Float32 for now

[Test] Add unit tests for fpconv

[Fix] Further fixes to printing of the FP numbers

[Minor] Reformat file to fix tabs/spaces mess

[Fix] Fix some more corner cases for fpconv

[Fix] Avoid another overflow in fpconv

Issue: #2904

[Minor] Add symbols and type heuristic

[Minor] Implement generic whitelist in reputation plugin

[Minor] Allow virtual symbols with no parent

[Rework] Slashing: Change versioning schema - move to 2.0

[Minor] Increase priority of the asn module

[Minor] Fix condition

[Minor] Add docs

[Project] Add preliminary version of maps expressions

[Minor] Lua_expression: Allow simplier invocation of create function

[Minor] Fix setting structure's fields

[Rework] Rework expression API

[Minor] Allow to execute expressions with process closures

[Rework] Reputation: Slashing - change name of symbols

[Minor] Try to fix Debian linking issue

[Project] Reputation: Rework get function and scores calculations

[Minor] Try use math.tanh if available

[Project] Reputation: Migrate to adaptive EMA model

[Minor] Fix resolver docs

[Minor] Return score with verdict

[Rework] Reputation: Remove ipnet from the ip reputation

[Test] Add some tests for arc signing

[Fix] Arc: Another bunch of fixes for arc signing

[Fix] Arc: More arc signing fixes

[Fix] Fix ARC signing after fixing another bug in it...

[Feature] URL: Apply stringprep to hostnames to filter garbage

[Minor] HTML: Allow to extract base url from the tag

[Fix] Ratelimit: Fix dynamic score

[Minor] Update version to 1.9.4

Release 1.9.3

* [Conf] Add IP_SCORE_FREEMAIL composite rule
* [Feature] Add cryptobox method to generate dkim keypairs
* [Feature] Add fast hashes to lua cryptobox hash
* [Feature] Add least passthrough results
* [Feature] Allow oversign if exists mode
* [Feature] Clickhouse: Modernise table initial schema
* [Feature] Implement IUF interface for specific fast hashes
* [Feature] Lua_util: Allow to obfuscate different fields
* [Feature] Tune memory management in Rspamd and Lua
* [Fix] Avoid buffer overflow when printing long lua strings
* [Fix] Change the default oversigning headers to a more sane list
* [Fix] Clickhouse: Do not store digest as it is not needed now
* [Fix] Clickhouse: Fix lots of storage issues
* [Fix] Clickhouse: Support custom actions
* [Fix] Deny URLs where hostname is bogus
* [Fix] Do not blacklist mail by SPF/DMARC for local/authed users
* [Fix] Fix DoS caused by bug in glib
* [Fix] Fix UCL parsing of the multiline strings
* [Fix] Fix buffer overflow when printing small floats
* [Fix] Fix init code for servers keypairs cache
* [Fix] Fix issue with urls with no tld (e.g. IP)
* [Fix] Fix memory in arc signing logic
* [Fix] Fix memory leak in language detector during reloads
* [Fix] Fix mixed case content type processing
* [Fix] Fix processing of the ip urls in file
* [Fix] Fix use after free
* [Fix] HTML: Fix `size` attribute processing
* [Fix] Hum, it seems that 99ff1c8 was not correct
* [Fix] Lua_task: Fix task:get_from method
* [Fix] Preserve fd when mapping file to scan
* [Fix] Re-use milter_headers settings when doing arc signing
* [Fix] Set dmarc force action as least action
* [Fix] Switch to GMT
* [Fix] allow PKCS7 signatures to be text/plain, too
* [Project] Add initial version of the vault management tool
* [Project] Add vault support for DKIM and ARC signing
* [Project] Implement keys rotation in the vault
* [Project] Improve dkim keys generation for vault
* [Project] Improve keys creation in rspamadm vault
* [Rework] Move lua_worker to a dedicated unit
* [WebUI] Add URL fragments (#) support
* [WebUI] Fix AJAX request URL

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Re-use milter_headers settings when doing arc signing

Issue: #2073

[Minor] Change the default list of oversigned headers

Trivia:

`Subject` header needs to be oversigned as an attacker could add some
'bad' subject to DKIM signed emails with no subject (rare but possible
case). This header is clearly displayed to a user hence, its presence as
well as absence MUST be oversigned explicitly.

`Reply-To` header is widely used to designate a special address used for
replies only but not for authentication checks. It is thus possible to
add a malicious `Reply-To` header to force users to reply to a DKIM
signed email to some attacker's controlled email address. It clearly
opens surface for social engineering like attacks and this header must
thus be unconditionally oversigned even if not presented in an original
message.

Issue: #2887