Merge pull request #4496 from twesterhever/temp-composites-url-only-redirector

[Enhancement] Add composite rule for messages only containing a redirector URL

[Feature] Maps: Add on_load support

Merge pull request #4498 from fatalbanana/rbl_symbols_prefixes

[Fix] rbl: fix dependency registration when symbols_prefixes is used

Merge pull request #4499 from moisseev/webui

[WebUI] Add ability to compute fuzzy hashes

[WebUI] Add ability to compute fuzzy hashes

from sample message source

[Fix] rbl: fix dependency registration when symbols_prefixes is used

[Enhancement] Add composite rule for messages only containing a redirector URL

[Minor] Fix for old hyperscan

[Fix] Fix an old issue with order of destruction race between redis pool and lua

[Fix] Try harder to remove bad hyperscan files

Issue: #4493

[Fix] Fix parsing due to old bug revealed

Merge pull request #4490 from moisseev/webui

[Minor] Fix rows background coloring

[Minor] Fix rows background coloring

of the Bayesian statistics table

[Minor] Avoid using registry to store traverse function + cleanup

[Minor] Add maps:foreach method in the Lua API

[Minor] Remove old and broken utilities

[Minor] Avoid using of gio in Rspamd

[Minor] Make read_passphrase utility more universal

[Minor] Fix help output

Issue: #4483

[Feature] Add controller endpoint to get fuzzy hashes from messages

Sample usage:

```
curl -XPOST 'http://localhost:11334/plugins/fuzzy/hashes?flag=1' --data-binary '@-' < file
```

Sample output:
```json
{
  "hashes": {
    "local": [
      "24b6e7de2f489778d828c827079c48bacb086f816d0a7acabbe42e8d0da703b89b913176ad67eefaf5b54fa59f5e0ecfc7015846c4043fcfb0c7a4ed7a235025",
      "72789777cbec926f4143de4c08c87acc3fbf3b909b5c39f1edcf82ed12e2d8bc2f56be8d68ee681feccf44ca04e3eca5b8ec039cb84a0d40e22258c370a10cbb"
    ],
    "rspamd.com": [
      "24b6e7de2f489778d828c827079c48bacb086f816d0a7acabbe42e8d0da703b89b913176ad67eefaf5b54fa59f5e0ecfc7015846c4043fcfb0c7a4ed7a235025",
      "72789777cbec926f4143de4c08c87acc3fbf3b909b5c39f1edcf82ed12e2d8bc2f56be8d68ee681feccf44ca04e3eca5b8ec039cb84a0d40e22258c370a10cbb"
    ],
  },
  "success": true
}
```

Issue: #4489

[Feature] Allow to have weak flags in fuzzy storage

[Minor] Remove redundant variable

[Minor] Always report multipattern compile error

Issue: #4487

[Minor] Fix newindex

[Minor] Allow more sane flags and ids syntax when register symbols

For example, flags could be defined as:

```lua
rspamd_config.register_symbol{
    flags = ['ignore_passthrough', 'nice']
  }
```

instead of (compatibility is still there):
```lua
rspamd_config.register_symbol{
    flags = 'ignore_passthrough,nice'
  }
```

[Minor] Fix old bug that score was not converted to a number

[Test] Add multimap options test

[Feature] Allow to read options from maps in the multimap plugin

Issue: #4468

[Minor] Show percentages

[Minor] Allow to run without an explicit group name when `-u` is set

[Fix] Fix format string usage

Issue: #4482

[Fix] Set proper counter

[Fix] More fixes to fuzzystat

[Fix] Update stats before encryption...

[Minor] Ignore FUZZY_STAT

[Minor] Fix flags stat

[Minor] Fix fuzzy stats

[Conf] Remove outdated composite rules

[Minor] Print flags stat

[Minor] Output flags stat per key

[Minor] Add utility to iterate over values by pointer and keys

[Feature] Count stats per key per flag

[Minor] More code modernisations

[Minor] Fix some legacy

[Minor] Show the fasttext status in version output

[Minor] Lua_util: Add normalize_utf8 utility

Issue: #4475

[Minor] Fix build on systems with no monotonic clock

Issue: #4478

[Minor] Fix spelling mistake

[Minor] Add some more debug to the fasttext classifier

[Feature] Allow to use other methods when fasttext detection is enabled

[Fix] Feed fasttext language model with the pre-tokenized words

[Conf] Add missing attributes for the language detection configuration

Merge pull request #4473 from rspamd/vstakhov-fasttext-langdet

[Feature] Add fasttext language detector to Rspamd

[Project] Some further fixes

[Fix] Ignore non-unique stop words

[Project] Implement fasttext language detection

[Conf] Add language detection configuration

[Project] Show fasttext info

[Project] Add preliminary language detector based on fasttext library

[Minor] Remove unused macro

[Test] Fix unit tests

[Feature] Add html parsing limit

[Minor] Use utf8 compatible comparison

[Conf] Add `one_shot` to some specific multimap rules

[Minor] Add build system support for fasttext library

[Minor] Improve options

[Feature] Add extra symbol when URL redirector reaches nested limit

Issue: #4406

[Fix] Include the last character when parsing the last header with no value

Issue: #4388

Merge pull request #4422 from a16bitsysop/redirector

[Fix] remove obsolete rspamd-redirector files

Merge pull request #4461 from moisseev/webui

[Minor] Fix pagination control border radius

Merge pull request #4449 from jendis/fix_arc

[CritFix] Fix arc signing

[Minor] Remove obsolete CSS rule

[Minor] Fix pagination control border radius

[Minor] Update lua-tableshape to 2.6.0

Issue: #4455

[Minor] Fix include/exclude policy

[Feature] Add ability to deny specific fuzzy flags by default

[Minor] Pet luacheck

[Minor] Fix key type in output

[Minor] Print more useful information in the `--version` output

[Minor] Add `dnskey` type of output

Issue: #4429

[Fix] Do not use `rspamadm.dkim_keygen`

[Feature] Finish all features of dkim_keygen in Lua

[Rework] Write dkim keygen tool in lua

[Minor] Allow to save private key in output

[Minor] Fix openssl invocation

[Test] Add unit testing

[Feature] Add some missing functions to `lua_rsa` library

Merge pull request #4457 from moisseev/rspamd-stats

[Minor] Use a scalar variable as a dir handle

[Minor] Use a scalar variable as a dir handle

instead of a bareword

[Minor] Re-sign drone yaml

Merge pull request #4453 from moisseev/webui

[WebUI] Fix "Clean history" button enabling/disabling in the Scan tab

[Test] Fix Stylelint and npm warnings

[WebUI] Fix "Clean history" button

enabling/disabling in the Scan tab

[Rework] Default max shots must not influence options

Issue: #4450

[Minor] Do not propagate broken headers flag for attached messages

fixup! arc.lua: fix signature of ARC-Seal header

Merge pull request #4448 from simbuerg/simbuerg/fix-double-dip-ratelimit

[Fix] Avoid double-dip of nrcpt when calculating ratelimit condition

arc.lua: fix signature of ARC-Seal header

The ARC Set header field values must be supplied to the hash function in increasing
instance order, starting at 1.
Defined in https://www.rfc-editor.org/rfc/rfc8617.html#section-5.1.1.

arc.lua: fix usage of ARC-Authentication-Results in arc_sign_seal func

The ARC-Authentication-Results header field was gathered in function arc_sign_seal
directly from headers.
This commit adds the sorted ARC-Authentication-Results header to cache
which is then reused in arc_sign_seal function.

fix: avoid double-dip of nrcpt when calculating ratelimit condition

Before this commit, rspamd would consider the number of recipients of
the current message twice when calculating the ratelimit condition.