[Feature] Fuzzy_check: Allow to disable subject when making short text hash

Merge pull request #3634 from moisseev/patch-2

[Fix] Fix Mozilla Message-ID detection

[Fix] Fix Mozilla Message-ID detection

The left part of the Mozilla Message-ID is a hexadecimal timestamp. The regexp was mistakenly limited to 2021-01-14.

[Minor] Plug memory leak

[Minor] Css: Implement move only queue properly

Merge pull request #3633 from fatalbanana/neural_defang

[Fix] Avoid reinitialising neural settings

[Fix] Avoid reinitialising neural settings

[Minor] Neural: Add logging stuff

[Minor] Save lua line for cfg scripts for debugging

[CritFix] Neural: Fix sorting application

Thanks to: Gerald Auer

[Project] Css: Further work on parser's methods

[Project] Css: Implement backlog of css tokens

[Minor] Add another bounce re

[Fix] Use proper buffer length

[Project] Css: Projected a parser

[Minor] HTML: Extract urls from `action` attribute

[Minor] Smime: Check if we have a signed data before dereferencing

[Minor] Rspamadm: Imply --all if no --ip has been specified

[Fix] Avoid curse of dynamic array referencing

Merge pull request #3628 from moisseev/patch-1

[Minor] Avoid browser console warning

[Minor] Avoid browser console warning

Fixes: #3627

[Project] Css: Further fixes to lexer

[Project] Css: Fix minus parsing

[Minor] Fix shadow results chaining

[Project] Css: Several fixes + tests

[Minor] Css: Add a simple testing logic for css parsing

[Minor] Fix options insertion when a shadow result is presented

[Project] Css: Add some debug methods

[Project] Css: Finish generic lexer cases

[Minor] Slightly increase write timeout

[Fix] Fix IPv6 expansion for SPF macros

Issue: #3625

[Project] Css: Add url/function tokens

[Project] Css: More meat to the lexer

[Project] Css: Implement numbers and ident parsers

[Project] Css: Rework tokens structure

[Project] Css: rework tokeniser

Merge pull request #3618 from fatalbanana/lupa

[Minor] Update lua-lupa

[Minor] Update lua-lupa

 - Fixed bug where 'else' was not evaluated if 'elseif' is present.

[Fix] Enable error multiplier on http errors

Issue: #3616

[Minor] Update interface readme

[Minor] Remove unused stuff oO

[Minor] Do not perform arc signing before dkim checks

Issue: #3613

[Test] Start css unit testing

[Minor] Fix some issues found

[Project] Make unescape code public for unit testing

[Minor] Allow to convert mempool into raw pointer

[Project] Add some methods for css parser

[Minor] Add conversion routine for hex strings

[Project] Add parsers skeleton

[Project] Add css syntax (adopted from ebnf)

[Minor] Another ragel fix

[Minor] Improve ragel support in cmake

[Minor] Allow timestamping of the compilation

[Project] Allow static libstdc++

[Project] Add css style skeleton

[Project] Use string_view to constexpr variant unpacking

[Project] Add hashing method

[Project] Add css_selectors

[Project] Add a simple css rule definition

[Project] Skeleton of the css library

[Project] Add expected library

Merge pull request #3612 from gratuxri/public_suffix_list

[Minor] New list from https://publicsuffix.org/list/public_suffix_list.dat

processing with idn.pl

New list from https://publicsuffix.org/list/public_suffix_list.dat

[Minor] Temporary workaround (should be fixed properly at some point)

[Minor] Rspamadm fix use after free

[Fix] Html: Attach inline tags to the structure

[Minor] Fix html tags use

[Minor] Allow to use ratelimit as an ordinary filter

Merge pull request #3610 from Manawyrm/master

[Minor] milter_headers: new option skip_all

[Minor] milter_headers: new option skip_all

This PR introduces the new configuration option "skip_all" for milter_headers.
This config option will skip the addition of extended spam headers for every mail, except those with recipients listed in the extended_headers_rcpt map.

Merge pull request #3608 from fatalbanana/clickhouse_neural_training

[Feature] rspamadm clickhouse neural_train subcommand

[Feature] rspamadm clickhouse neural_train subcommand

Merge pull request #3607 from Manawyrm/master

[Fix] #3400 milter_headers: fix inverted logic for extended_headers_rcpt

[Fix] #3400 milter_headers: fix inverted logic for extended_headers_rcpt

This commit fixes the inverted logic of skip_wanted/match_extended_headers_rcpt to allow a user to enable extended headers selectively for only a specific set of recipients.

[Rework] Require proper C++ environment for Rspamd build

[Minor] Replies: Add support of min_message_id

[Minor] Ical: Allow \r as line endings

[Minor] Pet luacheck

[Project] Add preliminary support of vcard parser

[Minor] Lua_magic: Add vcf magic pattern

[Fix] Html: Do not treat empty tags as block tags

[Feature] Settings: add ip_map check and rework structure slightly

[Minor] Remove static settings pool (cfg pool is good enough)

[Minor] Preload maps after lua post init scripts

[Minor] Pdf: Improve debug logging

[Minor] Pdf: Do not fire PDF_SUSPICIOUS on legit escapes

[Minor] Lua_text: Add strtoul method

Merge pull request #3603 from cgzones/32bit

Check gsize against G_MAXSIZE not ULLONG_MAX

[Minor] Fix `cmd` variable use case

Issue: #3603

Check gsize against G_MAXSIZE not ULLONG_MAX

/builds/cgzones/rspamd/debian/output/source_dir/src/libserver/http/http_message.c: In function 'rspamd_http_message_set_body':
/builds/cgzones/rspamd/debian/output/source_dir/src/libserver/http/http_message.c:201:23: warning: comparison is always true due to limited range of data type [-Wtype-limits]
  201 |   if (len != 0 && len != ULLONG_MAX) {
      |                       ^~
/builds/cgzones/rspamd/debian/output/source_dir/src/libserver/http/http_message.c:230:23: warning: comparison is always true due to limited range of data type [-Wtype-limits]
  230 |   if (len != 0 && len != ULLONG_MAX) {
      |                       ^~

[Minor] Update version to 2.8

Release 2.7

* [Conf] Add R_DKIM_PERMFAIL to the metric
* [CritFix] Dkim: Fix simple canonicalisation if multiple signatures are presented
* [CritFix] Fix controller paths normalisation
* [Feature] Add INVALID_DATE rule
* [Feature] Add controller endpoint for training neural
* [Feature] Add sanity checks for actions thresholds
* [Feature] Add support of '==' and '!=' in Rspamd expressions
* [Feature] Composites: Improve composite atoms parser
* [Feature] Docker: use Debian slim variant
* [Feature] Elastic: Add some missing fields
* [Feature] Extract text from img alt attributes
* [Feature] Improve charset detection logic
* [Feature] Lua_clickhouse: Add optional row callback for large selections
* [Feature] Lua_dns_resolver: Add idna_convert_utf8 method
* [Feature] Lua_mime: Add ability to do multipattern replacement
* [Feature] Lua_trie: Allow to report start of the match
* [Feature] Multimap: support adding map values as extra options
* [Feature] Neural: Move PCA learning to a subprocess
* [Feature] RBL: support matching content/image URLs only
* [Feature] RBL: support use of multiple selectors
* [Feature] Reputation: Allow to specify ip masks
* [Feature] Support SMIME signed messages container
* [Feature] Support multiple conditions for symbols
* [Feature] Support ping in milter mode
* [Feature] Support rspamd_text in selector regexps
* [Feature] Use own daemonization routine
* [Feature] Vadesecure: Implement settings_outbound feature as recommended by Vade
* [Feature] `rspamadm clickhouse` command
* [Feature] allow hyperscan for aarch64
* [Fix] Allow to set priorities between post init scripts
* [Fix] Allow to use maps for strings that are not zero terminated
* [Fix] Apply max_lua_urls limit for emails as well
* [Fix] Arc: Fix CV check on signing
* [Fix] Arc: Fix signing of the broken ARC chains
* [Fix] Clickhouse: escape carriage return
* [Fix] Composites: Allow partial match
* [Fix] Deduct type of a table methods
* [Fix] Do not load errored hyperscan database
* [Fix] Do not process links in ignored html tags
* [Fix] Fix ClamAV result for cached encrypted file (#3395)
* [Fix] Fix canonicalisation when l= tag is presented
* [Fix] Fix flag shift
* [Fix] Fix handling of skip/skip_process http flags
* [Fix] Fix html attachments checks
* [Fix] Fix issue with pushing binary formats to Lua strings
* [Fix] Fix logging for rspamadm
* [Fix] Fix off-by-one with init check
* [Fix] Fix parsing of escape characters in quoted pairs
* [Fix] Fix pushing ucl strings with \0 inside
* [Fix] Fix quoted-printable soft newlines bugged case
* [Fix] Fix settings in case actions are set to null (#3415)
* [Fix] Fix several issues with auth results producing
* [Fix] Fix smtp comments exclusion
* [Fix] Fix smtp date syntax definition
* [Fix] Fix substring search in case if srchlen == inlen
* [Fix] Fix text selectors
* [Fix] Honour `systemd` setting when logging to console (#3514)
* [Fix] Html: Add entities collisions prevention logic (e.g. for mathml entities)
* [Fix] Lua_auth_results: Quote potentially bad values in AR header
* [Fix] Multimap: Fix flags usage
* [Fix] Multimap: Fix scoring for combined maps
* [Fix] Plug GList * leak in redis pool
* [Fix] RBL: allow for multiple matches of the same label if types are different
* [Fix] Rely on libev checks for file maps
* [Fix] Restore simple dkim canonicalisation mode
* [Fix] Return MimeCharset as we work with emails...
* [Fix] Spamassassin: Fix pcre_only flags
* [Fix] Spamassassin: Preserve 'pcre_only' flag when dealing with regexp replacements
* [Fix] Try to fix GError leak
* [Fix] Try to fix a mess with settings loading by adding priorities
* [Fix] Try to move setings initialisation to a later stage
* [Fix] Use dup fd in milter handler to avoid races with the proxy
* [Fix] Use message pointer to avoid obsolete data to be cached
* [Project] Rbl: Migrate to `checks`
* [Project] Rbl: Move config code outside of the plugin
* [Project] Ressurect empty prefilters as connection filters
* [Project] Support connection filters registration from Lua
* [Rework] Add final cleanup logic
* [Rework] Add preliminary support of hyperscan caching for re maps
* [Rework] Add stale cache removal
* [Rework] Clickhouse: Improve performance
* [Rework] Distinguish between strict config test mode
* [Rework] Furhter logging improvements
* [Rework] Milter_headers: improve extended_headers_rcpt support
* [Rework] Move parsers to a separate lua library
* [Rework] Neural: Skip composite symbols
* [Rework] Rbl: Rework defaults logic
* [Rework] Some tunes to cache saving
* [Rework] Track maps origins
* [Rework] Use full crypto hash for regexp maps
* [Rules] Remove broken rule

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Conf] Add R_DKIM_PERMFAIL to the metric

Merge pull request #3598 from HeinleinSupport/force_actions_no_bypass

force_actions - maybe disable current action bypass

Merge pull request #3597 from HeinleinSupport/lua_scanners/spamassassin

[Minor] external_services - spamassassin - result matching

[Minor] force_actions - maybe disable current action bypass

[Minor] force_actions - remove current action bypass

[Minor] external_services - spamassassin - result matching

thx to Marc Dierksen

[Minor] Try to silence intentional leak for sigaltstack