Merge pull request #3733 from citrin/rules-updates

Rules updates

[Rules] Add raw addresses to MULTIPLE_FROM options

It is confusing to have MULTIPLE_FROM with a single address in options,
which happens if one of addresses is empty - usually because of
misplaces <>.  While here simplify condition.

[Minor] Make HAS_PHPMAILER_SIG regexps more specific

Use stricter regexp to avoid false matches.

[Minor] Statistics_dump: Fix formatting

[Minor] Rspamadm: Move all warnings to stderr instead of stdin

[Minor] Statistics_dump: Support compression when dump

[Minor] Try to fix sync Redis API by not resuming LUA_REDIS_SPECIFIC_FINISHED threads

[Test] Add unit tests for stream compression

[Minor] Do not decompress empty stream as zst behaves badly in this case

[Feature] Add zstd streaming API

[Rework] Move compression routines outside of rspamd_util library

[Minor] Milter_headers: Use specific settings

Issue: #3728

[Feature] Add a simple dumper for bayes tokens

[Minor] Lua_magic: Return utf8 check as it is useful for many cases

[Minor] Lua_magic: Really add an exclusion...

[Minor] Lua_magic: Make an exclusion for message parts

[Rework] Lua_magic: Try to detect text parts with 8bit characters for non-utf8 encodings

[Minor] Rspamc: Detect zstd input automatically

[Minor] Improve logging for REDIS_REPLY_ERROR

Merge pull request #3725 from fatalbanana/neural_ucl

[Minor] rspamadm clickhouse neural_train : avoid UCL parser re-use

[Minor] rspamadm clickhouse neural_train : avoid UCL parser re-use

[Minor] Check array length before indexing

[Fix] Ical: Do not extract urls from all flags using merely specific ones

[Fix] Replies: Fix 'Reply-To' handling in task:get_reply_sender

[Project] Css: Add rules processing functions and tests

[Minor] Libucl: Do not expand empty objects on output

[Minor] Fix bcc_addrs usage

Issue: #3724

[Minor] Url_redirector: Set redirect_target flag

[Minor] Use rspamd_url flags to avoid sync issues

[Rework] Rework extended urls output

[Rework] Rename phished url to a linked url

[Minor] Stop polluting logs on garbadge urls

Issue: #3688

[Feature] Spamassassin: Allow to set the default priority for SA scores

Issue: #3720

[Minor] Reduce decay rate and slightly rework rounding

[Minor] Do not output crap in json mode

[Minor] Sanity check as ctors order is not defined

Issue: #3721

[Minor] Avoid FP when a protocol prefix is implicitly added

[Fix] Save symcache on exit

[Fix] Initialise symcache even if it cannot be loaded properly

[Minor] Allow numeric flags when filling cbdata

[Minor] Lua_url: Propagate numeric flags

[Minor] Truncate too long urls instead of discarding them completely

[Minor] It seems we still need raw urls...

[Minor] Improve rspamd_url structure layout and remove `raw` field

[Minor] Propagate images flag

[Minor] Reputation: Fix set token methods

Merge pull request #3718 from fatalbanana/urlred_test

[Test] url-redirector

[Minor] Be consistent in the branches of checks

[Minor] Fix include/exclude mode for get_urls method

[Minor] Correct the docs

[Minor] Distinguish nil from none

[Test] url-redirector

[Minor] Add safety checks when decoding CT attributes

[Minor] Reputation: Fix DNS backend logic

[Rework] Reputation: Use more flexible types in get/set functions

[Minor] Phishing: Small safety check

[Minor] Url: Fix parsing of numeric urls with a port

[Rules] Fix FPs for CTYPE_MIXED_BOGUS

[Fix] Add diacritics flag for several eu languages

[Minor] Avoid extra has_symbol call

[Minor] Phishing: Disable phishing checks when a domain is dmarc authorized domain

[Project] Css: Remove ragel from build targets (maybe keep for reference)

[Rules] Fix HTTP_TO_HTTPS rule

[Rules] Do not trigger HTML_SHORT_LINK_IMG on external images

Merge pull request #3707 from kakochang/patch-1

Fix typos in code comments

Merge pull request #3708 from fatalbanana/clickhouse_nn

[Minor] rspamadm clickhouse : small fixes

[Minor] rspamadm clickhouse : small fixes

 - Fix spelling of nostat(?)
 - Sort table (for correct digest)
 - Don't add non-existing symbols to profile

Fix typos in code comments

[Minor] Fix broken init logic

[Fix] Move metric and symcache link from validation to the init stage

[Minor] Rspamadm: Init symcache in rspamadm clickhouse

[Minor] Rspamadm: Fix misprint nostat -> no_stat

[Minor] Disable headers hash for statistics

Discussed with: @moisseev

[Minor] Slightly extend 'forbidden' flags

[Minor] Rspamadm: Exclude nostat symbols

[Minor] Rspamadm: Do a more deep initialisation for clickhouse subcommand

[Minor] Ratelimit: Do not forget to register symbol

Merge pull request #3697 from moisseev/webui-lib

[WebUI] Update libraries

Merge pull request #3696 from moisseev/webui

[WebUI] Fix sorting errors by date

[WebUI] Update libraries

 - jQuery v3.5.1 -> v3.6.0
 - Bootstrap v4.5.0 -> v4.6.0

[WebUI] Fix sorting errors by date

Fixes #2965
Submitted by: @z-jun

[Minor] Lua_util: Allow to use text in several rspamd_util methods

[Minor] Lua_text: Add a hack to use several distinct fake texts

[Minor] DMARC: Fix table nesting

[Minor] DMARC: Fix munging when reply-to is presented

Merge pull request #3695 from FelixSchwarz/master

[Minor] Update dependency info

[Fix] Another FSM fix to accomodate possibility of multiple consequent ?

[Test] Add some more rfc2047 tricky cases

[Fix] Fix parsing of rfc2047 tokens with '?' inside

Merge pull request #3694 from HeinleinSupport/lua_scanners/kasp_se

[Minor] kaspersky_se - fix macro detection

Merge pull request #3693 from HeinleinSupport/actions_warning

[Minor] cfg_transform - fix actions sanity check

[Minor] Update dependency info

[Fix] Fix '==' parsing in the content type attributes parser

[Fix] Fix rfc2047 embedded into rfc2231 pieces in special headers

[Fix] Fix last quote character parsing in the content-type state machine

[Minor] kaspersky_se - fix macro detection

[Minor] Bitcoin: Another fix for bleach32 regexp

[Minor] Clickhouse: Use original smtp from

[Project] Css: Implement styles merging

[Project] Css: Tidy up lambdas