Merge pull request #3033 from korgoth1/master

[Test] MAGIC ROBOT

[Minor] Add lz4 support

[Test] MAGIC ROBOT

[Test] MAGIC ROBOT

[Project] Add heartbeat events

[Project] Add preliminary support of the heartbeats

[Test] Kill some more global variables

[Test] Eliminate stupid global variables

[Test] Fix punny trie test

[Minor] Fix nhits set in pcre fallback

[Test] Follow rspamd logs

[Fix] Fix trie code when there are regexps and Hyperscan is absent

[Test] Start tests for magic detection

Merge pull request #3032 from korgoth1/master

[Test] WHITELIST_SURBL for check

[Test] WHITELIST_SURBL

[Minor] Add str_trim alias

[Test] Fix using of Lua functions when called from Lua

[Minor] Relax rtf magic as M$ does

Mentioned by: Greg Copenhaver

[Minor] Some fixes to skip multiparts from detection

[Project] Lua_magic: Use lua_magic for multimap as well

[Project] Lua_magic: Adopt lua_magic stuff in mime_types

[Rework] No more magic

[Minor] Lua_magic: Some minor fixes

[Project] Lua_magic: Add heuristics for text parts

[Minor] Lua_text: Allow to convert text to bytes

[Project] Lua_magic: Add more types

[Project] Lua_magic: Simplify oasis files detection to a trie match

[Project] Lua_magic: Some rework in detection

[Minor] Fix task from string creation

[Minor] Ignore trailing garbage

[Minor] Milter: RSET does not clear helo

[Feature] Ratelimit: Consider number of SMTP recipients

[Minor] Lua_task: Return number of recipients in has_recipients method

Test

[Test] WHITELIST_SURBL

[Fix] Clickhouse: Fix retention query quoting

Reported by: Javier Angulo

[Project] Lua_magic: Add zoo archive support

[Project] Lua_magic: Add Oasis documents detection

[Project] Lua_magic: Add heuristics for Office 2007+

[Project] Lua_magic: Add mime parts detection function

[Project] Lua_magic: Add more office types and clsid based detection

[Project] Lua_magic: Support ole documents recognition

[Project] Add heuristics for ole files

[Project] Lua_magic: Add heuristics support

[Minor] Support unpack for text

[Minor] Allow to index lua text

[Project] Lua_magic: Moar patterns

[Project] Lua_magic: Fix some cases

[Project] Lua_magic: Moar patterns

[Project] Lua_magic: Some tweaks

[Project] Lua_magic: Support tail patterns

[Project] Lua_magic: Add more file types

[Project] Lua_magic: Improve short patterns performance

[Project] Lua_magic: Support hex patterns

[Project] Lua_magic: Implement chunks based scan

[Minor] Lua_trie: Fix match for lua_text

[Test] WHITELIST_SURBL for check

[Test] WHITELIST_SURBL for check

[Minor] Pet luacheck

[Minor] Lua_text: Allow to create non owning texts

[Minor] Lua_text: Add ability to get a span from rspamd_text

[Project] Lua_magic: Start new magic detection library

[Minor] Lua_util: Allow to enable debug logging by a single method

[Test] Add unit tests for trie table version

[Feature] Lua_trie: More flexible API

[Minor] Lua_trie: Add support of flags for trie creation

[Minor] Slightly tune the test

[Minor] Slightly improve debug logging

[Project] Implement syntax highlighting for Lua

Merge pull request #3030 from korgoth1/master

[Test] WHITELIST_SPF_DKIM

[Test] WHITELIST_SPF_DKIM

Merge pull request #3029 from korgoth1/master

[Test] Url in subject

[Rework] Implement linenoise functions with replxx

[Rework] Start moving to replxx

[Rework] Replace linenoise with replxx

Source: https://github.com/AmokHuginnsson/replxx

[Test] Url in subject

[Minor] Log bad elements in SPF records, relax some common mistakes

[CritFix] Fix whitelisting when both spf and dkim are required to be valid

Merge pull request #3028 from systemcrash/patch-2

Update bayes.c

[Minor] Rbl: Final fixes to support surbl/emails modules options

[Conf] Remove surbl parts, fix hash_format attribute

[Conf] Move all to rbl

[Rework] Convert emails rules to rbl rules

[Rework] Kill emails plugin

[Minor] Rbl: Prepare for emails move

[Minor] Reduce race condition probability

[Fix] Fix DMARC_NA behaviour in case of no valid policies

Issue: #2955
Submitted by: @mguesdon

Update bayes.c

clarified some messages

Merge pull request #3027 from korgoth1/master

[Test] fix uribl in mail address

[Test] fix uribl in mail address

Merge pull request #3025 from moisseev/webui

[Test] Minor ESLint configuration changes

[Feature] Clickhouse: Store groups data

[Minor] Rbl: Match old surbl behaviour for emails

[Minor] Lua_task: Add get_groups method

[Minor] Oops, actually fill array

[Test] Reorder ESLint rules

[Test] Remove obsolete eslintIgnore

Merge pull request #3024 from moisseev/webui

[Minor] WebUI: enable scan button on page load

[Minor] WebUI: enable scan button on page load

if the text area is non-empty

[Feature] Add logging of groups to the log_format