Merge pull request #3586 from J0WI/patch-2

[Feature] Docker: use Debian slim variant

[Minor] Allow to load config with no controller defined

Merge pull request #3585 from J0WI/patch-1

[Minor] Docker: use apt-transport-https

[Rework] Distinguish between strict config test mode

[Feature] Docker: use Debian slim variant

[Minor] Docker: use apt-transport-https

[Minor] Optimize the common case + fix signed char

[Minor] Escape log lines in logger

Merge pull request #3583 from rpv-tomsk/master

Fix some typos in code comments

[Minor] Add fallback

[Feature] Improve charset detection logic

[Fix] Return MimeCharset as we work with emails...

[Minor] Skip double utf8 checks

[Minor] Fix lifetime

This is a reason why I hate C

Fix typos in code comments

[Minor] Fix spf record dump

[Minor] Add a path test

[CritFix] Fix controller paths normalisation

It fixes errors like 'rspamd_controller_handle_lua_plugin: plugin handler
/plugins/selectors/list_extractorstors has not been found'

[Minor] Fix missing comma

Merge pull request #3582 from citrin/x-mailer-rules

[Rules] X-Mailer rules update

[Minor] Lua_task: Simplify has_header method

Merge pull request #3581 from citrin/has-header

[Minor] Use task:has_header instead of task:get_header

[Minor] Use less strict rules for pkcs7 detection

Issue: #3568

[Minor] Add rule for forged X-Mailer: Internet Mail Service

[Minor] Add {header} for header regexps

[Minor] Use task:has_header instead of task:get_header

Use task:has_header() to check if header is exists.

Merge pull request #3579 from fatalbanana/rbl_logging

[Minor] rbl: move logging to debug level

Merge pull request #3580 from citrin/x-mailer-rules

[Rules] X-Mailer header rules

[Minor] Remove R_SAJDING and SUSPICIOUS_OPERA_10W_MSGID

These rules are no longer relevant.

[Minor] Add FORGED_X_MAILER rule for X-Mailer used by spamboots

[Feature] Support SMIME signed messages container

Issue: #3568

[Minor] Add pkcs7 content type flag

[Fix] Fix flag shift

[Minor] rbl: move logging to debug level

Update README.md

Merge pull request #3577 from fatalbanana/http_headers_plugin

[Minor] Move http_headers to plugin

[Feature] Vadesecure: Implement settings_outbound feature as recommended by Vade

[Feature] Neural: Move PCA learning to a subprocess

[Minor] Support both text and string on return value

[Minor] Improve debug

[Fix] Fix pushing ucl strings with \0 inside

[Minor] Relax `parse_text` input arguments to allow both string and text

Merge pull request #3578 from fatalbanana/nn_pool_name

[Minor] neural: use prefix in pool variable names

[Minor] neural: use prefix in pool variable names

 - Also deduplicate some duplicated stuff

Merge pull request #3570 from fatalbanana/nn_training

[Feature] Add controller endpoint for training neural

[Minor] Move http_headers to plugin

 - Support multiple DKIM results
 - Insert DKIM trace symbols
 - Always disable callbacks if we got a header
 - Make the plugin default-disabled
 - Disable callbacks instead of virtual symbols

[Feature] Add controller endpoint for training neural

 - Move neural functions to library
 - Parameterise spawn_train
 - neural plugin: Fix store_pool_only when autotrain is true
 - neural plugin: Use cache_set instead of mempool
 - Add test

Merge pull request #3576 from citrin/rules-update

[Minor] Remove AOL_SPAM rule

[Minor] Update regexp for R_UNDISC_RCPT

Match more variations for undisclosed-recipients, but don't match when
it is used as a lame real name.

[Minor] Composites: Insert symbol to the selected result structure

[Minor] Add rule for old MUA version

These versions are rarely used by real uses nowadays, but can be found
in spam.

[Minor] Composites: Another try to deal properly with shadow results

[Minor] Allow to get raw body of non processed messages

[Minor] Remove FAKE_REPLY_C and move FAKE_REPLY rule to regexp module

FAKE_REPLY_C rule no longer works because MUA it used are no longer used
(and ones which are used changed headers they add).  In theory one can
test all popular modern MUA and see which add only References, which
only In-Reply-To and which add both headers.  But it will be a lot of
work to maintain such rule up to date.  It still has a small number of
hits, but mostly because some spammers use old X-Mailer headers.  This
should be addressed separately.

While here re-create FAKE_REPLY as a regexp module rule - this way it
should be more efficient.

[Minor] Remove AOL_SPAM rule

Mail from AOL not longer have X-AOL-Global-Disposition header and this
rule no longer works.  AOL messages now have X-YMail-OSG header (like
yahoo.com), but it is encrypted/obfuscated and cannot be used here.

[Minor] ...

[Minor] Format string...

[Minor] Add more debug for shadow result

Merge pull request #3575 from a16bitsysop/alpine-lua

[Minor] Add LIB_SUFFIXES needed to detect lua on alpine linux

[Minor] Add LIB_SUFFIXES needed to detect lua on alpine linux

[Minor] Reputation: More safe default

[Feature] Reputation: Allow to specify ip masks

[Minor] Spamassassin: Try to fix [if-unset] stuff

[Minor] Fix condition

[Minor] Spamassassin: Fix shadow results caching

[Minor] Fix schema validation

[Rework] Milter_headers: improve extended_headers_rcpt support

Merge pull request #3574 from fatalbanana/selectors_cache

[Minor] Selectors: support extracting task cache variables

[Minor] Selectors: support extracting task cache variables

[Minor] Do not use static buffers

Merge pull request #3572 from fatalbanana/lua_idn_url_unit

[Test] Add some unit tests for punycode conversion

[Test] Add some unit tests for punycode conversion

[Minor] One more fix

[Fix] Restore simple dkim canonicalisation mode

[Minor] Allow to skip composites second pass

[Minor] Store composite status in the composite atom

[Minor] Improve composites processing strncmp -> memcmp

[Fix] Fix canonicalisation when l= tag is presented

Issue: #3566

[Minor] Add some missing types

[Minor] Lua_magic: Use larger span to look for text patterns

[Minor] Fix text operation

[Minor] Fix --from argument

[Minor] Lua_content: Fix a corner case when unpacking compound objects

Merge pull request #3564 from fatalbanana/clickhouse_nn2

[Minor] rspamadm clickhouse: batching; query parameters

[Minor] rspamadm clickhouse: batching; query parameters

[Rework] Clickhouse: Improve performance

[Feature] Lua_clickhouse: Add optional row callback for large selections

[Minor] Lua_clickhouse: Improve parsing performance

[Minor] Allow to ask password from terminal

Merge pull request #3561 from fatalbanana/multimap_disable_multisymbol

[Feature] Multimap: support adding map values as extra options

[Minor] Move urls find in subject to task process stage

[Minor] Style: Fix logical order

[Minor] Fix symbol name usage

[Minor] Clickhouse: one more text related fix

[Minor] Clickhouse: Fix text returns

[Fix] Fix text selectors

[Minor] Fix the case

[Test] Disable broken test (type mismatch)

[Minor] Remove tostring

[Feature] Support rspamd_text in selector regexps