[Minor] Add rule for forged X-Mailer: Internet Mail Service

[Minor] Add {header} for header regexps

Merge pull request #3579 from fatalbanana/rbl_logging

[Minor] rbl: move logging to debug level

Merge pull request #3580 from citrin/x-mailer-rules

[Rules] X-Mailer header rules

[Minor] Remove R_SAJDING and SUSPICIOUS_OPERA_10W_MSGID

These rules are no longer relevant.

[Minor] Add FORGED_X_MAILER rule for X-Mailer used by spamboots

[Feature] Support SMIME signed messages container

Issue: #3568

[Minor] Add pkcs7 content type flag

[Fix] Fix flag shift

[Minor] rbl: move logging to debug level

Update README.md

Merge pull request #3577 from fatalbanana/http_headers_plugin

[Minor] Move http_headers to plugin

[Feature] Vadesecure: Implement settings_outbound feature as recommended by Vade

[Feature] Neural: Move PCA learning to a subprocess

[Minor] Support both text and string on return value

[Minor] Improve debug

[Fix] Fix pushing ucl strings with \0 inside

[Minor] Relax `parse_text` input arguments to allow both string and text

Merge pull request #3578 from fatalbanana/nn_pool_name

[Minor] neural: use prefix in pool variable names

[Minor] neural: use prefix in pool variable names

 - Also deduplicate some duplicated stuff

Merge pull request #3570 from fatalbanana/nn_training

[Feature] Add controller endpoint for training neural

[Minor] Move http_headers to plugin

 - Support multiple DKIM results
 - Insert DKIM trace symbols
 - Always disable callbacks if we got a header
 - Make the plugin default-disabled
 - Disable callbacks instead of virtual symbols

[Feature] Add controller endpoint for training neural

 - Move neural functions to library
 - Parameterise spawn_train
 - neural plugin: Fix store_pool_only when autotrain is true
 - neural plugin: Use cache_set instead of mempool
 - Add test

Merge pull request #3576 from citrin/rules-update

[Minor] Remove AOL_SPAM rule

[Minor] Update regexp for R_UNDISC_RCPT

Match more variations for undisclosed-recipients, but don't match when
it is used as a lame real name.

[Minor] Composites: Insert symbol to the selected result structure

[Minor] Add rule for old MUA version

These versions are rarely used by real uses nowadays, but can be found
in spam.

[Minor] Composites: Another try to deal properly with shadow results

[Minor] Allow to get raw body of non processed messages

[Minor] Remove FAKE_REPLY_C and move FAKE_REPLY rule to regexp module

FAKE_REPLY_C rule no longer works because MUA it used are no longer used
(and ones which are used changed headers they add).  In theory one can
test all popular modern MUA and see which add only References, which
only In-Reply-To and which add both headers.  But it will be a lot of
work to maintain such rule up to date.  It still has a small number of
hits, but mostly because some spammers use old X-Mailer headers.  This
should be addressed separately.

While here re-create FAKE_REPLY as a regexp module rule - this way it
should be more efficient.

[Minor] Remove AOL_SPAM rule

Mail from AOL not longer have X-AOL-Global-Disposition header and this
rule no longer works.  AOL messages now have X-YMail-OSG header (like
yahoo.com), but it is encrypted/obfuscated and cannot be used here.

[Minor] ...

[Minor] Format string...

[Minor] Add more debug for shadow result

Merge pull request #3575 from a16bitsysop/alpine-lua

[Minor] Add LIB_SUFFIXES needed to detect lua on alpine linux

[Minor] Add LIB_SUFFIXES needed to detect lua on alpine linux

[Minor] Reputation: More safe default

[Feature] Reputation: Allow to specify ip masks

[Minor] Spamassassin: Try to fix [if-unset] stuff

[Minor] Fix condition

[Minor] Spamassassin: Fix shadow results caching

[Minor] Fix schema validation

[Rework] Milter_headers: improve extended_headers_rcpt support

Merge pull request #3574 from fatalbanana/selectors_cache

[Minor] Selectors: support extracting task cache variables

[Minor] Selectors: support extracting task cache variables

[Minor] Do not use static buffers

Merge pull request #3572 from fatalbanana/lua_idn_url_unit

[Test] Add some unit tests for punycode conversion

[Test] Add some unit tests for punycode conversion

[Minor] One more fix

[Fix] Restore simple dkim canonicalisation mode

[Minor] Allow to skip composites second pass

[Minor] Store composite status in the composite atom

[Minor] Improve composites processing strncmp -> memcmp

[Fix] Fix canonicalisation when l= tag is presented

Issue: #3566

[Minor] Add some missing types

[Minor] Lua_magic: Use larger span to look for text patterns

[Minor] Fix text operation

[Minor] Fix --from argument

[Minor] Lua_content: Fix a corner case when unpacking compound objects

Merge pull request #3564 from fatalbanana/clickhouse_nn2

[Minor] rspamadm clickhouse: batching; query parameters

[Minor] rspamadm clickhouse: batching; query parameters

[Rework] Clickhouse: Improve performance

[Feature] Lua_clickhouse: Add optional row callback for large selections

[Minor] Lua_clickhouse: Improve parsing performance

[Minor] Allow to ask password from terminal

Merge pull request #3561 from fatalbanana/multimap_disable_multisymbol

[Feature] Multimap: support adding map values as extra options

[Minor] Move urls find in subject to task process stage

[Minor] Style: Fix logical order

[Minor] Fix symbol name usage

[Minor] Clickhouse: one more text related fix

[Minor] Clickhouse: Fix text returns

[Fix] Fix text selectors

[Minor] Fix the case

[Test] Disable broken test (type mismatch)

[Minor] Remove tostring

[Feature] Support rspamd_text in selector regexps

[Minor] Fix style

[Rework] Add final cleanup logic

[Feature] Multimap: support adding map values as extra options

[Rework] Add stale cache removal

[Rework] Some tunes to cache saving

[Rework] Add preliminary support of hyperscan caching for re maps

[Rework] Use full crypto hash for regexp maps

Merge pull request #3550 from ventulis/master

[Minor] Add Rspamd version to ICAP User Agent

[Minor] Add task uid to ICAP User Agent

[Minor] Add disabled and extended ICAP User Agent

[Minor] Fix rare case of off-by-one read

Merge pull request #3559 from fatalbanana/specific_urls2

[Minor] Selectors: further fixes for dealing with specific URLs

[Minor] Selectors: further fixes for dealing with specific URLs

Merge pull request #3558 from fatalbanana/specific_urls_extractor

[Minor] Selectors: fixes for specific URLs

[Minor] Selectors: fixes for specific URLs

[Fix] Spamassassin: Preserve 'pcre_only' flag when dealing with regexp replacements

Merge pull request #3554 from fatalbanana/rspamadm_clickhouse

[Feature] `rspamadm clickhouse` command

[Feature] `rspamadm clickhouse` command

[Fix] Spamassassin: Fix pcre_only flags

[Minor] Propagate pcre_only flag

[Minor] Add lua_parsers to docs

[Fix] Fix quoted-printable soft newlines bugged case

[Minor] Lua_magic: Add ics pattern

[Minor] Lua_content: Allow multiple content types to be matched