Merge pull request #3846 from yoshimo/August

[Minor] Add bz2, egg, alz,xz and lz as additional archive extensions

[Minor] Lua_magic: Slight re tune

[Minor] Lua_magic: Fix xml detection

[Minor] Lua_magic: Do not treat xml as html

Suggested by: @citrin

[Feature] Aws_s3: Allow to compress data stored

- add bz2, egg, alz,xz and lz as additional archive extensions

[Minor] Fix formatting

[Minor] Aws_s3: Allow to set action on failure

[Feature] Add preliminary exporter to AWS S3

[Fix] Fix brain-damaged behaviour when http request has a custom Host header

[Minor] Lua_aws: Fix several issues

Merge pull request #3845 from defkev/pyzor

[Minor] Init pyzor

[Minor] Restore the old behaviour

[Minor] Restore old hacks for flags propagation

[Project] Lua_aws: Implement request signing

[Project] Lua_aws: Add function to produce AWS Authorisation header

[Project] Lua_aws: Add canonicalisation utility

[Project] Start working on AWS Lua API

[Feature] Lua_cryptobox: Add keyed ssl hash functions via HMAC

[Minor] Init pyzor

[Minor] Dmarc_report: Try to escape from the coroutines curse

[Minor] Fix misprint

[Minor] Dmarc: Store reports for esld and not for the specific domain

[Minor] Dmarc_report: Fix return type

[Minor] Do not go into utf8 checks on non utf8 leading characters

Merge pull request #3844 from citrin/public_suffix_list

[Minor] Update public suffix list

[Minor] Update public suffix list

[Minor] Fix spaces state in newlines removal SM

[Minor] Dmarc_report: Fix bcc_addrs usage

[Minor] Update version to 3.0 due to amount of changes

Merge pull request #3840 from foron/patch-1

Escape redis+selector

[Minor] Remove bogus likely

[Minor] Mx_check: Fix issue with multiple IPs per MX name

Issue: #3839

[Minor] Add lua_util.shuffle

Escape redis+selector

I believe it would be better to have the "redis+selector" pattern escaped as "redis%+selector". This would make it easier for string.find to match the documented map string.

[Minor] Do not leak memory

[Minor] Create a standard io loop in rspamadm

[Minor] Improve readability

Suggested by: @citrin

[Minor] One more fix for checking displayed urls

[Minor] Fix the mess with caseless comparison functions

[Feature] Allow to save and show attachment name when inserting AV scan results

[Minor] Dmarc_report: fix report domain check for 3rd party domains

Merge pull request #3838 from citrin/x-php-eval

[Rules] Micro-optimize X_PHP_EVAL

[Rules] Micro-optimize X_PHP_EVAL

Remove /i flag from regexp string "eval()'d code" is always in
lower case. While here use long string format for readability.

[Feature] Dmarc_report: allow sending reports in batches

[Minor] Remove redundant cycle

[Minor] Oops, fix misprint

[Fix] Fix phishing flag set

[Project] Dmarc_report: Add preliminary sending support

[Project] Dmarc_report: Add message generation logic

[Project] Dmarc: Add dmarc report tool (WIP)

[Minor] Allow to enable specific module debug

[Minor] Store raw dmarc elts

[Minor] Url_redirector: Fix zset trimming

[Rework] Dmarc: Move check policy function to the common utils

[Minor] Lua: Add rspamd_util.strequal_caseless_utf8 routine

[Minor] Allow to compare utf8 strings of different length

[Feature] Add rspamd_utf8_strcmp utility

[Rework] Move common and rarely used dmarc code to the library

[Minor] Refactor module name variable

[Minor] Support commonly mistaken spf ipv4/ipv6 elements

[Rework] Dmarc: Rework reports keys structure

[Minor] Dmarc: Relax grammar to allow elements with no semicolons

[Project] Dmarc: Use zlists for dmarc reports

[Minor] Adjust unit test

Revert "[Minor] Implement backslashes replacement while we normalise http paths"

This reverts commit 05d1951b5cfb9b72378eb3c1bdfdaa025b355789.

[Minor] Implement backslashes replacement while we normalise http paths

[Minor] Try to deal with urls with backslashes in path

Merge pull request #3835 from a16bitsysop/run-test

[Minor] CMakeLists.txt: add LUA_PATH for run-test

[Minor] CMakeLists.txt: add LUA_PATH for run-test
* fixes #3826

[Minor] Fix else branch

[Minor] More tags output fixes

[Minor] Further fixes to the html tags content methods

[Minor] Fix content length calculations

[Minor] Print all parts when printing html structure

[Rework] Reorganize dmarc plugin and remove unsupported reporting code

[Feature] Add lua_maps.fill_config_maps function

[Minor] Improve html tags structure display

[Minor] Fix transparency parsing

[Minor] Some fixes in content extraction for html tags

[Minor] Fix check for image urls

Merge pull request #3832 from citrin/asn-plugin-fix

[Fix] ASN: fix _FAIL symbol for when main symbol is disabled

[Fix] ASN: fix _FAIL symbol for when main symbol is disabled

Fix error:
lua_dns_resolver_callback: call to dns callback failed: /usr/share/rspamd/plugins/asn.lua:74: attempt to concatenate field 'symbol' (a boolean value); trace: [1]:{/usr/share/rspamd/plugins/asn.lua:74 - <unknown> [Lua]};

Which happen when the main asn symbol is disabled in asn.conf using
symbol = false;

While here add nostat flag for ASN symbols (we cannot use them as
spam/ham signs).

[Minor] Fix rspamd_text in selectors combinators

Merge pull request #3829 from fatalbanana/rspamd_text_selector_test

Test selector that returns list of rspamd_text

[Test] Selector that returns list of rspamd_text

[Minor] Do not refork old workers that are due to be terminated

[Minor] Add more safety checks when adding content

[Fix] Fix overflow when appending many broken tags

[Minor] Fix overflow tags parsing

[Minor] Fix tags count calculation

[Minor] One more logging improvement

[Minor] Improve error reporting

[Minor] 'Unpretty' function names for c++

[Minor] Ensure that log line is separated by space

[Minor] Check if we have any alnum character

[Minor] Do not advance iterator

[Minor] Fix some base tag parsing issues

[Minor] Fix RSPAMD_URL_FLAG_IDN behaviour

[Minor] One more safety check