[Fix] Do not load errored hyperscan database

[Feature] Lua_trie: Allow to report start of the match

[Minor] Remove unused var

[Minor] Fix rspamd_has_only_html_part function + refactor macro names

[Minor] Grrr for grrr

[Minor] Grr, one more format string issue

[Minor] Further fixes about maps duplicates

[Rework] Furhter logging improvements

[Rework] Track maps origins

Merge pull request #3524 from fatalbanana/test_stability

[Test] Improve test stability

[Test] Improve test stability

 - Antivirus: better visibility into why test servers mightn't start
 - Antivirus: don't use ephemeral port range
 - Fuzzy skip hash: wait for map reload

Merge pull request #3530 from andryyy/patch-17

[Feature] Include fuzzy hashes in meta data, if any

Include fuzzy hashes in meta data, if any

Tested:

```
[X-Rspamd-From] => unknown"
[X-Rspamd-Ip] => unknown"
[X-Rspamd-Subject] => asdasd"
[X-Rspamd-Qid] => unknown"
[X-Rspamd-Rcpt] => unknown"
[X-Rspamd-Action] => reject"
[X-Rspamd-Score] => 29.15"
[User-Agent] => rspamd-2.6"
[X-Rspamd-Fuzzy] => ["c62020f5ba6f4e3e403b6c67abb860954452fa662bf8c38dae06c17c70cc0b79720cf762e45fbeeea7d2fb17f9cf4b28c851bb70f2526b000dba852899c7ce67"]"
[X-Rspamd-User] => unknown"
[X-Rspamd-Symbols] => [{"score":0,"group":"policies","name":"ARC_NA","groups":["policies","arc"]},{"options":["andre.peters@tinc.gmbh"],"score":0,"group":"headers","name":"HAS_REPLYTO","groups":["headers"]},{"options":["andre@develcow.de"],"score":0,"group":"multimap","name":"RCPT_WANTS_SUBJECT_TAG","groups":["multimap"]},{"score":0,"group":"headers","name":"REPLYTO_EQ_FROM","groups":["headers"]},{"score":0,"group":"headers","name":"FROM_HAS_DN","groups":["headers"]},{"options":["11:c62020f5ba:1.00:bin"],"score":15,"group":"fuzzy","name":"LOCAL_FUZZY_DENIED","groups":["fuzzy"]},{"score":0.500000,"group":"headers","name":"MV_CASE","groups":["headers"]},{"score":1,"group":"composite","name":"POLICY_FAILURE","groups":["composite"]},{"options":["multipart/alternative","text/plain"],"score":-0.100000,"group":"mime_types","name":"MIME_GOOD","groups":["mime_types"]},{"options":["failed to scan and retransmits exceed"],"score":0,"group":"antivirus","name":"CLAM_VIRUS_FAIL","groups":["antivirus"]},{"options":["1"],"score":0,"group":"headers","name":"RCPT_COUNT_ONE","groups":["headers"]},{"options":["100.00%"],"score":2.500000,"group":"statistics","name":"BAYES_SPAM","groups":["statistics"]},{"score":0,"group":"headers","name":"TO_DN_EQ_ADDR_ALL","groups":["headers"]},{"options":["0"],"score":0,"group":"headers","name":"RCVD_COUNT_ZERO","groups":["headers"]},{"options":["develcow.de"],"score":0,"group":"multimap","name":"RCPT_MAILCOW_DOMAIN","groups":["multimap"]},{"score":0,"group":"policies","name":"R_DKIM_NA","groups":["policies","dkim"]},{"options":["0:+","1:+","2:~"],"score":0,"group":"mime_types","name":"MIME_TRACE","groups":["mime_types"]},{"options":["subject"],"score":0.250000,"group":"headers","name":"R_MIXED_CHARSET","groups":["headers"]},{"score":0.500000,"group":"Message ID","name":"MID_RHS_NOT_FQDN","groups":["Message ID"]},{"score":8.500000,"group":"hfilter","name":"HFILTER_HOSTNAME_UNKNOWN","groups":["hfilter"]},{"options":["tinc.gmbh : No valid SPF, No valid DKIM","none"],"score":1,"group":"policies","name":"DMARC_POLICY_SOFTFAIL","groups":["policies","dmarc"]}]"
[Content-Type] => text/plain"
[Content-Length] => 3825"
[Host] => nginx"
[Connection] => close"
```

Will print "unknown" if missing.

[Fix] Allow to use maps for strings that are not zero terminated

[Minor] Use consistent typing

[Minor] Fix force actions limit compare

[Minor] Improve map loading logging

[CritFix] Dkim: Fix simple canonicalisation if multiple signatures are presented

Merge pull request #3529 from moisseev/webui

[WebUI] Update map editor

[WebUI] Update map editor

[Fix] Multimap: Fix flags usage

Issue: #3526

[Fix] Fix html attachments checks

[Minor] Lua_magic: Improve html detection heuristic

[Project] Rbl: Migrate to `checks`

[Minor] Provide some upgrade path

[Project] Rbl: Move config code outside of the plugin

[Rework] Rbl: Rework defaults logic

[Project] Support connection filters registration from Lua

[Project] Ressurect empty prefilters as connection filters

[Minor] Switch to buffered IO

[Minor] Switch to buffered IO + fix memory leak on reload

[Minor] Use buffered output

[Minor] Ignore atime change in ev_stat

Merge pull request #3521 from nh2/patch-1

[Minor] whitelist_group.conf: Fix typo in description

Merge pull request #3523 from moisseev/webui

[WebUI] Escape reserved HTML characters in editor

[WebUI] Escape reserved HTML characters in editor

Issue: #3522

whitelist_group.conf: Fix typo in description

Merge pull request #3520 from fatalbanana/map_reload

[Test] Map reload: improve test output

[Test] Map reload: improve test output

[Minor] Force_actions: Another fix

[Fix] Rely on libev checks for file maps

Merge pull request #3519 from fatalbanana/selectors

[Minor] Selectors: avoid returning empty list from extractors

[Minor] Unbreak force actions

[Minor] Force_actions: Allow to set process_all flag + refactor slightly

[Minor] Spamtrap: Allow bayes learning from spamtrap module

Issue: #3516

[Minor] Add special flag to continue filters processing on passthrough result

[Minor] Selectors: avoid returning empty list from extractors

Merge pull request #3518 from fatalbanana/rbl

[Fix] RBL: allow for multiple matches of the same label if types are …

[Fix] Fix several issues with auth results producing

[Fix] Multimap: Fix scoring for combined maps

[Fix] RBL: allow for multiple matches of the same label if types are different

 - Also log full hostname in case of unknown result

[Rules] Remove broken rule

Pointed by: @citrin

Merge pull request #3515 from fatalbanana/3514

[Fix] Honour `systemd` setting when logging to console (#3514)

[Fix] Honour `systemd` setting when logging to console (#3514)

[Feature] Lua_dns_resolver: Add idna_convert_utf8 method

Merge pull request #3513 from fatalbanana/rbl_selectors

[Feature] RBL: support use of multiple selectors

[Fix] Html: Add entities collisions prevention logic (e.g. for mathml entities)

[Minor] Fix entity

[Fix] Lua_auth_results: Quote potentially bad values in AR header

[Minor] Exclude '@' from quote character

[Minor] Lua_util: Add maybe_smtp_quote_value

[Feature] RBL: support use of multiple selectors

[Fix] Arc: Fix CV check on signing

[Fix] Arc: Fix signing of the broken ARC chains

[Minor] Lua_util: Fix round function

[Minor] Fix quit command processing

[Feature] Support ping in milter mode

Requested by: @andryyy

[Fix] Use dup fd in milter handler to avoid races with the proxy

[Minor] Add case sensivity for file names in case of CT attribute

[Minor] Slightly improve logging

Merge pull request #3509 from lprat/mid.lua

[MID] check TLD hostname

fix util name

Merge pull request #3510 from citrin/date-checks

Date checks

[Feature] Add sanity checks for actions thresholds

Issue: #3506
Closes: #3506

[Minor] Add option for DATE_IN_PAST/DATE_IN_FUTURE symbols

Value for an option is the number of full hours the date of the message
is in the past or future.

[Feature] Add INVALID_DATE rule

The symbol indicates that a date in Date: header has invalid format and
cannot be parsed by Rspamd.

[Minor] Combine Date checks

Combine Date header checks into a single callback. No functional
changes.

fix potential error if fdtld and mdtld == nil

Add MID check TLD domain

[Minor] Add CFWS clause to the BNF

[Minor] Add some more error cases to the smtp date parsing

[Minor] Add erroring to smtp parse date

[Minor] Ratelimit: Add implicit score

[Minor] Smtp_date: Fix 2 digits years between 00 and 49

Suggested by: @citrin

[Fix] Fix smtp date syntax definition

Suggested by: @citrin

[Minor] Lua_util: Add parse_smtp_date utility

[Rework] Neural: Skip composite symbols

[Minor] Neural: Allow to blacklist specific symbols

Merge pull request #3505 from moisseev/webui

[WebUI] Fix Status tab display for scanned = 0

[WebUI] Fix Status tab display for scanned = 0

Fixes: #3498

[Fix] Fix handling of skip/skip_process http flags

Merge pull request #3504 from fatalbanana/rbl_content_urls

RBL: content urls [pt2]

[Test] RBL: content URLs

[Minor] Fix cache key

Merge pull request #3501 from fatalbanana/rbl_content_urls

[Feature] RBL: support matching content/image URLs only

Merge pull request #3502 from moisseev/webui

[WebUI] Avoid error messages on connect

[WebUI] Avoid error messages on connect

in read-only mode

Reported by: @nwhisper via Telegram group

[Feature] RBL: support matching content/image URLs only

[Minor] Update version to 2.7

Release 2.6

* [Conf] Add missing symbols
* [Conf] Add missing symbols
* [Conf] Fix fat-fingers typo
* [Conf] Fix wrong comment in options.inc
* [Conf] Neural: Fix the default name for max_trains
* [Conf] Register a known symbol
* [Conf] Spf: Add R_SPF_PERMFAIL symbol
* [CritFix] Arc: Fix ARC validation for chains of signatures
* [CritFix] Distinguish socketpairs between different fuzzy workers
* [CritFix] Fix IDNA dots parsing
* [CritFix] Fix test assertion method
* [CritFix] Fix usage of crypto_sign it should be crypto_sign_detached!
* [Feature] Add BOUNCE rule
* [Feature] Add controller plugins support and selectors plugin
* [Feature] Add maps query method
* [Feature] Add minimal delay to fuzzy storage
* [Feature] Add multiple base32 alphabets for decoding
* [Feature] Add preliminary support of BCH addresses
* [Feature] Add query_specific endpoint
* [Feature] Allow multiple base32 encodings in Lua API
* [Feature] Allow to specify nonces manually
* [Feature] Controller: Allow to pass query arguments to the lua webui plugins
* [Feature] Fuzzy_check: Add gen_hashes command
* [Feature] Fuzzy_check: Add weight_threshold option for fuzzy rules
* [Feature] Implement address retry on connection failure
* [Feature] Improve limits in pdf scanning
* [Feature] Initial support of subscribe command in lua_redis
* [Feature] Lua_cryptobox: Add secretbox API
* [Feature] Lua_text: Add encoding methods
* [Feature] Milter_headers: Allow to activate routines via users settings
* [Feature] PDF: Add timeouts for expensive operations
* [Feature] Preliminary maps addon for controller
* [Feature] Split pdf processing object and output object to allow GC
* [Feature] Support BLIS blas library
* [Feature] Support input vectorisation by recvmmsg call
* [Feature] Support multiple base32 alphabets
* [Feature] add queueid, uid, messageid and specific symbols to selectors [Minor] use only selectors to fill vars in force_actions message
* [Feature] allow variables in force_actions messages
* [Feature] extend lua api
* [Fix] #3249
* [Fix] Allow to adjust neurons in the hidden layer
* [Fix] Another try to fix email names parsing
* [Fix] Arc: Allow to reuse authentication results when doing multi-stage signing
* [Fix] Arc: Fix bug with arc chains verification where i>1
* [Fix] Arc: Sort headers by their i= value
* [Fix] Change neural plugin's loss function
* [Fix] Deal with double eqsigns when decoding headers
* [Fix] Default ANN names in clickhouse
* [Fix] Disable reuseport for TCP sockets as it causes too many troubles
* [Fix] Disable text detection heuristics for encrypted parts
* [Fix] Distinguish DKIM keys by md5
* [Fix] Distinguish type from flags in register_symbol
* [Fix] Dmarc: Unbreak reporting after cf2ae3292ac93da8b6e0624b48a62828a51803c9
* [Fix] Do not flag pre-result of virus scanners as least if action is reject
* [Fix] Do not use GC64 workaround on 32bit platforms, omg
* [Fix] Exclude damaged urls from html parser
* [Fix] Fix FREEMAIL_REPLYTO_NEQ_FROM_DOM
* [Fix] Fix FROM_NEQ_ENVFROM
* [Fix] Fix FWD_GOOGLE rule (#1815)
* [Fix] Fix adding of the empty archive file for gzip
* [Fix] Fix aliases in forged recipients and limit number of iterations
* [Fix] Fix authentication results insertion
* [Fix] Fix calling of methods in selectors
* [Fix] Fix clen length for hiredis...
* [Fix] Fix endless loop if broken arc chain has been found
* [Fix] Fix false - operation
* [Fix] Fix get_urls table invocation
* [Fix] Fix group based composites
* [Fix] Fix headers passing in rspamd_proxy
* [Fix] Fix incomplete utf8 sequences handling
* [Fix] Fix lua_next invocation
* [Fix] Fix lua_parse_symbol_type function logic
* [Fix] Fix multiple listen configuration
* [Fix] Fix occasional encryption of the cached data
* [Fix] Fix parsing boundaries with spaces
* [Fix] Fix passing of methods arguments
* [Fix] Fix poor man allocator algorithm
* [Fix] Fix regexp selector and add flattening
* [Fix] Fix rfc base32 encode ordering (skip inverse bits)
* [Fix] Fix rfc based base32 decoding
* [Fix] Fix sockets leak in the client
* [Fix] Fix storing of the original smtp from
* [Fix] Fix types check and types usage in lua_cryptobox
* [Fix] Fix unused results
* [Fix] Fuzzy_check: Disable shingles for short texts (really)
* [Fix] Ical: Fix identation grammar
* [Fix] Improve part:is_attachment logic
* [Fix] Mmap return value must be checked versus MAP_FAILED
* [Fix] One more fix to skip images that are not urls
* [Fix] Pdf: Support some weird objects with no newline before endobj
* [Fix] Rbl: Fix ignore_defaults in conjunction with ignore_whitelists
* [Fix] Restore support for `for` and `id` parts in received headers
* [Fix] Segmentation fault in contrib/lua-lpeg/lpvm.c on ppc64el
* [Fix] Skip spaces at the boundary end
* [Fix] Slashing fix: fix captures matching API
* [Fix] Spamassassin: Rework metas processing
* [Fix] Store reference of upstream list in upstreams objects
* [Fix] Understand utf8 in content-disposition parser
* [Fix] Unify selectors digest functions
* [Fix] Use `abs` value when checking composites
* [Fix] Use strict IDNA for utf8 DNS names + add sanity checks for DNS names
* [Fix] Use unsigned char and better support of utf8 in ragel parser
* [Fix] add missing selector_cache declaration
* [Project] Add `L` flag for regexps to save start of the match in Hyperscan
* [Project] Add `lower` method to lua_text
* [Project] Add a simple matrix Lua library
* [Project] Add implicit bitcoincash prefix
* [Project] Add linalg ffi library for prototyping
* [Project] Add methods to append data to fuzzy requests
* [Project] Add routine to call a generic lua function
* [Project] Add ssyev method interface
* [Project] Add tensors index method
* [Project] Add text:sub method
* [Project] Allow rspamd_text based selectors
* [Project] Allow to specify re_conditions for regular expressions
* [Project] Attach extensions to the binary fuzzy commands
* [Project] Bitcoin: BTC cash addresses needs some checksum validation
* [Project] Cleanup the redis script
* [Project] Convert bitcoin rules to the new regexp conditions feature
* [Project] Detect memrchr in systems that supports it
* [Project] Do not listen sockets in the main process
* [Project] Implement 'probabilistic' learn mode for ANN
* [Project] Implement BTC polymod in C as it requires 64 bit ops
* [Project] Implement bitcoin cash validation in a proper way
* [Project] Implement extensions logic for fuzzy storage
* [Project] Implement symbols insertion in multiple results mode
* [Project] Lua_text: Add method memchr
* [Project] Neural: Add PCA loading logic
* [Project] Neural: Fix PCA based learning
* [Project] Neural: Fix matrix gemm
* [Project] Neural: Further PCA fixes
* [Project] Neural: Implement PCA in learning
* [Project] Neural: Implement PCA learning
* [Project] Neural: Implement PCA on ANN forward
* [Project] Neural: Implement PCA serialisation
* [Project] Neural: Start PCA implementation
* [Project] Neural: Use C version of scatter matrix producing
* [Project] Preliminary support of lua conditions for regexps
* [Project] Preliminary usage of the reuseport
* [Project] Process composites separately for each shadow result
* [Project] Remove old code
* [Project] Rework scan result functions to support shadow results
* [Project] Rework some more functions to work with shadow results
* [Project] Some more fixes
* [Project] Start results chain implementation
* [Project] Support fun iterators on rspamd_text objects
* [Project] Support multiply, minus and divide operators in expressions
* [Project] Tensor: Move scatter matrix calculation to C
* [Rework] Allow to specify exat metric result when adding a symbol
* [Rework] Change and improve openblas detection and usage
* [Rework] Close listen sockets in main after fork
* [Rework] Further rework of lua urls extraction API
* [Rework] Lua_cryptobox: Allow to store output of the hash function
* [Rework] Lua_task: Add more methods to deal with shadow results
* [Rework] Modernize logging for expressions
* [Rework] Remove empty prefilters feature - we are not prepared...
* [Rework] Remove old FindLua module, disable lua fallback when LuaJIT is enabled
* [Rework] Rework and refactor forged recipients plugin
* [Rework] Rework expressions processing
* [Rework] Rework fuzzy commands processing
* [Rework] Rework url flags handling API
* [Rework] Rework urls extraction
* [Rework] Split operations processing and add more debug logs
* [Rework] Update zstd to 1.4.5
* [Rework] Use google-ced instead of libicu chardet as the former sucks
* [Rework] add alias util:parse_addr for util:parse_mail_address
* [Rework] get rid of util:parse_addr duplicating the util:parse_mail_address, replace where used
* [Rules] Allow prefix for bitcoin cash addresses
* [Rules] More fixes for bitcoin cash addresses decoding
* [Rules] Refactor bleach32 addresses handling

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>