Merge pull request #3340 from chkpnt/patch-1

[Conf] Fix wrong comment in options.inc

[Minor] Selectors: Add ability to use base32 variants

[Conf] Fix wrong comment in options.inc

[Minor] Clickhouse: Rework schema upload to make it more resilent

[Minor] Try to process images before text part heuristic

[Minor] Rspamadm: Add urls --full option

[Minor] Allow 'default' to be the default result

[Minor] Support shadow results in lua task api

[Minor] Lua_task: Add table version and multi-results support for set_pre_result

[Minor] Add some missing types and docs to rspamd_lua_parse_table_arguments

[Project] Rework some more functions to work with shadow results

Merge pull request #3332 from cgzones/compiler_new

Resolve various Compiler warnings

[Minor] Correct deflate header detection

[Minor] Lua_content: Process xref objects and detect encryption there

[Minor] Improve log message for inflate/deflate

Merge pull request #3331 from moisseev/patch-3

[Minor] Add image/x-ms-bmp CT

[Minor] Explicit specify order of binary operations

../contrib/libev/ev.c: In function ‘ev_io_start’:
../contrib/libev/ev.c:4396:34: warning: suggest parentheses around arithmetic in operand of ‘|’ [-Wparentheses]
 4396 |   fd_change (EV_A_ fd, w->events & EV__IOFDSET | EV_ANFD_REIFY);
      |                        ~~~~~~~~~~^~~~~~~~~~~~~

[Minor] Avoid nested opening comment sequences

../contrib/libev/ev.c: At top level:
../contrib/libev/ev.c:5660:27: warning: "/*" within comment [-Wcomment]
 5660 | /* EV_STAT     0x00001000 /* stat data changed */
      |
../contrib/libev/ev.c:5661:27: warning: "/*" within comment [-Wcomment]
 5661 | /* EV_EMBED    0x00010000 /* embedded event loop needs sweep */
      |

[Minor] enable Wmissing-format-attribute

[Minor] silence warnings about unused function results

GCC does not respect `(void) func()`

[Minor] Enable missing_noreturn compiler warning

[Minor] Remove unused-but-set variables

../src/libserver/url.c: In function ‘rspamd_url_host_set_add’:
../src/libserver/url.c:3808:11: warning: variable ‘k’ set but not used [-Wunused-but-set-variable]
 3808 |  khiter_t k;
      |           ^

../src/lua/lua_task.c: In function ‘lua_task_has_urls’:
../src/lua/lua_task.c:2406:11: warning: variable ‘need_emails’ set but not used [-Wunused-but-set-variable]
 2406 |  gboolean need_emails = FALSE, ret = FALSE;
      |           ^~~~~~~~~~~

[Minor] Print always IPO status

[Minor] move static keyword to beginning of function declarations

In file included from ../src/libserver/logger/logger_file.c:23:
../src/libserver/logger/logger_private.h:106:1: warning: ‘static’ is not at beginning of declaration [-Wold-style-declaration]
  106 | const static struct rspamd_logger_funcs file_log_funcs = {
      | ^~~~~
../src/libserver/logger/logger_private.h:130:1: warning: ‘static’ is not at beginning of declaration [-Wold-style-declaration]
  130 | const static struct rspamd_logger_funcs syslog_log_funcs = {
      | ^~~~~
../src/libserver/logger/logger_private.h:154:1: warning: ‘static’ is not at beginning of declaration [-Wold-style-declaration]
  154 | const static struct rspamd_logger_funcs console_log_funcs = {
      | ^~~~~

[Minor] Add image/x-ms-bmp CT

[Test] Fix tests

[Minor] Add sanity check for base32 decoding

[Feature] Allow multiple base32 encodings in Lua API

[Minor] Add helper to get base32 type

Merge pull request #3329 from moisseev/patch-3

[Minor] Add application/7z CT

[Minor] Add application/7z CT

[Feature] Add multiple base32 alphabets for decoding

[Minor] Add rfc3548 base32 alphabet

[Feature] Support multiple base32 alphabets

[Minor] Support gcc static analyzer (from gcc 10)

[Minor] Log key id on DKIM failures

[Minor] Lua_html: Return empty table if no images are there in html

[Project] Process composites separately for each shadow result

[Minor] Fix doc string

[Minor] Support flatten attribute in rspamd_config:register_re_selector

Merge pull request #3327 from moisseev/patch-3

[Minor] Remove whitespaces

[Minor] Remove whitespaces

Merge pull request #3326 from membero/patch-1

[Fix] rbl.lua: Helo Check always skipped

Fix Helo Check

[Minor] Add a small helper function

[Project] Rework scan result functions to support shadow results

[Minor] Clickhouse: Fix extra columns that are arrays

[Minor] Allow to add named results via lua API

[Project] Implement symbols insertion in multiple results mode

[Project] Add routine to call a generic lua function

Merge pull request #3320 from heirecka/fix-build-with-gcc10

[Minor] Cherry-pick a fix for replxx to build with gcc10

[Minor] Cherry-pick a fix for replxx to build with gcc10

723d9c84869511dfb5e63f5c3d3372ac38114713 in replxx's git.

Building rspamd with gcc10 errors out with "'runtime_error' is not a
member of 'std'" otherwise.

Merge pull request #3318 from HeinleinSupport/dkim_signing

[Minor] dkim_signing - fix log messages

[Minor] dkim_signing - fix log messages

[Minor] Add missing cast to satisfy gcc understanding of c++

[Minor] Remove strange conversion sources from replxx

Issue: #3317

[Project] Start results chain implementation

[Fix] Fix headers passing in rspamd_proxy

[Minor] Improve http in milter mode error reporting

[Minor] Update version to 2.6

Release 2.5

* [Conf] Mark Rspamd emailbl as ignore whitelist
* [Conf] RBL: Add missing emails = true option
* [Feature] Add support for scripts in fuzzy storage
* [Feature] Arc: Add whitelisted_signers_map option
* [Feature] Implement hosts file processing
* [Feature] Neural: Introduce classes bias that allows non-equal classes learning
* [Feature] Update libev to 4.33
* [Fix] Another brain damage html standard adoptions
* [Fix] Another fix for brain damaged obs-fws state
* [Fix] Fix flags that caused force_actions failure
* [Fix] Fix logging issue
* [Fix] Fix lua symbols scores registration when config does not define scores
* [Fix] Fix opaque maps logic
* [Fix] Fix parsing of the html tags with no spaces after attributes
* [Fix] Fix some corner cases in urls parsing, add limits
* [Fix] Fix tlds extraction if custom composition rules are used
* [Fix] Fix variables replacement in mempool
* [Fix] Improve base64 detection
* [Fix] Normalize dynamic scores in ANN correctly
* [Fix] Plug memory leak introduced by #3153
* [Fix] Stat_redis_backend: Fix memory leak and simplify learn path
* [Fix] Try hard to deal with ghost workers
* [Fix] metadata_exporter default formatter
* [Rework] Change the way to extract URLs when dealing with alternative parts
* [Rework] Fix various url extraction issues
* [Rework] Re cache: Load compiled hyperscan in the main process as well
* [Rework] Re cache: Load hyperscan early
* [Rework] Rework URL structure: adjust tld part
* [Rework] Rework URL structure: host field
* [Rework] Rework URL structure: more structure optimisations
* [Rework] Rework URL structure: user field
* [Rework] URL: Another update for urls extraction logic
* [Rework] Urls: Improve query urls handling
* [Rework] Urls: adopt html related stuff
* [Rework] Urls: more rework of the urls sets
* [Rework] Urls: process query urls in HTML urls correctly
* [Rework] Urls: rework urls hash structure
* [Rework] Urls: update lua libraries
* [Rework] Use multiple search tries for different url extraction types

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Use stack for keep-alive pool

[Minor] Show count of workers to be killed

[Minor] Check socket error when reusing redis pool connections

[Minor] Check for socket error before reusing keep-alive connection

[Fix] Another fix for brain damaged obs-fws state

[Minor] Try to fix OOB reads

Merge pull request #3315 from moisseev/patch-2

[Minor] Add missing CT badness values

[Minor] Add missing CT badness values

[Minor] Fix another close/ev_modify race

[Minor] Add missing function

[Minor] Slghtly improve cmake reporting + use -O0 with full debug

[Minor] Fix build with leak sanitizer

[Minor] Fix order of objects destruction for http keepalive conns

[Minor] Fix double close in rspamc

[Minor] Try harder to avoid races on child termination

[Minor] Do not use signalfd - it is totally broken in libev

[Fix] Try hard to deal with ghost workers

[Minor] Do not try to set title on osx: it is totally broken

[Minor] Fix usage of signalfd and timerfd

[Conf] Mark Rspamd emailbl as ignore whitelist

Merge pull request #3309 from ricalfieri/patch-1

Update rbl.conf

[Minor] Settings: Fix parsing of the settings map

[Minor] Fix return values

[Conf] RBL: Add missing emails = true option

[Feature] Arc: Add whitelisted_signers_map option

Issue: #3308

[Minor] Arc: Improve symbols options format

Update rbl.conf

MSBL list a lot of gmail dropboxes, but these are being excluded from the checks due to gmail.com being whitelisted. Same happens for other freemail providers.

Ignoring the whitelist in this case should be safe enough.

[Minor] Slightly improve ev backend selection

[Minor] Disable EVBACKEND_IOURING for now as recommended

[Feature] Update libev to 4.33

Changelog: http://cvs.schmorp.de/libev/Changes?pathrev=rel-4_33

Merge pull request #3307 from moisseev/patch-1

[WebUI] Fix favicon path

[Minor] Add logging

[Minor] Add sanity check

[Minor] Reduce log noise

[Rework] Re cache: Load compiled hyperscan in the main process as well

[Rework] Re cache: Load hyperscan early

[Rework] URL: Another update for urls extraction logic

URL extraction from HTML parts should look like this:
1. Extract href links
2. Convert HTML to plain text and extract:
  a) (http|https|ftp)://foo.bar and www.foo
  b) email like strings \bfoo@bar.baz\b .
For all extracted strings check if we have host with a domain from the public suffix.

[Minor] Oops, forgot to fill struct field

[WebUI] Fix favicon path

Issue:  #3207