[Minor] Try harder to avoid races on child termination

[Minor] Do not use signalfd - it is totally broken in libev

[Fix] Try hard to deal with ghost workers

[Minor] Do not try to set title on osx: it is totally broken

[Minor] Fix usage of signalfd and timerfd

[Conf] Mark Rspamd emailbl as ignore whitelist

Merge pull request #3309 from ricalfieri/patch-1

Update rbl.conf

[Minor] Settings: Fix parsing of the settings map

[Minor] Fix return values

[Conf] RBL: Add missing emails = true option

[Feature] Arc: Add whitelisted_signers_map option

Issue: #3308

[Minor] Arc: Improve symbols options format

Update rbl.conf

MSBL list a lot of gmail dropboxes, but these are being excluded from the checks due to gmail.com being whitelisted. Same happens for other freemail providers.

Ignoring the whitelist in this case should be safe enough.

[Minor] Slightly improve ev backend selection

[Minor] Disable EVBACKEND_IOURING for now as recommended

[Feature] Update libev to 4.33

Changelog: http://cvs.schmorp.de/libev/Changes?pathrev=rel-4_33

Merge pull request #3307 from moisseev/patch-1

[WebUI] Fix favicon path

[Minor] Add logging

[Minor] Add sanity check

[Minor] Reduce log noise

[Rework] Re cache: Load compiled hyperscan in the main process as well

[Rework] Re cache: Load hyperscan early

[Rework] URL: Another update for urls extraction logic

URL extraction from HTML parts should look like this:
1. Extract href links
2. Convert HTML to plain text and extract:
  a) (http|https|ftp)://foo.bar and www.foo
  b) email like strings \bfoo@bar.baz\b .
For all extracted strings check if we have host with a domain from the public suffix.

[Minor] Oops, forgot to fill struct field

[WebUI] Fix favicon path

Issue:  #3207

[Rework] Urls: process query urls in HTML urls correctly

[Rework] Urls: Improve query urls handling

[Minor] Replace g_abort with abort

[Rework] Fix various url extraction issues

[Minor] Improve dkim failures logging

[Rework] Use multiple search tries for different url extraction types

[Rework] Change the way to extract URLs when dealing with alternative parts

[Fix] Fix some corner cases in urls parsing, add limits

[Minor] Remove UCP from TLD parsing

[Minor] Use a more strict pattern for tld lookup

[Fix] Fix flags that caused force_actions failure

Issue: #3299

[Minor] Fix learning with symbols that have no static scores

Merge pull request #3302 from korgoth1/master

[TEST] Force Actions Settings

[TEST] Force Actions Settings

[Minor] Implement `hosts` parameter in DNS config

[Feature] Implement hosts file processing

Merge pull request #3301 from citrin/MISSING_MIME_VERSION

[Minor] Improve MISSING_MIME_VERSION rule

[Minor] Improve MISSING_MIME_VERSION rule

Previous condition have a complex condition which prevented adding the
symbol for some MIME messages without MIME-Version header.

[Minor] Firther relax href parsing

[Minor] Neural: Fix vectors lengths checking

[Test] Fix race condition

[Fix] Improve base64 detection

[Minor] Fix table unpacking

[Minor] Try to fix brain damaged libev timers

[Minor] Improve logging of the invalid charset case

[Feature] Neural: Introduce classes bias that allows non-equal classes learning

[Fix] Normalize dynamic scores in ANN correctly

[Minor] Add some docs

[Minor] Clickhouse: Try to fix order of extra columns

[Minor] Fix old broken logic compatibility

[Minor] Oops, fix html urls processing

[Fix] Fix lua symbols scores registration when config does not define scores

Merge pull request #3298 from korgoth1/master

[Test] URL compose map

[Test] URL compose map

[Minor] Zero terminate id string

[Fix] Plug memory leak introduced by #3153

Revert "[Minor] Filter nil values in rspamd_config:get_all_opt"

This reverts commit af30ca1eb035d6824107c1f55613099c6331cbdb.

[Minor] Fix bitset size

[Minor] Filter nil values in rspamd_config:get_all_opt

[Minor] Allow to push objects to lua replacing UCL_NULL

[Minor] Oops, remove g_free dtor

Merge pull request #3292 from tech-ozon-io/segfault_01_master

[Minor] Segfault for some configuration.

[Minor] Segfault for some configuration.

When the configuration file contains only these two lines, rspamd
try to send log which announce that it can bind the soket, but
"bind_conf" is NULL and it is dereferenced, so we have a segfault.

   worker "normal" {
   }

This patch fix the segfault.

[Minor] Allocate variable in the pool and avoid malloc

[Fix] Fix variables replacement in mempool

Merge pull request #3294 from tech-ozon-io/compile_error

[Minor] Compilation error with __has_attribuute operator

[Fix] Stat_redis_backend: Fix memory leak and simplify learn path

[Minor] Fuzzy_backend_redis: Improve logging

[Minor] Compilation error with __has_attribuute operator

GCC recommands to add alternative to __has_attribute operator:

https://gcc.gnu.org/onlinedocs/cpp/_005f_005fhas_005fattribute.html

[Minor] Another dkim logs improvement

[Test] Sort hash tables in tests

[Rework] Urls: update lua libraries

[Rework] Urls: adopt html related stuff

[Rework] Urls: more rework of the urls sets

[Rework] Urls: rework urls hash structure

[Rework] Rework URL structure: adjust tld part

[Rework] Rework URL structure: more structure optimisations

[Rework] Rework URL structure: host field

[Rework] Rework URL structure: user field

Merge pull request #3293 from xf-/task/apple-touch-icon

[WebUI] Add apple-touch-icon

[WebUI] Add apple-touch-icon

Merge pull request #3291 from tech-ozon-io/var_issue_master

[Minor] Fix --var in rspamd CLI arguments

[Minor] --var doesn't work

We can add varaibels on the command line after argument or using --var parameter.
When --var is used, an assertion is triggered:

   ./rspamd.install/bin/rspamd --var LOGDIR=/tmp/
   (rspamd:7171): GLib-CRITICAL **: g_hash_table_insert_internal: assertion 'hash_table != NULL' failed

The hash table is not initialized, because the table is initialized after
the argument parser.

This patch initialize the hash table on demand.

Note: the patch is tested on 1.9 version and not on master, because I can't compile the master branch.

Note: I suggest to backport the patch on 1.9 version

Merge pull request #3289 from moisseev/webui

[WebUI] Add auto-refresh interval settings

[WebUI] Add auto-refresh interval settings

[Minor] Clickhouse: Use IF NOT EXISTS clause in migrations

[Minor] Add some sanity checks

Merge pull request #3288 from HeinleinSupport/master

[Fix] metadata_exporter default formatter

[Fix] metadata_exporter default formatter

[Minor] Fix some issues with lua scripts invocation

[Feature] Add support for scripts in fuzzy storage

[Minor] Add helper to alter metatables

Merge pull request #3286 from moisseev/webui

[Minor] Remove leftover CSS rule set

[Minor] Remove leftover CSS rule set

[Minor] Fix some corner case with l tag in DKIM