Merge pull request #3307 from moisseev/patch-1

[WebUI] Fix favicon path

[Minor] Add logging

[Minor] Add sanity check

[Minor] Reduce log noise

[Rework] Re cache: Load compiled hyperscan in the main process as well

[Rework] Re cache: Load hyperscan early

[Rework] URL: Another update for urls extraction logic

URL extraction from HTML parts should look like this:
1. Extract href links
2. Convert HTML to plain text and extract:
  a) (http|https|ftp)://foo.bar and www.foo
  b) email like strings \bfoo@bar.baz\b .
For all extracted strings check if we have host with a domain from the public suffix.

[Minor] Oops, forgot to fill struct field

[WebUI] Fix favicon path

Issue:  #3207

[Rework] Urls: process query urls in HTML urls correctly

[Rework] Urls: Improve query urls handling

[Minor] Replace g_abort with abort

[Rework] Fix various url extraction issues

[Minor] Improve dkim failures logging

[Rework] Use multiple search tries for different url extraction types

[Rework] Change the way to extract URLs when dealing with alternative parts

[Fix] Fix some corner cases in urls parsing, add limits

[Minor] Remove UCP from TLD parsing

[Minor] Use a more strict pattern for tld lookup

[Fix] Fix flags that caused force_actions failure

Issue: #3299

[Minor] Fix learning with symbols that have no static scores

Merge pull request #3302 from korgoth1/master

[TEST] Force Actions Settings

[TEST] Force Actions Settings

[Minor] Implement `hosts` parameter in DNS config

[Feature] Implement hosts file processing

Merge pull request #3301 from citrin/MISSING_MIME_VERSION

[Minor] Improve MISSING_MIME_VERSION rule

[Minor] Improve MISSING_MIME_VERSION rule

Previous condition have a complex condition which prevented adding the
symbol for some MIME messages without MIME-Version header.

[Minor] Firther relax href parsing

[Minor] Neural: Fix vectors lengths checking

[Test] Fix race condition

[Fix] Improve base64 detection

[Minor] Fix table unpacking

[Minor] Try to fix brain damaged libev timers

[Minor] Improve logging of the invalid charset case

[Feature] Neural: Introduce classes bias that allows non-equal classes learning

[Fix] Normalize dynamic scores in ANN correctly

[Minor] Add some docs

[Minor] Clickhouse: Try to fix order of extra columns

[Minor] Fix old broken logic compatibility

[Minor] Oops, fix html urls processing

[Fix] Fix lua symbols scores registration when config does not define scores

Merge pull request #3298 from korgoth1/master

[Test] URL compose map

[Test] URL compose map

[Minor] Zero terminate id string

[Fix] Plug memory leak introduced by #3153

Revert "[Minor] Filter nil values in rspamd_config:get_all_opt"

This reverts commit af30ca1eb035d6824107c1f55613099c6331cbdb.

[Minor] Fix bitset size

[Minor] Filter nil values in rspamd_config:get_all_opt

[Minor] Allow to push objects to lua replacing UCL_NULL

[Minor] Oops, remove g_free dtor

Merge pull request #3292 from tech-ozon-io/segfault_01_master

[Minor] Segfault for some configuration.

[Minor] Segfault for some configuration.

When the configuration file contains only these two lines, rspamd
try to send log which announce that it can bind the soket, but
"bind_conf" is NULL and it is dereferenced, so we have a segfault.

   worker "normal" {
   }

This patch fix the segfault.

[Minor] Allocate variable in the pool and avoid malloc

[Fix] Fix variables replacement in mempool

Merge pull request #3294 from tech-ozon-io/compile_error

[Minor] Compilation error with __has_attribuute operator

[Fix] Stat_redis_backend: Fix memory leak and simplify learn path

[Minor] Fuzzy_backend_redis: Improve logging

[Minor] Compilation error with __has_attribuute operator

GCC recommands to add alternative to __has_attribute operator:

https://gcc.gnu.org/onlinedocs/cpp/_005f_005fhas_005fattribute.html

[Minor] Another dkim logs improvement

[Test] Sort hash tables in tests

[Rework] Urls: update lua libraries

[Rework] Urls: adopt html related stuff

[Rework] Urls: more rework of the urls sets

[Rework] Urls: rework urls hash structure

[Rework] Rework URL structure: adjust tld part

[Rework] Rework URL structure: more structure optimisations

[Rework] Rework URL structure: host field

[Rework] Rework URL structure: user field

Merge pull request #3293 from xf-/task/apple-touch-icon

[WebUI] Add apple-touch-icon

[WebUI] Add apple-touch-icon

Merge pull request #3291 from tech-ozon-io/var_issue_master

[Minor] Fix --var in rspamd CLI arguments

[Minor] --var doesn't work

We can add varaibels on the command line after argument or using --var parameter.
When --var is used, an assertion is triggered:

   ./rspamd.install/bin/rspamd --var LOGDIR=/tmp/
   (rspamd:7171): GLib-CRITICAL **: g_hash_table_insert_internal: assertion 'hash_table != NULL' failed

The hash table is not initialized, because the table is initialized after
the argument parser.

This patch initialize the hash table on demand.

Note: the patch is tested on 1.9 version and not on master, because I can't compile the master branch.

Note: I suggest to backport the patch on 1.9 version

Merge pull request #3289 from moisseev/webui

[WebUI] Add auto-refresh interval settings

[WebUI] Add auto-refresh interval settings

[Minor] Clickhouse: Use IF NOT EXISTS clause in migrations

[Minor] Add some sanity checks

Merge pull request #3288 from HeinleinSupport/master

[Fix] metadata_exporter default formatter

[Fix] metadata_exporter default formatter

[Minor] Fix some issues with lua scripts invocation

[Feature] Add support for scripts in fuzzy storage

[Minor] Add helper to alter metatables

Merge pull request #3286 from moisseev/webui

[Minor] Remove leftover CSS rule set

[Minor] Remove leftover CSS rule set

[Minor] Fix some corner case with l tag in DKIM

[Fix] Another brain damage html standard adoptions

[Fix] Fix parsing of the html tags with no spaces after attributes

[Test] URL compose map

[Test] Fix tests

[Fix] Fix tlds extraction if custom composition rules are used

Merge pull request #3281 from korgoth1/master

[Test] URL compose map

[Test] URL compose map

Merge remote-tracking branch 'upstream/master'

[Test] URL compose map

[Minor] Copy&paste error

[Minor] Allow to dump symbols and groups using configdump

[Minor] Oops, misprint

[Minor] Lua_task: Add more consistency to get_from

[Fix] Fix logging issue

[Fix] Fix opaque maps logic

[Minor] Show long compilation warning