[Minor] Fix learning with symbols that have no static scores

Merge pull request #3302 from korgoth1/master

[TEST] Force Actions Settings

[TEST] Force Actions Settings

[Minor] Implement `hosts` parameter in DNS config

[Feature] Implement hosts file processing

Merge pull request #3301 from citrin/MISSING_MIME_VERSION

[Minor] Improve MISSING_MIME_VERSION rule

[Minor] Improve MISSING_MIME_VERSION rule

Previous condition have a complex condition which prevented adding the
symbol for some MIME messages without MIME-Version header.

[Minor] Firther relax href parsing

[Minor] Neural: Fix vectors lengths checking

[Test] Fix race condition

[Fix] Improve base64 detection

[Minor] Fix table unpacking

[Minor] Try to fix brain damaged libev timers

[Minor] Improve logging of the invalid charset case

[Feature] Neural: Introduce classes bias that allows non-equal classes learning

[Fix] Normalize dynamic scores in ANN correctly

[Minor] Add some docs

[Minor] Clickhouse: Try to fix order of extra columns

[Minor] Fix old broken logic compatibility

[Minor] Oops, fix html urls processing

[Fix] Fix lua symbols scores registration when config does not define scores

Merge pull request #3298 from korgoth1/master

[Test] URL compose map

[Test] URL compose map

[Minor] Zero terminate id string

[Fix] Plug memory leak introduced by #3153

Revert "[Minor] Filter nil values in rspamd_config:get_all_opt"

This reverts commit af30ca1eb035d6824107c1f55613099c6331cbdb.

[Minor] Fix bitset size

[Minor] Filter nil values in rspamd_config:get_all_opt

[Minor] Allow to push objects to lua replacing UCL_NULL

[Minor] Oops, remove g_free dtor

Merge pull request #3292 from tech-ozon-io/segfault_01_master

[Minor] Segfault for some configuration.

[Minor] Segfault for some configuration.

When the configuration file contains only these two lines, rspamd
try to send log which announce that it can bind the soket, but
"bind_conf" is NULL and it is dereferenced, so we have a segfault.

   worker "normal" {
   }

This patch fix the segfault.

[Minor] Allocate variable in the pool and avoid malloc

[Fix] Fix variables replacement in mempool

Merge pull request #3294 from tech-ozon-io/compile_error

[Minor] Compilation error with __has_attribuute operator

[Fix] Stat_redis_backend: Fix memory leak and simplify learn path

[Minor] Fuzzy_backend_redis: Improve logging

[Minor] Compilation error with __has_attribuute operator

GCC recommands to add alternative to __has_attribute operator:

https://gcc.gnu.org/onlinedocs/cpp/_005f_005fhas_005fattribute.html

[Minor] Another dkim logs improvement

[Test] Sort hash tables in tests

[Rework] Urls: update lua libraries

[Rework] Urls: adopt html related stuff

[Rework] Urls: more rework of the urls sets

[Rework] Urls: rework urls hash structure

[Rework] Rework URL structure: adjust tld part

[Rework] Rework URL structure: more structure optimisations

[Rework] Rework URL structure: host field

[Rework] Rework URL structure: user field

Merge pull request #3293 from xf-/task/apple-touch-icon

[WebUI] Add apple-touch-icon

[WebUI] Add apple-touch-icon

Merge pull request #3291 from tech-ozon-io/var_issue_master

[Minor] Fix --var in rspamd CLI arguments

[Minor] --var doesn't work

We can add varaibels on the command line after argument or using --var parameter.
When --var is used, an assertion is triggered:

   ./rspamd.install/bin/rspamd --var LOGDIR=/tmp/
   (rspamd:7171): GLib-CRITICAL **: g_hash_table_insert_internal: assertion 'hash_table != NULL' failed

The hash table is not initialized, because the table is initialized after
the argument parser.

This patch initialize the hash table on demand.

Note: the patch is tested on 1.9 version and not on master, because I can't compile the master branch.

Note: I suggest to backport the patch on 1.9 version

Merge pull request #3289 from moisseev/webui

[WebUI] Add auto-refresh interval settings

[WebUI] Add auto-refresh interval settings

[Minor] Clickhouse: Use IF NOT EXISTS clause in migrations

[Minor] Add some sanity checks

Merge pull request #3288 from HeinleinSupport/master

[Fix] metadata_exporter default formatter

[Fix] metadata_exporter default formatter

[Minor] Fix some issues with lua scripts invocation

[Feature] Add support for scripts in fuzzy storage

[Minor] Add helper to alter metatables

Merge pull request #3286 from moisseev/webui

[Minor] Remove leftover CSS rule set

[Minor] Remove leftover CSS rule set

[Minor] Fix some corner case with l tag in DKIM

[Fix] Another brain damage html standard adoptions

[Fix] Fix parsing of the html tags with no spaces after attributes

[Test] URL compose map

[Test] Fix tests

[Fix] Fix tlds extraction if custom composition rules are used

Merge pull request #3281 from korgoth1/master

[Test] URL compose map

[Test] URL compose map

Merge remote-tracking branch 'upstream/master'

[Test] URL compose map

[Minor] Copy&paste error

[Minor] Allow to dump symbols and groups using configdump

[Minor] Oops, misprint

[Minor] Lua_task: Add more consistency to get_from

[Fix] Fix logging issue

[Fix] Fix opaque maps logic

[Minor] Show long compilation warning

[Minor] Update version to 2.5

Release 2.4

* [CritFix] Fix parsing of the content type attributes
* [Feature] Clickhouse: Add extra columns support
* [Feature] Rbl: Add url_compose_map option for RBL rules
* [Fix] 'R' flag is for all headers regexp
* [Fix] Allow to reset settings id from Lua (e.g. because of the priority)
* [Fix] Avoid collisions in mempool variables by changing fuzzy caching logic
* [Fix] Avoid strdup usage for symbols options
* [Fix] Do not trust stat(2) it lies
* [Fix] Filter all options for symbols to have sane characters
* [Fix] Fix all headers iteration
* [Fix] Fix allowed_settings for neural
* [Fix] Fix listen socket parsing
* [Fix] Fix maps expressions evaluation
* [Fix] Fix sentinel connections leak by using async connections
* [Fix] Fix smtp message on passthrough result
* [Fix] Fix tld compositon rules
* [Fix] Fuzzy_storage: Do not check for shingles if a direct hash has been found
* [Fix] Lua_mime: Do not perform QP encoding for 7bit parts
* [Fix] Neural: Distinguish missing symbols from symbols with low scores
* [Fix] Support listening on systemd sockets by name
* [Project] Add lua_urls_compose library
* [Project] Allow to set a custom log function to the logger
* [Project] CDB maps: Start making cdb a first class citizen
* [Project] Clickhouse: Add extra columns concept
* [Project] Fix urls composition rules, add unit tests
* [Project] Unify cdb maps
* [Rework] Logger infrastructure rework
* [Rework] Refactor libraries structure
* [Rework] Rework SSL caching
* [Rework] Update snowball stemmer to 2.0 and remove all crap aside of UTF8

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #3277 from HeinleinSupport/master

[Minor] Fix metadata_exporter extra mail recipients

[Minor] Fix metadata_exporter extra mail recipients

[Test] Disable broken clickhouse test

[Fix] Fix listen socket parsing

Issue: #3254

[Fix] Do not trust stat(2) it lies

Issue: #3254

[Minor] Fix some more tld issues and tld tests

[Fix] Fix tld compositon rules

Issue: #3248, #3268

[Fix] Neural: Distinguish missing symbols from symbols with low scores

[Minor] Allow to work with non-registered symbols

[Minor] Neural: Various fixes in neural module

[Minor] Allow to set process title for lua processes

[Fix] Fix allowed_settings for neural

Issue: #3270

[Rework] Update snowball stemmer to 2.0 and remove all crap aside of UTF8

[Feature] Rbl: Add url_compose_map option for RBL rules

Issue: #3267

[Project] Fix urls composition rules, add unit tests

[Minor] Fix null logging object in the logger

[Project] Add lua_urls_compose library

[Minor] Add method to check hyperscan support to multipattern library