Merge pull request #3289 from moisseev/webui

[WebUI] Add auto-refresh interval settings

[WebUI] Add auto-refresh interval settings

[Minor] Clickhouse: Use IF NOT EXISTS clause in migrations

[Minor] Add some sanity checks

Merge pull request #3288 from HeinleinSupport/master

[Fix] metadata_exporter default formatter

[Fix] metadata_exporter default formatter

[Minor] Fix some issues with lua scripts invocation

[Feature] Add support for scripts in fuzzy storage

[Minor] Add helper to alter metatables

Merge pull request #3286 from moisseev/webui

[Minor] Remove leftover CSS rule set

[Minor] Remove leftover CSS rule set

[Minor] Fix some corner case with l tag in DKIM

[Fix] Another brain damage html standard adoptions

[Fix] Fix parsing of the html tags with no spaces after attributes

[Test] Fix tests

[Fix] Fix tlds extraction if custom composition rules are used

Merge pull request #3281 from korgoth1/master

[Test] URL compose map

[Test] URL compose map

Merge remote-tracking branch 'upstream/master'

[Test] URL compose map

[Minor] Copy&paste error

[Minor] Allow to dump symbols and groups using configdump

[Minor] Oops, misprint

[Minor] Lua_task: Add more consistency to get_from

[Fix] Fix logging issue

[Fix] Fix opaque maps logic

[Minor] Show long compilation warning

[Minor] Update version to 2.5

Release 2.4

* [CritFix] Fix parsing of the content type attributes
* [Feature] Clickhouse: Add extra columns support
* [Feature] Rbl: Add url_compose_map option for RBL rules
* [Fix] 'R' flag is for all headers regexp
* [Fix] Allow to reset settings id from Lua (e.g. because of the priority)
* [Fix] Avoid collisions in mempool variables by changing fuzzy caching logic
* [Fix] Avoid strdup usage for symbols options
* [Fix] Do not trust stat(2) it lies
* [Fix] Filter all options for symbols to have sane characters
* [Fix] Fix all headers iteration
* [Fix] Fix allowed_settings for neural
* [Fix] Fix listen socket parsing
* [Fix] Fix maps expressions evaluation
* [Fix] Fix sentinel connections leak by using async connections
* [Fix] Fix smtp message on passthrough result
* [Fix] Fix tld compositon rules
* [Fix] Fuzzy_storage: Do not check for shingles if a direct hash has been found
* [Fix] Lua_mime: Do not perform QP encoding for 7bit parts
* [Fix] Neural: Distinguish missing symbols from symbols with low scores
* [Fix] Support listening on systemd sockets by name
* [Project] Add lua_urls_compose library
* [Project] Allow to set a custom log function to the logger
* [Project] CDB maps: Start making cdb a first class citizen
* [Project] Clickhouse: Add extra columns concept
* [Project] Fix urls composition rules, add unit tests
* [Project] Unify cdb maps
* [Rework] Logger infrastructure rework
* [Rework] Refactor libraries structure
* [Rework] Rework SSL caching
* [Rework] Update snowball stemmer to 2.0 and remove all crap aside of UTF8

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #3277 from HeinleinSupport/master

[Minor] Fix metadata_exporter extra mail recipients

[Minor] Fix metadata_exporter extra mail recipients

[Test] Disable broken clickhouse test

[Fix] Fix listen socket parsing

Issue: #3254

[Fix] Do not trust stat(2) it lies

Issue: #3254

[Minor] Fix some more tld issues and tld tests

[Fix] Fix tld compositon rules

Issue: #3248, #3268

[Fix] Neural: Distinguish missing symbols from symbols with low scores

[Minor] Allow to work with non-registered symbols

[Minor] Neural: Various fixes in neural module

[Minor] Allow to set process title for lua processes

[Fix] Fix allowed_settings for neural

Issue: #3270

[Rework] Update snowball stemmer to 2.0 and remove all crap aside of UTF8

[Feature] Rbl: Add url_compose_map option for RBL rules

Issue: #3267

[Project] Fix urls composition rules, add unit tests

[Minor] Fix null logging object in the logger

[Project] Add lua_urls_compose library

[Minor] Add method to check hyperscan support to multipattern library

[Minor] Improve fuzzy updates logging

[Minor] Add fuzzy hash creation time to the log

[Fix] Fuzzy_storage: Do not check for shingles if a direct hash has been found

[Fix] Avoid collisions in mempool variables by changing fuzzy caching logic

[Minor] Lpeg: Improve logging on type mismatch

[Minor] Explicitly convert things to strings

Issue: #3272

[Minor] Implement additional_address_bcc feature

Issue: #3242

[Minor] Allow lua maps to process opaque texts

Merge pull request #3273 from moisseev/milter-headers

[Minor] Make X-Rspamd-Server configurable

[Minor] Make X-Rspamd-Server configurable

[Minor] Fix strict config checks

[Minor] Throw away crappy stuff

[Fix] Fix smtp message on passthrough result

Issue: #3269

[Minor] Improve documentation

[Minor] Protect lpeg code against empty texts

[Minor] Add null method to rspamd_text for testing purposes

[Minor] Neural: Some default cfg improvements

[Minor] Deal with cte modifications

[Minor] Fix stupid email clients entities 'guessing'

[Minor] Fix boundary detection in emails checks

[Minor] One more trailing slash fix + tests

[Minor] Fix trailing slash normalisation

Merge pull request #3266 from citrin/publicsuffix

[Minor] Update public suffix list

[Minor] Update public suffix list

[Minor] Maps: Jitter HTTP maps load to get better chances of SSL caching

[Rework] Use internal ssl cache for client sessions

[Rework] Rework SSL caching

[Fix] Lua_mime: Do not perform QP encoding for 7bit parts

[CritFix] Fix parsing of the content type attributes

[Minor] Clickhouse: Allow comments in extra columns

[Feature] Clickhouse: Add extra columns support

[Project] Clickhouse: Add extra columns concept

Merge pull request #3265 from Lekensteyn/systemd-listen-fdnames

[Fix] Support listening on systemd sockets by name

Merge pull request #3264 from Lekensteyn/packaging-updates

Update packaging versions

[Fix] Support listening on systemd sockets by name

* Add support for looking up sockets by the systemd socket name, e.g.
  `systemd:rspamd-proxy.socket` or the name from `FileDescriptorName`.
  https://www.freedesktop.org/software/systemd/man/sd_listen_fds.html
* Replace EOVERFLOW error code to avoid confusing error messages.

Fixes: #2035

[Minor] use quilt for debian/source/format

* Match the build scripts and main Debian packaging.
* This allows for a separate debian/ directory in debian.tar.gz, see
  https://www.debian.org/doc/manuals/maint-guide/dother.en.html#sourcef

[Minor] debian/control: Update Vcs-Git URL and maintainer

* Let Vcs-Git point to a secure transport.
* Use Vsevolod's email address as maintainer to avoid having to patch
  this file in rspamd_build.sh. Mikhail is not the current maintainer of
  the Debian package anyway.

[Minor] Update Debian and RPM package versions

* Add script that can be used after tagging to update versions.
* Example (for this commit): `./set-version.sh 2.4`
* Clear Debian changelog, this information is not updated anyway.

[Minor] Fix compatibility with cdb://

[Minor] Fix daemonisation...

[Project] Unify cdb maps

[Project] CDB maps: Start making cdb a first class citizen

[Fix] Fix sentinel connections leak by using async connections

[Minor] Further logging improvements

[Minor] Add separate log module for lua redis

Merge pull request #3260 from d--j/patch-1

[Minor] add deprecated named HTML colors

[Minor] Allow nulls as string value + improve errors report when I'm here

[Minor] Split url and email regexps

[Minor] Fix some of the moved functions

[Minor] Fix length argument

[Minor] Fix stupid ansi format string

Merge pull request #3263 from spacefreak86/dmarc

[Minor] Fix parsing DMARC records containing upper-case letters

[Minor] Fix prototypes