Merge pull request #2882 from spacefreak86/dynamic_scan

[Major] lua_scanners - fix dynamic scan

[Major] lua_scanners - fix dynamic scan

[Fix] Deny URLs where hostname is bogus

[Minor] Fix OOB access

[Minor] Unbreak generic luajit build

[Minor] Add shrinking failsafety

[Minor] Wipe memory in rspamadm

[Fix] Switch to GMT

[Minor] Propagate images size to html linked images

[Minor] Don't add User-Agent in HTTP replies

[Minor] Fix vault path

[Project] Implement keys rotation in the vault

Merge pull request #2878 from HeinleinSupport/dynamic_scan

[Feature] lua_scanners: Implement dynamic scan

Merge branch 'dynamic_scan' of github.com:HeinleinSupport/rspamd into dynamic_scan

[Minor] lua_scanners - try dynamic scan

[Project] Improve keys creation in rspamadm vault

[Conf] Add IP_SCORE_FREEMAIL composite rule

[Project] Improve dkim keys generation for vault

[Minor] Distinguish vault usage

[Minor] Improve lua logging escaping

[Minor] Some more additions to least actions processing logic

[Minor] Some fixes in least passthrough results processing

[Fix] Set dmarc force action as least action

[Feature] Add least passthrough results

[Minor] Fix vault URL

[Fix] HTML: Fix `size` attribute processing

[Fix] Fix use after free

Issue: #2867
Closes: #2867

[Project] More logic in vault command

[Project] Add initial version of the vault management tool

[Feature] Add cryptobox method to generate dkim keypairs

[Fix] Avoid buffer overflow when printing long lua strings

[Minor] Move rspamd_text to a sepatate unit

[Minor] Add wipe flag for rspamd_text lua object

[Minor] Log the exact address queried on monitored errors

[Minor] Increase monitored errors level

[Fix] Fix buffer overflow when printing small floats

[Fix] Fix UCL parsing of the multiline strings

[Minor] Merge OOM fixes from libucl

[Minor] Do not use `get_symbol` to check existance

[Fix] Fix init code for servers keypairs cache

[Fix] Fix processing of the ip urls in file

[Minor] Sigh, misprint

[Minor] Fix old openssl support

[Minor] Fix build

[Minor] Improve IUF interface in cryptobox_hash

[Feature] Add fast hashes to lua cryptobox hash

[Feature] Implement IUF interface for specific fast hashes

[Feature] Lua_util: Allow to obfuscate different fields

[Minor] Clickhouse: Send rows exactly when limit is reached

[Fix] Fix issue with urls with no tld (e.g. IP)

[Minor] Add support of validity checks in the vault

[Minor] Remove unused require

[Minor] Oops, fix module name passing

[Project] Add vault support for dkim and arc signing

[Project] Preliminary vault support for DKIM signing

[Minor] Unify redis signing in ARC

[Minor] Unify settings checks

[Minor] Dkim_signing: Unify redis signing routines

[Minor] Add more fields to the DMARC reports

Issue: #2847

Merge pull request #2864 from moisseev/webui

[Minor] Remove duplicate CSS selector

[Minor] Remove duplicate CSS selector

Merge pull request #2863 from moisseev/webui

[Minor] Remove unused CSS selectors

[Minor] Remove unused CSS selectors

[Fix] Clickhouse: Do not store digest as it is not needed now

[Fix] Fix mixed case content type processing

[Minor] Fix migration

[Test] Sigh, fucking python

[Test] What the hell is going on

[Test] Fix clickhouse tests

[Fix] Clickhouse: Support custom actions

Issue: #2861

Merge pull request #2860 from moisseev/mime-types

[Minor] Add "iso" to bad_extensions

[Minor] Add "iso" to bad_extensions

[Minor] Emails: Lowercase all emails before check

Issue: #2857
Closes: #2857

[Fix] Hum, it seems that 99ff1c8 was not correct

Merge pull request #2855 from moisseev/mime-types

[Minor] Avoid comparing string with boolean

Merge pull request #2854 from logingood/master

[Minor] Fuzzy upstream error threshold config

[Minor] Avoid comparing string with boolean

when CT is not found

[Minor] Fuzzy upstream error threshold config

It would be nice to be able to configure `max_errors` and `revive_time`
for fuzzy check module for low traffic systems.

When traffic volume is relatively low an error rate builds at very slow
rate and it would take a while to reach default 40% threshold. At the
same time waiting for 60s sometimes could be unreasonable for dynamic
environments to re-resolve rspamd fuzzy storage.

[Minor] Update version to 1.9.3

Release 1.9.2

* [Conf] Allow to load users plugins from plugins.d
* [Conf] oversign openpgp and autocrypt headers
* [Feature] Add SPF FFI library for Lua
* [Feature] Add more verbosity for SPF caching
* [Feature] Antivirus: Handle encrypted files specially
* [Feature] Clickhouse: Slashing - add new fields to CH
* [Feature] Dkim_signing: Add OpenDKIM like signing_table and key_table
* [Feature] Dkim_signing: Allow to use new options as maps
* [Feature] Import fpconv library
* [Feature] Lua_maps: Allow static regexp and glob maps
* [Feature] Parse ical files
* [Feature] Rspamadm: Add dns_tool utility
* [Feature] Store SPF records digests
* [Feature] Use fpconv girsu2 implementation for printing floats
* [Fix] Clickhouse: Use integer seconds when inserting rows
* [Fix] Fix floating point printing
* [Fix] Fix processing of embedded urls
* [Fix] Lua_clickhouse: Fix CH errors processing
* [Fix] Make spf digest stable
* [Fix] Properly detect encrypted files in zip archives
* [Fix] Slashing: Store times in GMT timezone in ClickHouse
* [Rules] Add additional conditions to perform BTC checks
* [Rules] Fix pay-to-hash addresses validation

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Conf] Allow to load users plugins from plugins.d

Issue: #2848

[Minor] Another misprint...

[Minor] Fix another misprint

[Minor] Fix misprint

[Minor] Oops, fix logic

[Fix] Fix floating point printing

Revert "[Minor] Joins cleanup"

This reverts commit f803de985a63f31321f3f4fcbed656b692d7d756.

[Minor] Allow to add additional paths to plugins

Issue: #2848

Merge pull request #2852 from spacefreak86/mime_types

[Minor] Improve mime_types plugin

Merge pull request #2851 from heraklit256/gnupg-oversign

[Conf] oversign openpgp and autocrypt headers

Merge pull request #2850 from heraklit256/rule-descr-cleanup

[Minor] unify rule scores and weights and improve descriptions

[Test] Fix CH migration tests

[Minor] mime_types: use higher weighted MIME type
if detected MIME type differs from Content-Type header

[Test] Fix schema version

[Minor] Oops, fix misprint

[Feature] Clickhouse: Slashing - add new fields to CH

* IsSpf
* MimeRecipients
* MessageId
* ScanTimeReal
* ScanTimeVirtual
* SMTPFrom - alias
* SMTPRcpt - alias
* MIMEFrom - alias
* MIMERcpt - alias

Added new values to DKIM/DMARC checks to indicate different failures.

[Fix] Clickhouse: Use integer seconds when inserting rows

[Minor] Remove exceptions search

[Conf] oversign openpgp and autocrypt headers

Merge pull request #12 from rspamd/master

merge upstream into local master