Merge pull request #2825 from moisseev/webui

[WebUI] Update Throughput summary values dynamically

[WebUI] Show grayed out pie

when throughput percentage is undefined

[Fix] Rework cached Redis logic to avoid sentinels breaking

Issue: #2796

[WebUI] Update Throughput summary values dynamically

instead of reloading table rows

[Minor] Fix stupid torch that uses `print` for logging

[Fix] Neural: Fix training

Issue: #2793

[Minor] Lua_util: Add lupa.filters.pbkdf

[Minor] Lua_cryptobox: Add pbkdf() method

Merge pull request #2822 from HeinleinSupport/lua_scanners

Lua scanners - some fixes

[Minor] lua_scanners - enable spamassassin

[Minor] lua_scanners - improve fail debugging

[Minor] Preserve line endings when templating

[Minor] Lua_task: Fix doc strings

[Feature] Preprocess config files using jinja templates

[Minor] Add older glib compat

[Minor] Pass variables from the environment to rspamd_env

[Minor] Fix oletools typo

Merge pull request #2813 from miecio45/add_lua_mixed_script

[Minor] Add util.if_utf_mixed_script to lua

[Minor] Rewrite is_utf_mixed_script to use libicu only

Rewrite to use U8_NEXT

[Feature] Add `rspamadm template` command

[Minor] Lua_util: Add jinja2 related functions

[Minor] Unify `--var` argument for rspamd and rspamadm

[Rework] Change lua global variables registration

[Minor] Apply all matching special handlers

[Minor] Allow unconditional special handlers

[Minor] Add lua-lupa library for Jinja2 templates

[Minor] Fix alien userdata printing

[Minor] Fix line length in DMARC reports

Issue: #2820
Closes: #2820

[Minor] Enable stale bot in GitHub

[Minor] Replies: Fix the case when we cannot find hash in Redis

[Minor] Fix the case when filename is empty for an image

Issue: #2818
Closes: #2818

Merge pull request #2817 from moisseev/headers

[Minor] Header regexps: Add Postbox User-Agent

[Fix] Fix priority for regexp symbols registriation

[Minor] Header regexps: Add Postbox User-Agent

[Minor] Fix flags on virtual symbols

[Minor] Print virtual deps

[Minor] Fix postfilters squeezing issue

[Fix] Core: Fix squeezed dependencies handling for virtual symbols

[Minor] Another fix of leaked password scam rule

[Minor] Mime_types: Add additional ct for .exe

[Feature] Mime_types: When no extension defined, detect it by content

[Feature] Mime_types: Implement user configurable extension filters

Issue: #2799

[Fix] Clickhouse: Fix table schema upload

[Minor] Clickhouse: Implement schema addtions

[Minor] Add nostat flag to failure symbol

[Minor] SURBL: Add failure symbols

Issue: #2801

[Minor] RBL: Add fail symbols

Issue: #2801

Merge pull request #2807 from HeinleinSupport/master

[Minor] clustering.lua - fix typos

[Minor] Add util.if_utf_mixed_script to lua

Add new function which implements PoC for chekcing
mixed script in utf string. Behaviour is similar
to single string spoof detection in libicu before
version 58

[Fix] Finally fix default parameters parsing in actions section

[Fix] Try to fix double signing in the milter

Issue: #2810

[Fix] Fix ES sending logic (restore from coroutines mess)

Issue: #2808
Closes: #2808

[Feature] Treat all tags with HREF as a potential hyperlinks

[Feature] Allow to add messages from settings

[Minor] Fix formatting issue

[Minor] Slight logging improvements

[Minor] Add rspamd_conditional_debug_fast to format checks

[Minor] Fix format string

[Minor] Preserve debug logging when running `rspamadm -v`

[Minor] Print limit values on start of the worker

[Minor] Properly print byte suffixes when humanizing

[Minor] Sigh, another try to fix coroutines errors

[Feature] Validate BTC addresses in LEAKED_PASSWORD_SCAM

[Minor] Fix coroutine based error handling in lua http

[Minor] Improve setrlimit logging

[Minor] clustering.lua - fix typos

[Minor] Fix format string

[Feature] Check limits after being set, migrate to uint64

[Fix] Fix finishing script for clickhouse collection

[Fix] Add crash safety for HTTP async routines

Merge pull request #2788 from miecio45/lua_string_utils

[Minor] Add some lua string utils

[Minor] Fix misprint

Merge branch 'master' into lua_string_utils

[Minor] Fix leaks and hash usage for is_utf_outside_range

Fix memory leaks on checker errors and fix hash usage to
use proper hash/compare functions

[Feature] Greylist: Allow to disable greylisting depending on symbols

[Minor] Sigh, another oops

[Minor] Another 'oops'

[Conf] Add vendor groups for symbols

Issue: #2803

[Minor] Oops, fix build

[Feature] Replies: Filter replies sender to limit whitelisting to direct messages

[Minor] Add task:get_reply_sender method

[Project] Drop HTTPS proxies as they are too intrusive to implement

Issue: #572

[Project] Add support of HTTP proxy in requests

Issue: #572

[Minor] Simplify host element handling in HTTP message

[Project] More rework for HTTP proxy support

[Project] Preliminary support of HTTP proxies

Issue: #572

[Minor] Fix performance issue with is_utf_outside_range

Fix performace issue, add some checking and add few tests

[Rework] Another iteration of HTTP interfaces rework

[Minor] Sigh, another r<->x

[Minor] Fix set_reply signature

[Minor] Fix rspamc headers parsing

[Minor] Fix buid with no PVS

[Fix] Fix various issues found by PVS Studio

https://www.viva64.com/

[Minor] Oops, exclude from `all` target

[Minor] Attach PVS analyze target

[Minor] Add some lua string utils

* Add util for detecting if selected string contains only characters
  from specyfic UTF range
* Add util for counting number of digits and letters in string

[Fix] SURBL: Fix regression in surbl module

[Minor] Update version to 1.9.1

Release 1.9.0

* [Conf] Add missing includes
* [Conf] Move to options
* [Conf] Rbl: DWL is actually special whitelist
* [Conf] Relax some uribl rules
* [Conf] Remove abuse.ch
* [CritFix] Html: Entities are not valid within tag params values
* [Feature] Add `rspamadm mime sign` tool
* [Feature] Add configgraph utility
* [Feature] Add dedicated ZW spaces detection for URLs
* [Feature] Add flag to url object when visible part is url_like
* [Feature] Add method task:lookup_words
* [Feature] Add pyzor support (by crosenberg)
* [Feature] Allow to add upstream watchers to Lua API
* [Feature] Allow to set rewrite subject pattern from settings
* [Feature] Better escaping of unicode
* [Feature] Clickhouse: Allow to store subject in Clickhouse
* [Feature] Core: Add QP encoding utility
* [Feature] Core: Add libmagic detection for all parts
* [Feature] Core: Add support for gzip archives
* [Feature] Core: Allow to construct scan tasks from raw data
* [Feature] Core: Detect charset in archived files
* [Feature] Core: Ignore and mark invisible spaces
* [Feature] Core: Normalise zero-width spaces in urls
* [Feature] Core: Process data urls for images
* [Feature] Core: Relax quoted-printable encoding
* [Feature] Core: Support RFC2231 encoding in headers
* [Feature] Core: Support telephone URLs
* [Feature] Core: allow to emit soft reject on task timeout
* [Feature] DCC: Add bulkness and reputation checks to dcc
* [Feature] Elastic: Modernize plugin
* [Feature] Export visible part of url to lua
* [Feature] Fuzzy_storage: add preliminary support of rate limits
* [Feature] HTML: Specially treat data urls in HTML
* [Feature] Implement event watchers for upstreams
* [Feature] Implement includes tracing in Lua
* [Feature] Improve dkim part in configwizard
* [Feature] Lua_scanners: Add VadeSecure engine support
* [Feature] Lua_task: Add flexible method to get specific urls
* [Feature] Mime_types: Add MIME_BAD_UNICODE rule
* [Feature] Mime_types: Use detected content type as well
* [Feature] Plugins: Add preliminary version of the external services plugin
* [Feature] Query sentinel on master errors
* [Feature] Regexp: Allow local lua functions in Rspamd regexp module
* [Feature] Rspamadm: Allow to append footers to plain messages
* [Feature] Rspamadm: Allow to rewrite headers in messages
* [Feature] Selectors: Add `ipmask` processor
* [Feature] Settings: Allow hostname match
* [Feature] Settings: Allow local when selecting settings
* [Feature] Settings: Allow multiple selectors
* [Feature] Settings: Allow to inverse conditions
* [Feature] Support User-Agent in HTTP requests
* [Feature] Support ed25519 dkim keys generation
* [Feature] Try to filter bad unicode types during normalisation
* [Feature] external_services - oletools (olefy) support
* [Feature] lua_scanners - icap protocol support
* [Feature] lua_scanners - spamassassin spam scanner
* [Fix] Add filter for absurdic URLs
* [Fix] Add some more cases for Received header
* [Fix] Allow to disable/enable composite symbols
* [Fix] Arc: Use a separated list of headers for arc signing
* [Fix] Archive: Final fixes for 7z archives
* [Fix] Clickhouse: Fix database usage
* [Fix] Controller: Make save stats timer persistent
* [Fix] Core: Detect encrypted rarv5 archives
* [Fix] Core: Don't detect language twice
* [Fix] Core: Fix address rotation bug
* [Fix] Core: Fix content calculations for message parts
* [Fix] Core: Fix emails comments parsing and other issues
* [Fix] Core: Fix etags support
* [Fix] Core: Fix headers folding on the last token
* [Fix] Core: Fix iso-8859-16 encoding
* [Fix] Core: Fix log_urls flag (and encrypted logging)
* [Fix] Core: Fix part length when dealing with boundaries
* [Fix] Core: Fix parts distance calculations
* [Fix] Core: Fix processing of NDNs of certain type
* [Fix] Core: Implement logic to find some bad characters in URLs
* [Fix] Core: treat nodes with ttl properly in lru cache
* [Fix] Fix Content-Type parsing
* [Fix] Fix HTTP headers signing case
* [Fix] Fix control interface
* [Fix] Fix deletion of the duplicate headers
* [Fix] Fix emails filtering in emails module
* [Fix] Fix greylisting log message and logic
* [Fix] Fix issues with storing of the accepted addr in rspamd control
* [Fix] Fix maps object update race condition
* [Fix] Fix memor leaks and whitespace processing
* [Fix] Fix processing of null bytes in headers
* [Fix] Fix rcpt_mime and from_mime in user settings
* [Fix] Fix rfc2047 decoding for CD headers
* [Fix] Fix rfc2231 for Content-Disposition header
* [Fix] Fix setting of the subject pattern in config
* [Fix] Greylist: fix records checking
* [Fix] HTML: Another HTML comments exception fix
* [Fix] HTML: Another entities decoding logic fix
* [Fix] HTML: Fix HTML comments with many dashes
* [Fix] HTML: Fix entities in HTML attributes
* [Fix] HTML: Fix some more SGML tags issues
* [Fix] Ignore whitespaces at the end of value in DKIM records
* [Fix] MID module: Fix DKIM domain matching
* [Fix] Milter_headers: Fix remove_upstream_spam_flag and modernise config
* [Fix] Mime_parser: Fix issue with parsing of the trailing garbadge
* [Fix] Mime_parser: Fix parsing of mime parts without closing boundary
* [Fix] Multimap: Fix operating with userdata
* [Fix] Process orphaned `symbols` section
* [Fix] Rdns: Fix multiple replies in fake replies
* [Fix] Rework groups scores definitions
* [Fix] Set proper element when reading data from Sentinel
* [Fix] Set rspamd user to initialise supplementary groups on reload
* [Fix] Settings: Fix selectors usage
* [Fix] Sort data received from Sentinel to avoid constant replacing
* [Fix] groups.conf - filename typo
* [Fix] lua_scanner - oletools typos, logging
* [Fix] lua_scanners - actions and symbol_fail
* [Fix] lua_scanners - fix luacheck
* [Fix] lua_scanners - kaspersky - response with fname
* [Fix] lua_scanners - savapi redis prefix
* [Fix] tests - antivirus - fprot symbols
* [Project] Add concept of flexible actions
* [Project] Add heuristical from parser to received parser
* [Project] Add new flags to clickhouse, redis and elastic exporters
* [Project] Attach new received parser
* [Project] Fallback to callbacks from coroutines
* [Project] Implement keep-alive support in lua_http
* [Project] Lua_udp: Implement fully functional client
* [Project] Plug keepalive knobs into http connection handling
* [Project] Rspamadm: Add `modify` tool
* [Rework] Convert rspamd-server to a shared library
* [Rework] Dcc: Rework DCC plugin
* [Rework] Enable explicit coroutines symbols
* [Rework] Rework telephone urls parsing logic
* [Rework] Rewrite RBL module
* [Rework] Settings: Rework settings check
* [Rework] Slashing: Distinguish lualibdir, pluginsdir and sharedir
* [Rework] Unify task_timeout
* [Rework] Use VEX instructions in assembly, relocate
* [WebUI] Notify user if uploaded data was not learned
* [WebUI] Remove redundant condition

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Fix docs