Merge pull request #1106 from fatalbanana/tests

[Test] Enable Redis shingles test

[Test] Enable Redis shingles test

[Minor] More fixes for new openssl

[Fix] Really fix redis shingles check

[Fix] Fix extraction of shingles from redis fuzzy storage

[Fix] Fix false sharing for symbols in the cache

[Feature] Allow conditions for pre and postfilters

[Rework] Add redis storage feature to fann_redis

[Rework] Add extract training data function to fann_redis

[Minor] One more fix for bloody openssl

[Minor] Add workaround for old debian

[Minor] Remove not very portable FANN_TRAIN_SARPROP

[Fix] Remove some incompatible functions

[Minor] Fix tests build

[Fix] Fix build with the recent OpenSSL

Merge pull request #1102 from moisseev/patch-2

[Minor] Fix typo

Merge pull request #1103 from moisseev/patch-3

[Minor] Add missing `fun` module local reference

Merge pull request #1105 from fatalbanana/z

[Minor] Remove default message_func from greylist plugin

Merge remote-tracking branch 'origin/master'

[Minor] Remove default message_func from greylist plugin

[Rework] Restore old fann_scores, move common parts

Merge pull request #1104 from moisseev/patch-4

[Minor] Update MID list

[Minor] Add another missing `fun` module local reference

[Minor] Update MID list

[Minor] Add missing `fun` module local reference

[Minor] Fix typo

Merge pull request #1100 from fatalbanana/g

[Minor] Axe a few more globals

[Minor] Remove more globals

Merge pull request #1098 from fatalbanana/t

[Test] Add tests for Redis fuzzy backend and fix fuzzy fuzzy test

Merge pull request #1099 from fatalbanana/m

[Minor] Use single reference time in fuzzy_convert utility

[Rework] Add preliminary train tests

[Rework] Implement loading/invalidating

[Feature] Implement FANN threaded learning

[Feature] Add extended version for fann creation function

[Minor] Init resolver in log helper

[Rework] First reiteration on fann scores

[Minor] Store ev_base for log_helper callbacks

[Feature] Move fann_classifier to a separate plugin

[Minor] Name composite in a proper way

[Test] Add tests for Redis fuzzy backend and fix fuzzy fuzzy test

[Minor] Use single reference time in fuzzy_convert utility

Merge pull request #1094 from moisseev/fonts

[WebUI] Add missing fonts

Merge pull request #1097 from fatalbanana/g

[Minor] Kill a few more globals

Merge pull request #1096 from fatalbanana/fuzzy_convert

[Feature] Utility to convert fuzzy storage from sqlite to redis

[Minor] Kill a few more globals

[Feature] Utility to convert fuzzy storage from sqlite to redis

[WebUI] Add missing fonts

[WebUI] Improve visual representation of symbols table

[WebUI] Add missing elements

[WebUI] Use local versions of css and js

[Feature] Support new messages in rspamc

[Rework] Make rspamd protocol messages useful

Each message is now represented by a string and category, so messages in
metric is an UCL object of the following format:

{
  "category": "string"
}

The significant category is `smtp_message` which should be used by
rmilter to send a custom SMTP reply to a client.

[Feature] Allow custom functions for ratelimits

[Feature] Allow to have a function to set custom greylist message

Merge pull request #1091 from fatalbanana/e

[Minor] Tidy graphite_config function in metric exporter

[Minor] Tidy graphite_config function in metric exporter

 - Also fix statefile-less configuration

Merge pull request #1088 from fatalbanana/l

[Fix] Fix 'decoded' value in task:get_header_full()

[Fix] Fix 'decoded' value in task:get_header_full()

[CritFix] Fix chunked encoding when reading messages

[WebUI] Use safer fonts

[Feature] Track visibility of HTML elements

[Minor] Reduce default redis_pool timeout to 10 seconds

Merge pull request #1085 from fatalbanana/exporter

[Minor] Set default value for metric exporter statefile

Merge pull request #1084 from fatalbanana/lua

[Minor] Get rid of some global variables

Merge pull request #1083 from moisseev/phishing

[Minor] phishing: rework map checks

[Feature] Consider more tags when doing WHITE_ON_WHITE rule

[Minor] Add special class for html debug messages

[Minor] Span is not an inline tag

[Feature] Allow to iterate over multiple tags

[Minor] Set default value for metric exporter statefile

[Feature] Add frequency and time display to webui

[Minor] Do not save config changes indefinitely

[Minor] Fix for dynamic conf in redis

[WebUI] More fixes to symbols config

[Minor] Get rid of some global variables

 - Also fix some bugs along the way

[Minor] Fix some issues in dynamic_conf

[WebUI] Further rework of symbols scores

[WebUI] Rework symbols scores

[Minor] phishing: rework map checks

- organize map checks into a function
- use as symbol option actually matched domain name part (eSLD or hostname)

[CritFix] Do not sometimes try to exec posfilters before classification

[CritFix] Fix workers scripts by sharing workers configs

[Minor] Use local and compressed phishtank mirror

[Minor] Allow '\' in dmarc records

Merge pull request #1082 from fatalbanana/exporter

[Minor] Improve metric exporter scheduling mechanism

[CritFix] Introduce raw content to text parts

Previously we had the following types of text content:

- `orig`: MIME *decoded* content
- `content`: same as `orig` but converted to utf8 and without HTML tags
- `stripped`: same as `content` but without newlines

Now we add `raw`:

- `raw`: raw mime content as it was in an original message

This also fixes R_BAD_CTE_7BIT rule

[Rework] Rework parsing of DMARC records

[Fix] Fix caching and compressed maps

[Minor] Use .zst as possible compressed extension

[Feature] Support compressed maps

[Minor] Improve metric exporter scheduling mechanism

[Fix] Fix statconvert tool

[Minor] Fix issue with metric-less symbols

Merge pull request #1079 from fatalbanana/docs

[Minor] Document some lua_tcp request parameters

Merge pull request #1078 from fatalbanana/monitoring

[Feature] Preliminary version of metric exporter module

Merge pull request #1077 from AlexeySa/patch-6

[Minor] Add var for premature greylisting

Merge pull request #1076 from AlexeySa/patch-5

[Minor] Greylist first message with invalid MX

[Minor] Document some lua_tcp request parameters

[Feature] Preliminary version of metric exporter module

Another way for  greylist "MX_INVALID" message

[Minor] Add var for premature greylisting