[Fix] Erase unknown HTML entities

MFH: rspamd-1.6

[Minor] Filter NaN values when storing training data

[Conf] Disable fann_redis module by default

[Fix] Authentication Results: Fix SPF smtp.mail_from

 - MFH: rspamd-1.6

Merge pull request #1854 from moisseev/test

[Test] Add test for next-to-last double bad extension

[Test] Add test for next-to-last double bad extension

[Fix] Fix DKIM forgeries via multiple headers

MFH: rspamd-1.6
URL: http://noxxi.de/research/breaking-dkim-on-purpose-and-by-chance.html

[Feature] Implement headers flags in mime parser

MFH: rspamd-1.6

Merge pull request #1852 from moisseev/mime-types

[Feature] Catch next-to-last bad extension

[Feature] Catch next-to-last bad extension

e.g. .scr.xz

This technique is commonly used by spammers as xz and bzip2 strip out extension on decompression.
Also it catches xz and bzip2 compressed files with faked extensions like .scr.gz .scr.lzh .scr.uue.

[Minor] Skip non-needed attributes in 7z

[Minor] Fix utf16 conversion

[Feature] Finalize 7zip files support

[Minor] Add 7z files parsing

[Minor] Another useless 7zip section parser

[Minor] Further additions to 7zip parser

[Minor] More 7zip format support knobs

[Rework] Use floating point arithmetics in Rspamd expressions

[Fix] Deal with zero scores symbols

[Fix] Do not allow garbadge when checking url domain

[Minor] Silence warning

[Fix] Fix enormous scores for R_WHITE_ON_WHITE

MFH: 1.6

[Fix] Fix user settings check

Issue: #1835

[Fix] Milter headers: X-Spamd-Result header if X-Virus ran first

 - Fixes: #1851
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Milter headers: skip_local / skip_authenticated settings

 - Fixes: #1850
 - Reported by: @iflyhigh
 - MFH: rspamd-1.6

[Fix] Check for magic when checking for an archive

Issue: #1848
Closes: #1848
MFH: 1.6

[Minor] Update aho-corasic implementation

Merge pull request #1847 from fatalbanana/ar

[Minor] Insert Authentication-Results at top of headers

[Minor] Insert Authentication-Results at top of headers

[Feature] Allow to adjust symbols scores from Lua

[Minor] Try to deal with idempotent symbols processing

Issue: #1846

Merge pull request #1838 from fatalbanana/redisexpand

[Feature] Generic key name expansion for Redis keys

Merge pull request #1845 from moisseev/webui

[WebUI] Migrate widgets to D3 v4

[WebUI] Migrate widgets to D3 v4

[Fix] Fix loading of per-user redis backend for statistics

Issue: #1843
Closes: #1843

[Minor] Move DKIM signature after received

[Feature] Allow to insert headers into specific position

[Feature] More metatokens

[Feature] Add more text attributes

[Feature] Add more metafunctions, improve logging

[Minor] Support INSHEADER in the milter API

[Fix] Deal with URLs with no slashes after protocol

[Fix] Select the correct signature when doing simple canon

Issue: #1841
Closes: #1841
MFH: rspamd-1.6

[Minor] Update bundled zstd

[Minor] Avoid using alloca

[Feature] Generic key name expansion for Redis keys

[Minor] Silence warning

[Minor] Add preliminary 7z support

[Feature] Improve subprocesses termination handle

[Feature] Allow to specify number of threads for ANN learning

[Fix] Another try to fix threading in torch

[Fix] Kill spawned processes on termination

[Fix] Multiple fixes in torch based ANN plugins

- Fix ANNs load
- Fix disabling torch
- Remove normalisation as we have tanh on output

[Minor] Disable threaded mode in openblas by default

[Feature] Allow to disable torch and skip train samples for ANN

[Minor] Another try to fix brain-damaged torch build system

[Minor] Disable sse4.2 for torch...

[Minor] Fix some warnings

[Fix] Fix ANN checks

[Fix] Skip nostat tokens when get number of tokens

[Fix] Further fixes to ANN module

[Fix] Do not include idempotent/nostat symbols to checksum

[Fix] Various fixes to fann_redis instantiation

[Minor] Fix function call

[Minor] Improve tags lookup slightly

[Feature] Improve parsing of DKIM keys: parse algorithm

Merge pull request #1836 from realbugi/master

lua auth_results: authres header needs property for "policy". Make it as a comment for dmarc. Fixes some parsers.

lua auth_results: authres header needs property for "policy". Make it as a comment for dmarc. Fixes some parsers.

Signed-off-by: BuGi <bugi@aloneinthespace.cf>

[Test] Relax controller errors check

[Feature] Add preliminary ecdsa keys support in DKIM

[Feature] Support sha512 in DKIM signatures

[Minor] Use libicu to find uppercase letters

[Minor] Fix misprint

Merge remote-tracking branch 'origin/master'

[Minor] Improve logging in antivirus module

[Minor] Fix tests

[Feature] Authentication-Results: support hiding usernames

[Minor] Import updates from public suffix list

[Minor] Rebalance IP score coefficients

[Minor] Fix some lua issues

[Feature] Allow to load and use dynamic ANNs with torch

[Fix] Relax unicode properties requirements for chartable module

Merge pull request #1829 from fatalbanana/subject

Restore task:set_metric_subject() function

[Test] SPF PTR macro

[Fix] Do not cache SPF records with PTR elements

[Fix] Rewriting subjects via force actions module

[Minor] More efforts to handle SPF PTR properly

Revert "[Fix] Remove incorrect method `task:set_metric_subject`"

This reverts commit e809039a9e84cb6235a6447d1c9c8fc34ddcf8c6.

Revert "[Minor] Avoid usage of the incorrect API"

This reverts commit 7b207cf0f21f89f78f41ca15ef8c0bddfb5bc264.

[Fix] Fix PTR processing in SPF

Issue: #1828

[Fix] Rebalance and slightly rework MX check plugin

[Minor] Fix previous commit: avoid doing useless things

[Fix] Auth-Results: Multiple DKIM signatures

[Minor] Clarify RCVD_VIA_SMTP_AUTH description

 - Issue: #1825

[Minor] Zero structure before usage

[Minor] Avoid usage of the incorrect API

[Fix] Remove incorrect method `task:set_metric_subject`

[Test] Some tests for whitelist module

[Fix] Fix blacklists and DMARC in whitelist

Issue: #1824

[Minor] Add some extra debug to ip_score module