[Fix] Settings: header: deal with multiple settings (#1988)

[Project] Rework language detection ngramms structure

[Minor] Improve language detection debug logging

[Minor] Another adjustment to lang_detection

[Fix] DKIM signing: allow for auth_only to be false

[Minor] Reputation: deal with inbound/outbound both set

[Minor] Lowercase ucs data

[Fix] Do not crash if no words defined

[Fix] Use n_words attribute from ngramms

[Minor] Improve trigramms switch

[Fix] Various improvements in language detection

[Project] Preliminary version of ngramms based language detector

[Project] Implement logic of ngramms application

[Project] Add detection logic for words

[Project] Add ngramms frequencies detector

[Project] Add random words selection logic

[Project] Remove old language detector

[Rework] Improve readability of xmlrpc API

[Minor] Start arrays support in xmlrpc output

[Minor] Fix redis_make_request usages

[Minor] Remove redundant methods

[Fix] Metadata exporter: check IP sanity

[Minor] Do not propagate command name to error output

Issue: #1979

[Fix] Fix autolearn parameters reading

Issue: #1980
Closes: #1980

[Fix] Sanitize IP in history redis

Merge pull request #1982 from fatalbanana/1981

[Fix] Settings: avoid checking invalid IP (#1981)

[Fix] Settings: avoid checking invalid IP (#1981)

[Minor] Improve clock accuracy on osx

[Minor] Refrain from readdir_r usage

[Minor] Fix format string issues

[Fix] Fix null callee case in clang plugin

[Test] Try improve test stability

[Minor] Honor string length in logger

[Minor] Remove unused macros

[Minor] Reduce log noise

[Fix] Add definition for old glib compatibility method

Issue: #1956, #1978

[Feature] Add timeout to rspamc when doing corpus test

[Minor] Fix spelling

[Feature] Multimap: template URL filter

[Fix] Map absence is not an error

[Minor] Ignore case for imap/lmtp

[Project] Add unigramms to language detection as well

[Project] Initialize language detector

[Project] Enable language detector init in scanner workers

[Fix] Remove hop-by-hop headers in proxy

Issue: #1973

Merge pull request #1972 from moisseev/rspamd_stats

[Minor] rspamd_stats: Add progress indicator

[Project] Add n-gramms data files

[Project] Start language detection project

[Minor] Check gtube in larger messages

[Minor] rspamd_stats: Add progress indicator

[Fix] Fix a lot of FP in chartable in mixed languages

We now only count number of potential latin letters aliases instead of
dealing with individual unicode scripts.

[Fix] Replace space like characters in headers with plain space

[Feature] Add more gtube like patterns to test other spam actions

[Fix] Fix clickhouse exporter

[Minor] Allow to print IP and port from Lua...

[Minor] Deal with broken params encoded in quotes

Issue: #1969 (partially)

Merge pull request #1971 from moisseev/patch-1

[Minor] Add MID regex for taxi.yandex.ru

Merge pull request #1970 from croessner/mh

[Minor] Add missing tabs for X-Spam-Result header

[Minor] Add MID regex for taxi.yandex.ru

[Minor] Add missing tabs for X-Spam-Result header

[Feature] Add 'composites' debug module

[Minor] Store composite expression in composite structure

[Minor] Couple of minor fixes

[Fix] Do not expose spamtrap messages to SMTP reply

Issue: #1964

[Fix] RBL: received: deal with missing data (#1965)

Merge pull request #1884 from shlomif/correct-typos

Correct typos

Change to a more formal verb.

According to ##English "sports" is valid, but too idiomatic and
non-formal.

Merge pull request #1962 from fatalbanana/rbl_rcvd

[Feature] RBL: received: filtering by position & flags

Merge pull request #1953 from AlexeySa/patch-6

[Minor] Reduce score MICROSOFT_SPAM

[Minor] Luacheck conformance

[Minor] Rework fann_redis to use redis scripts framework

[Minor] Fix taskfull scripts reload

[Feature] Add framework to manage Redis scripts

[Minor] Allow to get all upstreams from the list in Lua

[Minor] Set pointer to NULL after usage to avoid confusion

[Minor] Add some sanity checks when doing simple canonicalization

[Fix] Handle proxy copy errors

[Minor] Add some tags limit to avoid HTML parser DoS

[CritFix] Add sanity guards for badly broken HTML

Merge pull request #1961 from fatalbanana/url_paren

[Fix] Deal with URLs wrapped in [] in text parts

[Feature] Setup DKIM signing from configwizard

[Fix] Write configuration changes as UCL config

[Feature] RBL: received: filtering by position & flags

 - Also filter artificial header always

[Fix] Multimap: received: filtering of artificial header

[Fix] Deal with URLs wrapped in [] in text parts

[Fix] WebUI: use relative path for savemap (#1943)

[Fix] Setting check_local / check_authed in plugins (#1954)

[Minor] Reformat and fix minor style issues in rescore

[Minor] Reduce score MICROSOFT_SPAM

Many false positive

[Feature] Allow to generate DKIM keys from rspamadm API

[Minor] Do not free empty error

[Minor] Avoid double scheduling for maps

[Minor] Use jemalloc hinting to select the appropriate pool size

[Fix] Optimize rspamd_fstring_t reallocations

[Minor] Reduce default history_redisy rows

[Feature] Support etag for HTTP maps

Merge pull request #1950 from moisseev/mime_types

[Fix] mime_types: fix next-to-last extension length check

Merge pull request #1951 from fatalbanana/exim_rcvd

Fix Exim Received header protocol parsing

[Test] Redis key expansion & antivirus ordered patterns

[Test] Multimap received header flags