Merge pull request #2007 from fatalbanana/miltertest

Beginnings of tests for milter

Merge pull request #2006 from fatalbanana/tsxx

[Test] Try really improve test stability

[Test] Beginning of tests for milter

[Minor] Avoid letting miltertest crash rspamd_proxy

[Minor] Redis key expansion: handle HMSET

[Fix] Another try to deal with #1998

Issue: #1998

[Fix] Another try to fix #1998

Issue: #1998
MFH: rspamd-1.6

[Test] Try really improve test stability

 - Drop tests involving sqlite
 - Also drop tests for old mmap stats backend
 - Relax relearn test
 - Wait longer for fuzzy sync

[Minor] Fix latin languages detection

[Minor] Treat English as Tier0 language

[Fix] Fix comparision

Issue: #1998
MFH: rspamd-1.6

[Minor] Print ticks in language detection debug mode

[Minor] Further adjustments of coefficients

[Minor] Adjust heuristic coefficients

[Feature] Enhance task:store_in_file method

[Minor] Allocate larger config static pool

[Project] Improve weighting in lang_detection

[Project] Detect some languages based on unicode script

[Project] Add more flags to languages

[Project] Start rework of language detection to improve quality

[Feature] Allow to limit redirector requests per task

Revert "[Fix] Use decoded values when parsing mime addresses"

This reverts commit 352a465639b64e024e54e25b76d59e4e68b798b5.

[Fix] Fix sanity checks on macro value

Issue: #1998
MFH: rspamd-1.6

[Rework] Use frequencies distribution in language detector

[Minor] Fix previous commit

Merge pull request #1999 from philfry/fprot-parse

f-prot: match virus name non-greedily

f-prot: match virus name non-greedily

[Minor] Store occurencies numbers for languages

[Minor] Show more stats about ngramms

[Minor] Add lua_textpart:get_languages method

[Feature] Allow to enable/disable languages from the detector

Merge pull request #1989 from fatalbanana/1988

[Fix] Settings: header: deal with multiple settings (#1988)

[Minor] Delivered-to is not intended to be unique

[Project] Convert all C modules to fast debug infrastructure

[Project] Enable fast debug lookup for some modules

[Project] Use fast debug logging check

[Project] Add fast debug logging infrastructure

[Minor] Add constructors attribute detection

[Fix] Apply language detection when adding fuzzy hashes

[Fix] Another fix to lua xmlrpc

[Minor] Replies: toggles for processing of local/authenticated mail

[Minor] CHECK_FROM rule: avoid indexing of nil

[Minor] Fix xmlrpc state machine

[Minor] Add debugging for xmlrpc module

[Fix] Fix upstream addrs updating

[Fix] Plug memory leak

[Fix] Settings: header: deal with multiple settings (#1988)

[Project] Rework language detection ngramms structure

[Minor] Improve language detection debug logging

[Minor] Another adjustment to lang_detection

[Fix] DKIM signing: allow for auth_only to be false

[Minor] Reputation: deal with inbound/outbound both set

[Minor] Lowercase ucs data

[Fix] Do not crash if no words defined

[Fix] Use n_words attribute from ngramms

[Minor] Improve trigramms switch

[Fix] Various improvements in language detection

[Project] Preliminary version of ngramms based language detector

[Project] Implement logic of ngramms application

[Project] Add detection logic for words

[Project] Add ngramms frequencies detector

[Project] Add random words selection logic

[Project] Remove old language detector

[Rework] Improve readability of xmlrpc API

[Minor] Start arrays support in xmlrpc output

[Minor] Fix redis_make_request usages

[Minor] Remove redundant methods

[Fix] Metadata exporter: check IP sanity

[Minor] Do not propagate command name to error output

Issue: #1979

[Fix] Fix autolearn parameters reading

Issue: #1980
Closes: #1980

[Fix] Sanitize IP in history redis

Merge pull request #1982 from fatalbanana/1981

[Fix] Settings: avoid checking invalid IP (#1981)

[Fix] Settings: avoid checking invalid IP (#1981)

[Minor] Improve clock accuracy on osx

[Minor] Refrain from readdir_r usage

[Minor] Fix format string issues

[Fix] Fix null callee case in clang plugin

[Test] Try improve test stability

[Minor] Honor string length in logger

[Minor] Remove unused macros

[Minor] Reduce log noise

[Fix] Add definition for old glib compatibility method

Issue: #1956, #1978

[Feature] Add timeout to rspamc when doing corpus test

[Minor] Fix spelling

[Feature] Multimap: template URL filter

[Fix] Map absence is not an error

[Minor] Ignore case for imap/lmtp

[Project] Add unigramms to language detection as well

[Project] Initialize language detector

[Project] Enable language detector init in scanner workers

[Fix] Remove hop-by-hop headers in proxy

Issue: #1973

Merge pull request #1972 from moisseev/rspamd_stats

[Minor] rspamd_stats: Add progress indicator

[Project] Add n-gramms data files

[Project] Start language detection project

[Minor] Check gtube in larger messages

[Minor] rspamd_stats: Add progress indicator

[Fix] Fix a lot of FP in chartable in mixed languages

We now only count number of potential latin letters aliases instead of
dealing with individual unicode scripts.

[Fix] Replace space like characters in headers with plain space

[Feature] Add more gtube like patterns to test other spam actions

[Fix] Fix clickhouse exporter