[Minor] Add more filtering for ngramm chains

[Minor] Remove local minor languages

[Minor] Use ngramm chains structure

[Minor] Various tweaks towards improvements in language detection

[Minor] Apply more aggressive filtering

[Project] Further improvements to language detector

[Feature] Try to detect HTML messages better

Merge pull request #2008 from smfreegard/rules_20180130

Add REPLYTO_EQ_TO_ADDR rule

[Fix] Fix reload crash when hyperscan is enabled

Merge pull request #2009 from mamash/master

Fix endian and flock support on (some) SunOS platforms

[CritFix] Fix ARC chain verification

MFH: rspamd-1.6

Provide optional fcntl support for flock-less platforms like earlier SunOS.

Workaround for older/traditional SunOS platforms where endian.h is not present.

[Feature] Further improvements in language detection

Merge pull request #2002 from macgeneral/master

[Fix] Virus infection string for F-PROT Antivirus

[Feature] Further improvements in language detection algorithm

[WebUI] Restore passwordless login support (#2003)

Merge pull request #2007 from fatalbanana/miltertest

Beginnings of tests for milter

Merge pull request #2006 from fatalbanana/tsxx

[Test] Try really improve test stability

Add REPLYTO_EQ_TO_ADDR rule

[Test] Beginning of tests for milter

[Minor] Avoid letting miltertest crash rspamd_proxy

[Minor] Redis key expansion: handle HMSET

[Fix] Another try to deal with #1998

Issue: #1998

[Fix] Another try to fix #1998

Issue: #1998
MFH: rspamd-1.6

[Test] Try really improve test stability

 - Drop tests involving sqlite
 - Also drop tests for old mmap stats backend
 - Relax relearn test
 - Wait longer for fuzzy sync

[Fix] F-PROT Antivirus: only check return code to determine infection

F-PROT Antivirus uses return codes 1-3 (infected, suspicious, both) to signal an infection, while 4-255 are various error codes (including infected files were found before the error occured, but it's too complicated to handle all that edge case scenarios).

[Minor] Fix latin languages detection

[Minor] Treat English as Tier0 language

[Fix] Fix comparision

Issue: #1998
MFH: rspamd-1.6

[Minor] Print ticks in language detection debug mode

[Fix] F-PROT Antivirus infection string for all known occurences

both <infected: ...> and <contains infected object: ...> are possible

Merge branch 'master' of github.com:macgeneral/rspamd

[Fix] Virus infection string for F-PROT Antivirus

Fixes the error "(rspamd_proxy) ; lua; antivirus.lua:396: Unhandled response: 1 <contains infected objects: VIRUSNAME>" and therefore no handled detection

[Fix] Virus infetction string for F-PROT Antivirus

Fixes the error "(rspamd_proxy) ; lua; antivirus.lua:396: Unhandled response: 1 <contains infected objects: VIRUSNAME>" and therefore no handled detection

[Minor] Further adjustments of coefficients

[Minor] Adjust heuristic coefficients

[Feature] Enhance task:store_in_file method

[Minor] Allocate larger config static pool

[Project] Improve weighting in lang_detection

[Project] Detect some languages based on unicode script

[Project] Add more flags to languages

[Project] Start rework of language detection to improve quality

[Feature] Allow to limit redirector requests per task

Revert "[Fix] Use decoded values when parsing mime addresses"

This reverts commit 352a465639b64e024e54e25b76d59e4e68b798b5.

[Fix] Fix sanity checks on macro value

Issue: #1998
MFH: rspamd-1.6

[Rework] Use frequencies distribution in language detector

[Minor] Fix previous commit

Merge pull request #1999 from philfry/fprot-parse

f-prot: match virus name non-greedily

f-prot: match virus name non-greedily

[Minor] Store occurencies numbers for languages

[Minor] Show more stats about ngramms

[Minor] Add lua_textpart:get_languages method

[Feature] Allow to enable/disable languages from the detector

Merge pull request #1989 from fatalbanana/1988

[Fix] Settings: header: deal with multiple settings (#1988)

[Minor] Delivered-to is not intended to be unique

[Project] Convert all C modules to fast debug infrastructure

[Project] Enable fast debug lookup for some modules

[Project] Use fast debug logging check

[Project] Add fast debug logging infrastructure

[Minor] Add constructors attribute detection

[Fix] Apply language detection when adding fuzzy hashes

[Fix] Another fix to lua xmlrpc

[Minor] Replies: toggles for processing of local/authenticated mail

[Minor] CHECK_FROM rule: avoid indexing of nil

[Minor] Fix xmlrpc state machine

[Minor] Add debugging for xmlrpc module

[Fix] Fix upstream addrs updating

[Fix] Plug memory leak

[Fix] Settings: header: deal with multiple settings (#1988)

[Project] Rework language detection ngramms structure

[Minor] Improve language detection debug logging

[Minor] Another adjustment to lang_detection

[Fix] DKIM signing: allow for auth_only to be false

[Minor] Reputation: deal with inbound/outbound both set

[Minor] Lowercase ucs data

[Fix] Do not crash if no words defined

[Fix] Use n_words attribute from ngramms

[Minor] Improve trigramms switch

[Fix] Various improvements in language detection

[Project] Preliminary version of ngramms based language detector

[Project] Implement logic of ngramms application

[Project] Add detection logic for words

[Project] Add ngramms frequencies detector

[Project] Add random words selection logic

[Project] Remove old language detector

[Rework] Improve readability of xmlrpc API

[Minor] Start arrays support in xmlrpc output

[Minor] Fix redis_make_request usages

[Minor] Remove redundant methods

[Fix] Metadata exporter: check IP sanity

[Minor] Do not propagate command name to error output

Issue: #1979

[Fix] Fix autolearn parameters reading

Issue: #1980
Closes: #1980

[Fix] Sanitize IP in history redis

Merge pull request #1982 from fatalbanana/1981

[Fix] Settings: avoid checking invalid IP (#1981)

[Fix] Settings: avoid checking invalid IP (#1981)

[Minor] Improve clock accuracy on osx

[Minor] Refrain from readdir_r usage

[Minor] Fix format string issues

[Fix] Fix null callee case in clang plugin