Merge pull request #2559 from negram/arg-check-fix

[Minor] Fixed argument check

[Minor] Fix evals maths

[Minor] Fixed argument check

ev_base should be passed into lua_http.request(). It comes either from task or explicitly

[Minor] Fix DNS packet writing to avoid alignment issues

[Minor] Pet luacheck

[Fix] Allow to call fstring append with NULL string

[Minor] Unify check_auth/check_local options

Merge pull request #2557 from HeinleinSupport/master

[Fix] ip_score - respect check_authed and check_local settings

[Test] Fix reload test

[Minor] Fix field name -> names

[Fix] ip_score - respect check_authed and check_local settings from config

[Test] Fix and extend whitelist tests

[Test] Add more test messages

[Test] Add more fake domains

[Rework] Rework and fix whitelist plugin

[Fix] Fix watchers issue in lua_tcp when doing no resolving

Issue: #2546

Merge pull request #2551 from moisseev/eslint

[WebUI] Change symbols order without updating history

[Minor] Add missing globals to luacheck

Merge pull request #2552 from negram/fix-redis-connect

[Minor] Fixed sync redis connection with default arguments in rspamadm

[Minor] Fixed sync redis connection with default arguments in rspamadm

[WebUI] Change symbols order without updating history

[Minor] Backport fix from libucl

[Conf] Use new dmarc whitelist

[Minor] Fix scoring for the blacklist rules

[Minor] Fix blacklist option in whitelist rules

[Test] Fix AV tests

[Fix] Fix groups mess

[Fix] Fix groups mess

[Minor] Be aware of `groups` in lua_squeeze

[Minor] Allow dedicated groups registration

[Minor] Fix symbol registration

[Minor] Fix hash invocation

[Minor] Allow to generate tokens by names

[Minor] Rework structure of metafunctions

[Conf] Specify whitelist symbols group

[Feature] Extend whitelisting options

Merge pull request #2549 from smfreegard/master

Fix args in corpus_test

Fix args in corpus_test

Merge pull request #2544 from heraklit256/composites-cleanup

Fix description for composite rule RBL_SPAMHAUS_XBL_ANY

Merge pull request #2547 from HeinleinSupport/CHANGE-dcc

Change dcc / antivirus plugins

[Fix] Plug memory leak in language detector (affects reloads)

[Fix] Try to fix watchers chaining

[Minor] Improve error message

[Minor] DCC - add workaround for old host and port settings

[Minor] Increase log severity

[Minor] Fix dns errors reporting

[Fix] DCC - luacheck

Merge pull request #2548 from moisseev/eslint

[WebUI] History: add sorting by symbol score value

[WebUI] History: add sorting by symbol score value

[Minor] Antivirus - Sophos config and loggins

[Minor] Antivirus - workaround for removed attachments_only

Merge pull request #2540 from negram/dns-sync-rspamadm

Dns sync rspamadm

Fix description for composite rule RBL_SPAMHAUS_XBL_ANY

Merge pull request #5 from rspamd/master

merge upstream into local master

[Fix] Fix resolving in DMARC reports

Issue: #2538

Merge pull request #2539 from negram/close-file

[Minor] Close file once it is not needed

[Test] fixed config path

[Test] Fixed undefined variable usage

[Test] Add output logging

[Test] Added test for dns request from rspamadm

[Minor] init DNS resolver in rspamdadm

[Minor] added taskless mode for sync dns request

[Minor] Fix taskless resolver invocation

[Minor] Fix macro

[Minor] Close file once it is not needed

Merge pull request #2535 from negram/on_load-3rd-param

rOn load 3rd param

[Minor] Remove asserts on bad maps data, add line number tracking

[Project] Add clustering logic

[Project] Add Redis logic to the clustering module

[Project] Start clustering plugin work

[Minor] Antivirus - configureable mime_part scanning

[Minor] Antivirus - rework upstream usage

[Minor] actually name

[Minor] Updated doc: rspamd_config:add_on_load() has 3rd parameter

[Minor] DCC Upstreams support

Merge pull request #2533 from negram/attach-workspace

[Minor] pass coverage data across jobs

[Minor] pass coverage data across jobs

Merge pull request #2531 from negram/merge-c-and-lua

[Minor] merge lua and C coverage results

Merge pull request #2530 from moisseev/patch-1

[Minor] Remove UNPRECISE_RCPT_DETAIL_FROM_SPAMMY

[Minor] merge lua anc C coverage results

[Minor] Remove UNPRECISE_RCPT_DETAIL_FROM_SPAMMY

Merge pull request #2529 from negram/coverage-after-builds

[Minor] collect coverage when all tests are over

[Minor] Notify coveralls when build is over

[CritFix] Increase default words_decay

[Minor] collect coverage when all tests are over

[CritFix] Fix words decay one more time (affects long messages)

[Minor] Add Lua coverage collection for unit-tests (#2528)

* [Minor] Add Lua coverage collection for unit-tests

* [Minor] add coverage collection to CircleCI

* [Minor] split into two lines

* [Minor] sudo

* [Minor] fixed nonsense

* [Minor] Fix functional test

[Minor] Milter headers is actually idempotent filter only

Merge pull request #2527 from moisseev/phishtank

[Conf] Restore ability to disable phishtank

[Conf] Restore ability to disable phishtank

[Minor] Don't disable symbols twice

[Minor] Delete unused

Merge pull request #2525 from negram/luacheckrc-ignore-git

[Minor] Whatever lies in .git, it should not be processed by luacheck

[Minor] Whatever lies in .git, it should not be processed by luacheck

Merge pull request #2524 from negram/make-sockent-non-blocking-first

[Minor] Make socket non-blocking before connect()

[Minor] "blocking mode" indeed should be set later

[Minor] Make socket non-blocking before connect()

    Otherwise, in the case of error, socket may become invalid
    and we will get an incorrect error, i.e. "setsockopt(TCP_NODELAY): Invalid argument"
    instead of "Connection refused"

[Minor] Update to 1.8.1

Release 1.8.0

* [Feature] Add arguments schemas to processors and extractors
* [Feature] Add functional selectors library
* [Feature] Add generic selector to reputation module
* [Feature] Add more ratelimits: by digest, by attachments data, by filenames
* [Feature] Add preliminary stop words detection support
* [Feature] Add pure Lua debugm function
* [Feature] Add schema validation for Redis settings
* [Feature] Add selectors combine function
* [Feature] Add some recursion protection to lua logger
* [Feature] Add support for Lua API tracing
* [Feature] Allow to apply schema to arguments
* [Feature] Allow to get dkim signing data directly from HTTP headers
* [Feature] Allow to reuse existing authentication results
* [Feature] Cache selectors results in re runtime
* [Feature] Implement new text tokenizer based on libicu
* [Feature] Integrate selectors framework to multimap
* [Feature] Relax FORGED_RECIPIENTS
* [Feature] Support (almost) all html entities
* [Feature] Support adding and deletion of recipients in the milter block
* [Feature] Support gathering HTTP body from fragments in lua_http
* [Feature] Support multi flag in regexp and glob maps
* [Feature] Support selectors in ratelimit module
* [Feature] Support selectors in settings
* [Feature] Use khash in HTML parser
* [Feature] Use pure Lua debugm function
* [Fix] Add fail-safety for destroying sessions
* [Fix] Allow to add result-less fake DNS records
* [Fix] Another try to fix race conditions on config unload
* [Fix] Call Lua callback on DNS timeouts
* [Fix] Deprecate task:inc_dns_req as it is redundant
* [Fix] Do not allow events deletions on cleanup
* [Fix] Do not try to process skipped messages
* [Fix] Fix HTTP requests with no body
* [Fix] Fix another cleanup race condition
* [Fix] Fix bug in processing of pcre regexps
* [Fix] Fix byte array allocation in the pool
* [Fix] Fix crashes on task cleanup
* [Fix] Fix dynamic buckets in ratelimits
* [Fix] Fix endless loop when waiting for Rspamd to stop
* [Fix] Fix lua_util.str_split in case of delimiters set
* [Fix] Fix more issues with watching of async events
* [Fix] Fix stop words detection and loading logic
* [Fix] Fix various corner cases for language detection
* [Fix] Fix watchers in lua_tcp
* [Fix] Fix words decay algorithm
* [Fix] Implement watchers replacement to handle nested calls
* [Fix] Save faked code into fake dns record
* [Fix] Show the proper frame when using lua_util.debugm
* [Fix] Use fake dns records in tests
* [Fix] Use unicode replacements for HTML entities
* [Fix] fixed "cannot find dependency on symbol 1" issue when using replaced symbols in spamassassin rules
* [Fix] partition_id is not available in old versions of CH
* [Project] Add implicit conversion logic to selectors
* [Project] Add initial support for selectors in regexps
* [Project] Add method concept
* [Project] Further changes in unicode operations
* [Project] Implement Clickhouse migrations
* [Project] Implement implicit conversions to userdata
* [Project] Implement insert method
* [Project] Implement selectors registration for regular expressions
* [Project] Implement selectors support in re_cache
* [Project] Improve language detector: cleanup unused files, categorize
* [Project] Migrate CH data to a fat table
* [Project] Rework selectors logic
* [Project] Start Clickhouse utilities library
* [Project] Start unicode rework
* [Project] coroutine threaded model for API calls: thread pool
* [Rework] Move phishtank to a DNS based service
* [Rework] Rework Clickhouse plugin to use the new API
* [Rework] Rework language detector
* [Rework] Rework utf content processing in text parts
* [WebUI] Add progress bar for AJAX requests
* [WebUI] Avoid errors table reinitialization
* [WebUI] Avoid history table reinitialization
* [WebUI] Avoid throughput summary table reinitialization
* [WebUI] Destroy summary table on disconnect
* [WebUI] Fix "auth" request URL
* [WebUI] Fix disabling and hiding controls on page reload
* [WebUI] Fix maps loading from neighbours
* [WebUI] Fix symbols sorting by score
* [WebUI] Fix tables destroying
* [WebUI] Fix throughput data consolidation
* [WebUI] Fix upload buttons disabling
* [WebUI] Notify user on module loading failure
* [WebUI] Update FooTable 3.1.4 -> 3.1.6

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Another try to load RSA key from base64