Merge pull request #2535 from negram/on_load-3rd-param

rOn load 3rd param

[Minor] Remove asserts on bad maps data, add line number tracking

[Project] Add clustering logic

[Project] Add Redis logic to the clustering module

[Project] Start clustering plugin work

[Minor] actually name

[Minor] Updated doc: rspamd_config:add_on_load() has 3rd parameter

Merge pull request #2533 from negram/attach-workspace

[Minor] pass coverage data across jobs

[Minor] pass coverage data across jobs

Merge pull request #2531 from negram/merge-c-and-lua

[Minor] merge lua and C coverage results

Merge pull request #2530 from moisseev/patch-1

[Minor] Remove UNPRECISE_RCPT_DETAIL_FROM_SPAMMY

[Minor] merge lua anc C coverage results

[Minor] Remove UNPRECISE_RCPT_DETAIL_FROM_SPAMMY

Merge pull request #2529 from negram/coverage-after-builds

[Minor] collect coverage when all tests are over

[Minor] Notify coveralls when build is over

[CritFix] Increase default words_decay

[Minor] collect coverage when all tests are over

[CritFix] Fix words decay one more time (affects long messages)

[Minor] Add Lua coverage collection for unit-tests (#2528)

* [Minor] Add Lua coverage collection for unit-tests

* [Minor] add coverage collection to CircleCI

* [Minor] split into two lines

* [Minor] sudo

* [Minor] fixed nonsense

* [Minor] Fix functional test

[Minor] Milter headers is actually idempotent filter only

Merge pull request #2527 from moisseev/phishtank

[Conf] Restore ability to disable phishtank

[Conf] Restore ability to disable phishtank

[Minor] Don't disable symbols twice

[Minor] Delete unused

Merge pull request #2525 from negram/luacheckrc-ignore-git

[Minor] Whatever lies in .git, it should not be processed by luacheck

[Minor] Whatever lies in .git, it should not be processed by luacheck

Merge pull request #2524 from negram/make-sockent-non-blocking-first

[Minor] Make socket non-blocking before connect()

[Minor] "blocking mode" indeed should be set later

[Minor] Make socket non-blocking before connect()

    Otherwise, in the case of error, socket may become invalid
    and we will get an incorrect error, i.e. "setsockopt(TCP_NODELAY): Invalid argument"
    instead of "Connection refused"

[Minor] Update to 1.8.1

Release 1.8.0

* [Feature] Add arguments schemas to processors and extractors
* [Feature] Add functional selectors library
* [Feature] Add generic selector to reputation module
* [Feature] Add more ratelimits: by digest, by attachments data, by filenames
* [Feature] Add preliminary stop words detection support
* [Feature] Add pure Lua debugm function
* [Feature] Add schema validation for Redis settings
* [Feature] Add selectors combine function
* [Feature] Add some recursion protection to lua logger
* [Feature] Add support for Lua API tracing
* [Feature] Allow to apply schema to arguments
* [Feature] Allow to get dkim signing data directly from HTTP headers
* [Feature] Allow to reuse existing authentication results
* [Feature] Cache selectors results in re runtime
* [Feature] Implement new text tokenizer based on libicu
* [Feature] Integrate selectors framework to multimap
* [Feature] Relax FORGED_RECIPIENTS
* [Feature] Support (almost) all html entities
* [Feature] Support adding and deletion of recipients in the milter block
* [Feature] Support gathering HTTP body from fragments in lua_http
* [Feature] Support multi flag in regexp and glob maps
* [Feature] Support selectors in ratelimit module
* [Feature] Support selectors in settings
* [Feature] Use khash in HTML parser
* [Feature] Use pure Lua debugm function
* [Fix] Add fail-safety for destroying sessions
* [Fix] Allow to add result-less fake DNS records
* [Fix] Another try to fix race conditions on config unload
* [Fix] Call Lua callback on DNS timeouts
* [Fix] Deprecate task:inc_dns_req as it is redundant
* [Fix] Do not allow events deletions on cleanup
* [Fix] Do not try to process skipped messages
* [Fix] Fix HTTP requests with no body
* [Fix] Fix another cleanup race condition
* [Fix] Fix bug in processing of pcre regexps
* [Fix] Fix byte array allocation in the pool
* [Fix] Fix crashes on task cleanup
* [Fix] Fix dynamic buckets in ratelimits
* [Fix] Fix endless loop when waiting for Rspamd to stop
* [Fix] Fix lua_util.str_split in case of delimiters set
* [Fix] Fix more issues with watching of async events
* [Fix] Fix stop words detection and loading logic
* [Fix] Fix various corner cases for language detection
* [Fix] Fix watchers in lua_tcp
* [Fix] Fix words decay algorithm
* [Fix] Implement watchers replacement to handle nested calls
* [Fix] Save faked code into fake dns record
* [Fix] Show the proper frame when using lua_util.debugm
* [Fix] Use fake dns records in tests
* [Fix] Use unicode replacements for HTML entities
* [Fix] fixed "cannot find dependency on symbol 1" issue when using replaced symbols in spamassassin rules
* [Fix] partition_id is not available in old versions of CH
* [Project] Add implicit conversion logic to selectors
* [Project] Add initial support for selectors in regexps
* [Project] Add method concept
* [Project] Further changes in unicode operations
* [Project] Implement Clickhouse migrations
* [Project] Implement implicit conversions to userdata
* [Project] Implement insert method
* [Project] Implement selectors registration for regular expressions
* [Project] Implement selectors support in re_cache
* [Project] Improve language detector: cleanup unused files, categorize
* [Project] Migrate CH data to a fat table
* [Project] Rework selectors logic
* [Project] Start Clickhouse utilities library
* [Project] Start unicode rework
* [Project] coroutine threaded model for API calls: thread pool
* [Rework] Move phishtank to a DNS based service
* [Rework] Rework Clickhouse plugin to use the new API
* [Rework] Rework language detector
* [Rework] Rework utf content processing in text parts
* [WebUI] Add progress bar for AJAX requests
* [WebUI] Avoid errors table reinitialization
* [WebUI] Avoid history table reinitialization
* [WebUI] Avoid throughput summary table reinitialization
* [WebUI] Destroy summary table on disconnect
* [WebUI] Fix "auth" request URL
* [WebUI] Fix disabling and hiding controls on page reload
* [WebUI] Fix maps loading from neighbours
* [WebUI] Fix symbols sorting by score
* [WebUI] Fix tables destroying
* [WebUI] Fix throughput data consolidation
* [WebUI] Fix upload buttons disabling
* [WebUI] Notify user on module loading failure
* [WebUI] Update FooTable 3.1.4 -> 3.1.6

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Another try to load RSA key from base64

Merge pull request #2522 from negram/selector-test

[Test] Final cases for selectors - register_* and functional for regexps

[Test] Actually the functional test

[Test] Final cases for selectors - register_* and functional for regexps

[Minor] Fix load of the rsa key from base64

[Minor] Fix rawkey loading in arc module

[Feature] Allow to reuse existing authentication results

[Minor] More changes to the arc signing logic

[Minor] Further corrections of the headers position

[Minor] Same with DKIM-Signature, place it at 2-nd pos

[Minor] The first header should be Received indeed

[Minor] Fix order of header when adding ARC information

[Minor] Fix options in dkim checks

Merge pull request #2521 from jpbede/custom-dmarc-from

[dmarc report] custom from address name

make dmarc report from address custom

[Minor] Fix test cases

[Minor] Fix groups registration

[Minor] Fix dkim signing from HTTP headers

[Minor] Check selectors result for nil

[Feature] Support selectors in settings

[Minor] Fix selectors usage in multimap

[Minor] Ops, reverse scoring logic

[Conf] Enable phishtank DNS lookups by default, fix module

[Conf] Add maximum group score for phishing

Merge pull request #2519 from moisseev/eslint

[WebUI] Fix upload buttons disabling

[WebUI] Fix upload buttons disabling

[Minor] Correct width

[Minor] Try to fix logo

[Minor] Add logo

[Minor] Fix links

[Minor] Reference rspamd.com repo

[Minor] Add authors and contributors document

[Minor] Proper license format

[Minor] Reduce README size

Revert "[Test] Check selector before processing"

This reverts commit baceaa985ebbb23ae7d26a2050f50bfd9544b85c.

[Test] Check selector before processing

[Minor] Fix optional arguments

[Feature] Add arguments schemas to processors and extractors

[Minor] Apply transform

[Feature] Allow to apply schema to arguments

[Minor] Improve tostring method for MAILTO urls

[Minor] Remove broken processors

[Test] Enable some ESLint rules

Merge pull request #2518 from negram/more-test-cases

[Test] More test cases for selectors

[Test] More test cases for selectors

Also added negative cases (i.e. it doesn't work when it shouldn't) and combinations of selectors

Merge pull request #2517 from negram/selector-user-defined-order

[Minor] Order selector values how user placed them in the config

[Minor] Unused variable

[Minor] tbl append -> rawset()

[Minor] Order selector valus how user placed them in the config

[Fix] Fix lua_util.str_split in case of delimiters set

Merge pull request #2516 from andy-igoshin/master

support for non-TLD domains

Merge pull request #2515 from negram/log-error-selector

[Minor] Add more info into error record

[Minor] do not mix %1 and %s

Merge pull request #2514 from negram/selector-error-check

Selector error check

support for non-TLD domains

[Minor] Add more info into error record

[Minor] Return nil if unknown processor was used

[Minor] Return nil if a random string used as selector

Merge pull request #2512 from moisseev/eslint

[WebUI] Fix throughput data consolidation

Merge pull request #2513 from negram/unit-test-improvements

Unit test improvements

[Test] Small fixes on diff renderer

[Test] Use init_url() frim the new helper

[Test] Added test helper module

[Minor] Use .forEach instead of .map

as we only need to iterate

[WebUI] Fix throughput data consolidation

Merge pull request #2510 from negram/more-test

[Test] more tests

Merge pull request #2511 from negram/table-diff

[Test] Nicely print table difference when they do not match

[Test] Nicely print table difference when they do not match

[Test] more tests