Merge pull request #4 from rspamd/master

Merge rspamd/rspamd into heraklit256/rspamd

[Minor] Check language detector prior to usage

[Minor] Do not use too recent additions to libicu

Merge pull request #2468 from negram/fix-symbol-registering

[Minor] Fixed symbol registering in antivirus module - parent is expe…

Merge pull request #2464 from negram/fix-fatal-log

[Minor] Add newline on fatal log, removed extra info

[Fix] Fix stop words detection and loading logic

[Minor] Use JSON escapes for UTF8

[Feature] Add preliminary stop words detection support

[Minor] Fixed symbol registering in antivirus module - parent is expected to be double

For some reasons, it is affecting rarely. Related tests are failing one out of 10 times

[Minor] Add stop words

[Rework] Rework language detector

[Minor] Properly set flag on text tokens

[Minor] Fix types

[Minor] More fixes to languages, remove hebrew languages

[Minor] Remove mono script languages

[Minor] Further fixes in tokenization algorithm

[Feature] Implement new text tokenizer based on libicu

[Minor] Add UText wrapper for stripped content

Merge pull request #2463 from negram/misprint

[Minor] Misprint

Merge pull request #2466 from negram/check-for-segfault

[Test] Added check if there was no segfault during the test run

[Test] Added check if there was no segfault during the test run

[Minor] Add signing symbols to the corresponding groups

[Minor] Add newline on fatal log, removed extra info

[Minor] Load urls before breaking text into words

[Minor] Misprint

[Minor] Sigh, fix non-empty parts this time

[Minor] Fix processing of empty parts

[Rework] Rework utf content processing in text parts

- Store unicode in UTF parts
- Store unicode for HTML parts
- Rename struct fields and split them into unicode/utf components

Merge pull request #2451 from negram/coroutines-tcp

Coroutines tcp

[Minor] timeout in seconds everywhere (as documentation says)

[Minor] Add descriptions to the selectors

[Minor] Add methods to display selectors lists

[Minor] Fix unsigned clockid_t case

Merge pull request #2458 from moisseev/eslint

[Test] Disable warning

[Test] Disable warning

as `u` flag is not supported in ES5

Merge pull request #2457 from negram/hs-worker-fix

[Minor] Fixed HyperScan worker build

[Minor] Fixed HyperScan worker build

[Minor] function -> method

[Minor] Review fixes

Merge pull request #2456 from moisseev/eslint

[WebUI] Add progress bar for AJAX requests

[WebUI] Add progress bar for AJAX requests

Merge pull request #2454 from moisseev/eslint

[WebUI] Fix tables destroying

[WebUI] Fix tables destroying

It seems there is a bug in Footable.
FooTable doesn't remove the table body if the table was initialized without contents.

[WebUI] Destroy summary table on disconnect

[Minor] Fixed class naming

[Test] Read the whole response from dummy http

Merge branch 'master' into coroutines-tcp

Merge pull request #2450 from negram/log-should-not-be-tied-to-config

[Minor] Log should not depend on config

Merge pull request #2449 from negram/fix-cbref-check

[Minor] cbref is initialised with -1 by default

[Minor] test

[Test] Test for TCP library

[Minor] Added coroutines support for TCP library

[Minor] Log should not depend on config

When config is being closed, some destructors could be called, and that dtors could write into log. Hence, it is better to terminate config and only then close log. And log should not refer disposed config

[Minor] cbref is initilised with -1 by default

[Minor] Fix byte array allocation

Merge pull request #2446 from heraklit256/extended-dnswl-scores

also trigger DNSWL score rule in case mails are properly ARC signed

Merge pull request #2447 from moisseev/patch-1

[Conf] Fix whitelist.conf

[Conf] Fix whitelist.conf

Reported by @bjo81 via Telegram group

Merge pull request #2445 from heraklit256/rbl_groupname

adjust Spamhaus group name for received IPs

Merge pull request #2444 from moisseev/eslint

[WebUI] Avoid history table reinitialization

[Minor] Use loop to destroy graphs and tables

also trigger DNSWL score rule in case mails are properly ARC signed

[Minor] Destroy symbols table on disconnect

adjust Spamhaus group name for received IPs

[WebUI] Avoid errors table reinitialization

[WebUI] Avoid history table reinitialization

[Minor] Support ucontext on osx

[Minor] Improve virtual ticks obtaining methods

Merge pull request #2442 from negram/more-check-parameters

[Minor] check if required parameters are set when calling tcp:request()

[Minor] Really remove stupid warnings

[Project] Improve language detector: cleanup unused files, categorize

[Minor] check if required parameters are set when calling tcp:request()

[Minor] Fix setting utf raw content

[Test] Remove legacy tokenizer tests

Merge pull request #2441 from negram/coroutines-to-finish-periodic-onload

Coroutines to finish/periodic/onload

[Minor] no to misleading comments

[Test] Use new routines in test, just for test (manual one) :)

[Test] More test cases for ClickHouse

[Minor] Reworked clickhouse routines using new API

[Minor] call periodic, finish and on_load via coroutine

[Minor] Split lua_thread_pool_get on lua_thread_pool_get_for_task/lua_thread_pool_get_for_config

Merge pull request #2439 from negram/parameters-check

[Minor] Parameters check: either config or task should be set

[Project] Further changes in unicode operations

* Normalise unicode
* Add normality flag for text parts
* Store UCS in text parts
* Rework unicode conversions and operations

[Minor] Parameters check: either config or task should be set

[Project] Start unicode rework

[Minor] Fix misprint

[Minor] Implement better support of indexes in adding of headers

[Minor] Store full order of headers in milter mode

Merge pull request #2438 from negram/add-coroutine-to-http

Add coroutine to http

[Test] More test cases for HTTP API

[Minor] Added coroutine support to HTTP module

[Feature] Support adding and deletion of recipients in the milter block

[Test] Improved process termination in tests

[Test] Added test for HTTP API

[Minor] Move resume/yield methods into appropriate place

[Minor] Add id selector transform function

[Minor] Allow to disable learn cache

Merge pull request #2434 from moisseev/eslint

[WebUI] Avoid throughput summary table reinitialization

[Minor] Improve charset detection logic

[WebUI] Avoid throughput summary table reinitialization

on data update