[Project] Fix Lua DNS code

[Project] Further cleanup from the watchers

[Project] Kill async watchers as they are way too complex

[Project] Add logic of the async events counter

[Project] Implement counter for async events in symcache item

[Project] Rework symbols processing logic

[Project] Pass cache item to the callback functions

Fix coverage (#2603)

* Add utility to prepare C coverage for upload to coveralls.io

It turned out that it is more easy to write own script then debug
and fix coveralls utility (https://github.com/eddyxu/cpp-coveralls).

gcov-coveralls.py can be used as a replacement for coveralls.

* Save coverage data from .gcda files only once

Coverage data in .gcda files is merged after each binary invocation,
so we can run all test and then gather coverage data.

If we dump them two times execution counts will be more then they be.

* Switch from coveralls (cpp-coveralls) to own script

Problem with coveralls was, that coverage for source files outside build
directory was not added to the report.

* Add tool to dump info from json for coveralls.io

* Add debug

* Fix: don't die if there is no service_job_id in json

* Debug

* Fix dump_coveralls.py

* Rename to gcov_coveralls.py (s/-/_/)

For most files in this repo '_' is used as separator.

* Don't add source code to coveralls JSON

According to https://docs.coveralls.io/api-introduction
Coverals don't need source code, only MD5 digest to tracks changes.

Anyway source code is already added by luacov-coveralls and source_digest
is added by cpp-coveralls and gcov_coveralls.py
Both options seems to work for now.

* Provide path to source directory to merge_coveralls.py

merge_coveralls.py has code to filter files and remove prefixes.
When --root points to source directory merge_coveralls.py can strip
prefix from absolute path in JSONs generated by luacov-coveralls.

* Style

Don't add parameters with default values.

* Make --output optional

It useful mainly for debugging. We can send report without saving it.

* Log CI_COMMIT_AUTHOR env var

It is not clear from drone.io source how CI_COMMIT_AUTHOR variable is
set. Log it to see what it means.

* Move merge_coveralls.py to test/tools

This script is used not only for funcional test coverage, but for
rspamd-test coverage too.

* Remove debug

* Style

Use more compact formatting.

* Write comment about parallel tests running [SKIP CI]

Document why running tests in parallel may be bad idea (but still do so).

* Fix typo [SKIP CI]

[Fix] Don't perform forged recipients check for missing recipients

[Minor] Improve SSL connection error message

[Minor] Include file name when parsing config

Merge pull request #2602 from moisseev/tidyall

[Minor] Fix rspamd_stats so it passes Perl::Critic tests

Merge pull request #2601 from citrin/perl-tidyall

Add tidyall checks for perl code

[Minor] Fix rspamd_stats so it passes Perl::Critic tests

Fix: tidyall expects to find .tidyallrc in --root-dir

Add tidyall checks for perl code

Based on analagous check added to CircleCI:
https://github.com/rspamd/rspamd/commit/9ace1e0519bda09def77746c22ce952824074980

Merge pull request #2566 from heraklit256/composites-leave

Minor Composite rule cleanup

Merge pull request #2599 from moisseev/tidyall

 [Test] Add TidyAll checks

[Minor] Reformat Pod documents

lower score for PHISH_EMOTION to 1.0

lower score for HAS_ANON_DOMAIN to 0.1

[Fix] Treat normal password as enable password if there is no enable password

[Minor] Reformat more Perl scripts

[Test] Add TidyAll checks

Merge pull request #2598 from moisseev/tidyall

[Minor] Reformat Perl scripts

[Minor] Reformat Perl scripts

Merge pull request #2597 from citrin/tests-kill-race-fix

Tests kill race fix

Merge pull request #2596 from citrin/run-gdb-on-core-dump

Run gdb on core dump

Indent shell command for readability

Improve comment

[Minor] Update version to 1.8.2

Release 1.8.1

* [CritFix] Fix options insertion
* [CritFix] Fix words decay one more time (affects long messages)
* [CritFix] Increase default words_decay
* [CritFix] Plug memory leak in redis pool
* [Feature] Add `check_violation` feature to DKIM/ARC signing
* [Feature] Add only unique elements to Clickhouse url arrays
* [Feature] Allow `g+:` and `g-:` composite atoms
* [Feature] Allow dkim domains check in surbl
* [Feature] Allow maps with HTTP auth
* [Feature] Allow to disable actions by users settings
* [Feature] Extend whitelisting options
* [Feature] Store url object in images
* [Feature] Use verdict instead of the plain action in plugins
* [Fix] Allow to call fstring append with NULL string
* [Fix] DCC - luacheck
* [Fix] Do not load torch on each rspamadm invocation
* [Fix] Fix boundaries detection and rework stop words algorithm
* [Fix] Fix dependencies for DNS_SIGNED symbol
* [Fix] Fix errors when dealing with dynamic rates/bursts in Ratelimit
* [Fix] Fix groups mess
* [Fix] Fix groups mess
* [Fix] Fix parsing address with comments
* [Fix] Fix resolving in DMARC reports
* [Fix] Fix various issues with parsing of the received headers
* [Fix] Fix watchers issue in lua_tcp when doing no resolving
* [Fix] Plug memory leak in language detector (affects reloads)
* [Fix] Remove one letter stop words
* [Fix] Slashing: backport chunk logic from libucl
* [Fix] Stop libevent from using cached time in rspamadm
* [Fix] Try to fix watchers chaining
* [Fix] Various fixes in redis sync interface
* [Fix] ip_score - respect check_authed and check_local settings from config
* [Project] Rework passthrough actions
* [Project] Clustering module
* [Rework] Always create result for a task
* [Rework] Completely rewrite DMARC checks logic
* [Rework] Rework and fix whitelist plugin
* [WebUI] Add symbols sorting buttons
* [WebUI] Change symbols order without updating history
* [WebUI] Colorize symbols
* [WebUI] Do not display password form when secure_ip is set
* [WebUI] Fix symbol description tooltips display
* [WebUI] History: add sorting by symbol score value

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Set limit to allow core dump writing

Run gdb if rspamd-test dumped core

[Test] Try to fix test segfault

Cleanup unused imports

[functional test] Fix races in shutdown_process

Currently functional test sometimes fails with and error:
Teardown failed: NoSuchProcess: psutil.NoSuchProcess process no longer exists (pid=2259)

Rewrite process termination - there is no need to send signals in a loop
many times.

[Minor] Fix test build with lua >= 5.3

[Minor] Fix build

[Minor] Improve crash logging

Merge pull request #2595 from citrin/coveralls

Add git repo info to coveralls payload

[Fix] Fix various issues with parsing of the received headers

[Minor] Add log_usec option to the default config as an example

[Minor] Try to use a faster timer if available

[Minor] Another log invocation fixed

[Minor] Fix logger invocation

Add git repo info to coveralls payload

Again other implementations were used as reference, because API is not
fully documented.

[Conf] Extend BAD_POLICIES composite

[Minor] Some fixes towards epsilon comparison

[Minor] Prevent use-after-free

[Fix] Fix errors when dealing with dynamic rates/bursts in Ratelimit

[Minor] Fix function invocation

[Minor] Fix error when using plain unix socket in DCC plugin

[Feature] Use verdict instead of the plain action in plugins

[Minor] Add function lua_util.get_task_verdict

[Minor] Add task:get_metric_result() method

[Minor] Store more information about symbols added

Merge pull request #2590 from heraklit256/onion-uri-2

add rule for .onion URIs

Drone coverage fix (#2592)

* Build as nobody

This showld fix coverage files writing. At least some coverage files
(*.gcda, *.gcno) are written by rspamd running as nobody.

* Comment luacov-coveralls

* Run rspamd-test as nobody too

* Run coveralls from build root (/rspamd/build)

It need to find all `.gcda` files.

* Hack for coveralls was moved to Docker image

* Add test debug

* More debug

* Workaround to writing *.gcda from different users

*.gcda files written in parallel by root and by nobody

* Remove debug

* Use current build number instead of previous

* Remove unused variable

* Add more parameters

- If CI detected we don't need to check if service_job_id and other
fields in json already filled - this info anyway comes from environment

- coveralls.io API is not documented. Code from:
https://github.com/lemurheavy/coveralls-ruby/
and
https://github.com/coveralls-clients/coveralls-python/
was used as an example.

* In case of error there is no url in json respnse

Print message field anyway - it can contain useful error message.

* Add debug

* Simplify

* Fix: for pull request CI_BUILD_EVENT set to 'pull_request'

* Remove debug

Merge pull request #2593 from moisseev/eslint

[WebUI] Colorize symbols

[Minor] Remove unused CSS rule-sets

add HAS_ONION_URI to HAS_ANON_DOMAIN

add HAS_ONION_URI rule

Merge pull request #7 from rspamd/master

merge upstream into local master

[WebUI] Colorize symbols

[Minor] Python...

[Minor] Python...

[Minor] Fucking python

[Feature] Add only unique elements to Clickhouse url arrays

[Minor] Another try to fix bloody python

[Minor] Set number of threads on load as precaution

[Minor] Always set number of threads when performing learn

[Minor] Further try to fix bloody python

[Minor] Allow to edit empty maps

[Minor] Use python3

[Minor] Include module name when setting pre result

Update README.md

Drone speedup (#2588)

* Start switchind test to custom Docker images

Using Docker images with pre-installed delendencies will speedup
testing.

* Debug build in drone.io

* Use variable instead hardcoded path to the source

* Debug variable substitution by drone

Also according to comments in code DRONE_WORKSPACE is deprecated and
CI_WORKSPACE is a new form.

* One more try to use variables.

It looks like drone uses same rules as docker-compose:
https://docs.docker.com/compose/compose-file/#variable-substitution

* Cleanup debug

* Less verbose make output

* Be consistent in variable escaping

It works without escaping only becuse ${VAR} currently expanded by
drone, but $VAR is not.

* Use alpine base image for nodejs

It is smaller.

* Return rspamd-test

* Revert variable escaping

Wihtout escaping it is more easy to copy-past command for testing.
Just don't use ${var} when var should be expanded by shell and not
drone.

* Add debug

* Fix yaml parsing error

* Fix exit code capture

It should be done on the same line, because drone insert 'echo + cmd'
between commands.

* Remove debug

* Readability

No functional changes.

* Return functional tests

* Be consistent

* Add git stub for coveralls

* Send coverage

* Fix yaml parsing error

* Add links to Dockerfiles

* Send test log in case of test failure

XXX if rspamd-test failed, but functional was successful robot log will be
attached (but not useful).

* Don't run rspamd-test and functional tests in parallel

It looks like there is a race condition in writing coverage files.

* Try to run tests in parallel

* Add debug

* Fix parallel test run

test/rspamd-test and functional test both use luacov.stats.out file
in current directory. Run ./rspamd-test from anther directory.

* Use drone condition for sending coveralls report

Also don't send report if empty tocken was provided.

* Add mininal python3 compatibility

[Minor] Improve errors logging

[Minor] Do not call legacy API in modern OpenSSL

Issue: #2587
Closes: #2587

Merge pull request #2586 from moisseev/eslint

[WebUI] Add symbols sorting buttons

[Test] Fix tests that are not RFC conformant

[Minor] Fix some tests

[Rework] Completely rewrite DMARC checks logic

[Minor] Remove stupid debugging

[CritFix] Fix options insertion

[WebUI] Add symbols sorting buttons

to detail history rows

[Minor] Add some fail-safety

[Minor] Fix stack index

[Conf] Log forced action by default

[Minor] Add logging variable for forced actions

[Minor] Fix score set in passthrough mode

[Project] Finish rework of passthrough actions

[Rework] Always create result for a task

[Minor] Fix comments with multiple addresses

Issue: #2578
Closes: #2578

[Feature] Allow to disable actions by users settings

Merge pull request #2581 from negram/drone-ci

Drone ci

[Minor] Adopted merger to work with drone

[Minor] Add .drone.yml

[Minor] Fixes for the previous project