Merge pull request #2601 from citrin/perl-tidyall

Add tidyall checks for perl code

Fix: tidyall expects to find .tidyallrc in --root-dir

Add tidyall checks for perl code

Based on analagous check added to CircleCI:
https://github.com/rspamd/rspamd/commit/9ace1e0519bda09def77746c22ce952824074980

Merge pull request #2566 from heraklit256/composites-leave

Minor Composite rule cleanup

Merge pull request #2599 from moisseev/tidyall

 [Test] Add TidyAll checks

[Minor] Reformat Pod documents

lower score for PHISH_EMOTION to 1.0

lower score for HAS_ANON_DOMAIN to 0.1

[Fix] Treat normal password as enable password if there is no enable password

[Minor] Reformat more Perl scripts

[Test] Add TidyAll checks

Merge pull request #2598 from moisseev/tidyall

[Minor] Reformat Perl scripts

[Minor] Reformat Perl scripts

Merge pull request #2597 from citrin/tests-kill-race-fix

Tests kill race fix

Merge pull request #2596 from citrin/run-gdb-on-core-dump

Run gdb on core dump

Indent shell command for readability

Improve comment

[Minor] Update version to 1.8.2

Release 1.8.1

* [CritFix] Fix options insertion
* [CritFix] Fix words decay one more time (affects long messages)
* [CritFix] Increase default words_decay
* [CritFix] Plug memory leak in redis pool
* [Feature] Add `check_violation` feature to DKIM/ARC signing
* [Feature] Add only unique elements to Clickhouse url arrays
* [Feature] Allow `g+:` and `g-:` composite atoms
* [Feature] Allow dkim domains check in surbl
* [Feature] Allow maps with HTTP auth
* [Feature] Allow to disable actions by users settings
* [Feature] Extend whitelisting options
* [Feature] Store url object in images
* [Feature] Use verdict instead of the plain action in plugins
* [Fix] Allow to call fstring append with NULL string
* [Fix] DCC - luacheck
* [Fix] Do not load torch on each rspamadm invocation
* [Fix] Fix boundaries detection and rework stop words algorithm
* [Fix] Fix dependencies for DNS_SIGNED symbol
* [Fix] Fix errors when dealing with dynamic rates/bursts in Ratelimit
* [Fix] Fix groups mess
* [Fix] Fix groups mess
* [Fix] Fix parsing address with comments
* [Fix] Fix resolving in DMARC reports
* [Fix] Fix various issues with parsing of the received headers
* [Fix] Fix watchers issue in lua_tcp when doing no resolving
* [Fix] Plug memory leak in language detector (affects reloads)
* [Fix] Remove one letter stop words
* [Fix] Slashing: backport chunk logic from libucl
* [Fix] Stop libevent from using cached time in rspamadm
* [Fix] Try to fix watchers chaining
* [Fix] Various fixes in redis sync interface
* [Fix] ip_score - respect check_authed and check_local settings from config
* [Project] Rework passthrough actions
* [Project] Clustering module
* [Rework] Always create result for a task
* [Rework] Completely rewrite DMARC checks logic
* [Rework] Rework and fix whitelist plugin
* [WebUI] Add symbols sorting buttons
* [WebUI] Change symbols order without updating history
* [WebUI] Colorize symbols
* [WebUI] Do not display password form when secure_ip is set
* [WebUI] Fix symbol description tooltips display
* [WebUI] History: add sorting by symbol score value

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Set limit to allow core dump writing

Run gdb if rspamd-test dumped core

[Test] Try to fix test segfault

Cleanup unused imports

[functional test] Fix races in shutdown_process

Currently functional test sometimes fails with and error:
Teardown failed: NoSuchProcess: psutil.NoSuchProcess process no longer exists (pid=2259)

Rewrite process termination - there is no need to send signals in a loop
many times.

[Minor] Fix test build with lua >= 5.3

[Minor] Fix build

[Minor] Improve crash logging

Merge pull request #2595 from citrin/coveralls

Add git repo info to coveralls payload

[Fix] Fix various issues with parsing of the received headers

[Minor] Add log_usec option to the default config as an example

[Minor] Try to use a faster timer if available

[Minor] Another log invocation fixed

[Minor] Fix logger invocation

Add git repo info to coveralls payload

Again other implementations were used as reference, because API is not
fully documented.

[Conf] Extend BAD_POLICIES composite

[Minor] Some fixes towards epsilon comparison

[Minor] Prevent use-after-free

[Fix] Fix errors when dealing with dynamic rates/bursts in Ratelimit

[Minor] Fix function invocation

[Minor] Fix error when using plain unix socket in DCC plugin

[Feature] Use verdict instead of the plain action in plugins

[Minor] Add function lua_util.get_task_verdict

[Minor] Add task:get_metric_result() method

[Minor] Store more information about symbols added

Merge pull request #2590 from heraklit256/onion-uri-2

add rule for .onion URIs

Drone coverage fix (#2592)

* Build as nobody

This showld fix coverage files writing. At least some coverage files
(*.gcda, *.gcno) are written by rspamd running as nobody.

* Comment luacov-coveralls

* Run rspamd-test as nobody too

* Run coveralls from build root (/rspamd/build)

It need to find all `.gcda` files.

* Hack for coveralls was moved to Docker image

* Add test debug

* More debug

* Workaround to writing *.gcda from different users

*.gcda files written in parallel by root and by nobody

* Remove debug

* Use current build number instead of previous

* Remove unused variable

* Add more parameters

- If CI detected we don't need to check if service_job_id and other
fields in json already filled - this info anyway comes from environment

- coveralls.io API is not documented. Code from:
https://github.com/lemurheavy/coveralls-ruby/
and
https://github.com/coveralls-clients/coveralls-python/
was used as an example.

* In case of error there is no url in json respnse

Print message field anyway - it can contain useful error message.

* Add debug

* Simplify

* Fix: for pull request CI_BUILD_EVENT set to 'pull_request'

* Remove debug

Merge pull request #2593 from moisseev/eslint

[WebUI] Colorize symbols

[Minor] Remove unused CSS rule-sets

add HAS_ONION_URI to HAS_ANON_DOMAIN

add HAS_ONION_URI rule

Merge pull request #7 from rspamd/master

merge upstream into local master

[WebUI] Colorize symbols

[Minor] Python...

[Minor] Python...

[Minor] Fucking python

[Feature] Add only unique elements to Clickhouse url arrays

[Minor] Another try to fix bloody python

[Minor] Set number of threads on load as precaution

[Minor] Always set number of threads when performing learn

[Minor] Further try to fix bloody python

[Minor] Allow to edit empty maps

[Minor] Use python3

[Minor] Include module name when setting pre result

Update README.md

Drone speedup (#2588)

* Start switchind test to custom Docker images

Using Docker images with pre-installed delendencies will speedup
testing.

* Debug build in drone.io

* Use variable instead hardcoded path to the source

* Debug variable substitution by drone

Also according to comments in code DRONE_WORKSPACE is deprecated and
CI_WORKSPACE is a new form.

* One more try to use variables.

It looks like drone uses same rules as docker-compose:
https://docs.docker.com/compose/compose-file/#variable-substitution

* Cleanup debug

* Less verbose make output

* Be consistent in variable escaping

It works without escaping only becuse ${VAR} currently expanded by
drone, but $VAR is not.

* Use alpine base image for nodejs

It is smaller.

* Return rspamd-test

* Revert variable escaping

Wihtout escaping it is more easy to copy-past command for testing.
Just don't use ${var} when var should be expanded by shell and not
drone.

* Add debug

* Fix yaml parsing error

* Fix exit code capture

It should be done on the same line, because drone insert 'echo + cmd'
between commands.

* Remove debug

* Readability

No functional changes.

* Return functional tests

* Be consistent

* Add git stub for coveralls

* Send coverage

* Fix yaml parsing error

* Add links to Dockerfiles

* Send test log in case of test failure

XXX if rspamd-test failed, but functional was successful robot log will be
attached (but not useful).

* Don't run rspamd-test and functional tests in parallel

It looks like there is a race condition in writing coverage files.

* Try to run tests in parallel

* Add debug

* Fix parallel test run

test/rspamd-test and functional test both use luacov.stats.out file
in current directory. Run ./rspamd-test from anther directory.

* Use drone condition for sending coveralls report

Also don't send report if empty tocken was provided.

* Add mininal python3 compatibility

[Minor] Improve errors logging

[Minor] Do not call legacy API in modern OpenSSL

Issue: #2587
Closes: #2587

Merge pull request #2586 from moisseev/eslint

[WebUI] Add symbols sorting buttons

[Test] Fix tests that are not RFC conformant

[Minor] Fix some tests

[Rework] Completely rewrite DMARC checks logic

[Minor] Remove stupid debugging

[CritFix] Fix options insertion

[WebUI] Add symbols sorting buttons

to detail history rows

[Minor] Add some fail-safety

[Minor] Fix stack index

[Conf] Log forced action by default

[Minor] Add logging variable for forced actions

[Minor] Fix score set in passthrough mode

[Project] Finish rework of passthrough actions

[Rework] Always create result for a task

[Minor] Fix comments with multiple addresses

Issue: #2578
Closes: #2578

[Feature] Allow to disable actions by users settings

Merge pull request #2581 from negram/drone-ci

Drone ci

[Minor] Adopted merger to work with drone

[Minor] Add .drone.yml

[Minor] Fixes for the previous project

[Conf] Add composite to negate policies when fuzzy/bayes found

[Feature] Allow `g+:` and `g-:` composite atoms

[Minor] Add more operations sanity check in expressions parser

[Conf] Increase default bayes score

[Feature] Store url object in images

[Conf] Add dkim checks for some surbl rules

[Feature] Allow dkim domains check in surbl

Merge pull request #2579 from negram/fixed-unit-test

[Test] fixed unit test

[Test] fixed unit test

Merge pull request #2577 from negram/fix-edge-case

Fix edge case

Merge pull request #2576 from negram/more-coverage

[Test] Collect coverage in all functional tests

Merge pull request #2575 from negram/coverage-doc

[Minor] Added coverage collection documentation

[Test] one more test case