[Minor] Remove assertion as this case can actually happen

[Minor] Remove last elt optimization for now

Merge pull request #2610 from citrin/functional-test-fix

Fix test case: Cases.210 Clickhouse.001

Merge pull request #2607 from citrin/drone_improvements

Run GDB on cores dumped by functional test

Merge pull request #2609 from HeinleinSupport/master

[Fix] Antivirus - virus names with 0 were recognized as tables

TCP Connect robot keyword

* reduce timeout to a reasonable value
* explicitly close socket, don't wait for GC

Filter Wait Until Keyword Succeeds in robot log

Remove all but the last failing keyword inside `BuiltIn.Wait Until
Keyword Succeeds` to reduce amount of useless information in robot log.

Filter Wait Until Keyword Succeeds in robot log

Remove all but the last failing keyword inside `BuiltIn.Wait Until
Keyword Succeeds` to reduse amount of useless inforamtion in robot log.

Fix race in Cases.210 Clickhouse.001

Clickhouse test sometimes fails with an error:
ConnectionError: HTTPConnectionPool(host='localhost', port=18123): Max retries exceeded with url: /?default_format=JSONEachRow (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f40ad96fdd0>: Failed to establish a new connection: [Errno 111] Connection refused',))

Fix this by waiting for TCP port instead pid file.

Add variable for clickhouse port

[FIX] Antivirus - virus names #2

[Fix] Antivirus - virus names with 0 were recognized as tables

[Minor] Some fixes in surbl module events processing

[Minor] Avoid double quoting

[Minor] Optimize symbols execution

[Minor] Restore item when pushing redis result

[Minor] Add safety guards for fuzzy checks

[Minor] Fix dns resolve with no current item

[Feature] Add specialised functions for generating encrypted cookies

gdb invocation nitpick

* pagination is disabled by --batch
* use options order like in gdb docs

Merge branch 'master' into drone_improvements

Print backtrace for cores dumped by functional test

[Minor] Pet luacheck

Remove indentation from yaml '>' blocks

With indentation block literal is not folded as expected.

[CritFix] Fix \0 processing when doing RSA sign

[Feature] Fold b= value when doing arc sealing

[Minor] Allow to fold base64 encoding of signatures

[Minor] Allow to create upstreams without a context

Merge pull request #2605 from citrin/drone_improvements

Drone improvements

[Feature] Tune upstream limits in Rspamd proxy

[Feature] Allow to set custom limits for upstream lists

[Minor] Add some protection against bad values

Fix grammar

Don't write xunit.xml

It is not currently used.

Share robot log and report on https://ci.rspamd.com/testlogs/

Sending functional test log (about 5Mb) in a email attachmend was temporary
solution.
Upload them to https://ci.rspamd.com/testlogs/ instead.
Link to log/report will be printed in build log.

Simplify: default working directory is source root

Enable core dumps for funcutional test

Don't run gdb yet, it requires more work and can be done when it will be
needed.

[Minor] Fix issues in lua http

Merge pull request #2604 from moisseev/webui

[Minor] Update Bootstrap to 3.3.7

[Minor] More fixes to the internal modules

[Minor] Various logs fixes

[Minor] Add more fail-safety checks to symbols execution

[Minor] Check deps before processing of rdeps

[Minor] Another fix in spf plugin

[Fix] Various fixes in embedded plugins

[WebUI] Add history rows per page control

[Minor] Update Bootstrap to 3.3.7

[Fix] Fix finalization for internal plugins

[Minor] Fix docs

[Fix] Use proper syntax for making DNS requests

[Project] Remove unneeded phases, add safe guards, fix issues

[Project] Adopt C modules and stuff

[Project] Add items logic in DNS resolver

[Project] Adopt lua tcp

[Project] Adopt lua redis

[Project] Adopt lua http

[Project] Fix Lua DNS code

[Project] Further cleanup from the watchers

[Project] Kill async watchers as they are way too complex

[Project] Add logic of the async events counter

[Project] Implement counter for async events in symcache item

[Project] Rework symbols processing logic

[Project] Pass cache item to the callback functions

Fix coverage (#2603)

* Add utility to prepare C coverage for upload to coveralls.io

It turned out that it is more easy to write own script then debug
and fix coveralls utility (https://github.com/eddyxu/cpp-coveralls).

gcov-coveralls.py can be used as a replacement for coveralls.

* Save coverage data from .gcda files only once

Coverage data in .gcda files is merged after each binary invocation,
so we can run all test and then gather coverage data.

If we dump them two times execution counts will be more then they be.

* Switch from coveralls (cpp-coveralls) to own script

Problem with coveralls was, that coverage for source files outside build
directory was not added to the report.

* Add tool to dump info from json for coveralls.io

* Add debug

* Fix: don't die if there is no service_job_id in json

* Debug

* Fix dump_coveralls.py

* Rename to gcov_coveralls.py (s/-/_/)

For most files in this repo '_' is used as separator.

* Don't add source code to coveralls JSON

According to https://docs.coveralls.io/api-introduction
Coverals don't need source code, only MD5 digest to tracks changes.

Anyway source code is already added by luacov-coveralls and source_digest
is added by cpp-coveralls and gcov_coveralls.py
Both options seems to work for now.

* Provide path to source directory to merge_coveralls.py

merge_coveralls.py has code to filter files and remove prefixes.
When --root points to source directory merge_coveralls.py can strip
prefix from absolute path in JSONs generated by luacov-coveralls.

* Style

Don't add parameters with default values.

* Make --output optional

It useful mainly for debugging. We can send report without saving it.

* Log CI_COMMIT_AUTHOR env var

It is not clear from drone.io source how CI_COMMIT_AUTHOR variable is
set. Log it to see what it means.

* Move merge_coveralls.py to test/tools

This script is used not only for funcional test coverage, but for
rspamd-test coverage too.

* Remove debug

* Style

Use more compact formatting.

* Write comment about parallel tests running [SKIP CI]

Document why running tests in parallel may be bad idea (but still do so).

* Fix typo [SKIP CI]

[Fix] Don't perform forged recipients check for missing recipients

[Minor] Improve SSL connection error message

[Minor] Include file name when parsing config

Merge pull request #2602 from moisseev/tidyall

[Minor] Fix rspamd_stats so it passes Perl::Critic tests

Merge pull request #2601 from citrin/perl-tidyall

Add tidyall checks for perl code

[Minor] Fix rspamd_stats so it passes Perl::Critic tests

Fix: tidyall expects to find .tidyallrc in --root-dir

Add tidyall checks for perl code

Based on analagous check added to CircleCI:
https://github.com/rspamd/rspamd/commit/9ace1e0519bda09def77746c22ce952824074980

Merge pull request #2566 from heraklit256/composites-leave

Minor Composite rule cleanup

Merge pull request #2599 from moisseev/tidyall

 [Test] Add TidyAll checks

[Minor] Reformat Pod documents

lower score for PHISH_EMOTION to 1.0

lower score for HAS_ANON_DOMAIN to 0.1

[Fix] Treat normal password as enable password if there is no enable password

[Minor] Reformat more Perl scripts

[Test] Add TidyAll checks

Merge pull request #2598 from moisseev/tidyall

[Minor] Reformat Perl scripts

[Minor] Reformat Perl scripts

Merge pull request #2597 from citrin/tests-kill-race-fix

Tests kill race fix

Merge pull request #2596 from citrin/run-gdb-on-core-dump

Run gdb on core dump

Indent shell command for readability

Improve comment

[Minor] Update version to 1.8.2

Release 1.8.1

* [CritFix] Fix options insertion
* [CritFix] Fix words decay one more time (affects long messages)
* [CritFix] Increase default words_decay
* [CritFix] Plug memory leak in redis pool
* [Feature] Add `check_violation` feature to DKIM/ARC signing
* [Feature] Add only unique elements to Clickhouse url arrays
* [Feature] Allow `g+:` and `g-:` composite atoms
* [Feature] Allow dkim domains check in surbl
* [Feature] Allow maps with HTTP auth
* [Feature] Allow to disable actions by users settings
* [Feature] Extend whitelisting options
* [Feature] Store url object in images
* [Feature] Use verdict instead of the plain action in plugins
* [Fix] Allow to call fstring append with NULL string
* [Fix] DCC - luacheck
* [Fix] Do not load torch on each rspamadm invocation
* [Fix] Fix boundaries detection and rework stop words algorithm
* [Fix] Fix dependencies for DNS_SIGNED symbol
* [Fix] Fix errors when dealing with dynamic rates/bursts in Ratelimit
* [Fix] Fix groups mess
* [Fix] Fix groups mess
* [Fix] Fix parsing address with comments
* [Fix] Fix resolving in DMARC reports
* [Fix] Fix various issues with parsing of the received headers
* [Fix] Fix watchers issue in lua_tcp when doing no resolving
* [Fix] Plug memory leak in language detector (affects reloads)
* [Fix] Remove one letter stop words
* [Fix] Slashing: backport chunk logic from libucl
* [Fix] Stop libevent from using cached time in rspamadm
* [Fix] Try to fix watchers chaining
* [Fix] Various fixes in redis sync interface
* [Fix] ip_score - respect check_authed and check_local settings from config
* [Project] Rework passthrough actions
* [Project] Clustering module
* [Rework] Always create result for a task
* [Rework] Completely rewrite DMARC checks logic
* [Rework] Rework and fix whitelist plugin
* [WebUI] Add symbols sorting buttons
* [WebUI] Change symbols order without updating history
* [WebUI] Colorize symbols
* [WebUI] Do not display password form when secure_ip is set
* [WebUI] Fix symbol description tooltips display
* [WebUI] History: add sorting by symbol score value

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Set limit to allow core dump writing

Run gdb if rspamd-test dumped core

[Test] Try to fix test segfault

Cleanup unused imports

[functional test] Fix races in shutdown_process

Currently functional test sometimes fails with and error:
Teardown failed: NoSuchProcess: psutil.NoSuchProcess process no longer exists (pid=2259)

Rewrite process termination - there is no need to send signals in a loop
many times.

[Minor] Fix test build with lua >= 5.3

[Minor] Fix build

[Minor] Improve crash logging

Merge pull request #2595 from citrin/coveralls

Add git repo info to coveralls payload

[Fix] Fix various issues with parsing of the received headers

[Minor] Add log_usec option to the default config as an example

[Minor] Try to use a faster timer if available