[Minor] Disable shutdown workaround for HTTP

Merge pull request #543 from fatalbanana/master

[Fix] Avoid problematic operation on possibly nil value in once_received

[Fix] Avoid problematic operation on possibly nil value in once_received

[Fix] Add more guards for IP address

[Feature] SA plugin can now set missing scores for rspamd

[Minor] Fix spelling in log message

[Fix] Handle some bad IP URLs

[Feature] Export versions vars to UCL

[Feature] Add rspamd_version function to LUA API

[Minor] Temporary disable scheduler optimization

It is not very well investigated and might decrease performance in some
cases I care about.

[Feature] Improve symbols sorting function

[Fix] Fix redis stats to avoid double free

[Feature] Add lockless logging

Sometimes, it is needed to turn off logging mutex to avoid recursive
mutex obtaining. It is especially useful to do it within children wait
code in the main processes dispatcher.

[Minor] Fix race condition when removing hash

[Minor] Fix closing race in fuzzy storage

[Fix] Fix sorting order for symbols cache

[Fix] Fix `all` in spf redirects

Issue: #542
Reported by: @sativouf

[Fix] Fix crash on scan

[Minor] Fix reject action parsing

[Minor] Hide rdrand checks for non-x86 platforms

[Feature] Add priorities for actions

Add dedicated API to modify action limits with priorities from different
configuration place. This follows the logic of symbols' priorities and
will be used for dynamic rules and override definitions.

[CritFix] Fix issue with inconsistent resorting

This is a long term issue that was in rspamd for many years. Sometimes,
some rules are not scanned or scanned twice. That happened because of
resorting called during pending tasks exist in the wait queue. In this
case, resorting breaks logic of symbols processing, causing unprocessed
rules to be treated as processed and, vice versa, processed rules as
unprocessed.

This commit introduces refcounted approach for resorting keeping state
for each individual task. This allows to resort independently from the
existing tasks waiting in the queue.

[Feature] Rework dynamic symbols for new metrics API

[Fix] Fix some cases for RDNS_NONE

[Fix] Don't set default values for hostname and helo

[Feature] Add ignore_received option

In this mode rspamd ignores data from the first received (it might be
produced by some third party and not our MTA)

[Fix] Fix placement of RDNS checks

[Feature] Add RDNS_NONE rule

[Minor] Implement workaround for legacy clients

Steal lua_text ownership to prevent gc

Add more reasonable errors for lua_tcp module

Add more guards for mutable cache

Implement versioning in symbols cache to allow modiifications on fly

Allow to set redis db and password in lua_redis

Use object priority when adding symbols from ucl

Allow overwrite scores with the same priority

Cleanup event

Destroy session if a client has gone.

Add special timeout when spending too much in sync processing

Increase stack size after fork

Fix non-UTF regexps for pcre2

Fix task:has_flag method

Some fixes to the previous commit

Add auth support and db selection for redis stats

Fix a stupid mistake

Rework system of symbols registration

It is possible now to use priorities when adding symbols to metrics and
override scores for symbols with lower priority with the scores with
high priority.

Rework lua errors reporting

Fix DKIM verification for empty DKIM signatures

Temporary disable JIT when using valgrind

Fix pcre jit fast path (one more time)

Fix has_symbol method

Try to workaround for double free in redis

Add sanity guards for ip_score

Issue: #536
Reported by: @AlexeySa

Fix some more issues found by coverity

Oops, fix task:get_user

Add more strict checks of arguments to lua_task

Update from the recent libucl

Release 1.1.4

* Print traceback on lua errors in lua config
* Fix leaks in lua error paths
* Improve 'R_EMPTY_IMAGE' rule
* Fix metas memoization in SA plugin
* Properly set `flag` in fuzzy replies
* Fix arguments order
* Fix issue with out-of-boundary reading
* Fix issues found by coverity
* Same result checking error found by coverity
* Fix varargs processing (found by coverity)
* Fix error in printing hex
* Reduce weights for some hfilter patterns
* Add aliases for task:get_from_ip:
- task:get_addr
- task:get_from_addr
- task:get_ip
*  Rework once_received module
- Fix priority for `good_hosts`
- If a good host has been found do not add once_received symbols
- Fix priorities for strict once_received
- Add ability to whitelist IP addresses
* Fix `MISSING_MIMEOLE` rule for modern OE
* Treat meta tags as embedded tags (#501)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Handle srv protocol timeouts in a specific way

Add command to sync fuzzy storage

It should be as simple as `rspamadm control fuzzy_sync`

Issue: #533
Reported by: @moisseev

More doc fixes

Fix doc comments

Add hash API for lua_cryptobox

Add high level signing API for libcryptobox

Add missing features for cryptobox lua api

Add some more replacements

Better dependencies support between SA and rspamd

Now SA rules can depend on the corresponding rspamd rules applying the
replacement table.

Fix interaction with clients with no local Received

Continue work on cryptobox API

Backport fix from libucl

Merge pull request #532 from moisseev/patch-1

Improve html images rules

Don't trigger R_EMPTY_IMAGE on image links

as they covered with `HTML_SHORT_LINK_IMG_1` rule.
It should be safe for legitimate emails with images attached since `R_EMPTY_IMAGE` and `HTML_SHORT_LINK_IMG_1` won't be triggered at the same time any more.

Don't trigger HTML_SHORT_LINK_IMG on small images

It's common for legitimate emails to have small image links (buttons, social networks junk e.t.c.)

Add preliminary lua API for libcryptobox

Write notes about symbols in rspamd

Set is_spam = true for all but 'no action' or 'greylist'

In lua, number cannot be used in boolean context

Backport fixes from libucl

Add workaround for old glib

Treat meta tags as embedded tags

Issue: #501
Reported by: @AlexeySa, @moisseev

Add more sanity checks when loading hyperscan cache

Merge pull request #530 from moisseev/patch-1

Unbreak bad_hosts check

Unbreak bad_hosts check

Fix negation for header rules in SA plugin

Add tool to edit signed files using text editor

Add option to show saved comments in configdump

Save comments from configuration files

Merge pull request #529 from moisseev/patch-1

Skip good hostname check for undefined hostnames

Skip good hostname check for undefined hostnames

2016-02-17 13:00:50 #58424(normal) <a41bdc>; task; lua_metric_symbol_callback: call to (ONCE_RECEIVED) failed: /usr/local/share/rspamd/lua/once_received.lua:82: bad argument #1 to 'lower' (string expected, got nil); trace: [1]:{[C]:-1 - lower [C]}; [2]:{/usr/local/share/rspamd/lua/once_received.lua:82 - <unknown> [Lua]};

Unbreak fuzzy_check plugin

Issue: #527
Reported by: @moisseev

Fix maps initialisation

Rewrite HTTP maps code, add signed maps support

Start the complete HTTP maps rework

Add routine to create inet address from the rdns reply

Fix couple of issues found by gcc-6

Add new warnings supported by gcc-6

Port fix from libucl

Fix MISSING_MIMEOLE rule for modern OE

Issue: #514
Reported by: @ilyakruchinin

Fix html images rules to reduce FP rates

Suggested by: @moisseev
Issue: #525

Add HTML tags interface for LUA