Fix XBL composite to avoid duplicate symbols

Reduce log severity for ratelimit missing servers

Fix duplicated XBL symbol

Fix some compiler warnings

Add migration notes 1.0 -> 1.1

Merge pull request #484 from fatalbanana/master

Update CentOS7 service file patch again

Update CentOS7 service file patch again

Release 1.1.0

* Incompatible change: sqlite3 and per_user behaviour:
Now both redis and sqlite3 follows the common principles for per-user
statistics:
1) If per-user statistics is enabled check per-user tokens ONLY
2) If per-user statistics is not enabled then check common tokens ONLY
If you need old behaviour, then you'd need to use separate classifier
for per-user statistics.
* Implement redis statistics backend and cache
* Implement autolearning for statistics
* Reworked statistics architecture from scratch
* Add hyperscan (https://github.com/01org/hyperscan) engine for regular
expressions:
- add lazy loader for hyperscan databases
- rework regexp cache to have joint pcre/hyperscan scanning
- implement hyperscan pre-filter support
- add compilation guards for bad expressions
- implement `rspamadm control recompile` command
- implement hyperscan cache monitoring
- slides: <https://highsecure.ru/rspamd-hyperscan.pdf>
* Implement flexible task logging
* Rework fuzzy worker:
- it is now possible to run multiple fuzzy workers;
- implement lazy writing as sqlite3 is bad at concurrent writing;
- add retries for simple sql commands in fuzzy backend;
- use fine-grained transactions for fuzzy;
- implement new multi-pubkeys mode;
- allow encrypted only storages;
- rework statistics for fuzzy;
- add `rspamadm control fuzzystat` command for extended statistics;
- implement human readable output for the previous command;
- add condition script for learning fuzzy storage;
* Various fixes to SPF:
- fix `redirect` records;
- fix domains when parsing mx/ptr/a records in includes/redirects;
- fix issues with multiple addresses in SPF records;
- ignore SPF results in case of DNS failure;
- adjust TTL of records when resolving subelements of SPF records;
- always select `v=spf1` line if it is available
- do not cache records with DNS failure in subrequests;
- ignore records with temporary fails during subrequests resolving;
- fix `RDNS_RC_NOREC` support;
* Add clang plugin for static analysis:
- implement static checks for `rspamd_printf` format strings;
* Add 'allow_raw_input' option for non-mime messages
* Recognize types using libmagic
* Fix parsing of IPv6 received headers
* Add new interface of communication between workers in rspamd
* Add support for named socketpairs
* Don't write URLs by default as it is too verbose
* Set status for HTTP replies
* Try load `rspamd.conf.override`
* Implement words decaying for text parts to limit many checks
* Improve support of SA rules and plugins:
- add check_for_shifted_date and check_for_missing_to_header eval rules;
- add 'check_relays_unparseable' support;
- add `check_for_mime('mime_attachement')` function;
- use new re_cache interface for all SA rules;
- add support for `Mail::SpamAssassin::Plugin::MIMEHeader`;
- add support of 'special' SA headers to `exists` function;
- fix issue when SA metas contain other metas;
- fix freemail rules;
* Many fixes to the URL parser
* Match any newline character in regexps
* Fix resolving of upstreams and detection of poor IPv6 configurations
* Parse upstreams selection algorithm from the configuration line
* Add `reresolve` command to the control interface
* Generate fuzzy hashes from task metadata (URLs and headers)
* Add method to check if IP is local and `local_addrs` option
* Implement forced timeout for delayed filters
* Disable fast path of pcre-jit as it seems to be broken
* Bayes fixes:
- new normalizer function;
- really use weights of tokens from the OSB algorithm;
- restore multiple classifiers support;
* Rules changes:
- add `R_SUSPICIOUS_URL` rule that detects obfuscated URL's;
- improve empty image rule;
- rework `FORGED_RECIPIENTS` rule;
- reduce weight of `SUSPICIOUS_RECIPS`;
- fix `*_NORESOLVE_MX` symbols in hfilter;
- add `SUBJ_ALL_CAPS` rule with support of UTF8
- add spamhaus SBL to uribl
- fix `SUSPICIOUS_RECIPS` and `SORTED_RECIPS` rules
- remove `R_TO_SEEMS_AUTO` as it generates a lot of FP;
- add new Message-ID regexp for Thunderbird (by @moisseev);
* Plugins changes:
- allow ratelimit plugin to set symbol instead of pre-result
- support IP DNS black lists for URIBL (e.g spamhaus SBL);
- drop deprecated SURBL bits (by @fatalbanana)
- rename `JP_SURBL_MULTI` to `ABUSE_SURBL` (by @fatalbanana)
- add `SURBL_BLOCKED` (by @fatalbanana)
- add `CR_SURBL`
- SURBL: allow fallthrough to default symbol (by @fatalbanana)
- Settings: fix IP match (by @fatalbanana)
- SURBL: add missing symbols to metric (by @fatalbanana)
- allow processing images urls for SURBL
- unconditionally disable SPF for authenticated users and local networks
* Rework ratelimit plugin
- switch to `rates` instead of old and stupid strings to setup;
- check if a bucket is zero and disable the corresponding limits'
- turn off all buckets by default;
- check either `rcpt` or `user` buckets, not all together'
- document new `rates` and `symbol` options;
- inform user about what buckets are used in the configuration;
* Add neural network **experimental** plugin
* Add a sample script to learn neural network from rspamd logs
* Add documentation strings support to rspamd:
- add strings for the main configuration options;
- document workers options;
- add internal plugin options;
- create `rspamadm confighelp` routine;
- implement human readable output for the previous command;
- add subtree search support;
- add keyword search support;
* Documentation improvements, tutorials section, statistics description
* Many other minor and major bugfixes not noted here

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix an awful memory leak

Small improvement of logging

Rework hyperscan notifies to reduce noise level

Disable fast path of pcre as it seems to be broken

Do not treat unknown worker type as fatal error

Further reduction of spf noise

Reduce noise level for certain records

RDNS_RC_NOREC is equal for NXDOMAIN in case of SPF checks

'>' and '<' are not domain safe symbols

Don't treat all but include/redirect errors as tempfail

Misprint

Check if we have some reply before retransmit

Set status for HTTP replies

Don't write URLs by default as it is too verbose

Fix stupid misprint

Fix memory leak

Some fixes to the default configuration

Fix redis cache config as well

Also try rspamd.conf.override

Simplify redis backend configuration

Fix crash

Fix default paths for the source build

Unify processing of includes/redirects in SPF

Issue: #483
Reported by: @dnl555

Ignore SPF results in case of DNS failure

Fix bad memory access.

Fix memory leak

Fix order

Add workaround for bug in valgrind and rdrand

Fix warnings.

Fix weight processing

Fix suffix/bits less URL BLs

Fix prototype.

Do not free HS database after deserialization

Fix a huge memory leak in hyperscan

Fix a stupid error in symbols groups parsing

Issue: #482
Reported by: @rafaelabdo

Improve unknown results report for surbl

Fix format argument for inserting shingles

Issue: #478

Remove events when 0 or error are returned

Enable redis conditional missed somehow

Fix potential misuse of unions

Issue: #478
Reported by: @moisseev

Add periodic checks for hyperscan files

Another fix to always-malloc mode

Fix issues with freeing of bad rdns requests

Fix format string

Fix issues with debug mode of mempool

Allow processing images urls for SURBL

Allow configurations with no classifiers

Fix percentages for bayes confidence

Do not treat bad backend as an assert

Add documentation for new statistics

Add extra sleep to avoid race condition

When there are no expressions to compile it is possible that hs_helper
will send notice to no workers. So this sleep should resolve the most of
cases where this race occurs.

Add more details to the guide

Add globbing support

Improve error reporting

Update surbl documentation

Enable hiredis for travis

Fix include path for embedded hiredis

Remove deprecated random id

Start SA migrating guide

Remove unused var.

Fix format strings

Update from publicsuffix

Remove hiredis from depends

Fix GNU version of strerror_r (hiredis is broken)

Try to fix brain damage of cmake

Embed hiredis as it is broken literally everywhere

Enable per-users learn cache

Incompatible change: sqlite3 and per_user behaviour

Now both redis and sqlite3 follows the common principles for per-user
statistics:

1) If per-user statistics is enabled check per-user tokens ONLY
2) If per-user statistics is not enabled then check common tokens ONLY

If you need old behaviour, then you'd need to use separate classifier
for per-user statistics.

Implement `per_user` for redis backend

Add generic routine to get task's recipient

Fix relearning for sqlite3 cache

Fix query

Rework cache API slightly

Implement redis cache operations

Write initialization for redis cache

Merge pull request #476 from moisseev/patch-1

Add new Message-ID regexp for Thunderbird

Add skeleton of redis cache

Fix processing of caches

Fix caches initialization.

Fix sqlite cache

Rework caches API

Add new Message-ID regexp for Thunderbird

Thunderbird version 46 and later is using new securely random Message-ID to avoid fingerprinting.
https://bugzilla.mozilla.org/show_bug.cgi?id=902580
SeaMonkey (at least currentnightly build 2.42a1) is not affected by this change.

Use constants instead of magic numbers

Fix unlearning in sqlite3 cache.

Fix strange artefact

Fix learn errors reporting

Fix numbers humanization in `rspamc stat`

Fix stats for redis backend

Add lazy stat implementation for redis

Start implementation of lazy redis statistics.

Implement async timered events for statistics

Fight with hiredis API