Add preliminary version of generic LUA TCP requests.

Fix error on spawning unique workers.

Issue: #282
Reported by: @moisseev

Release 0.9.1.

* Restore utf8 validation for regular expressions to avoid crashes
* Fix symbols displaying in the interface
* Add symbol groups to the interface
* Fix maps ID parsing in the controller
* Add multimap and regexp modules documentation
* Backport fixes from libucl
* Fix debian package (by @dottedmag)
* Rework XXH32 invocations

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Adopt xxhash invocation.

Do not free xxh32_state to work with static states.

Backport fixes from libucl.

Merge pull request #281 from dottedmag/master

Debian changes for 0.9.x

Update changelog

Update debian/copyright

Restart rspamd on upgrade, stop on removal

Restore utf8 validation as it causes segfaults sometimes.

Sync from interface.

Fix symbols iteration.

Another sync.

Sync with interface.

Fix symbols output in the webui.

Fix misprint.

Fix getting map ID.

Add preliminary regexp module documentation.

Add multimap documentation.

Release 0.9.0

* Add support of the fast and secure protocol level encryption:
- curve25519 is used for key exchange;
- chacha20/poly1305 cryptobox construction for bulk encryption;
- zero latency overhead;
- encrypting and balancing HTTP proxy worker
* Rework expressions and create new expressions library:
- aggressive optimizations based on the abstract syntax tree;
- abstract expressions support (regular expressions, functions, lua modules
composites and so on)
- New comparision and '+' operators support
- New greedy algorithm to minimize execution time of expressions and
all symbols
- Dynamic expressions benchmark and reoptimizations
* Many improvements to the LUA API:
- reworked logger module allowing to do pretty print of the most of lua
types (including tables and userdata classes)
- reworked lua redis and lua HTTP to support more features
- added opaque type for passing large text chunks without copying
- new regexp module with many auxiliary functions (e.g. `re:split`)
* LuaJIT is now the default requirement for rspamd allowing to speed up lua
execution by a large margin (however, plain lua is still supported)
* New plugins:
- spamassassin rules plugin that allows to load and re-use the most of
SA rules natively
- DMARC plugin that evaluates SPF and DKIM policies to the domain policies
- many old plugins has been reworked to implement new features and improve
stability
* New aho-corasic trie implementation from @mischasan that allows to load and
use hundreds of thousands of patterns with no influence on load
* Support of PCRE JIT and PCRE JIT fast path modes that significantly improves
the performance of regular expressions if supported by PCRE
* New URLs parser and extractor:
- removed legacy code that was useless for url finding
- reworked algorithms of URL parsing for more precise and accurate results
- added top-level-domains tree from http://publicsuffix.org
- improved emails parsing
- removed many phishing false positives due to TLD tree check
* New statistics infrastructure:
- created a separate layer of statistic library
- improved OSB-Bayes by re-weighting tokens according to the original
academic paper and `crm114` implementation, which reduced false positives
rate significantly
- created learn cache to avoid double learning of statistics and providing
an efficient way to re-learn class for a message
- created abstract layers for different statistics backends
- implemented new tokenization algorithms with fast or secure (siphash)
hashes to generate statistics features
* Reworked utf8 tokenization that previously corrupted all UTF8 words (minor
incompatibility with old fuzzy hashes with utf-8 symbols)
* SPF module has been completely rewritten to support complex cases of
`include` and `redirect` within SPF records
* DKIM module now supports multiple signatures
* Controller passwords can now be stored encrypted by `PBKDF2-HMAC` in the
configuration file
* Many hand-written HTTP clients has been replaced with the common rspamd
http module
* New test framework:
- import lua `telescope` test framework
- add unit tests for many rspamd modules and routines
- create a unit test for each possible bug found
- use luajit ffi for testing C code
- added preliminary support of functional testing by creating tasks from lua
* Randomize hash seed to avoid certain hash tables vulnerabilities
* Documentation improvements:
- added documentation for the vast majority of rspamd modules
- added documentation for rspamd protocol
- added documentation for the most of rspamd LUA extensions
* Fixed tonns of bugs and memory leaks
* Added tonns of minor features

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Backport changelog entries from 0.8 branch.

Merge pull request #279 from fatalbanana/master

Update RPM BuildRequires for 0.9

Update RPM BuildRequires for 0.9

Fix spec for 0.9.0

Fix regexp splitting in lua.

Plug another memory leak.

More workarounds for hiredis.

Break deadlock in redis timeout logic.

Do not add invalid URLs from HTML tags.

Fix method name in the documentation.

Fix memory leak in DKIM.

One more memory leak in lua_redis.

Do not add IP maps twice.

Output some statistics about maps.

Fix critical bug with reading file maps.

Add routine to check radix trie size.

Print userdata in format 'class(address)'

Fix JITless world.

Fix another issues with raw/utf regexps.

Allow to push raw pointer from the text boxed type.

Fix symbols removal in composites.

Fix forged recipients plugin for the modern rspamd.

Try to load all lua modules ignoring failed ones.

Whitelisted ip map should be radix, not hash.

Add documentation fro ratelimit module.

Rework composite symbols removal.

Reported by: @fatalbanana

Skip unparseable DKIM signatures.

Fix zero-copy mode in lua_http (double free).

Fix finding headers in HTTP messages.

Fix coredump in a client (double free).

More fixes to luajit detection.

Fix converting of old storage.

Use raw regexp instead of utf ones by default.

Now to enable utf8 match, one should specify 'u' modifier, for example,
by adding '/u' to the slashed patterm.

Fix finding of luajit library.

Remove old radix code (no functional changes).

Add key rotation for http proxy.

Libutil is useless everywhere but FreeBSD.

Try to fix libutil...

Another workaround for pcre jit.

Another try to fixup the mess.

Another iteration of libraries detection rework.

Add workaround for glib < 2.30.

Unify search paths.

Relax glib requirements to 2.28.

Add hints for finding paths.

Deal with multiple signatures in DKIM.

Issue: #254

Set header value properly for decrypted headers.

Set re limit from regexp module.

Add configuration alias to avoid ambiguity.

Add dkim module documentation.

Add SPF module documentation.

Add some documentation.

Die if some workers couldn't start.

Fix dealing with growing strings.

Add notice to fix issue with realloc.

Restore parsing of headers.

Fix client's callback return result.

More fixes.

Fixes to encrypted request writing.

Implement new scheme of encrypted requests reading.

More fixes to encrypted writing.

Fix headers addition.

Completely rework HTTP encryption.

Now we encrypt everything:
- URL
- Method
- Headers
- Body

Rework HTTP headers to avoid copying.

Fix documentation.

Add some human readable aliases for rspamd configuration options.

Properly deal with negative scores and nice symbols.

Document new option.

Implement match_limit in spamassassin plugin.

Add function regexp:set_limit

With this function it will be possible to limit the maximum size of text
to search using this regexp.

One more case to check.

Add fuzz tests and other split cases.

Fix splits.

Improve regexp items parsing diagnostics.

Fix log message for unknown rules with scores.

Check smtp recipients before indexing.

Implement unalgined tests.

Fix some unaligned cases.

Add unit test for cryptobox.