Add unit tests for b64 decoding and native encoding.

Fix ownership issues for zero-copy decode.

Allow __len metamethod on rspamd{text}.

Add base64 decoding lua utility.

Fix build on FreeBSD < 10.

Skip spaces at the beginning of mime message.

DBL_ABUSE_REDIR should not have significant weight.

Allow to split by lua_regexp rspamd{text} objects.

Allow to specify custom stop pattern for lua_tcp.

Release 0.9.4

* Fix critical bugs in tokenization algorithm
* Write unit tests for tokenization
* Add documentation for lua_tcp
* Switch off legacy tokenization by default.
* Fix critical bugs in words normalization
* Add lua bindings to tokenizer.
* Implement storing of HTTP headers inside task
* Add lua API to accerss HTTP headers data
* Implemented base64 encoding suitable for MIME
* Use caseless hash and equal functions for HTTP request headers.
* Improve debian architectures support (by @dottedmag)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix possible illegal memory access.

Merge pull request #287 from dottedmag/master

Debian changes for 0.9.4

Switch off legacy tokenization by default.

Do not stem exceptions.

Use not common name for tokenization exceptions.

Fix memory issues with tokens normalization.

Add more unit tests for tokenization.

More fixes to tokenization.

Reverse list of exceptions.

Add tests for tokenizer bug.

Fix critical bug in tokenization logic.

Add a simple unit test for tokenizer.

Add lua bindings to tokenizer.

Update changelog

Restrict luajit B-D to architectures it is available

Use caseless hash and equal functions for request headers.

Add API to get/set request headers from lua.

Save all HTTP headers as request headers.

Add unit test for base64 encoding.

Fix issues in base64 encoding.

Add lua bindings for base64.

Allow owning lua_text.

Add base64 encoding routine.

Add documentation for lua_tcp.

Release 0.9.3

* Revert incorrect regexp change that broke the default rules
* Fix lua_tcp module

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix issues with lua_tcp.

Revert automatic capture in regexps as it breaks things.

Release 0.9.2

* Fix error on spawning unique workers.
* Add preliminary version of generic LUA TCP requests API.
* Use lua 5.1 if luajit is not available (Arm64, PowerPC, s390x etc)
* Fix fuzzy mime strings with only type.
* Improve thunderbird sanity checks.
* Fix critical bug on matching regular expressions.
* Make hiredis optional dependency.
* Fix multiple bugs in daemon reloading

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix reload.

Fix reloading in logger.

One more try to fix memset.

Fix reloading of C plugins.

Fix reloading of modules.

Do not try dereference NULL pointer.

Merge pull request #284 from dottedmag/master

Updates for 0.9.2 Debian release

Add method to detect the full size of message.

Fallback to plain lua if luajit has not been found.

Make hiredis optional dependency.

Fix critical bug on matching regular expressions.

Issue: #186
Reported by: @moisseev

Improve thunderbird sanity checks.

Submitted by: corvax

Fix fuzzy mime strings with only type.

Issue: #283
Reported by: @moisseev

Update changelog

Use lua 5.1 if luajit is not available (Arm64, PowerPC, s390x etc)

Require fixed version of libhiredis to drop workaround

Update changelog

Implement IO in lua tcp.

Add helper to use GString in pool destructors.

Add preliminary version of generic LUA TCP requests.

Fix error on spawning unique workers.

Issue: #282
Reported by: @moisseev

Release 0.9.1.

* Restore utf8 validation for regular expressions to avoid crashes
* Fix symbols displaying in the interface
* Add symbol groups to the interface
* Fix maps ID parsing in the controller
* Add multimap and regexp modules documentation
* Backport fixes from libucl
* Fix debian package (by @dottedmag)
* Rework XXH32 invocations

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Adopt xxhash invocation.

Do not free xxh32_state to work with static states.

Backport fixes from libucl.

Merge pull request #281 from dottedmag/master

Debian changes for 0.9.x

Update changelog

Update debian/copyright

Restart rspamd on upgrade, stop on removal

Restore utf8 validation as it causes segfaults sometimes.

Sync from interface.

Fix symbols iteration.

Another sync.

Sync with interface.

Fix symbols output in the webui.

Fix misprint.

Fix getting map ID.

Add preliminary regexp module documentation.

Add multimap documentation.

Release 0.9.0

* Add support of the fast and secure protocol level encryption:
- curve25519 is used for key exchange;
- chacha20/poly1305 cryptobox construction for bulk encryption;
- zero latency overhead;
- encrypting and balancing HTTP proxy worker
* Rework expressions and create new expressions library:
- aggressive optimizations based on the abstract syntax tree;
- abstract expressions support (regular expressions, functions, lua modules
composites and so on)
- New comparision and '+' operators support
- New greedy algorithm to minimize execution time of expressions and
all symbols
- Dynamic expressions benchmark and reoptimizations
* Many improvements to the LUA API:
- reworked logger module allowing to do pretty print of the most of lua
types (including tables and userdata classes)
- reworked lua redis and lua HTTP to support more features
- added opaque type for passing large text chunks without copying
- new regexp module with many auxiliary functions (e.g. `re:split`)
* LuaJIT is now the default requirement for rspamd allowing to speed up lua
execution by a large margin (however, plain lua is still supported)
* New plugins:
- spamassassin rules plugin that allows to load and re-use the most of
SA rules natively
- DMARC plugin that evaluates SPF and DKIM policies to the domain policies
- many old plugins has been reworked to implement new features and improve
stability
* New aho-corasic trie implementation from @mischasan that allows to load and
use hundreds of thousands of patterns with no influence on load
* Support of PCRE JIT and PCRE JIT fast path modes that significantly improves
the performance of regular expressions if supported by PCRE
* New URLs parser and extractor:
- removed legacy code that was useless for url finding
- reworked algorithms of URL parsing for more precise and accurate results
- added top-level-domains tree from http://publicsuffix.org
- improved emails parsing
- removed many phishing false positives due to TLD tree check
* New statistics infrastructure:
- created a separate layer of statistic library
- improved OSB-Bayes by re-weighting tokens according to the original
academic paper and `crm114` implementation, which reduced false positives
rate significantly
- created learn cache to avoid double learning of statistics and providing
an efficient way to re-learn class for a message
- created abstract layers for different statistics backends
- implemented new tokenization algorithms with fast or secure (siphash)
hashes to generate statistics features
* Reworked utf8 tokenization that previously corrupted all UTF8 words (minor
incompatibility with old fuzzy hashes with utf-8 symbols)
* SPF module has been completely rewritten to support complex cases of
`include` and `redirect` within SPF records
* DKIM module now supports multiple signatures
* Controller passwords can now be stored encrypted by `PBKDF2-HMAC` in the
configuration file
* Many hand-written HTTP clients has been replaced with the common rspamd
http module
* New test framework:
- import lua `telescope` test framework
- add unit tests for many rspamd modules and routines
- create a unit test for each possible bug found
- use luajit ffi for testing C code
- added preliminary support of functional testing by creating tasks from lua
* Randomize hash seed to avoid certain hash tables vulnerabilities
* Documentation improvements:
- added documentation for the vast majority of rspamd modules
- added documentation for rspamd protocol
- added documentation for the most of rspamd LUA extensions
* Fixed tonns of bugs and memory leaks
* Added tonns of minor features

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Backport changelog entries from 0.8 branch.

Merge pull request #279 from fatalbanana/master

Update RPM BuildRequires for 0.9

Update RPM BuildRequires for 0.9

Fix spec for 0.9.0

Fix regexp splitting in lua.

Plug another memory leak.

More workarounds for hiredis.

Break deadlock in redis timeout logic.

Do not add invalid URLs from HTML tags.

Fix method name in the documentation.

Fix memory leak in DKIM.

One more memory leak in lua_redis.

Do not add IP maps twice.

Output some statistics about maps.

Fix critical bug with reading file maps.

Add routine to check radix trie size.

Print userdata in format 'class(address)'

Fix JITless world.

Fix another issues with raw/utf regexps.

Allow to push raw pointer from the text boxed type.

Fix symbols removal in composites.

Fix forged recipients plugin for the modern rspamd.