Fix some issues in learning.

Fixing learning.

Init mmaped file runtime function.

Create fuzzy db if it does not exist.

Add libstat to the main rspamd routines.

Initialize missing fields.

Implement learning function.

Implement classifying.

Update bayes.

Implement min and max tokens.

Write statfiles revisions to the runtime.

Add tokens processing.

Add functions for getting values from files.

Add preprocessing routine for classifiers.

Start statistics preprocessing implementation.

Implement statfiles runtime initialization.

Rework tokenization invocation.

Disable statistics in rspamd till reworking is done.

Add initial processing routines.

Refactor structures names.

Rework types for tokenizers functions.

Rework classifiers configuration and naming.

Now it is possible to register multiple classifiers with the same type.

Reorganize libstat API.

Rework statistics runtime structures.

Remove statfile invalidation.

Ignore broken TXT records when parsing include.

Fix another critical composites issue and memory corruption.

Fix critical issue with composites weights.

Fix mmaped files initialization.

Another err dereference for dkim module.

Add initialization prototype.

Restore statfile resize logic.

Add backend option for statfiles, remove legacy

Fix crash on broken DKIM DNS records.

More rework.

Start reworking of mmaped files backend.

Remove legacy statfile pool.

Remove direct statfiles manipulation from bayes.

New statistics token definition.

Remove old statfile_pool logic.

Start refactoring of statistics in rspamd.

Do not reset case of settings if parsed from lua.

Merge pull request #129 from wiedi/master

Fix build on SunOS

Fix build on SunOS
- the struct dirent d_type is not available on SunOS
- tm_gmtoff is not a POSIX field

Revert "Preserve destructors order as LIFO."

That change was completely incorrect.

This reverts commit 1f2c83f096f28ce79e828edd1ab545a341f10451.

Fix static build.

Remove binlog and statfile_sync: never ever used.

No more winnow.

Reorganize statfiles and classifiers into libstat.

Update version to 0.9 WIP.

Fix double format output.

Merge pull request #128 from fatalbanana/master

Oops: fix regression

Fix regression

Merge pull request #127 from fatalbanana/master

Update RPM packaging

Update RPM packaging

Add toggle for disabling installation of systemd units on Linux

Merge pull request #126 from fatalbanana/master

Fix building on Fedora

Fix building on Fedora

Silent warnings.

Merge pull request #125 from fatalbanana/master

Make Exim pass hostnames to rspamd

Make Exim pass hostnames to rspamd

Merge pull request #124 from fatalbanana/master

Remove whitelist.lua from RPM file list

Remove whitelist.lua from RPM file list

Merge pull request #123 from fatalbanana/master

Add sqlite as dependency for RPM/Debian packages

Add Perl as build dependency for Debian/RPM packages

Add sqlite as dependency for RPM/Debian packages

Release 0.8.0

* New fuzzy check logic:
- use shingles algorithm for fuzzy matching
- use blake2 instead of md5 for larger output space
- combine fuzzy and strict matching
- allow to organize private storages by means of keys
- preserve compatibility with previous versions
* New fuzzy storage:
- use sqlite instead of own memory based hash tables
- rework commands interface
- add conversion from the old format
- add fuzzy match by shignles
- support old rspamd versions
* Add lemmatizing for words used in fuzzy hashes that allows to improve match
quality by using of the first forms of all words
* Rework language detection
* Fix several critical bugs, memory leaks and deadlocks:
- memory leak in HTML nodes parsing
- deadlock in logger code
- deadlock in signals processing
- crashes in fuzzy_storage
- crashes in tokenizers if the input was empty
* Import new libucl with several bugfixes and improvements
* Support listening on ipv6 addresses only
* Fix macro expansion in SPF module
* Several bugfixes in DKIM module
* Add load headers support for mime parts to the lua API
* Add documentation for:
- workers in general
- fuzzy_storage worker
- fuzzy_check plugin
- mimepart and textpart lua API modules

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Update docs.

Merge pull request #122 from fatalbanana/master

Fix typo in fuzzy_check.md

Fix typo in fuzzy_check.md

Add documentation for fuzzy_check module.

Preserve destructors order as LIFO.

Fix memory leak in html nodes.

Fix macro expansion length calculation.

Some fixes to macro expansion in spf.

Zero memory for inet address.

Fix some leaks.

Do not tokenize empty input.

Do not dereference null pointer.

Add documentation for fuzzy worker.

Value of fuzzy is signed actually.

Add lua API for getting raw headers from mime part.

Save raw headers for all normal parts.

Update libucl.

Merge pull request #121 from notandy/case-insensitive-find-headers

make rspamd_http_message_find_header case-insensitive

make rspamd_http_message_find_header case-insensitive

Use safe iters for bind_socket parameter.

Update ucl for safe iterators.

Allow to listen on ipv6 IP.

Arrays are no longer lists in UCL.

Add workers documentation.

Save flag in fuzzy reply.

Learn legacy fuzzy as well for now.

Lemmatize words for fuzzy check.

Rework language detection.

Rework text tokenizaton.

Rework words tokenization.

Add sequential order for upstreams.

Fix for fuzzy matching.

Some fixes to fuzzy matching