More fixes to expire algorithm.

Merge.

* Add initial skeleton of file based backend

Fix static build.

* Add incr and decr commands to kvstorage.
* Add integers detection inside kvstorage.

* Support redis unified protocol.

Implement lazy backend writing using sync_ops = 0.
Allways wait for kvstorage worker to prevent data corruption.

Forgot to merge.

Fix radix cache.

Imlement 'select' and 'save' commands.

Fix main rspamd worker to work with buffer.c changes.

Release read lock lately.

Another fix to expire logic.
Try to hold read lock more time (still need reworking).

Fix stupid errors while trying to parse NULL address list.

* Add judy storage for fast caching.
Fix LRU expiration.

Fix expire and insert.

* Implement sync command for manual synchronization with backend.

Fix misprint.

* Support redis API emulation

Do not free elements that are still in cache.

Do not try to mmap empty cache.

Fix static build.

Block signals in worker threads.

Compatibility with old glib versions.

* Implement sqlite3 backend for kvstorage.

Store keys inside elements.

Fixes to BDB initialization.

* Add initial support of bdb backend

* Add array operations
Fix memory freeing for elements in kvstorage.

* Significate performance improving by vectorizing IO output (about 4 times for kv storage).

* Fix threading in kvstorage.
Rspamd now can detect and work with libevent-2.

Add basic locking.

* Implement basic functionality of key value storage

* Initial implementation of threaded kvstorage worker.

* Use event_base thread safe API to allow parallelism based on threads

Do not try to validate empty headers.
Write symbols to log in case of HTTP/Json output.

* Implement initial version of asynced kvstorage API

Fix siginfo detection code.

* Implement kvstorage synced API

Fix bug in compare_content_param function.

* Add skeleton of libkvstorage API.

Add universal utility function for creating stream sockets.

Move librspamdclient to separate directory.

--HG--
rename : lib/librspamdclient.c => lib/client/librspamdclient.c
rename : lib/librspamdclient.h => lib/client/librspamdclient.h

Add initialization for kvstorages after configuration.

* Add configuration utils for kvstorage

Add ability to register subparsers inside main XML config parser.

Fix deinstall/install targets for building of FreeBSD port.

Fix build under Solaris10. Reported in https://bitbucket.org/vstakhov/rspamd/issue/21/rspamd-solaris10-x86-openindiana

Check utf8 characters before gregex checks as they assume input to be a utf8 valid string.

Remove debug.

Fix stupid bug with lua stack corruption.

Remove some warnings.

* Add ordinary hash and radix tree as kv cache implementations

Add make_socketpair utility function.

* Initial implementation of key-value storage
Detect and link against bdb
Change version to 0.4.5

Added tag 0.4.4 for changeset 398802e77f9f

* LRU cache now is capable to get custom insert and delete functions that would allow to use custom storage engines for it

Try to check spf domain before adding it to LRU hash.
Make libutil functions ported from BSD compatible with libbsd in linux.

Check if internet address list is parsed correctly.

Version 0.4.4.

* Support for IDN urls
* DNS resolver now can handle international domains correctly

* Fix DNS PTR resolving
* Add ability to resolve ip in once_received plugin to avoid temporary DNS fails of SMTP resolving

Fix process headers with ')' last symbol.

Damn.

Json fix.

Fix to json output.

Add more.

Fix http headers.

* Introduce new system of contexts initialization. It would be used for other things in rspamd as well in future.
Ignore unknown headers in case of http.

Make lexgrog happy with rspamd man pages.

Insert symbols counting their weights with respect to grow_factor.

Stupid bug with learning and task destroying.

Fix output for spamc proto.

Added tag 0.4.3 for changeset 44d02babaaea

Fix critical bug with lua stack cleaning that caused heavy memory leaks.
Update to 0.4.3.

* Make hash traversing more safely

Make buffers non-static.

* Make librspamdclient thread-safe

Add LOCALSTATES_PREFIX variable for setting where should be runtime files for rspamd.

Suggested by: Vasiliy G. Tolstov

Added tag 0.4.2 for changeset fc8a4134bfcc

More checks in lua plugins.

Make hash traversing more safe by using reference count.
Update to 0.4.2

Another one.

Another bad read detected.

Fix access to already freed memory.
Remove assert.

Fix signness in arithmetic operations.

Some improvement in building for unknown systems.

Make DNS requests with unique id.

Fix dispatcher restoration (fix for controller's logic)

Fix controller stages and debug info.
Handle timeouts in librspamdclient correctly.

Another installation paths fix.

Install files and directories respecting DESTDIR environment variable.
Install sample config fgom binary dir.

Another fix for out-source build.
Unbreak FreeBSD build.

Remove legacy rpm spec.

* Fix build under CentOS 5 with old glib 2.12
* Fix build of rspamd with CMAKE_BINARY_DIR differs from CMAKE_SOURCE_DIR
Rework include style.

Fix for *BSD.

Added tag 0.4.1 for changeset 17edc13bc56a

Update a sample config file.
Set version to 0.4.1.

* Add option max_size for regexp module to skip expensive regexp on long messages

* Add max_tokens options to avoid classifying and learning with too much tokens from one message.
Fix stupid memory leakage on client's timeout.