Add make_socketpair utility function.

* Initial implementation of key-value storage
Detect and link against bdb
Change version to 0.4.5

Added tag 0.4.4 for changeset 398802e77f9f

* LRU cache now is capable to get custom insert and delete functions that would allow to use custom storage engines for it

Try to check spf domain before adding it to LRU hash.
Make libutil functions ported from BSD compatible with libbsd in linux.

Check if internet address list is parsed correctly.

Version 0.4.4.

* Support for IDN urls
* DNS resolver now can handle international domains correctly

* Fix DNS PTR resolving
* Add ability to resolve ip in once_received plugin to avoid temporary DNS fails of SMTP resolving

Fix process headers with ')' last symbol.

Damn.

Json fix.

Fix to json output.

Add more.

Fix http headers.

* Introduce new system of contexts initialization. It would be used for other things in rspamd as well in future.
Ignore unknown headers in case of http.

Make lexgrog happy with rspamd man pages.

Insert symbols counting their weights with respect to grow_factor.

Stupid bug with learning and task destroying.

Fix output for spamc proto.

Added tag 0.4.3 for changeset 44d02babaaea

Fix critical bug with lua stack cleaning that caused heavy memory leaks.
Update to 0.4.3.

* Make hash traversing more safely

Make buffers non-static.

* Make librspamdclient thread-safe

Add LOCALSTATES_PREFIX variable for setting where should be runtime files for rspamd.

Suggested by: Vasiliy G. Tolstov

Added tag 0.4.2 for changeset fc8a4134bfcc

More checks in lua plugins.

Make hash traversing more safe by using reference count.
Update to 0.4.2

Another one.

Another bad read detected.

Fix access to already freed memory.
Remove assert.

Fix signness in arithmetic operations.

Some improvement in building for unknown systems.

Make DNS requests with unique id.

Fix dispatcher restoration (fix for controller's logic)

Fix controller stages and debug info.
Handle timeouts in librspamdclient correctly.

Another installation paths fix.

Install files and directories respecting DESTDIR environment variable.
Install sample config fgom binary dir.

Another fix for out-source build.
Unbreak FreeBSD build.

Remove legacy rpm spec.

* Fix build under CentOS 5 with old glib 2.12
* Fix build of rspamd with CMAKE_BINARY_DIR differs from CMAKE_SOURCE_DIR
Rework include style.

Fix for *BSD.

Added tag 0.4.1 for changeset 17edc13bc56a

Update a sample config file.
Set version to 0.4.1.

* Add option max_size for regexp module to skip expensive regexp on long messages

* Add max_tokens options to avoid classifying and learning with too much tokens from one message.
Fix stupid memory leakage on client's timeout.

Another 'proper' place.

Move hash table creation to the proper place.

Fix very bad bug in a memory pool allocator.
Speed up inserting symbols by hashing them.

* Implement max tasks per worker setting

Fix up another event related problem.

Zero memory of pool allocator statistic.

Fix coredumps when learning message with one empty part.

Added tag 0.4.0 for changeset f04885bd268e

Fix for libevent.

Write error about too few tokens during learning.

Increase buffer for output.

Added tag 0.4.0 for changeset c52f190b0592

Add workaround for clang under linux.
Fix problems found by static analyzing.

Another fix to avoid race with settings - add reference counter.

* Add start script for red hat compatible systems
Add descriptions for some rspamd API functions (no functional changes).

--HG--
rename : linux/rspamd => linux/rspamd_debian.in

Rework http chunked encoding parsing.

Do not try to use information about dispatcher after callback fails (found by valgrind).

* Add classifiers pre-selection script

Fix coredumps on some specific messages with specific urls.
Fix coredumps while closing log file.
Fix parsing of chunked HTTP replies.

Ref hash table at settings loading.

Fix statfiles class determination euristic.
Fix call of classifier pre-callback.

Fix textpart:get_language lua function.

Create statfiles using learn_spam function for bayes classifier.
Fix call of pre callbacks for a classifier.

Use event_set correctly after event_del.

Fix bug with data corruption during settings application.

Begin to write normal and updated default configuration.

--HG--
rename : rspamd.xml.sample => conf/rspamd-basic.xml.in

Another fix for comparing parts without content - two empty parts are equal.

Fix coredump on messages with one url only.

Fix core dumps when no symbols are found in a message.

* Add learn_spam/learn_ham interface to librspamdclient and to rspamc
* Improve logic of io dispatcher restoration
Remove correction factor from bayes as it leads to classify errors.

Adjust interval.

* Remove completion logic from controller: it is hardly used but breaks new commands logic

Fix multiply compare_parts_distance calls.

Ignore arguments order in compare_parts_distance function.

Change logic of params inside compare parts distance.
During learning and classifying compare parts using new algorithm.
Raise similarity factor.

* Add new algorithm based on diff algorithm to compare relatively short text parts

Add validity detector for statfiles inside classifier.
Add euristic to detect spam/ham classes based on statfile symbol.

* Add second argument to compare_parts_distance function so it can be used as interval: arg2 <= distance <= arg1

* Add ability to get difference between two parts from lua code

* First commit to implement multi-statfile filter system with new learning mechanizm (untested yet)

Cache data of parts distance function to speed up multiply rules with such function.

* Make fuzzy hashes utf8 compatible.

* Add a simple logic of language detection for text parts (unicode script based)

Fix phishing detection with img flag.
Handle unclosed HTML tags properly.
Remove warnings for types on 32 bit archs.
Do not touch grow factor many times when one shot mode is turned on.

* Improve performance of settings lookup

* Add correcting factor to statistics.
Now learning increments version of a statfile.
Avoid learning and classifying of similar text parts if a message has 2 text parts.
Several fixes to statistics.

* Add ability to specify noip option for uribl suffix to avoid checking urls with ip addresses on such lists.

Fix statshow utility.

Remove debug.

Fix incorrect calculating of token length.

* Welcome 0.4.0

Uncompatible changes:
- Statistics is uncompatible in utf8 mode

Major changes:
- Improved utf8 mode
- Convert all characters to lowercase in statistics
- Skip URL's in statistics
- Improve speed of bayes classifier by using integer arithmetics
- Fixed statfiles synchronization that was broken for a long time
- Synchronization is now configurable

Minor changes:
- Bugfixes
- Removed some of legacy code
- Types polishing

Oops, remove debug.

* Fixes to fuzzy hashing logic, skip urls while estimating fuzzy hash
Fix tags stripping.
Fix phishing checks (ignore img tags).