Rework http chunked encoding parsing.

Do not try to use information about dispatcher after callback fails (found by valgrind).

* Add classifiers pre-selection script

Fix coredumps on some specific messages with specific urls.
Fix coredumps while closing log file.
Fix parsing of chunked HTTP replies.

Ref hash table at settings loading.

Fix statfiles class determination euristic.
Fix call of classifier pre-callback.

Fix textpart:get_language lua function.

Create statfiles using learn_spam function for bayes classifier.
Fix call of pre callbacks for a classifier.

Use event_set correctly after event_del.

Fix bug with data corruption during settings application.

Begin to write normal and updated default configuration.

--HG--
rename : rspamd.xml.sample => conf/rspamd-basic.xml.in

Another fix for comparing parts without content - two empty parts are equal.

Fix coredump on messages with one url only.

Fix core dumps when no symbols are found in a message.

* Add learn_spam/learn_ham interface to librspamdclient and to rspamc
* Improve logic of io dispatcher restoration
Remove correction factor from bayes as it leads to classify errors.

Adjust interval.

* Remove completion logic from controller: it is hardly used but breaks new commands logic

Fix multiply compare_parts_distance calls.

Ignore arguments order in compare_parts_distance function.

Change logic of params inside compare parts distance.
During learning and classifying compare parts using new algorithm.
Raise similarity factor.

* Add new algorithm based on diff algorithm to compare relatively short text parts

Add validity detector for statfiles inside classifier.
Add euristic to detect spam/ham classes based on statfile symbol.

* Add second argument to compare_parts_distance function so it can be used as interval: arg2 <= distance <= arg1

* Add ability to get difference between two parts from lua code

* First commit to implement multi-statfile filter system with new learning mechanizm (untested yet)

Cache data of parts distance function to speed up multiply rules with such function.

* Make fuzzy hashes utf8 compatible.

* Add a simple logic of language detection for text parts (unicode script based)

Fix phishing detection with img flag.
Handle unclosed HTML tags properly.
Remove warnings for types on 32 bit archs.
Do not touch grow factor many times when one shot mode is turned on.

* Improve performance of settings lookup

* Add correcting factor to statistics.
Now learning increments version of a statfile.
Avoid learning and classifying of similar text parts if a message has 2 text parts.
Several fixes to statistics.

* Add ability to specify noip option for uribl suffix to avoid checking urls with ip addresses on such lists.

Fix statshow utility.

Remove debug.

Fix incorrect calculating of token length.

* Welcome 0.4.0

Uncompatible changes:
- Statistics is uncompatible in utf8 mode

Major changes:
- Improved utf8 mode
- Convert all characters to lowercase in statistics
- Skip URL's in statistics
- Improve speed of bayes classifier by using integer arithmetics
- Fixed statfiles synchronization that was broken for a long time
- Synchronization is now configurable

Minor changes:
- Bugfixes
- Removed some of legacy code
- Types polishing

Oops, remove debug.

* Fixes to fuzzy hashing logic, skip urls while estimating fuzzy hash
Fix tags stripping.
Fix phishing checks (ignore img tags).

Another fix with reload command.

Fix reload command.

Handle files with zero lenght properly.

Reported by: Andrej Zverev

Fix rspamc client to handle multiply files properly.

Actually all times are in GMT already, so avoid conversion to prevent dst loosing.

Add condition to fix inconsistent records in LRU cache.

Added tag 0.3.14 for changeset e8e79f27ad01

Write logbuf safely.

Fix trie text search.

Fix memory issues.

Improve performance of trie search.

Fix connecting to xmlrpc server.

Fixes from previous commit.

* Add LRU caching structure
* Add SPF records cache
* Add ability to parse doubles to xmlrpc
Several fixes to dns interface.
Trie plugin now checks urls as well.

Up lua version.

* Add lua http support that makes it easy to send GET and POST request to HTTP servers from lua code

* Add api for creating XML-rpc calls

* Add lua interface for parsing xmlrpc replies

* Add more convinient operations into expressions ('and', 'or', 'not')

* Skip short utf words in statistics

Misprint.

Added tag 0.3.13 for changeset e20e33df7a46

Parse urls with '_' sign in domain name

Merge.

Fix bug in librsapmdclient with uninitialized struct field.
Fix bug in DNS parser that caused invalid parsing of CNAME fields.

* Add new key-value map
* Add lua api support for key-value map
* Fix problem in lua configuration initialization to allow `rspamd_config' global work properly

* Fix error in raw headers parsing
* Improve speed of raw headers access

Add more options to rspamc client.
Remove unused scores.

Ignore empty from in settings.

* Strip email addresses from braces
Ignore empty domains in settings

Add log message about action from settings

* Add blacklist to json settings

* Improve maillist plugin to detect majordomo, cgp and google groups

Fix settings using.
Revert genmodules logic.

Add this shit again.

Forgot to save.

Fix dependencies in cmake.

* Add Subject header that indicate how Subject must be rewritten in case of 'rewrite subject' action
Fix initialization order of json settings.

Fix initialization order.

* Rework build process:
 - add librspamdserver
 - link this library to all daemons and utils of rspamd
 - use subdirectories more often
* Rework global variables logic - move them to the main process
* Fix logging to handle utf-8 correctly
* Add statshow utility and make it working
* Move printf functions to separate source file

* Major cleanup of cmake build system
* Add initial version of statshow utility for statfiles debugging
* Add debugging for statistics
* Remove unused utilities

* Whitelist settings now affects on metric's action

Added tag 0.3.12 for changeset 391960a4b518

Update to 0.3.12.

* Add rules for message's date

* Add functions to lua API to detect message and task date (in GMT)

* Fix phishing detector to find phished urls with tags inside

* Add ability to specify dns nameservers in a config
* Add ability to select between round-robin and master-slave algorithms for dns servers

Added tag 0.3.11 for changeset efd81f6e3ad6

* Add ability to learn rspamd via worker (without password)

Update version to 0.3.11

* Preload statfiles at the early beginning in the main process
* Add JSON output for rspamd worker
* Add HTTP protocol support for rspamd worker

* Add more timeouts: for fuzzy operations, for worker task operations
Handle miliseconds using a common macro.

Write to log number of dns requests per task.

Add preload function for statfiles.

Optimize performance of received_rbl plugin.

Update to 0.3.10.

Added tag 0.3.10 for changeset 6c80adc8e9b7

* Add ability to extract urls from subject field
Fix phishing plugin.
* Important fix for multimap/cdb handling
* Important fix for phishing detector

Race (func MUST be called after all modifications to its argument)

Add throttling timer only once.

* Main process now has 'hard termination time' - maximum time between getting termination signal and waiting for workers