* Add classifiers and composites sections to dump

* Add lua functions parsing for module options
* Add missing sections to XML parser (classifier, statfile, view, settings)
* Add missing params to XML parser
* Implement new commandline options parser (using glib)
* Set version to 0.3.0 as new rspamd would use new config system

* Add initial version of lua configuration system

* Add dumper to XML file (not all sections yet)
* Add checksum to config files
* Some config parsing reorganizations:
  - post_load_config should be called after xml initialization
  - xml state machine is corrected to read main section variables
  - some linting is added to xml (checking of elements parity)

* Add more syntax

* New syntax parser that should make syntax check of XML configs
* Rework of config structure types (use glib types)
* TODO:
  - implement the whole syntax of rspamd in XML
  - implement custom handlers that modules can install
  - write missing handlers

* Initial add of xml parser for rspamd configuration

* Add FreeBSD port

* Take block size into consideration while searching for fuzzy hash

* Fix freeing of module parameters (they should NOT be freed)
* Add minimum hash length to check with fuzzy module as well as whitelisting for fuzzy checks:
  min_length = "300"; <- messages with more than 300 characters would be checked with fuzzy check
  whitelist = "http://somehost/somefile"; <- ip addresses whitelisted
* Extend comments about module options for comfortable usage

* Add option min_tokens to classifier that allows to skip too short messages from statistic check, format:
  min_tokens = "10"; (for 10 words minimum)

* Update documentation

* Add support for Judy storage for fuzzy hashes

* Some logging added

* Try to speed up fuzzy storage

* Handle writing of messages correctly in perl module

* Add statistics for fuzzy storage

* Add action to form in cgi

* Fix statistics of messages in controller
* Fix building and installing perl target
* Fix learn command name
* Controller's commands are now case insensitive
* Statfiles can now be selected from popup list in cgi interface
* Password for controller's commands can now be specified in cgi interface

* Fix descriptors leakage

* Add normalizer for fuzzy hashes
* Fix fuzzy add and fuzzy del

* Read 'END' after password command

* Another addition to learning

* Fix learn command (-m is used instead -w)

* Fix variable name in Client.pm

* Fixes to rspamc

* Parse '*' in host name from config file correctly

* Fix another spf core dump while parsing 'include' items

* Handle SERVER_NAME

* Fixes to configuration

* More fixes

* More fixes about require

* use -> require

* Bump version

* Add web management interface for rspamd (no design yet)
* Fix Mail::Rspamd::Client

* Make new Mail::Rspamd::Client working

* New Mail::Rspamd::Client
  things TODO:
  - improve interaction with rspamc
  - improve documentation
  - test all features
  - test clustering
  - write CGI front-end

* Allow to specify hosts file for making batch operations on rspamd using rspamc client

* Add percents of spam and ham detected to stat command output

* Fix bugs from previous commit

* Add weights command for getting weights of each message by each statfile
* Add ability to specify multiplier when learning
* Add statistics about spam and ham messages

* Save prefixes in trees

* Fix cores in spf code (partially)
* Add support for spf 2.0 (Sender ID policy)
* Add support of MAP_NOCORE to systems that supports it (FreeBSD for example)

* Add custom filter for making marks for new user:
  - each username is passed throught metaphone filter
  - then we make prefix tree based on english letters from metaphone
  - then we are searching for the longest common string and output result (how many times we got that string)

* Add first custom filter for making marks for ip addresses and networks
* Some additions to radix tree library:
  - allow tree traverse
  - add new insert methods (add and replace)
  - store keys in radix nodes (thought we can calculate key by bits, but I think that storing key is not too expensive)
  - values in a tree are now uintptr_t

* Show help message when rspamd is called without any params (suggested by Andrey Zverev)

* Libintl hack

* Add ability to build rspamd static

* Add ability to add custom messages to rspamd output
* Add messages from spf checks

* Add support for imap custom search in rspamc
* Update help message for rspamc

* Allways set some protocol version even if command is not valid

* Fix unix socket creation under FreeBSD (reported by Andrey Zverev)

* Add ability to add weight for fuzzy hashes, this can be very useful for autolearning fuzzy storage by users

* Handle empty messages in learning

* Add a little review of rspamd
* Add local_scan.c from Anton Nekhoroshikh for exim MTA

* Add maillist plugin for detecting mailmain/ezml and subscribe.ru lists

* Add ability to classify only specific headers (for example Subject)

* Add support of custom filters in rspamd worker
  - custom filters are dlopened and provides callbacks for user's input processing
  - custom filters can be used to extend rspamd functionality for unusual (non email processing cases)
  - custom filters allows to use rspamd async IO model and process management for performing custom network tasks

* Fixes to IMAP support in rspamc

* Write part's hashes to log for messages identify

* New system of rspamc command:
  - now it is possible to specify files and directories in arguments to rspamc
  - EXPERIMENTAL support of IMAP fetching including SSL support

* Do not produce lua warning when message has no headers or has unresolved hostname

* Fix misprint

* Forgotten call of normalizer function

* Add ability to add normalizers for statfiles (custom functions written in lua or simple internal normalizer)

* Remove useless next in cycle

* Add support of whitelists in settings (by Anton Nekhoroshin)

* Introduce new logging system:
  - independent and customizeable buffering
  - line buffering
  - errors handling support
  - custom (ip based) debug
  - append function name automaticaly (based on __FUNCTION__)
  - add some logic to logs system

* Add ability to specify pid file from command line (for rc scripts)
* Do not use flock directly in pidfile handling

* Add limits support to each worker (max open files and max core size)
* Fix dependency on lex and yacc sources

* Implement pre and post classify callbacks for checking specific statfiles for this task

TODO:
  - add properties to get all parameters of input task
  - add properties to statfile object
  - add some normalization function for calling from classify process
  - document changes

* Fix inserting one list to another in spf parser (include border elements)

* Fix issue with list concat

* Fix symbols cache (init lua filters before symbols cache initialization)
* Remove LRU expiration logic from statfiles and replace it with random/lowerest value expiration logic:
  expire random block or block with lowerest value

! statfiles are incompatible again

* Add documentation
  - for Mail::Rspamd::Client
  - for HTTP redirector
  - for SPF module
  - for fuzzy storage
  - for statfile synchronization

* 0.2.7 -> 0.2.8

* Fixes to spf parser:
  - add macros support
  - fix include command
  - fix exists command
  - add handling of DNS errors
  - fix all records in include parts
  - fix some issues with ip masks

* Some fixes to 'include' and 'redirect' defines and to mask checking

* Actually check what we have in spf record

* Updates to spf system:
  - add plugin to work with spf records (initial version)
  - make all spf types working (except include and redirect that still need some attention)
  - add support of MX records to evdns
  - some major fixes and testing of the whole spf subsystem

* Many major fixes to statfiles:
  - fix bug with mmapping files: new addresses must NOT be allocated in shared memory by themselves
  - fix bug with winnow classifier that totally brokes it down
  - fix bug with too much grow of values
* Use double precission values in statistics
* Add statistics for statfiles
* Add more informative data to output of LEARN command (weight of incoming message)
* Add weight to output of classifier as well

* Another fixes to synchronization of statfiles

* Some fixes to sync

* Adopt printf function from nginx for comfortable printing of some data types (fixed strings, pids etc)
* Fix work of http maps (they were broken in some places before)
* Fix sync of statfiles (not fully tested yet)

* Initial release of synchronization server in controller

* Add initial version of rspamd binlog syncronization client
* Style fix to perl module

* Add check_smtp_data function for checking some fields from SMTP dialog

* Some more clarifications to perl api

* Perl fixes:
 - remove XS API, it seems that I would never support it
 - use sys(write|read) for IO in Mail::Rspamd::Client
 - add proper installation process for Mail::Rspamd::Client
 - remove some other legacy

--HG--
rename : perl/Client.pm => perl/lib/Mail/Rspamd/Client.pm

* Write revision and revision time to statfile
* Make some improvements to API (trying to make it more clear)

* New version of rspamd statfiles that can be used in sync
* Add convertion routines for converting 1.0 to 1.2 statfiles
* Reserve some place in header for future features

* Fix some issues in binlog seeking

* Fix addrlen of sockaddr_un (previous was a mistake)

* Add right way to pass config params with common names to lua scripts

* Fix parsing '*' as hostname in bind lines

* Avoid mmap'ing in binlog as mmapped areas must be aligned
* Make binlog working for writing
* Add config params for binlog

* Check whether dead flag is defined in hash to avoid warning

* Update documentation:
 - add information about grow_factor;
 - document views and user's settings (4.8);
 - document lua maps (9.4).

* Add logging urls as it was required by rambler search

* Add binlog API implementation