* Some fixes to regexp module
* Add documentation for rspamd regexp module

* Add sections support to rspamd statfiles API
* Change logic of statfile pool:
  - statfiles hash is no longer shared hash as we have per-process uniq things like current section or offset in statfile
  - introduce shared hash of statfiles mmapped areas to avoid multiply mmaps of the same file

* Add log line for each message in SA style

* Fix FreeBSD start script for redirector

* Fixes to redirector:
  - move memcached servers setting to config hash
  - eval config file before any actions
  - move daemonization code after all subs
  - fix searching in domains for redirector's check

* Fix redirector connection procedure
* Add more strict login
* Add new header Queue-ID to protocol
* Log message id or queue id
* Add config file for redirector
* Add ability to set regexp and domains list to check with redirector

* Not increase save point counter when we actually do not send requests

* Avoid extra requests to surbls saving them into requests cache
* Lower debug level for some errors (INFO to DEBUG)

* Fix 2 memory issues:
 - NULL string when trying to check url regexp
 - double free of message byte array as mime_stream frees memory in array if it thinks that stream is
   owner of array's memory

* Fix logic of parsing hoster's domains in surbl module

* Remove several memory leaks (found by valgrind)

* Add some broken urls to check list, in fact skip only urls without host part and empty urls (thought empty urls are
  totally impossible in that code)

* Fix bad memory leaks and memory corruption in url detecting module

* Fix initialization procedure of redirector
* Do not write to log file if we cannot open it

* Fix bug in url parser with freeing memory allocated by memory_pool allocator
* Do not write to log if we don't do any read operation in dispatcher library

* Change method of dropping privilleges

* Drop privilleges immideately after creating of listen socket

* Fix misprint in surbl module

* Add ability to fork multiply lmtp workers
* Add ability to drop privilleges of rspamd processes
* Add ability to install redirector with rspamd
* Add FreeBSD start scripts for rspamd and redirector
* Remove command line parsing from util.c as it has specific usage only in main process

* Unify socket creation and accepting by using utility functions
* Check SO_ERROR on socket immideately after connect/bind to avoid resourses allocation for
  unsuccessful connections
* Avoid descriptors leakage when we create sockets and have errors on them
* Set on all socket descriptors FD_CLOEXEC flag to avoid problems with executing LDA

* New rspamd protocol (changed replies)
* Add ability to attach string lists to symbols
* Check destructors and do not add identical destructors (argument and function) to pool's destructors
* Remove 2 warnings when building with gmime22
* Attach url names to surbl symbols
* Fix bug with blocking on read (I think it is linux specific thought)

* Add ability to check bits from surbl replies

* Properly set initial state for surbl state machine
* Ignore SIGPIPE globally as dispatcher performs check of all write (2) calls

* Set read timeout for redirector instead of connect timeout

* htonl->htons as port is uint16_t, so lower bytes are zeroed or undefined when call htonl

* Remove %m from logging it seems to be unsupported by FreeBSD printf version

* Fix misprint

* Add forgotten file

* Add ability to check multiply SURBL's

* Add compatibility with gmime24

* Fix LMTP and DELIVERY parsing in config file while trying to get control credits

* Fix dispatcher bugs and add some debug output
* Fix log output for surbl

* Fix character policy in dispatcher

* Try not to unref parser too early

* Link with gmime24 if gmime22 is not found

* Add debug for mime parsing
* Fill task structure with zeroes in url-extracter

* Fix url-extracter
* Fix soft-shutdown of dispacther
* Turn debug on by default in cmake
* Change logic of save points

* Fix dependencies on perlxs target (do not rebuild it constantly)
* Fix rspamc to understand lmtp and delivery sections in config
* Fix parser's states when reading module options
* Add sample config for surbl module with comments

--HG--
rename : rspamc.pl => rspamc.pl.in

* Remove cmake logic for installing targets due to fucking libperl

* Fix logging when process is starting
* Add -t option for config testing
* Try to search default config in install prefix not in current directory

* Completely rewrite and reorganize perl API
* Add documentation for Mail::Rspamd
* Add install targets to cmake

--HG--
rename : perl/rspamd.pm => perl/Rspamd.pm
rename : perl/rspamd.xs => perl/Rspamd.xs

* Add support of LMTP/SMTP delivery

* Fix memory corruption and lmtp handling
* Add e-mail address validation in lmtp

* Add initial LMTP support and LDA delivery to rspamd

* Fix dispatcher timeouts handling
* Add wanna_die flag that can be used in dispatcher's callbacks

* Implement rspamd IO with IO dispatcher (TODO: still some issues with timeouts must be resolved)

* Improve logger initialization

* Fix issue with -fPIC and DynaLoader
* Retab perl.c

* Add issue to cmake to make perl module as well
* Fix some portability issues (to FreeBSD mainly)
* Add script to make modules list

* Prepare to migrate to cmake (still need to write install target and working with XS implicitly)
* Move all system includes to one file where we detect availability of all that includes
* Fix license misprint
* Fix some issues with perl initializing

* Add BSD license text

* Remove unused field from task object
* Use separate hashes for blessing different object

* Init perl and do all perl specific operations from the single place in code
* Push objects correctly to stack (by blessing them and making hash reference)

* Add log function to perl API
* Prepare for more detailed work on rspamd perl API

* By default number of workers is number of active processors in system
* Fix macro detection in configure system

* Avoid division by zero

* Fill hash buckets with zeroes to avoid invalid pointer usage

* Try to fix reading a line from user (using pools)

* Make doxygen happy about structures members

* Move config parse errors from stderr output to standart logging functions

* Add some comments and documentation

* Do another rework of filters/metrics and statfiles processing
* Add 'probability' normalizing to winnow algorithm and calculate not pure weight but normalized probability

* Fix bug with calling consolidation function after stop_point
* Use shared memory for storing pool allocator statistics
* Fix bug with processing statfiles results

* Use prime number for hash nodes initial value

* Add new hash for storing hash data in shared memory
* Add rwlocks implementation (primitive) in memory pool library

* Make surbl checks working

* Rework statfiles result processing
* Fix small bug in protocol implementation (\r -> \r\n)

* Add memory pool allocator statistics to 'stat' report output

* Rewrite message parser
* Change mime parts storage
* Add html tags striping (ported from php code)
* Rework learning to process only text and striped html parts

* Rewrite perl client for rspamd, now it allows access to both normal and control interfaces
* Fix small errors in tokenizer and controller interface

* Add simple utility for sending mail to rspamd
* Fix some errors in freeing message object

* Add new system of getting and setting config parameters from perl code

* Try to fix output from delayed filters processing

* Implement statistic output in control interface

* Fix errors in learning implementation

* Implement delayed fork of dead workers (to avoid fork bombs)
* Implement refork of controller
* Log time to console in normal view

* Make sample config more complete
* Fix bugs with config file parsing
* Fix bugs with creating sockets and reading commands

* Add function for adding rspamd report headers

* Fix build under FreeBSD (forgotten include)

* Add logic for filtering messages with tokenizer/classifier pair

* Implement learning using classifiers and tokenizers API

* Add simple implementation of classifiers abstraction and winnow classifier
* Force statfile to work with float values

* Use binary tree in tokenizers, that would provide us fast checking for unique tokens and have O(log n) difficulty

* Remove strlcpy code and replace it with glib alternative
* Polish code and remove bugs found

* Add learning interface to rspamd (still requires classifier to work)

* Add config routines for stat files
* Add function to resolve stat file name

* Write functions to operate blocks in stat files
* Write test case for statistics files API

* Add initial implementation of statistics files handling API

* Add simple locking interface to mem_pool library

* Add simple implementation of OSB tokenizer

* Use utf8 in description files

--HG--
rename : README-classify.koi8.txt => README-classify.utf8.txt
rename : README.koi8.txt => README.utf8.txt

* Add description of classifying process

* Add simple hash function for hashing tokens

* Optimize configure by using caching of determined options (more than 2 times faster than before)

* Reorganize structure of source files
* Adopt build system for new structure

--HG--
rename : cfg_file.h => src/cfg_file.h
rename : cfg_file.l => src/cfg_file.l
rename : cfg_file.y => src/cfg_file.y
rename : cfg_utils.c => src/cfg_utils.c
rename : controller.c => src/controller.c
rename : filter.c => src/filter.c
rename : filter.h => src/filter.h
rename : fstring.c => src/fstring.c
rename : fstring.h => src/fstring.h
rename : main.c => src/main.c
rename : main.h => src/main.h
rename : mem_pool.c => src/mem_pool.c
rename : mem_pool.h => src/mem_pool.h
rename : memcached-test.c => src/memcached-test.c
rename : memcached.c => src/memcached.c
rename : memcached.h => src/memcached.h
rename : perl.c => src/perl.c
rename : perl.h => src/perl.h
rename : plugins/regexp.c => src/plugins/regexp.c
rename : plugins/surbl.c => src/plugins/surbl.c
rename : protocol.c => src/protocol.c
rename : protocol.h => src/protocol.h
rename : upstream.c => src/upstream.c
rename : upstream.h => src/upstream.h
rename : url.c => src/url.c
rename : url.h => src/url.h
rename : util.c => src/util.c
rename : util.h => src/util.h
rename : worker.c => src/worker.c

* Add determining page size function to mem_pool library
* Add simple statistic structure that is placed in shared memory and used for gathering server's stats

* Add main logging functions (log to file, syslog and console)
* Handle log reopening

* Add ability to handle multiply recipients
* Reflect changes to perl library

* Stylify and fix util functions that was gathered from libutil code (memory allocation)
* Fix protocol and network functions
* Fix some memory allocation issues

* Add initial implementation of control interface