* Some fixes to 'include' and 'redirect' defines and to mask checking

* Actually check what we have in spf record

* Updates to spf system:
  - add plugin to work with spf records (initial version)
  - make all spf types working (except include and redirect that still need some attention)
  - add support of MX records to evdns
  - some major fixes and testing of the whole spf subsystem

* Many major fixes to statfiles:
  - fix bug with mmapping files: new addresses must NOT be allocated in shared memory by themselves
  - fix bug with winnow classifier that totally brokes it down
  - fix bug with too much grow of values
* Use double precission values in statistics
* Add statistics for statfiles
* Add more informative data to output of LEARN command (weight of incoming message)
* Add weight to output of classifier as well

* Another fixes to synchronization of statfiles

* Some fixes to sync

* Adopt printf function from nginx for comfortable printing of some data types (fixed strings, pids etc)
* Fix work of http maps (they were broken in some places before)
* Fix sync of statfiles (not fully tested yet)

* Initial release of synchronization server in controller

* Add initial version of rspamd binlog syncronization client
* Style fix to perl module

* Add check_smtp_data function for checking some fields from SMTP dialog

* Some more clarifications to perl api

* Perl fixes:
 - remove XS API, it seems that I would never support it
 - use sys(write|read) for IO in Mail::Rspamd::Client
 - add proper installation process for Mail::Rspamd::Client
 - remove some other legacy

--HG--
rename : perl/Client.pm => perl/lib/Mail/Rspamd/Client.pm

* Write revision and revision time to statfile
* Make some improvements to API (trying to make it more clear)

* New version of rspamd statfiles that can be used in sync
* Add convertion routines for converting 1.0 to 1.2 statfiles
* Reserve some place in header for future features

* Fix some issues in binlog seeking

* Fix addrlen of sockaddr_un (previous was a mistake)

* Add right way to pass config params with common names to lua scripts

* Fix parsing '*' as hostname in bind lines

* Avoid mmap'ing in binlog as mmapped areas must be aligned
* Make binlog working for writing
* Add config params for binlog

* Check whether dead flag is defined in hash to avoid warning

* Update documentation:
 - add information about grow_factor;
 - document views and user's settings (4.8);
 - document lua maps (9.4).

* Add logging urls as it was required by rambler search

* Add binlog API implementation

* SI_ code macroses are not BSD compatible, avoid using them

* Add more advanced signal processing routine

* Add ability to add maps from lua scripts and access theirs elements
* Add whitelist module for whitelisting score for some ip/from addresses

* Parse days and hours in time limits

* Implement new system of managing rspamd processes

* Fix an issue with workers spawning
* Fix an issue with initializing radix lists in views

* Add ability to check views by client's ip (that ip from which we have a connection to rspamd)

* Convert all string values to lowercase in once_received module

* Fix patterns matching in lua plugins

* Implement timeouts in rspamd perl module
* Implement upstream logics
* Add learn command
* Small fixes to other parts of client's API

* Add perl client library for rspamd (alpha version)

* Remove utf8 usage in forged recipients plugin

* Fix reading of last block

* Do not really check messages that should be skipped
* Add Skip state for such messages (not False and not True)

* Add ability for scanning non-mime (HTML) messages

* Small improvement of lua style
* Add ibility to process A records in spf parser
* Add recursion limit to spf parser

* Add ability to change statfile size limit in config and allow reindexing of statfiles

* Add growing coefficient to factors consolidation callback
* Fix registering functions from lua

* Add ability to skip check in views

* Trim brackets in forged recipients plugin

* Fix getting of message headers from lua plugins
* Fix forged recipients plugin

* Fix loop

* Add ability to register rspamd functions from LUA
* Add ability to access recipients list and sender information
* Add plugin for checking forged recipients and sender
* Sync documentation

* Add ip4 SPF record callback
* Define HOST_NAME_MAX on systems that have not this macro

* Forgotten in previous commit

* Improve logic of lua plugins:
 - fix once received plugin to configure properly (pointy hat to: dmx)
 - add additional functionality to once_received plugin for strict checking of received
 - make all things local

* Forgotten header

* Port evdns with TXT patch into rspamd and adopt it to work separately from libevent
* Add skeleton for spf parser

* Add once_received plugin (by dmx)
* Fix read_callback to avoid double freeing of task object

* Add reject score setting for hard rejecting of mail (by Anton Nekhoroshin)
* Add rspamc protocol 1.1 (3 marks instead of 2)

* Retab, no functional changes

* Fix some memory issues with lua (strings that are returned from lua can be freed early)

* Fix another race

* Fix race between learn and classify

* Make composites working
* Document using of composites

* Add events to lua resolver
* Do not classify non-text messages

* Add documentation

* Fix learning

* Fix CRLF parsing
* Fix pidfile in start script

* Do not read http reply when we got 304 reply code

Added tag 0.2.7 for changeset e3cf50559597

* Update sample config

* No IO allowed in events destructors

* Another mistake in task object initialization

* Small fixes in task construction

* Implement new system of async events handling (experimental)

* Export definitions

* Add time out for sync IO as it can cause unpredictable errors

* Fix fuzzy storage binding

* Cleanify logic of processes dispatcher

* Fix -C flag with lua enabled

* Add decoding entities as it is specified in w3c recommendations

* Fix double free of memory
* Fix symbols output

* Remove assert
* Fix build WITH_LUA
* Fix calling of classifier
* Fix autolearn

* Decode all html entitles in html parts

* Fix build with LUA_ENABLED = on and WITH_LUA = no (when lua is not found)

* Add lua plugin for checking received headers
* Some tunes to lua API
* Fix bug with http maps
* Optimize installation and make custom prefix for configs

* Add chunked replies support for http maps

* Sync log before closing
* Fix buffer allocation while reading json data

* Feed BSD lex

* New system of classifiers interface and statfiles processing
* Fix sample config
* Fix compile warnings
* Fix building without lua support
* Fix bugs with nrcpt header parsing and symbols cache loading (by Anton Nekhoroshikh)

* Add sample of settings

* Make settings working

* Add JSON settings parser

* Add ability to call rspamd fucntions from lua api
* Make logging adaptive based on log speed (buffered vs unbuffered IO)
* Fix lua API docs
* Now lua modules can be loaded with glob patterns

* Add asynchronous DNS resolver to lua API
* Add access to received headers to lua API
* Some code polishing

* More fixes to lua api

* Make lua api object oriented

* Various bugfixes in map and radix code

* Fix lua API

* New functionality to lua api:
- config class
- metric class
- textpart class
* Add documentation for lua module

* Set version to 0.2.7 - current WIP version

* Reorganze lua support in rspamd

* Handle base10 encoded ip addresses correctly

* Fix html decoding when '/' are encoded too

* Fix integer division

* Change symbols planner sort logic to take into consideration not frequenses of symbols but their percent in total number