* Fixes to IMAP support in rspamc

* Write part's hashes to log for messages identify

* New system of rspamc command:
  - now it is possible to specify files and directories in arguments to rspamc
  - EXPERIMENTAL support of IMAP fetching including SSL support

* Do not produce lua warning when message has no headers or has unresolved hostname

* Fix misprint

* Forgotten call of normalizer function

* Add ability to add normalizers for statfiles (custom functions written in lua or simple internal normalizer)

* Remove useless next in cycle

* Add support of whitelists in settings (by Anton Nekhoroshin)

* Introduce new logging system:
  - independent and customizeable buffering
  - line buffering
  - errors handling support
  - custom (ip based) debug
  - append function name automaticaly (based on __FUNCTION__)
  - add some logic to logs system

* Add ability to specify pid file from command line (for rc scripts)
* Do not use flock directly in pidfile handling

* Add limits support to each worker (max open files and max core size)
* Fix dependency on lex and yacc sources

* Implement pre and post classify callbacks for checking specific statfiles for this task

TODO:
  - add properties to get all parameters of input task
  - add properties to statfile object
  - add some normalization function for calling from classify process
  - document changes

* Fix inserting one list to another in spf parser (include border elements)

* Fix issue with list concat

* Fix symbols cache (init lua filters before symbols cache initialization)
* Remove LRU expiration logic from statfiles and replace it with random/lowerest value expiration logic:
  expire random block or block with lowerest value

! statfiles are incompatible again

* Add documentation
  - for Mail::Rspamd::Client
  - for HTTP redirector
  - for SPF module
  - for fuzzy storage
  - for statfile synchronization

* 0.2.7 -> 0.2.8

* Fixes to spf parser:
  - add macros support
  - fix include command
  - fix exists command
  - add handling of DNS errors
  - fix all records in include parts
  - fix some issues with ip masks

* Some fixes to 'include' and 'redirect' defines and to mask checking

* Actually check what we have in spf record

* Updates to spf system:
  - add plugin to work with spf records (initial version)
  - make all spf types working (except include and redirect that still need some attention)
  - add support of MX records to evdns
  - some major fixes and testing of the whole spf subsystem

* Many major fixes to statfiles:
  - fix bug with mmapping files: new addresses must NOT be allocated in shared memory by themselves
  - fix bug with winnow classifier that totally brokes it down
  - fix bug with too much grow of values
* Use double precission values in statistics
* Add statistics for statfiles
* Add more informative data to output of LEARN command (weight of incoming message)
* Add weight to output of classifier as well

* Another fixes to synchronization of statfiles

* Some fixes to sync

* Adopt printf function from nginx for comfortable printing of some data types (fixed strings, pids etc)
* Fix work of http maps (they were broken in some places before)
* Fix sync of statfiles (not fully tested yet)

* Initial release of synchronization server in controller

* Add initial version of rspamd binlog syncronization client
* Style fix to perl module

* Add check_smtp_data function for checking some fields from SMTP dialog

* Some more clarifications to perl api

* Perl fixes:
 - remove XS API, it seems that I would never support it
 - use sys(write|read) for IO in Mail::Rspamd::Client
 - add proper installation process for Mail::Rspamd::Client
 - remove some other legacy

--HG--
rename : perl/Client.pm => perl/lib/Mail/Rspamd/Client.pm

* Write revision and revision time to statfile
* Make some improvements to API (trying to make it more clear)

* New version of rspamd statfiles that can be used in sync
* Add convertion routines for converting 1.0 to 1.2 statfiles
* Reserve some place in header for future features

* Fix some issues in binlog seeking

* Fix addrlen of sockaddr_un (previous was a mistake)

* Add right way to pass config params with common names to lua scripts

* Fix parsing '*' as hostname in bind lines

* Avoid mmap'ing in binlog as mmapped areas must be aligned
* Make binlog working for writing
* Add config params for binlog

* Check whether dead flag is defined in hash to avoid warning

* Update documentation:
 - add information about grow_factor;
 - document views and user's settings (4.8);
 - document lua maps (9.4).

* Add logging urls as it was required by rambler search

* Add binlog API implementation

* SI_ code macroses are not BSD compatible, avoid using them

* Add more advanced signal processing routine

* Add ability to add maps from lua scripts and access theirs elements
* Add whitelist module for whitelisting score for some ip/from addresses

* Parse days and hours in time limits

* Implement new system of managing rspamd processes

* Fix an issue with workers spawning
* Fix an issue with initializing radix lists in views

* Add ability to check views by client's ip (that ip from which we have a connection to rspamd)

* Convert all string values to lowercase in once_received module

* Fix patterns matching in lua plugins

* Implement timeouts in rspamd perl module
* Implement upstream logics
* Add learn command
* Small fixes to other parts of client's API

* Add perl client library for rspamd (alpha version)

* Remove utf8 usage in forged recipients plugin

* Fix reading of last block

* Do not really check messages that should be skipped
* Add Skip state for such messages (not False and not True)

* Add ability for scanning non-mime (HTML) messages

* Small improvement of lua style
* Add ibility to process A records in spf parser
* Add recursion limit to spf parser

* Add ability to change statfile size limit in config and allow reindexing of statfiles

* Add growing coefficient to factors consolidation callback
* Fix registering functions from lua

* Add ability to skip check in views

* Trim brackets in forged recipients plugin

* Fix getting of message headers from lua plugins
* Fix forged recipients plugin

* Fix loop

* Add ability to register rspamd functions from LUA
* Add ability to access recipients list and sender information
* Add plugin for checking forged recipients and sender
* Sync documentation

* Add ip4 SPF record callback
* Define HOST_NAME_MAX on systems that have not this macro

* Forgotten in previous commit

* Improve logic of lua plugins:
 - fix once received plugin to configure properly (pointy hat to: dmx)
 - add additional functionality to once_received plugin for strict checking of received
 - make all things local

* Forgotten header

* Port evdns with TXT patch into rspamd and adopt it to work separately from libevent
* Add skeleton for spf parser

* Add once_received plugin (by dmx)
* Fix read_callback to avoid double freeing of task object

* Add reject score setting for hard rejecting of mail (by Anton Nekhoroshin)
* Add rspamc protocol 1.1 (3 marks instead of 2)

* Retab, no functional changes

* Fix some memory issues with lua (strings that are returned from lua can be freed early)

* Fix another race

* Fix race between learn and classify

* Make composites working
* Document using of composites

* Add events to lua resolver
* Do not classify non-text messages

* Add documentation

* Fix learning

* Fix CRLF parsing
* Fix pidfile in start script

* Do not read http reply when we got 304 reply code

Added tag 0.2.7 for changeset e3cf50559597

* Update sample config

* No IO allowed in events destructors

* Another mistake in task object initialization

* Small fixes in task construction

* Implement new system of async events handling (experimental)

* Export definitions

* Add time out for sync IO as it can cause unpredictable errors

* Fix fuzzy storage binding

* Cleanify logic of processes dispatcher

* Fix -C flag with lua enabled

* Add decoding entities as it is specified in w3c recommendations

* Fix double free of memory
* Fix symbols output

* Remove assert
* Fix build WITH_LUA
* Fix calling of classifier
* Fix autolearn

* Decode all html entitles in html parts

* Fix build with LUA_ENABLED = on and WITH_LUA = no (when lua is not found)

* Add lua plugin for checking received headers
* Some tunes to lua API
* Fix bug with http maps
* Optimize installation and make custom prefix for configs

* Add chunked replies support for http maps