* Threat raw header regexps as raw regexps
* Add regexp flag /r for raw regexp of any types

* For mime parts set flag 'raw' and if we cannot determine charset of part or cannot
  encode it to utf8 just use for such parts raw regexps

* Fix allocating and freeing of byte array

* Include sys/resource.h for getrlimit

* Try to convert each text part of messages to utf8 to avoid problems with regexps

* Fix addresses filling in compare_distance function

* Parse function's regexp using not temporary task pools, but permament config pool

* When parse regexp save it to cache to make unique link between
  regexp text and regexp parsed structure

* Add per-task regexp results cache, that would optimize regexp engine performance
  by avoiding multiply match of the same regexp

* Check mime regexp only in text and html parts
* Add 2 functions:
  - has_content_part(type, subtype)
  - has_content_part_len(type, subtype, min, max)

* Optimize speed of regexp_match_number function by avoid of regexp checks when threshold is already reached

* Fix comparing of internet addresses

* Fix order of functions arguments
* Do not try to check non-regexp expressions

* Fix error in regexp processing

* Fix misprint

* Try to fix expression parser to support ',' inside regexp arguments of functions

* Add 3 functions:
 - is_recipients_sorted
 - has_only_html_part
 - compare_recipients_distance
* Update documentation
* Fix build

* Add message handling functions to lua API
* Add ability to add lua code in config with .lua and .endlua
* Add consolidation functions support that are written in perl or lua

* Make regexp cache functions public for using them in other places
* Add function regexp_match_number that checks number of matched arguments:
  e.g.: regexp_match_number(2, ${__RE1}, ${__RE2}, header_exists(Subject))

* Add ability for plugins to register its own functions in expression's parser

* Fix error in parser when parsing last ')' we need to remove '(' from stack as well

* Another fix of uptime command

* Fix variables substitution
* Add simple lua interface to access task structures
* Improve error reporting for regexp module

* Add initial LUA filters support

* Fix linking with libutil

* Fix build without perl

* Fix parsing regexp with '=' symbol inside
* Fix config file syntax checking

* Add ability to build rspamd without perl support
* Fix creating of uinx socket
* Improve some build issues

* Fix 2 memory leaks
* Fix uptime command output

* Add statictics for all allocated pools

* Unref wrapper as well

* Do not try to process empty parts

* Unref stream to avoid memory leaking

* Fix using of local variable

* Fix log line

* More accurate work with clock

* Log scan time and scan length of messages
* Remove 2 memory leaks

* Fix multiply accept issues

* Polish socket utility functions

* Fix bug in expressions parser and optimizer

* Fix issue with including sys/uio.h for writev and readv

* Fix many compile time warnings and polish code

* Fix obtaining of content-type

* Add functions to operate with content-type header and describe them in documentation

* Fix expression optimizator

* Fix XS module to work with current type of memory allocation

* Use pool allocator for temp strings in headers

* Add smart handling of message headers

* Fix variable substitution
* Add new command line parameter '-V' allowing to dump all variables of rspamd

* Fix error in expression parser that causes bad errors with expressions that have regexp at the end
* Improve test for fuzzy hashes
* Add new object - TextPart to perl XS library that allows access to stripped parts and fuzzy hashes
* Add documentation for expressions parser and fot Mail::Rspamd::TextPart
* Allways calculate fuzzy hash for text parts
* Store text parts separately from other parts
* Add compare_parts_distance for expressions that calculates difference in 2 parts messages
* Do not try to substitute variables in empty strings

* Add fuzzy hashes implementation (with adler-32 roll hash and FNV-32 hash)
* Add test case for fuzzy hashing check

* Misprint in optimizer function

* Fix bug in redirector
* Do not write info about redirects to log file as this info is already in redirector's log file

* Add optimization support for regexps

* Add functions support to rspamd regexps
* Parse expressions with state machine which allows different kinds of arguments in expressions
* Fix test to accord current data
* Add support of fucntions to regexp module
* Move all regexp logic to separate file, describe its API
* Fix descriptors leakage in surbl module

* While printing symbols list on log strip last ',' from logline

* With flag -t syntax of modules variables is also inspected
* Set "C" locale on start to avoid some troubles with logging

* Allow escaped quotes in quoted strings, for example "\"some string\""
* Add warnings when we got errors while parsing rexeps

* Add ability to match raw headers
* Update documentation

* Add functions to parse headers and urls into statfile tokens

* Fix reload logic
* Create listen sock for lmtp in main processes dispatcher to allow multiply lmtp workers
* Fix logic of logging

* Add ability to configure sections in statfiles
* Add ability to define variables in modules blocks
* Add symbolic aliases for statfile sections

* Some fixes to regexp module
* Add documentation for rspamd regexp module

* Add sections support to rspamd statfiles API
* Change logic of statfile pool:
  - statfiles hash is no longer shared hash as we have per-process uniq things like current section or offset in statfile
  - introduce shared hash of statfiles mmapped areas to avoid multiply mmaps of the same file

* Add log line for each message in SA style

* Fix FreeBSD start script for redirector

* Fixes to redirector:
  - move memcached servers setting to config hash
  - eval config file before any actions
  - move daemonization code after all subs
  - fix searching in domains for redirector's check

* Fix redirector connection procedure
* Add more strict login
* Add new header Queue-ID to protocol
* Log message id or queue id
* Add config file for redirector
* Add ability to set regexp and domains list to check with redirector

* Not increase save point counter when we actually do not send requests

* Avoid extra requests to surbls saving them into requests cache
* Lower debug level for some errors (INFO to DEBUG)

* Fix 2 memory issues:
 - NULL string when trying to check url regexp
 - double free of message byte array as mime_stream frees memory in array if it thinks that stream is
   owner of array's memory

* Fix logic of parsing hoster's domains in surbl module

* Remove several memory leaks (found by valgrind)

* Add some broken urls to check list, in fact skip only urls without host part and empty urls (thought empty urls are
  totally impossible in that code)

* Fix bad memory leaks and memory corruption in url detecting module

* Fix initialization procedure of redirector
* Do not write to log file if we cannot open it

* Fix bug in url parser with freeing memory allocated by memory_pool allocator
* Do not write to log if we don't do any read operation in dispatcher library

* Change method of dropping privilleges

* Drop privilleges immideately after creating of listen socket

* Fix misprint in surbl module

* Add ability to fork multiply lmtp workers
* Add ability to drop privilleges of rspamd processes
* Add ability to install redirector with rspamd
* Add FreeBSD start scripts for rspamd and redirector
* Remove command line parsing from util.c as it has specific usage only in main process

* Unify socket creation and accepting by using utility functions
* Check SO_ERROR on socket immideately after connect/bind to avoid resourses allocation for
  unsuccessful connections
* Avoid descriptors leakage when we create sockets and have errors on them
* Set on all socket descriptors FD_CLOEXEC flag to avoid problems with executing LDA

* New rspamd protocol (changed replies)
* Add ability to attach string lists to symbols
* Check destructors and do not add identical destructors (argument and function) to pool's destructors
* Remove 2 warnings when building with gmime22
* Attach url names to surbl symbols
* Fix bug with blocking on read (I think it is linux specific thought)

* Add ability to check bits from surbl replies

* Properly set initial state for surbl state machine
* Ignore SIGPIPE globally as dispatcher performs check of all write (2) calls

* Set read timeout for redirector instead of connect timeout

* htonl->htons as port is uint16_t, so lower bytes are zeroed or undefined when call htonl

* Remove %m from logging it seems to be unsupported by FreeBSD printf version

* Fix misprint

* Add forgotten file

* Add ability to check multiply SURBL's

* Add compatibility with gmime24

* Fix LMTP and DELIVERY parsing in config file while trying to get control credits

* Fix dispatcher bugs and add some debug output
* Fix log output for surbl

* Fix character policy in dispatcher

* Try not to unref parser too early

* Link with gmime24 if gmime22 is not found

* Add debug for mime parsing
* Fill task structure with zeroes in url-extracter

* Fix url-extracter
* Fix soft-shutdown of dispacther
* Turn debug on by default in cmake
* Change logic of save points

* Fix dependencies on perlxs target (do not rebuild it constantly)
* Fix rspamc to understand lmtp and delivery sections in config
* Fix parser's states when reading module options
* Add sample config for surbl module with comments

--HG--
rename : rspamc.pl => rspamc.pl.in