Merge pull request #113 from citrin/master

Fix typo in symbol description.

Try to detect systems without shared mutexes.

Fix processing of very short messages in DKIM.

Reported by: @citrin

Another fix for PTR records in SPF.

Stop use-after-free in event loop termination.

Soft shutdown should also set wanna_die flag.

Fix endiannes in lua_radix search.

Rework IP addresses in upstreams.

- Select ipv4/unix addresses if they exist and use ipv6 for ipv6 only
  upstreams (since the support of ipv6 is poor in many OSes and
  environments).
- Free IP list on upstream destruction.
- Add test cases for addresses selection.
- Allow adding of free form IP addresses to upstreams.

Fix multiple/single values in use settings.

Reported by: @citrin

Try to detect systems with no IPv6 support.

Fix typo in symbol description.

Disable extra debug.

More fixes to dkim \r\n converting.

Found by: @citrin

Fix \r\n conversion in DKIM module.

Improve piechart coloring.

Fix time output in history.

Detect language heuristic for text parts.

Detect HAN unicode script.

Fix stupid error for FreeBSD build.

Release 0.7.3.

* New upstreams code:
- simplify upstreams API;
- unify strings parsing in upstreams definition;
- add configuration options for the upstreams;
- for failed upstreams re-resolve their addresses;
- use all resolved addresses for an upstream (round-robin);
- implement stable hashing and use it by default for upstreams;
- add unit test for upstreams module.
* Rework signals processing in all rspamd workers:
- signals are now processed in the event loop;
- implement the most common signal handlers for all workers;
- add callbacks for workers specific signal handlers
*  Fix critical issue with fuzzy storage:
Fuzzy stroage could not save any hashes on termination due to bugged
signals handling
* Fix roll history IP storage
* Rework ipv4/ipv6 handling in parsing addresses:
    - turn off support of IPV6_V6ONLY socket option;
    - create ipv6 socket prior to ipv4 one to handle systems with v6/v4
    sockets enabled (Linux)
* Remove CBL as it's wholly included in Spamhaus XBL (by @fatalbanana)
* Remove nszones.com fake RBL (by @citrin)
* Fix upstreams interaction for fuzzy_check
* Verify spf PTR records (reported by @citrin)
* Fix spf MX records parsing
* Add compatibility for old libevent (by @yellowman)
* Sync bugfixes from libucl

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Improve upstream tests.

Fix tv_to_msec macro priority.

Configure upstreams in workers.

Parse unsigned integers in the configuration.

Use upstreams configuration.

Add upstreams configuration.

Add consistent hash test.

P value is calculated as following:
when we add/remove M upstreams from the list, the probability of hash
miss should be close to the relation N / (N + M), where N is the size of
the previous upstreams list.

So far, the algorithm described in http://arxiv.org/abs/1406.2294 shows
p value more than 0.99.

Some more fixes to the test.

Fix some upstream issues.

Add a simple upstreams test.

Remove old radix tests.

Update version to 0.7.3

Use PTHREAD_PROCESS_SHARED mutexes if possible.

Use process-level mutex to avoid log races.

Fix critical issue with fuzzy storage.

Fuzzy stroage could not save any hashes on termination due to bugged
signals handling.

Reported by: at0r at #rspamd

Fix signals initializing.

Add post-signal handler.

Rework signals processing in workers.

Use constant for hash seed for upstreams selection.

Add jitter for upstream reviving.

Fix some issues in the upstream code.

Fix roll history IP storage.

Fix upstreams in ratelimit.

Fuck ipv6 inventors for ipv6/v4 sockets.

Set length properly.

Fix build.

Fix fuzzy_check.

Some more auxiliary functions.

Fix surbl.

Fix smtp proxy code.

Add parsing of multiple upstreams string.

Rework and simplify listen sockets creation.

Allow addresses to be allocated in rspamd_mempool.

Fix some more old upstreams code.

Disable binlog configuration as it is anyway broken.

Merge branch 'upstream-rework'

Fix lua upstream code.

Upstreams get implementation.

Allow multiple addresses per upstream.

Add some basic logic for upstreams.

Rework host/port/priority parsing.

Split addr definition from the utils code.

Start new upstreams implementation.

Rework API completely.

Update readme.

Merge pull request #112 from fatalbanana/master

Remove CBL as it's wholly included in Spamhaus XBL

Remove CBL as it's wholly included in Spamhaus XBL which we're querying already - http://cbl.abuseat.org/faq.html

Merge pull request #111 from citrin/master

Remove nszones.com fake RBL

Remove /0 mask for SPF mx as well.

Reported by: @citrin

Fix upstreams interaction for fuzzy_check.

Revert ucl resynchronization.

Reported by: @citrin

Properly set address for PTR components.

Verify spf PTR records.

Reported by: @citrin

Remove nszones.com fake RBL:
http://www.spamhaus.org/organization/statement/8/

Add compatibility for old libevent.

Issue: #109
Suggested by: @yellowman

Sync bugfix from libucl.

Release 0.7.2.

* Convert all maps to the compressed radix trie
* Allow IPv6 addresses in IP maps
* Remove dynamic items support from symbols cache
* Allow hex encoded output of strings
* Fix bug with control connections count
* Process fuzzy weight correctly (reported by @fatalbanana)
* Remove extra reference retain of http connection on error
* Remove deprecated options from the default config
* Add `one_shot` attr to metric's symbols
* Doc: add documentation for metrics
* Add Upstart job to debian packaging (by @CameronNemo)
* Config: improve SURBL symbols descriptions (by @citrin)
* Config: reflect SURBL changes (by @citrin):
    - Outblaze removed, malware moved to separate list:
http://www.surbl.org/news/internal/MW-malware-sublist-added-to-multi
* Fix C modules initialization on restart
* Treat single IP as a single IP in radix lists (reported by @citrin)
* Do not touch file and core limits if not asked explicitly (reported by @citrin)
* Improve logging for fuzzy errors
* Block SIGPIPE for HTTP writing
* Doc: update manual pages
* Fix HTTP connection termination
* Reduce default number of parallel requests to 8
* Sync with libucl include features

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Update rpm spec.

Added by a mistake.

Update debian packaging.

Update to 0.7.2.

Fix macro definition.

Sync libucl.

Reduce default number of parallel requests to 8.

Check part->fuzzy before dereferencing.

Fix HTTP connection termination.

If a remote side terminates a connection, then notify and destroy
client as well.

Block SIGPIPE for HTTP writing.

Update manual pages.

Improve logging for fuzzy errors.

Suggested by: @citrin

Send controller reply now accepts variadic args.

Implement va_list version for gstring printf.

Do not touch limits if not asked explicitly.

Reported by: @citrin

Treat single IP as a single IP.

Issue: #106
Reported by: @citrin

Remove old controller's code.

Fix C modules initialization on restart.

Fix inserting to the hash.

Merge pull request #108 from citrin/master

Config: SURBL update

Config: reflect SURBL changes.

Outblaze removed, malware moved to separate list:
http://www.surbl.org/news/internal/MW-malware-sublist-added-to-multi

Config: improve SURBL symbols descriptions

Merge pull request #84 from CameronNemo/patch-1

Add Upstart job to debian packaging