Fix `register_symbols` lua function.

Allow to disable components of hfilter.

Rework `register_symbols` function.

Rework spf module.

- Copy data to memory pool as cached record might be destroyed causing
  freed memory being passed to the protocol output (use after free).
- Allow SPF_NEUTRAL policy to be handled separately.
- Add R_SPF_NEUTRAL to the default config.

Fix indentation in hfilter.

Fix PTR resolving in lua resolver.

Fix leaking of iconv descriptors.

Another try to fix race condition in the upstreams.

Use more proper hashing for fuzzy.

Add fuzzy hash utilities.

Fix fuzzy hashes addding.

Rework DKIM canonization to line based.

Fix raw vs parsed reperesentations.

Raw parts are now:
- decoded b64/qp, but *NOT* converted to utf-8

Processed parts are now:
- converted to UTF-8
- normalized if needed (e.g. HTML tags are stripped)

One more try to fix dkim border issues.

Do not include \0 into length of text.

Fix logic of finding URLs in HTML parts.

Decode entitles when normalizing HTML parts.

Try to fix hang in upstream events.

Return nil if header was not found in lua_task.

Fix ping command.

Apply boundary fix for dkim simple canonization.

Release 0.7.5

* Fix owner when creating folder /run/rspamd (by @sfirmery)
* Fix IP validity checks
* Decode URLs obtained from HTML tags
* Fix crash with unweighted upstreams
* Stop processing headers in parts
* Set sockaddr.sa_family properly when connectig to upstreams
* Fix reload issues in surbl and fuzzy_check (reported by @citrin)
* Fix timeouts in redirector
* Improve lua errors reporting
* Fix lua closures processing in libucl
* Rework calling of lua functions from regexp module
* Choose raw regexp for raw headers
* Rework conversion to utf since glib one is broken
* Ignore SGML style tags in html
* Fix old bug with non-capturing https urls
* Fix memory corruption on fuzzy reload (reported by @citrin)
* Fix percents display in rspamc
* Fix buffer update for DKIM
* Do not validate utf for raw headers

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Do not validate utf for raw headers.

Remove unused function.

Improve dkim debug log.

Fix buffer update for DKIM.

Sometimes this procedure was able to split \r\n in messages which in
turn led to DKIM checks failures.

Fix percents display in rspamc.

Fix memory corruption on fuzzy reload.

Reported by: @citrin

Fix old bug with non-capturing https urls.

Ignore SGML style tags in html.

Rework conversion to utf since glib is broken.

Update version to 0.7.5.

Choose raw regexp for raw headers.

Rework calling of lua functions from regexp module.

Sync libucl.

Be more informative about lua errors.

Fix timeouts in redirector.

Fix reload issues in surbl and fuzzy_check.

Set AF properly in one more place.

Set sockaddr.sa_family properly.

Remove unused variable.

Stop processing headers in parts.

Fix crash with unweighted upstreams.

Decode URL obtained from HTML tags.

Fix IP validity checks.

Merge pull request #114 from sfirmery/master

Fix owner when creating folder /run/rspamd in Debian init script

Fix owner when creating folder /run/rspamd

Release 0.7.4

* Fix build under *BSD
* Detect HAN unicode script
* Implement language detection heuristic for text parts
* Fix time output in history
* Improve piechart coloring
* Fix \r\n conversion in DKIM module (reported by @citrin)
* Try to detect systems with no IPv6 support
* Fix multiple/single values in use settings (reported by @citrin)
*  Rework IP addresses in upstreams:
- Select ipv4/unix addresses if they exist and use ipv6 for ipv6 only
    upstreams (since the support of ipv6 is poor in many OSes and
    environments)
- Free IP list on upstream destruction
- Add test cases for addresses selection
- Allow adding of free form IP addresses to upstreams
* Fix endiannes in lua_radix search (reported by @citrin)
* Soft shutdown should also set wanna_die flag (reported by @citrin)
* Stop use-after-free in event loop termination
* Fix processing of very short messages in DKIM (reported by @citrin)
* Detect systems without shared mutexes
* Fix issues with PTR and MX elements in SPF parser (reported by @citrin)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Improve coloring.

Update versions.

Update version to 0.7.4.

Merge pull request #113 from citrin/master

Fix typo in symbol description.

Try to detect systems without shared mutexes.

Fix processing of very short messages in DKIM.

Reported by: @citrin

Another fix for PTR records in SPF.

Stop use-after-free in event loop termination.

Soft shutdown should also set wanna_die flag.

Fix endiannes in lua_radix search.

Rework IP addresses in upstreams.

- Select ipv4/unix addresses if they exist and use ipv6 for ipv6 only
  upstreams (since the support of ipv6 is poor in many OSes and
  environments).
- Free IP list on upstream destruction.
- Add test cases for addresses selection.
- Allow adding of free form IP addresses to upstreams.

Fix multiple/single values in use settings.

Reported by: @citrin

Try to detect systems with no IPv6 support.

Fix typo in symbol description.

Disable extra debug.

More fixes to dkim \r\n converting.

Found by: @citrin

Fix \r\n conversion in DKIM module.

Improve piechart coloring.

Fix time output in history.

Detect language heuristic for text parts.

Detect HAN unicode script.

Fix stupid error for FreeBSD build.

Release 0.7.3.

* New upstreams code:
- simplify upstreams API;
- unify strings parsing in upstreams definition;
- add configuration options for the upstreams;
- for failed upstreams re-resolve their addresses;
- use all resolved addresses for an upstream (round-robin);
- implement stable hashing and use it by default for upstreams;
- add unit test for upstreams module.
* Rework signals processing in all rspamd workers:
- signals are now processed in the event loop;
- implement the most common signal handlers for all workers;
- add callbacks for workers specific signal handlers
*  Fix critical issue with fuzzy storage:
Fuzzy stroage could not save any hashes on termination due to bugged
signals handling
* Fix roll history IP storage
* Rework ipv4/ipv6 handling in parsing addresses:
    - turn off support of IPV6_V6ONLY socket option;
    - create ipv6 socket prior to ipv4 one to handle systems with v6/v4
    sockets enabled (Linux)
* Remove CBL as it's wholly included in Spamhaus XBL (by @fatalbanana)
* Remove nszones.com fake RBL (by @citrin)
* Fix upstreams interaction for fuzzy_check
* Verify spf PTR records (reported by @citrin)
* Fix spf MX records parsing
* Add compatibility for old libevent (by @yellowman)
* Sync bugfixes from libucl

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Improve upstream tests.

Fix tv_to_msec macro priority.

Configure upstreams in workers.

Parse unsigned integers in the configuration.

Use upstreams configuration.

Add upstreams configuration.

Add consistent hash test.

P value is calculated as following:
when we add/remove M upstreams from the list, the probability of hash
miss should be close to the relation N / (N + M), where N is the size of
the previous upstreams list.

So far, the algorithm described in http://arxiv.org/abs/1406.2294 shows
p value more than 0.99.

Some more fixes to the test.

Fix some upstream issues.

Add a simple upstreams test.

Remove old radix tests.

Update version to 0.7.3

Use PTHREAD_PROCESS_SHARED mutexes if possible.

Use process-level mutex to avoid log races.

Fix critical issue with fuzzy storage.

Fuzzy stroage could not save any hashes on termination due to bugged
signals handling.

Reported by: at0r at #rspamd

Fix signals initializing.

Add post-signal handler.

Rework signals processing in workers.

Use constant for hash seed for upstreams selection.

Add jitter for upstream reviving.

Fix some issues in the upstream code.

Fix roll history IP storage.

Fix upstreams in ratelimit.

Fuck ipv6 inventors for ipv6/v4 sockets.

Set length properly.

Fix build.

Fix fuzzy_check.

Some more auxiliary functions.

Fix surbl.