Implement shingles insertions.

Add fuzzy match by shingles.

Update version for testing.

Remove checks from debian build.

Restore expired/count statistics.

Restore functions of fuzzy_check.

Implement basic add and deletion.

Implement direct checking.

Fix old database conversion.

Forgot to replace.

Add compatibility with old sqlite.

Fix travis rules.

Fix SQL queries.

Add simple insertion statement.

Add create database sql statements.

Implement transactions.

Add prepared statements logic.

Add conversion function.

Add backend open.

Start total rework of fuzzy_storage.

Several improvements to the shingles calculations.

Compile external tools with optimizations.

Resize hashes array properly.

Measure time for shingles generation.

Use blake2 as KDF instead of sha256.

Add blake2 hash contrib code.

Liblmdb is not presented in precise repo.

Add missing lmdb dep.

Merge branch 'lmdb'

Process commands for lmdb.

Start new fuzzy storage protocol implementation.

Add lmdb initialization.

Refactor function names.

Remove old lists mode.

Search for liblmdb.

Merge branch 'shingles'

Update tests suite.

Tune shingles settings.

Add custom targets check and run-test.

Add some tests for shingles.

Add comparision function for shingles.

Allow to allocate shingles without pool.

Link siphash library.

Add preliminary shingles version.

Add siphash contrib code.

Make words from text parts.

Remove direct ucl access.

Add snowball stemmer to the build.

Try to read fuzzy reply even if we have timeout.

Start work on rspamd 0.8

Remove broken whitelist module.

Increase limit for DATE_IN_FUTURE to 2hr.

Suggested by: @citrin

Check DKIM fields length before decoding.

Avoid descriptors leak in lua_http.

Some fixes to lua_http.

Fix url parser invocation.

Validate inet_addr before connecting/listening.

Refactor function names.

Merge pull request #117 from fatalbanana/master

Fix misinformation in RBL module doc

Fix misinformation in RBL module doc

Update manual page.

Tune extended urls output.

Fix some issues with URLs normalization.

Add --extended-urls option to rspamc.

Fill surbl field in struct uri.

Add extended output format for URLs.

Release 0.7.6

* Apply boundary fix for dkim simple canonization
* Fix ping command
* Return nil if header was not found in lua_task
* Fix hang in upstreams revive logic
* Decode entitles when normalizing HTML parts
* Fix logic of finding URLs in HTML parts
* Do not include \0 into length of text when performing conversion to utf8
* Fix raw vs parsed reperesentations
Raw parts are now:
- decoded b64/qp, but *NOT* converted to utf-8
Processed parts are now:
- converted to UTF-8
- normalized if needed (e.g. HTML tags are stripped)
* Rework DKIM canonization to line based
* Fix fuzzy hashes addding
* Use more specific hash function for fuzzy
* Fix leaking of iconv descriptors
* Fix PTR resolving in lua resolver
* Rework spf module.
- Copy data to memory pool as cached record might be destroyed causing
    freed memory being passed to the protocol output (use after free)
- Allow SPF_NEUTRAL policy to be handled separately
- Add R_SPF_NEUTRAL to the default config
* Rework `register_symbols` function
* Allow to disable components of hfilter

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Update version to 0.7.6.

Fix `register_symbols` lua function.

Allow to disable components of hfilter.

Rework `register_symbols` function.

Rework spf module.

- Copy data to memory pool as cached record might be destroyed causing
  freed memory being passed to the protocol output (use after free).
- Allow SPF_NEUTRAL policy to be handled separately.
- Add R_SPF_NEUTRAL to the default config.

Fix indentation in hfilter.

Fix PTR resolving in lua resolver.

Fix leaking of iconv descriptors.

Another try to fix race condition in the upstreams.

Use more proper hashing for fuzzy.

Add fuzzy hash utilities.

Fix fuzzy hashes addding.

Rework DKIM canonization to line based.

Fix raw vs parsed reperesentations.

Raw parts are now:
- decoded b64/qp, but *NOT* converted to utf-8

Processed parts are now:
- converted to UTF-8
- normalized if needed (e.g. HTML tags are stripped)

One more try to fix dkim border issues.

Do not include \0 into length of text.

Fix logic of finding URLs in HTML parts.

Decode entitles when normalizing HTML parts.

Try to fix hang in upstream events.

Return nil if header was not found in lua_task.

Fix ping command.

Apply boundary fix for dkim simple canonization.

Release 0.7.5

* Fix owner when creating folder /run/rspamd (by @sfirmery)
* Fix IP validity checks
* Decode URLs obtained from HTML tags
* Fix crash with unweighted upstreams
* Stop processing headers in parts
* Set sockaddr.sa_family properly when connectig to upstreams
* Fix reload issues in surbl and fuzzy_check (reported by @citrin)
* Fix timeouts in redirector
* Improve lua errors reporting
* Fix lua closures processing in libucl
* Rework calling of lua functions from regexp module
* Choose raw regexp for raw headers
* Rework conversion to utf since glib one is broken
* Ignore SGML style tags in html
* Fix old bug with non-capturing https urls
* Fix memory corruption on fuzzy reload (reported by @citrin)
* Fix percents display in rspamc
* Fix buffer update for DKIM
* Do not validate utf for raw headers

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Do not validate utf for raw headers.

Remove unused function.

Improve dkim debug log.

Fix buffer update for DKIM.

Sometimes this procedure was able to split \r\n in messages which in
turn led to DKIM checks failures.

Fix percents display in rspamc.

Fix memory corruption on fuzzy reload.

Reported by: @citrin

Fix old bug with non-capturing https urls.

Ignore SGML style tags in html.

Rework conversion to utf since glib is broken.

Update version to 0.7.5.