[Fix] Fix substring search when there are '\0' in strings

Merge pull request #638 from larryhynes/documentation

Correct migration.md, small change to writing_rules.md

Correct migration.md, small change to writing_rules.md

[Fix] Try to fix proxying of stupid spamc protocol to HTTP mirrors

[Fix] Handle log pipe read errors

[Fix] Fix proxying issue for unconnected sessions

Release 1.2.7

* Slightly reduce weights of rules with high FP rate
* Add workround for rspamd-1.3
* Fix possible FP in TRACKER_ID rule
* Simplify MISSING_MIMEOLE rule
* Add workaround for gmime CTE stupidity
* Fix mime headers processing
* Fix false positive URL detections in text parts
* Fix Exim shutdown patch
* Enable workaround for exim mailbox format
* Backport shingles static test
* Fix levenshtein distance calculations
* Fix max_train setup in ANN module
* Fix redis structure by adding {NULL, NULL} member
* Fix build with unmodified LibreSSL opensslv.h
* Repair optional dependencies
* Really skip filters in case of pre-result set
* Restore the intended pre-filters behaviour
* Fix ipv6 mask application

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Another fix for exim workaround

Issue: #637
Reported by: @FelixSchwarz

Merge pull request #636 from moisseev/graph

[Feature] Add throughput graph for RRD backend to WebUI

[Feature] Add throughput graph for RRD backend to WebUI

[Minor] Add temporary workaround to work with 1.2 fuzzy storage

[Feature] Implement body rules for the trie plugin

[Fix] Slightly reduce weights of rules with high FP rate

[Minor] Add guards for header regexps

[Fix] Fix possible FP in TRACKER_ID rule

[Fix] Simplify MISSING_MIMEOLE rule

[Fix] Add workaround for gmime CTE stupidity

[CritFix] Fix mime headers processing

Issue: #634
Reported by: @AdUser

[Fix] Fix listening on UDP sockets

[Feature] Implement partial deleting for multi-flags

[Fix] More fixes to multi-flag fuzzy storage

[Feature] Implement multi-flags fuzzy replies

[Fix] Free the correct pointer

[Feature] Implement multiple-sources fuzzy storage

[Feature] Add function to convert fstring_t to c string

[Feature] Allow versioning for sqlite databases

[Fix] Include slave cluster name into http request

[Feature] Implement fuzzy updates push protocol

[Feature] Add parsing of mirror hosts for fuzzy storage

[Fix] Disallow updates by default

[Feature] Implement fuzzy storage updates

[Minor] Use xxhash indirectly

[Feature] Add routines to compare and check pubkeys

[Feature] Allow to parse pubkeys from the rcl config

[Doc] Update multimap documentation

[Fix] Do not even try pcre in case of regexp maps

[Fix] Add sanity checks when compiling regexp maps

[Fix] Further fixes for surbl extensions map

Merge pull request #632 from larryhynes/documentation

Documentation corrections

[Doc] Final changes to writing_rules.md

[Fix] Initialize hash tables array to avoid crashes

[Minor] Add more logs about file maps watching

[Fix] Fix loading of file maps

[Feature] Add initial version of HTTP lua repl

[Feature] Add function for pretty printing of inet addresses

Merge pull request #629 from fatalbanana/master

[Fix] Fix Exim shutdown patch

[Fix] Fix Exim shutdown patch

[Fix] Unbreak build on gcc < 4.9

[Fix] Update mumhash implementation

[Feature] Preliminary implementation of fuzzy master/slave updates

[Feature] Rework listening system to allow multiple socket types per worker

[Feature] Enable workaround for exim

[Doc] Initial changes to writing_rules.md

[Doc] Update migrate_sa.md

[Doc] Update tutorials index

[Doc] Update Documentation index

Merge remote-tracking branch 'upstream/master'

* upstream/master: (36 commits)
  [Feature] Add versions to fuzzy storage
  [Fix] Another fix for maps scheduling
  [Fix] Fix events handling when scheduling map wacth
  [Fix] Try to fix false positive URL detections in text parts
  [Fix] Include fuzzy key to distinguish storages with different keys
  [Feature] Rework and improve fuzzy storage
  [Test] Add static test for shingles
  [Minor] Adjust hashes
  [Feature] Use metrohash as well
  [Minor] 8 bytes fits perfect for mumhash
  [Fix] Fix handling of the same words
  [Feature] Further micro-optimizations for hashing and shingles
  [Feature] Optimize alignment to speed up hashing
  [Feature] Try to select the optimal possible function for input
  [Feature] Limit logging of elements that could have too many items
  [Feature] Add more algorithms for shingles generation
  [Fix] Fix compilation issue
  [Feature] Use mumhash for words hashing
  [Feature] Add and use mumhash for non-crypto hashing
  [Feature] Add a simple script to evaluate rspamd rules in the logs
  ...

[Feature] Add versions to fuzzy storage

[Fix] Another fix for maps scheduling

[Fix] Fix events handling when scheduling map wacth

[Fix] Try to fix false positive URL detections in text parts

[Fix] Include fuzzy key to distinguish storages with different keys

[Feature] Rework and improve fuzzy storage

- Allow multiple algorithms in fuzzy rules
- Cache fuzzy requests to avoid expensive calculations for multiple
  fuzzy storages
- Simplify request generating procedure

[Test] Add static test for shingles

[Minor] Adjust hashes

[Feature] Use metrohash as well

[Minor] 8 bytes fits perfect for mumhash

[Fix] Fix handling of the same words

[Feature] Further micro-optimizations for hashing and shingles

[Feature] Optimize alignment to speed up hashing

[Feature] Try to select the optimal possible function for input

[Feature] Limit logging of elements that could have too many items

[Feature] Add more algorithms for shingles generation

[Fix] Fix compilation issue

[Feature] Use mumhash for words hashing

[Feature] Add and use mumhash for non-crypto hashing

[Feature] Add a simple script to evaluate rspamd rules in the logs

[Feature] New abstract hashing API in cryptobox

[CritFix] Fix levenshtein distance calculations

[Feature] Adopt plugins for new maps API

[Feature] Use new maps API for local addrs

[Feature] Use extended map types in lua map, unify code

[Feature] Allow to extract ucl_object from lua using common API

[Feature] Implement constructing of map from UCL

[Fix] Further fixes in maps code

[Fix] Fix memory corruption

[Fix] Varioud fixes to the maps code

[Feature] Allow to have specific settings for mirrored traffic

[Rework] Partly fix controller

Issue: #616

[Rework] Adopt new maps code

Issue: #616

[Rework] Fix lua maps API

[Rework] Start the complete maps rework

Issue: #616

Merge remote-tracking branch 'upstream/master'

* upstream/master:
  [Fix] Try to handle multiline history in a more sane way
  [Minor] Some output fixes
  [Feature] Add dot commands for lua REPL:
  [Feature] Fix task functions to work without rspamd_config
  [Fix] Fix REPL output
  [Feature] Add the initial version of LUA repl to rspamadm
  [Feature] Distinguish luajit from lua
  [Rework] Import linenoise for line editing
  [Minor] Use shorter keys for replies module
  [Feature] Add replies plugin

[Feature] Add utility method to convert ftok to C string

[Fix] Try to handle multiline history in a more sane way

[Minor] Some output fixes

[Feature] Add dot commands for lua REPL:

* .help - shows help
* .load - loads lua script
* .message - scans messages using the specified lua callback

[Feature] Fix task functions to work without rspamd_config

[Fix] Fix REPL output

Merge branch 'lua-repl'