Release 1.5.8

* [CritFix] Fix memory leak in fuzzy check
* [CritFix] Fix memory leak in maps scheduling
* [Feature] Multimap: email:domain:tld filter
* [Fix] DKIM Signing: avoid nil index when From header is missing
* [Fix] Do not set bayes probability if we don't use it
* [Fix] Do not stop on illegal unicode points - replace them
* [Fix] Fix brain-damaged spamc protocol for now
* [Fix] Fix Redis timeout set
* [Fix] Fix spamc support in rspamd proxy
* [Fix] Multimap: Received IP filters with Redis
* [Fix] Parse rgb[a](x,x,x[,x]) css colors
* [Fix] Reresolve upstreams even if there is a single server there
* [Fix] Treat empty address as valid
* [Fix] Try harder to detect CTE
* [Fix] Try to deal with v4 mapped to v6 addresses on accept
* [Minor] Add `wsf` and `hta` bad archive extensions
* [Minor] Fix configuration option
* [Minor] Fix result parsing for SAVAPI
* [Minor] Further logging improvements
* [Minor] Improve logging of errors
* [Minor] Prevent MID_CONTAINS_FROM from firing on empty address
* [Minor] Reduce digit->number transmission penalty
* [Minor] Relax CTYPE_MISSING_DISPOSITION rule

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Try harder to detect CTE

Issue: #1468

[Minor] Prevent MID_CONTAINS_FROM from firing on empty address

[Fix] Fix spamc support in rspamd proxy

[Fix] Fix brain-damaged spamc protocol for now

[Minor] Reduce digit->number transmission penalty

Issue: #1630

[Fix] Parse rgb[a](x,x,x[,x]) css colors

[Fix] Reresolve upstreams even if there is a single server there

[Minor] Improve logging of errors

[Fix] Do not set bayes probability if we don't use it

[Minor] Further logging improvements

[Feature] Multimap: email:domain:tld filter

[Minor] Add `wsf` and `hta` bad archive extensions

[Fix] Try to deal with v4 mapped to v6 addresses on accept

[Minor] Relax CTYPE_MISSING_DISPOSITION rule

[Fix] Fix Redis timeout set

Issue: #1646

[Fix] Do not stop on illegal unicode points - replace them

[Fix] Treat empty address as valid

[Minor] Fix result parsing for SAVAPI

[Fix] Multimap: Received IP filters with Redis

 - Issue: #1623
 - Reported by: @andryyy

[Minor] Fix configuration option

Is not write

Don't know the actual impact...

[CritFix] Fix memory leak in maps scheduling

[CritFix] Fix memory leak in fuzzy check

[Fix] DKIM Signing: avoid nil index when From header is missing

Revert "[Minor] Fix build with pcre2"

This reverts commit a8d06b734a7006c01b65e49aec5e429afe615442.

Release 1.5.7

* [CritFix] Fix corruption when multiple fuzzy are defined
* [CritFix] Fix learn condition in fuzzy check
* [Feature] Add rules to detect bad 8bit characters in From and To
* [Feature] DKIM signing: sign_networks/local address specific
use_domain settings
* [Feature] Support numeric arguments for Redis requests
* [Fix] Deal with 8bit characters in email addresses
* [Fix] Fix couple of issues in FORWARDED rule
* [Fix] Fix passing data to log helper when many symbols defined
* [Fix] Fix R_BAD_CTE_7BIT rule
* [Fix] Fix REPLYTO_UNPARSEABLE rule
* [Fix] Fix setting of email address
* [Fix] Rspamadm grep: Disable Lua patterns in string search by default
* [Minor] Add Lua 5.3 workaround
* [Minor] Add lua methods to detect if a part has 8bit characters
* [Minor] Allow session-less lua dns requests
* [Minor] Allow to append greylist end time to message reported
* [Minor] Avoid `nil` table
* [Minor] Disable dkim_signing if redis is specified but not configured
* [Minor] Fix build with pcre2
* [Minor] Fix rule
* [Minor] Fix warnings
* [Minor] Format floating point number
* [Minor] Push email flags to the lua API
* [Minor] Silence some warnings
* [Minor] Silence warning
* [Minor] Try all hostname regexps to find the most significant one
* [WebUI] Fix add header filter in history

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[CritFix] Fix corruption when multiple fuzzy are defined

If there are two fuzzy storages with the same algorithm but one of them
uses encryption, then the encryption procedure could corrupt
non-encrypted requests. This patch decouples encryption from caching
removing this issue.

Issue: #1611

[Minor] Fix warnings

[Minor] Fix build with pcre2

[Fix] Fix REPLYTO_UNPARSEABLE rule

[CritFix] Fix learn condition in fuzzy check

[Minor] Allow session-less lua dns requests

[Minor] Avoid `nil` table

[Fix] Fix couple of issues in FORWARDED rule

[Fix] Fix passing data to log helper when many symbols defined

[Feature] DKIM signing: sign_networks/local address specific use_domain settings

 - Issue: #1582

[Minor] Silence warning

[Fix] Rspamadm grep: Disable Lua patterns in string search by default

[Feature] Add rules to detect bad 8bit characters in From and To

[Minor] Push email flags to the lua API

[Fix] Deal with 8bit characters in email addresses

[Fix] Fix setting of email address

[Minor] Fix rule

[Minor] Silence some warnings

[Fix] Fix R_BAD_CTE_7BIT rule

Issue: #1590

[Minor] Add lua methods to detect if a part has 8bit characters

[Fetaure] Add method that detects 8 bit characters in text parts

[Feature] Support numeric arguments for Redis requests

[Minor] Format floating point number

[Minor] Add Lua 5.3 workaround

[WebUI] Fix add header filter in history

 - Issue: #1604
 - Reported by: @dimejo

[Minor] Allow to append greylist end time to message reported

[Minor] Try all hostname regexps to find the most significant one

[Minor] Disable dkim_signing if redis is specified but not configured

Release 1.5.6

* [Feature] Add unigramms support in bayes
* [Feature] Allow configurable sign headers for DKIM
* [Feature] Allow to add unigramm metatokens from Lua
* [Feature] DKIM Signing: envelope match exception for local IPs
* [Feature] UCL: register parser variables from Lua
* [Fix] Always try to adjust filename
* [Fix] Do extra copy to ensure that original content is never touched
* [Fix] Fix SPOOF_REPLYTO rule
* [Fix] Ignore Rmilter added Received
* [Fix] More fixes for hashed email dnsbls
* [Fix] Plug memory leak in chartable module
* [WebUI] Display multiple alerts at once

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1602 from smfreegard/rules_20170419

Add INFO_TO_INFO_LU rule

Add INFO_TO_INFO_LU rule

[Minor] Lower CTYPE_MIXED_BOGUS score

[Minor] Remove confusing warning about exp overflow

Merge pull request #1601 from fatalbanana/ucl

[Feature] UCL: register parser variables from Lua

[Fix] Fix SPOOF_REPLYTO rule

[Feature] UCL: register parser variables from Lua

[Fix] Do extra copy to ensure that original content is never touched

[Minor] Import changes from public suffix list

[Minor] DKIM signing: deal with ambiguous settings better

Merge pull request #1596 from cpragadeesh/html_test_improv

HTML content extraction tests improvement

[Minor] Disable IPv6 for SEM RBL

[Minor] Reduce log noise

Merge pull request #1599 from moisseev/headers

[Minor] Suppress CTYPE_MIXED_BOGUS for yandex.ru web-mail

[Minor] Suppress CTYPE_MIXED_BOGUS for yandex.ru web-mail

[Minor] Slightly increase weight of URL_IN_SUBJECT rule

[Fix] Ignore Rmilter added Received

Issue: #1587

[Minor] Explicitly reset all fields in context on init

html content extraction test improv

[Feature] Allow configurable sign headers for DKIM

Issue: #1595

[Fix] Always try to adjust filename

Issue: #1591

[Feature] Allow to add unigramm metatokens from Lua

[Feature] Add unigramms support in bayes

[Feature] DKIM Signing: envelope match exception for local IPs

 - Also for sign_networks

[Minor] Fix configuration example

Merge pull request #1589 from smfreegard/rules_20170411

Fix HTTP_TO_IP in the same way as HTTP_TO_HTTPS

Fix HTTP_TO_IP in the same way as HTTP_TO_HTTPS

Merge pull request #1588 from smfreegard/rules_20170411

Fix HTTP_TO_HTTPS where message is_html but get_html returns nil

Fix HTTP_TO_HTTPS where message is_html but get_html returns nil

[Minor] Improve protocol debugging

[Minor] Slightly optimise maillist plugin

Merge pull request #1586 from smfreegard/rules_20170411

New rules

New rules

[Minor] Fix one more issue with empty maps

[Minor] Store full timestamp when checking logs

[Minor] Properly show warning

[Minor] Improve symbols in emails module

[Fix] More fixes for hashed email dnsbls

[Minor] Remove unportable constructions

[Fix] Plug memory leak in chartable module

[Minor] Update version to 1.5.6

Release 1.5.5

* [CritFix] Fix classifier learning with Redis backend
* [CritFix] Fix issue when parsing encoded rfc822/messages
* [Feature] Add escaped version of lua_ucl import
* [Feature] Add task:headers_foreach function
* [Feature] Allow to process filenames from content type
* [Feature] Allow to query hashed emails
* [Feature] Ignore bayes with mostly metatokens or with too few text
* [Feature] Probabilistically skip metatokens
* [Feature] Retrieve all virus names from SAVAPI
* [Feature] Rework classifiers lua metatokens
* [Feature] Store headers order
* [Feature] Store text tokens inside bayes tokens
* [Feature] Use cached shingles keys
* [Fix] Add missing score normalisation for HFILTER_URL_ONLY
* [Fix] Avoid lookup in absent hash
* [Fix] Check return values from Lua functions called from C
* [Fix] Do not count sending and loading time in rspamc
* [Fix] Escape json strings for controller rejplies from Lua
* [Fix] Fix archive scans for savapi
* [Fix] Fix domain_only emails RBL
* [Fix] Fix ip_score map configuration
* [Fix] Fix JSON output for history_redis
* [Fix] Fix one character length substrings search
* [Fix] Fix parsing of non-RFC compatible Exim received
* [Fix] Fix parsing of options for workers with the same type
* [Fix] Fix processing of small tokens vectors
* [Fix] Fix rfc2047 tokenization
* [Fix] Fix typo
* [Fix] More fixes for inplace decoding
* [Fix] Try to avoid modifications of the original data
* [Fix] URL redirector: Fix call to is_redirector
* [Rework] Set token data as uint64_t instead of chars array
* [WebUI] Check if neighbours' history backend versions match
* [WebUI] Disable phrase connectors replacement in history filtering
* [WebUI] Disable phrase connectors replacement in symbols filtering
* [WebUI] Do not hide messages with bad subject, just replace it with '???'
* [WebUI] Fix error message
* [WebUI] Fix history v2 display
* [WebUI] Fix legacy history
* [WebUI] history: break To address lists on commas
* [WebUI] Increase default timeout to 20 seconds
* [WebUI] Save some history table space

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1584 from moisseev/webui

[WebUI] Display multiple alerts at once

[WebUI] Do not hide messages with bad subject, just replace it with '???'