Release 1.5.7

* [CritFix] Fix corruption when multiple fuzzy are defined
* [CritFix] Fix learn condition in fuzzy check
* [Feature] Add rules to detect bad 8bit characters in From and To
* [Feature] DKIM signing: sign_networks/local address specific
use_domain settings
* [Feature] Support numeric arguments for Redis requests
* [Fix] Deal with 8bit characters in email addresses
* [Fix] Fix couple of issues in FORWARDED rule
* [Fix] Fix passing data to log helper when many symbols defined
* [Fix] Fix R_BAD_CTE_7BIT rule
* [Fix] Fix REPLYTO_UNPARSEABLE rule
* [Fix] Fix setting of email address
* [Fix] Rspamadm grep: Disable Lua patterns in string search by default
* [Minor] Add Lua 5.3 workaround
* [Minor] Add lua methods to detect if a part has 8bit characters
* [Minor] Allow session-less lua dns requests
* [Minor] Allow to append greylist end time to message reported
* [Minor] Avoid `nil` table
* [Minor] Disable dkim_signing if redis is specified but not configured
* [Minor] Fix build with pcre2
* [Minor] Fix rule
* [Minor] Fix warnings
* [Minor] Format floating point number
* [Minor] Push email flags to the lua API
* [Minor] Silence some warnings
* [Minor] Silence warning
* [Minor] Try all hostname regexps to find the most significant one
* [WebUI] Fix add header filter in history

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[CritFix] Fix corruption when multiple fuzzy are defined

If there are two fuzzy storages with the same algorithm but one of them
uses encryption, then the encryption procedure could corrupt
non-encrypted requests. This patch decouples encryption from caching
removing this issue.

Issue: #1611

[Minor] Fix warnings

[Minor] Fix build with pcre2

[Fix] Fix REPLYTO_UNPARSEABLE rule

[CritFix] Fix learn condition in fuzzy check

[Minor] Allow session-less lua dns requests

[Minor] Avoid `nil` table

[Fix] Fix couple of issues in FORWARDED rule

[Fix] Fix passing data to log helper when many symbols defined

[Feature] DKIM signing: sign_networks/local address specific use_domain settings

 - Issue: #1582

[Minor] Silence warning

[Fix] Rspamadm grep: Disable Lua patterns in string search by default

[Feature] Add rules to detect bad 8bit characters in From and To

[Minor] Push email flags to the lua API

[Fix] Deal with 8bit characters in email addresses

[Fix] Fix setting of email address

[Minor] Fix rule

[Minor] Silence some warnings

[Fix] Fix R_BAD_CTE_7BIT rule

Issue: #1590

[Minor] Add lua methods to detect if a part has 8bit characters

[Fetaure] Add method that detects 8 bit characters in text parts

[Feature] Support numeric arguments for Redis requests

[Minor] Format floating point number

[Minor] Add Lua 5.3 workaround

[WebUI] Fix add header filter in history

 - Issue: #1604
 - Reported by: @dimejo

[Minor] Allow to append greylist end time to message reported

[Minor] Try all hostname regexps to find the most significant one

[Minor] Disable dkim_signing if redis is specified but not configured

Release 1.5.6

* [Feature] Add unigramms support in bayes
* [Feature] Allow configurable sign headers for DKIM
* [Feature] Allow to add unigramm metatokens from Lua
* [Feature] DKIM Signing: envelope match exception for local IPs
* [Feature] UCL: register parser variables from Lua
* [Fix] Always try to adjust filename
* [Fix] Do extra copy to ensure that original content is never touched
* [Fix] Fix SPOOF_REPLYTO rule
* [Fix] Ignore Rmilter added Received
* [Fix] More fixes for hashed email dnsbls
* [Fix] Plug memory leak in chartable module
* [WebUI] Display multiple alerts at once

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1602 from smfreegard/rules_20170419

Add INFO_TO_INFO_LU rule

Add INFO_TO_INFO_LU rule

[Minor] Lower CTYPE_MIXED_BOGUS score

[Minor] Remove confusing warning about exp overflow

Merge pull request #1601 from fatalbanana/ucl

[Feature] UCL: register parser variables from Lua

[Fix] Fix SPOOF_REPLYTO rule

[Feature] UCL: register parser variables from Lua

[Fix] Do extra copy to ensure that original content is never touched

[Minor] Import changes from public suffix list

[Minor] DKIM signing: deal with ambiguous settings better

Merge pull request #1596 from cpragadeesh/html_test_improv

HTML content extraction tests improvement

[Minor] Disable IPv6 for SEM RBL

[Minor] Reduce log noise

Merge pull request #1599 from moisseev/headers

[Minor] Suppress CTYPE_MIXED_BOGUS for yandex.ru web-mail

[Minor] Suppress CTYPE_MIXED_BOGUS for yandex.ru web-mail

[Minor] Slightly increase weight of URL_IN_SUBJECT rule

[Fix] Ignore Rmilter added Received

Issue: #1587

[Minor] Explicitly reset all fields in context on init

html content extraction test improv

[Feature] Allow configurable sign headers for DKIM

Issue: #1595

[Fix] Always try to adjust filename

Issue: #1591

[Feature] Allow to add unigramm metatokens from Lua

[Feature] Add unigramms support in bayes

[Feature] DKIM Signing: envelope match exception for local IPs

 - Also for sign_networks

[Minor] Fix configuration example

Merge pull request #1589 from smfreegard/rules_20170411

Fix HTTP_TO_IP in the same way as HTTP_TO_HTTPS

Fix HTTP_TO_IP in the same way as HTTP_TO_HTTPS

Merge pull request #1588 from smfreegard/rules_20170411

Fix HTTP_TO_HTTPS where message is_html but get_html returns nil

Fix HTTP_TO_HTTPS where message is_html but get_html returns nil

[Minor] Improve protocol debugging

[Minor] Slightly optimise maillist plugin

Merge pull request #1586 from smfreegard/rules_20170411

New rules

New rules

[Minor] Fix one more issue with empty maps

[Minor] Store full timestamp when checking logs

[Minor] Properly show warning

[Minor] Improve symbols in emails module

[Fix] More fixes for hashed email dnsbls

[Minor] Remove unportable constructions

[Fix] Plug memory leak in chartable module

[Minor] Update version to 1.5.6

Release 1.5.5

* [CritFix] Fix classifier learning with Redis backend
* [CritFix] Fix issue when parsing encoded rfc822/messages
* [Feature] Add escaped version of lua_ucl import
* [Feature] Add task:headers_foreach function
* [Feature] Allow to process filenames from content type
* [Feature] Allow to query hashed emails
* [Feature] Ignore bayes with mostly metatokens or with too few text
* [Feature] Probabilistically skip metatokens
* [Feature] Retrieve all virus names from SAVAPI
* [Feature] Rework classifiers lua metatokens
* [Feature] Store headers order
* [Feature] Store text tokens inside bayes tokens
* [Feature] Use cached shingles keys
* [Fix] Add missing score normalisation for HFILTER_URL_ONLY
* [Fix] Avoid lookup in absent hash
* [Fix] Check return values from Lua functions called from C
* [Fix] Do not count sending and loading time in rspamc
* [Fix] Escape json strings for controller rejplies from Lua
* [Fix] Fix archive scans for savapi
* [Fix] Fix domain_only emails RBL
* [Fix] Fix ip_score map configuration
* [Fix] Fix JSON output for history_redis
* [Fix] Fix one character length substrings search
* [Fix] Fix parsing of non-RFC compatible Exim received
* [Fix] Fix parsing of options for workers with the same type
* [Fix] Fix processing of small tokens vectors
* [Fix] Fix rfc2047 tokenization
* [Fix] Fix typo
* [Fix] More fixes for inplace decoding
* [Fix] Try to avoid modifications of the original data
* [Fix] URL redirector: Fix call to is_redirector
* [Rework] Set token data as uint64_t instead of chars array
* [WebUI] Check if neighbours' history backend versions match
* [WebUI] Disable phrase connectors replacement in history filtering
* [WebUI] Disable phrase connectors replacement in symbols filtering
* [WebUI] Do not hide messages with bad subject, just replace it with '???'
* [WebUI] Fix error message
* [WebUI] Fix history v2 display
* [WebUI] Fix legacy history
* [WebUI] history: break To address lists on commas
* [WebUI] Increase default timeout to 20 seconds
* [WebUI] Save some history table space

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1584 from moisseev/webui

[WebUI] Display multiple alerts at once

[WebUI] Do not hide messages with bad subject, just replace it with '???'

[Minor] More strict boundaries checks and composites policies fix

[Minor] Filter bad utf8 subjects

[Minor] Add lua routine to validate utf8

[WebUI] Fix history v2 display

[Fix] Fix JSON output for history_redis

[WebUI] Display multiple alerts at once

Now user have a chance to see all thrown alerts not just the latest one.

[Minor] Use normal string allocation

Merge pull request #1583 from moisseev/webui

[WebUI] Check if neighbours' history backend versions match

[Minor] Fix couple of format arguments issues

[Minor] Support time_t args in clang plugin

[Minor] Remove minor warnings

[Minor] Remove redundant function

[WebUI] Check if neighbours' history backend versions match

[Minor] More bounds checks

[Minor] Use proper substring search

[Minor] Add some more boundaries checks

[Fix] Fix one character length substrings search

[Minor] Import public suffix list updates

[Minor] More inline fixes

[Minor] Fix inline issues

[Minor] Antivirus: don't set action if all results were whitelisted

[Minor] Unify substring search routines

[Minor] Antivirus: process table results correctly; prettify logging

[Minor] Try fix antivirus plugin

[Minor] Check bounds

[Minor] Use safe version of utf8 macro