Merge pull request #1596 from cpragadeesh/html_test_improv

HTML content extraction tests improvement

[Minor] Disable IPv6 for SEM RBL

[Minor] Reduce log noise

Merge pull request #1599 from moisseev/headers

[Minor] Suppress CTYPE_MIXED_BOGUS for yandex.ru web-mail

[Minor] Suppress CTYPE_MIXED_BOGUS for yandex.ru web-mail

[Minor] Slightly increase weight of URL_IN_SUBJECT rule

[Fix] Ignore Rmilter added Received

Issue: #1587

[Minor] Explicitly reset all fields in context on init

html content extraction test improv

[Feature] Allow configurable sign headers for DKIM

Issue: #1595

[Fix] Always try to adjust filename

Issue: #1591

[Feature] Allow to add unigramm metatokens from Lua

[Feature] Add unigramms support in bayes

[Feature] DKIM Signing: envelope match exception for local IPs

 - Also for sign_networks

[Minor] Fix configuration example

Merge pull request #1589 from smfreegard/rules_20170411

Fix HTTP_TO_IP in the same way as HTTP_TO_HTTPS

Fix HTTP_TO_IP in the same way as HTTP_TO_HTTPS

Merge pull request #1588 from smfreegard/rules_20170411

Fix HTTP_TO_HTTPS where message is_html but get_html returns nil

Fix HTTP_TO_HTTPS where message is_html but get_html returns nil

[Minor] Improve protocol debugging

[Minor] Slightly optimise maillist plugin

Merge pull request #1586 from smfreegard/rules_20170411

New rules

New rules

[Minor] Fix one more issue with empty maps

[Minor] Store full timestamp when checking logs

[Minor] Properly show warning

[Minor] Improve symbols in emails module

[Fix] More fixes for hashed email dnsbls

[Minor] Remove unportable constructions

[Fix] Plug memory leak in chartable module

[Minor] Update version to 1.5.6

Release 1.5.5

* [CritFix] Fix classifier learning with Redis backend
* [CritFix] Fix issue when parsing encoded rfc822/messages
* [Feature] Add escaped version of lua_ucl import
* [Feature] Add task:headers_foreach function
* [Feature] Allow to process filenames from content type
* [Feature] Allow to query hashed emails
* [Feature] Ignore bayes with mostly metatokens or with too few text
* [Feature] Probabilistically skip metatokens
* [Feature] Retrieve all virus names from SAVAPI
* [Feature] Rework classifiers lua metatokens
* [Feature] Store headers order
* [Feature] Store text tokens inside bayes tokens
* [Feature] Use cached shingles keys
* [Fix] Add missing score normalisation for HFILTER_URL_ONLY
* [Fix] Avoid lookup in absent hash
* [Fix] Check return values from Lua functions called from C
* [Fix] Do not count sending and loading time in rspamc
* [Fix] Escape json strings for controller rejplies from Lua
* [Fix] Fix archive scans for savapi
* [Fix] Fix domain_only emails RBL
* [Fix] Fix ip_score map configuration
* [Fix] Fix JSON output for history_redis
* [Fix] Fix one character length substrings search
* [Fix] Fix parsing of non-RFC compatible Exim received
* [Fix] Fix parsing of options for workers with the same type
* [Fix] Fix processing of small tokens vectors
* [Fix] Fix rfc2047 tokenization
* [Fix] Fix typo
* [Fix] More fixes for inplace decoding
* [Fix] Try to avoid modifications of the original data
* [Fix] URL redirector: Fix call to is_redirector
* [Rework] Set token data as uint64_t instead of chars array
* [WebUI] Check if neighbours' history backend versions match
* [WebUI] Disable phrase connectors replacement in history filtering
* [WebUI] Disable phrase connectors replacement in symbols filtering
* [WebUI] Do not hide messages with bad subject, just replace it with '???'
* [WebUI] Fix error message
* [WebUI] Fix history v2 display
* [WebUI] Fix legacy history
* [WebUI] history: break To address lists on commas
* [WebUI] Increase default timeout to 20 seconds
* [WebUI] Save some history table space

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1584 from moisseev/webui

[WebUI] Display multiple alerts at once

[WebUI] Do not hide messages with bad subject, just replace it with '???'

[Minor] More strict boundaries checks and composites policies fix

[Minor] Filter bad utf8 subjects

[Minor] Add lua routine to validate utf8

[WebUI] Fix history v2 display

[Fix] Fix JSON output for history_redis

[WebUI] Display multiple alerts at once

Now user have a chance to see all thrown alerts not just the latest one.

[Minor] Use normal string allocation

Merge pull request #1583 from moisseev/webui

[WebUI] Check if neighbours' history backend versions match

[Minor] Fix couple of format arguments issues

[Minor] Support time_t args in clang plugin

[Minor] Remove minor warnings

[Minor] Remove redundant function

[WebUI] Check if neighbours' history backend versions match

[Minor] More bounds checks

[Minor] Use proper substring search

[Minor] Add some more boundaries checks

[Fix] Fix one character length substrings search

[Minor] Import public suffix list updates

[Minor] More inline fixes

[Minor] Fix inline issues

[Minor] Antivirus: don't set action if all results were whitelisted

[Minor] Unify substring search routines

[Minor] Antivirus: process table results correctly; prettify logging

[Minor] Try fix antivirus plugin

[Minor] Check bounds

[Minor] Use safe version of utf8 macro

[Minor] Disable noisy warning in gcc7

[Minor] Use memmove for overlapping memory

[Minor] Fix substring search in case if inlen == srchlen

[Minor] Style fixes

Merge pull request #1580 from croessner/avm

[Feature] Retrieve all virus names from SAVAPI

[Minor] Emails module: fix hashed lookups

[Fix] Escape json strings for controller rejplies from Lua

Issue: #1581

[Feature] Add escaped version of lua_ucl import

[Feature] Retrieve all virus names from SAVAPI

[Minor] Don't try to use filtered results

[Fix] Fix domain_only emails RBL

 - Also support hashing for domain_only

[Feature] Allow to query hashed emails

Merge pull request #1578 from moisseev/webui

[WebUI] history: break To address lists on commas

[Minor] Remove metatokens count checks

[Minor] Set expiration for neural net data

[WebUI] history: break To address lists on commas

Merge pull request #1577 from moisseev/webui

[WebUI] Save some history table space

[Fix] Fix rfc2047 tokenization

[Minor] Use the correct context when dealing with attached messages

[CritFix] Fix issue when parsing encoded rfc822/messages

[Feature] Probabilistically skip metatokens

[Fix] Check return values from Lua functions called from C

[Minor] Fix headers_foreach invocation

[Fix] Fix processing of small tokens vectors

[Feature] Ignore bayes with mostly metatokens or with too few text

[CritFix] Fix classifier learning with Redis backend

[Rework] Set token data as uint64_t instead of chars array

[WebUI] Save some history table space

[Fix] Fix parsing of options for workers with the same type

[Minor] Fix out-of-bound read

[Minor] Allow to iterate mime headers as well

[Feature] Add task:headers_foreach function

[Minor] Explicitly set queue to NULL for top part

Merge pull request #1576 from humbapa/master

Handle for ACC and OK messages from sophos

[Feature] Store headers order

[Minor] Do not ignore Lua metatokens

[Feature] Rework classifiers lua metatokens

[Minor] Add images shingles keys caching

[Feature] Use cached shingles keys

[Minor] Use memcpy