[Minor] URL tags: support not persisting certain tags

[Minor] URL tags: fix restoring of tags

Merge pull request #1454 from fatalbanana/red

[Minor] Use fake User-Agent in URL redirector plugin

[Minor] Use fake User-Agent in URL redirector plugin

Merge pull request #1453 from fatalbanana/en

[Minor] Support setting `enabled = false` on RBLs

[Minor] Allow ascii messages with undetected charset

[Minor] Fix manual libicu detection

[Fix] Fix ignoring of bad text parts

[Fix] Stop processing of bad parts as text parts

[Feature] Add charset detection for text parts

[Feature] Cache libicu convertors

[Rework] Use libicu instead of iconv for conversions

[Rework] Start switching to libicu

[Minor] Support setting `enabled = false` on RBLs

Merge pull request #1451 from fatalbanana/redis

[Minor] Finally fix saving of URL tags

[Minor] Finally fix saving of URL tags

[Minor] One more tweak to start fann learning

[Minor] Add ability to save rspamd_text in file

[Minor] Do not process large invalid zip archives

[CritFix] Fix parsing of boundaries that end with `--`

Merge pull request #1449 from moisseev/lists

[Minor] Update redirectors list

Merge pull request #1448 from croessner/antivirus

[Minor] Add log_clean option for SAVAPI

Merge pull request #1446 from fatalbanana/rsn

[Minor] Rmilter headers: deal with missing reasons in DMARC

Merge pull request #1445 from fatalbanana/mex

[Minor] Use JSON in metadata exporter HTTP metadata headers

[Minor] Update redirectors list

with twitter's link shortener

[Minor] Add log_clean option for SAVAPI

[Minor] Rmilter headers: deal with missing reasons in DMARC

[Minor] Use JSON in metadata exporter HTTP metadata headers

[Minor] Fix ANN learn condition

[Fix] Multiple fixes for fann module

[Minor] Save hostname when learning ANN

[Minor] Add util.get_hostname routine

[Minor] Remove obsoleted functions

[Minor] Fix calling of Lua symbols

Merge pull request #1444 from fatalbanana/fax

Config rework/new features for force actions

Merge pull request #1443 from moisseev/webui

[WebUI] Fix graph dataset selector initialization

Merge pull request #1442 from fatalbanana/val

[Minor] Metadata exporter: fix custom_select/custom_format/custom_push

Merge pull request #1440 from croessner/master

[Feature] Avira SAVAPI support

[Minor] Add require_action/honor_action settings to force actions module

[Minor] Rework force actions configuration

[Minor] Improve communication

[Minor] Metadata exporter: fix custom_select/custom_format/custom_push

 - Also support adding metadata to HTTP headers
 - Add score to general metadata

[WebUI] Fix graph dataset selector initialization

[Feature] Avira SAVAPI support

[Fix] Do not penalize characters just after numeric prefix

Issue: #1435

Merge pull request #1438 from moisseev/headers

[Minor]  Update mail.ru Received header regexp

Merge pull request #1439 from fatalbanana/warn

[Minor] Silence warning

[Minor] Silence warning

[Minor] Use lpeg instead of custom code for email format

[Minor]  Update mail.ru Received header regexp

as header format has been changed by mail.ru

[Minor] Allow to skip archives in multimap

Merge pull request #1436 from moisseev/lists

[Minor] Update `mid` and `redirectors` lists

Merge pull request #1437 from fatalbanana/mer4

[Minor] More new features/rework for metadata exporter

[Minor] More new features/rework for metadata exporter

[Minor] Update `mid` and `redirectors` lists

[Minor] Add logging for mime types

[Minor] Do not set file vars by default in lua ucl

[Minor] Add ability to skip setting of file vars in UCL

[Minor] Fix usage of filename parts

[Fix] Whitelist certain extensions from archive checks

Issue: #1095

Merge pull request #1434 from moisseev/webui

[WebUI] Fix mouse events on throughput summary table area

Merge pull request #1433 from fatalbanana/mer2

[Minor] Metadata exporter: use per-backend callback

[WebUI] Fix mouse events on throughput summary table area

[Minor] Metadata exporter: use per-backend callback

Merge pull request #1432 from fatalbanana/mer

[Minor] More new features/rework for metadata exporter

[Feature] Allow to store messages in files

[Minor] More new features/rework for metadata exporter

[Fix] Deal with EOF properly

Merge pull request #1431 from fatalbanana/lu

[Minor] Fix rspamd_parse_redis_server

[Minor] Fix rspamd_parse_redis_server

[Feature] Allow to have module specific options for Redis in plugins

Issue: #1400

[Minor] Add routine to convert redis reply type to string

Issue: #1228

[Minor] Log fuzzy command when processing changes

Issue: #1267

[Minor] Allow to use password in file in rspamc

Issue: #1415
Submitted by: @urusha

Merge pull request #1430 from fatalbanana/FA

[Minor] Force actions: deal with null better

[Minor] Force actions: deal with null better

[Fix] Strings returned from lua are ephemeral

Pointy hat to: @fatalbanana

[Minor] Forgotten in the previous commit

[Fix] Do not destroy session when not all finish scripts are done

[Fix] Fix writing of user to roll history

Issue: #1429
Reported by: @moisseev

[Minor] Treat urls in subject as displayed only

Merge pull request #1428 from fatalbanana/subject

Support setting subject in force actions module

[Feature] Support setting subject in force actions module

[Feature] Support setting metric subject from Lua

Merge pull request #1427 from fatalbanana/metamail

[Feature] Various new features in metadata exporter module

[Feature] Various new features in metadata exporter module

Merge pull request #1426 from moisseev/webui

[WebUI] Fix compatibility with non-ES6 compliant browsers

[WebUI] Fix compatibility with non-ES6 compliant browsers

[Fix] Fix tokens usage

[Fix] Do not stop symbols planning if async events are pending

Issue: #1425

[Fix] Ignore lua metatokens in bayes for now

[Rework] Use a special structure for stats tokens

Merge pull request #1422 from fatalbanana/MMX

Multimap Received headers stuff

[Minor] Filter artificial Received header in multimap by default

 - Also filter headers in CHECK_RECEIVED rule

[Test] Add tests for multimap received maps

[Minor] Fix lint

[Fix] Fix urls and emails hashes

[Fix] More heuristic fixes for phishing detection

[Minor] Ignore displayed only urls from omographs check

[Minor] Add method to find displayed urls