Merge remote-tracking branch 'refs/remotes/vstakhov/master'

Merge pull request #1321 from dehnli/update-github-template

[Minor] Update github issue template

[Fix] Normalize path in HTTP router

[Minor] Normalize paths in URLs detected by Rspamd

[Test] More test cases

[Test] Add tests, fix normalization algorithm

[Feature] Add function to normalize HTTP paths

[Minor] Update github issue template

Merge pull request #1318 from moisseev/rrd-summary

[WebUI] Add summary to the Throughput tab

Merge pull request #1319 from AnnaStakhova/master

[WebUI] Initial clusters support

Merge branch 'master' of https://github.com/AnnaStakhova/rspamd

[WebUI] Initial clusters support

[Feature] Allow plugins to register webui handlers

Example of usage:

~~~lua
rspamd_plugins.multimap = {
  webui = {
    test = {
      handler = function(task, conn)
        conn:send_ucl({success = true})
      end
    }
  }
}

[WebUI] RRD summary: Hide inner labels of tiny pie sectors

[WebUI] RRD summary: Respect undefined values

Merge pull request #1317 from fatalbanana/m

[Feature] New URL filters in multimap

[WebUI] Fix RRD summary pie chart position

[WebUI] Add summary to the Throughput tab

[Feature] New URL filters in multimap

[Fix] Fix argument returned on redis backend errors

MFH: true

Release 1.4.2

* [CritFix] Deal with absent headers in DKIM
* [CritFix] Do not trust remote shingles count
* [CritFix] Fix headers selection in DKIM verification
* [Feature] Add EXT_CSS rule
* [Feature] Add toggle for disabling SURBLs
* [Feature] Extend redis lock when learning spawned
* [Feature] Parse <link> HTML tags
* [Fix] Avoid reusing g_error (Fixes #1262)
* [Fix] Do not reset loaded ANN when learning is requested
* [Fix] Fix another issue with external deps in SA
* [Fix] Fix body trie matching
* [Fix] Fix checking of DKIM bodies that needs just `\n` to be added
* [Fix] Fix fuzzy hashes count
* [Fix] Fix keys names
* [Fix] Fix length calculations for url encoded urls
* [Fix] Fix matching of the same patterns from different tries
* [Fix] Fix name of var
* [Fix] Fix parsing of URLs with spaces and other bad chars
* [Fix] Fix probability calculations for fuzzy redis backend
* [Fix] Fix signing headers creation in DKIM
* [Fix] Plug memory leak
* [Fix] Really fix chained SA dependencies
* [Fix] Really increase lock lifetime
* [Fix] Use checksum to avoid intersection between different ANNs
* [Fix] Use rspamd hashes in embedded ucl
* [Fix] Yet another change for testing external deps

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1316 from dehnli/master

[Minor] Update `mid` list

[Minor] Update `mid` list

Merge pull request #1315 from mneumann/dragonfly-fix-shm

Fix shm on DragonFly

[Feature] Send config id to the WebUI

[Feature] Implement sane checksum for config file

Fix shm on DragonFly

Rspamd tried to call shm_open(3) with a path in the root filesystem
(e.g. /rhm.3f0fd440d46fac91e1b4). But DragonFly uses regular files
for shm. Obviously, this fails, because rspamd has no permissions
to create files in the root (/).

Lots of lines like the following were found in
/var/log/rspamd/rspamd.log before this patch:

    rspamd_shmem_mkstemp: /usr/obj/dports/mail/rspamd/rspamd-1.4.1/src
      /libutil/util.c:1970: failed to create temp shmem
      /rhm.3f0fd440d46fac91e1b4: Permission denied

Also, rspamd made the receiving of mail very slow, when used
in the pre-accept rmilter setting, due to these errors. Even
worse, it just didn't filter emails at all.

This patch fixes the problem by creating the shm files in /tmp
for DragonFly. With this patch applied, these lines are gone from
the log and emails now correctly contain the X-Spamd-Result header,
AND receiving mails is now much much faster.

For rspamd 1.4.1, we will fix it in dports:

    https://github.com/DragonFlyBSD/DeltaPorts/pull/727

[Feature] Add neighbours option to support Rspamd cluster in WebUI

[Feature] Implement url tags concept

[Minor] Add type of fuzzy to log files

[Fix] Fix probability calculations for fuzzy redis backend

[Feature] Add fallback if too many updates are failing

[CritFix] Do not trust remote shingles count

MFH: true

[Fix] Fix build

[Fix] Fix fuzzy hashes count

[Minor] Add `compat_messages` for compatibility with legacy protocol

MFH: true

Merge pull request #1304 from moisseev/graph

[WebUI] Add graph legend entries for new DSes

[WebUI] Add graph legend entries for new DSes

Resolves #1300

[Fix] Fix rra_ptr conversion

[Fix] Fix rrd file conversion

[Feature] Ignore too wide elements in SPF

Issue: #216
Reported by: @fatalbanana

[Fix] Fix assertion in graph handling

Merge pull request #1298 from moisseev/totals

[WebUI] Turn d3pie's stuff into a reusable function,

[WebUI] Turn d3pie's stuff into a reusable function,

do not destroy pie on data update

[Minor] Move hiredis inclusion to the proper place

[Fix] Fix new rrd updates

[Feature] Rework RRD ds count, add conversion path

[Minor] Move common functions from libmime

[Fix] Fix name of var

MFH: true

[Minor] Fix posix_memalign -> malloc transition

[Fix] Plug memory leak

MFH: true

Merge pull request #1296 from moisseev/visibility

[WebUI] Add Throughput graph autorefreshing (#820)

[Minor] Set smaller alignment for mem_pool

[Minor] Relax alignment requirements for fstring

[WebUI] Add Throughput graph autorefreshing (#820)

Merge pull request #1295 from moisseev/gc

[WebUI] Remove orphaned font duplicates

[WebUI] Remove orphaned font duplicates

Merge pull request #1294 from moisseev/visibility

[WebUI] Use unified tab click event handler,

[WebUI] Use unified tab click event handler,

stop refreshing widgets on hidden tabs,
make `refresh` button functional for some more tabs

[Fix] Fix signing headers creation in DKIM

MFH: true

[CritFix] Deal with absent headers in DKIM

MFH: true

[CritFix] Fix headers selection in DKIM verification

Found by: @moisseev
MFH: true

Merge pull request #1292 from moisseev/visibility

[WebUI] Stop stats refreshing if the page is hidden

Merge pull request #1291 from fatalbanana/g

[Minor] Avoid reusing GError

[Minor] Ignore space chars when detect CTE

[Fix] Fix CTE detection heuristic

[Fix] Fix checking of DKIM bodies that needs just `\n` to be added

[Feature] Do not trust CTE, check base64 and qp strictly

[WebUI] Stop stats refreshing if the page is hidden

[Minor] Avoid reusing GError

[WebUI] Add Visibility.js library

[Minor] Add support for unix connections for redis stats backend

[Fix] Support unix sockets for lua redis

Issue: #1277
Reported by: @athanp

[Minor] Add example of new TCP logic

[Minor] More fixes for lua_tcp

[Fix] Miltiple fixes to new lua_tcp, add debugging

[Feature] Add new methods for lua_tcp

[Minor] Special case for partial requests

[Minor] Call read callback when no stop_pattern is specified

[Rework] Rework lua_tcp to allow TCP dialog

- Now, lua_tcp has a chain of read and write events that are processed
  in order
- The old API wasn't touched, however, new style API will be possible
- Partial lua_tcp might be broken, so I need to revisit all plugins that
  use lua_tcp

Issue: #1224

Merge pull request #1290 from moisseev/d3evolution

[WebUI] Update D3Evolution to 0.0.1

[WebUI] Update D3Evolution to 0.0.1

[WebUI] Update d3.js

[Minor] Add copyright comments for js libs

[Fix] Fix keys names

[Minor] Fix length in email addresses heuristic

[Feature] Add heuristic to process broken email addresses

[Fix] Use checksum to avoid intersection between different ANNs

[Minor] Add methods to get symbols cache checksum

[Minor] Add checksum for symbols cache

[Fix] Really increase lock lifetime

[Minor] Disable redis cache for ASN module

[Fix] Disable zero-copy mode for text parts to avoid crashes

[Minor] Add missing debian dependency

Issue: #1286
Reported by: @LynxChaus

[Minor] Add optimization option to debian rules

[Minor] Initialize DCT matrix

[Minor] Add length check for array iteration

[Minor] Initialize variable

[Fix] Fix out of bounds access

[Minor] Another try to fix race condition in lua_redis