[Minor] Check mmap return code

[Fix] Fix processing errors in lua_tcp

Issue: #1341
Reported by: @AlexeySa

[Minor] Add more sanity checks to redis pool

[WebUI] Avoid extra graph redraw and alerts glitching

[WebUI] Fix soft reject in pie chart

[Minor] Avoid double free

[Minor] Fix potential leak in lua send fuzzy command

[Fix] Fix errors handling in fuzzy backend initialization

[WebUI] Fix pie chart displaying

[WebUI] Add soft reject to auth stats

[WebUI] Fix case when no cluster is defined

Issue: #1334
Reported by: @dehnli

[Feature] Allow SOA requests in lua dns

[Minor] Add phishing flag

[Feature] Reuse URL tags in SURBL module

[Minor] Add url tags in surbl module

[Minor] Add auto type to the parser method

[Feature] Allow custom parse types in lua ucl

[Minor] Improve URL tags

Merge pull request #1327 from fatalbanana/u

[Feature] URL reputation plugin

Merge pull request #1339 from fatalbanana/hf

[Minor] Don't disrespect .online GTLD in hfilter (Fixes #1338)

[Fix] Fix possible memory corruption in redis pool

MFH: true

[Fix] Plug memory leak in learning fuzzy storage

MFH: true

[Fix] Avoid extensive reallocs

MFH: true

[Minor] Don't disrespect .online GTLD in hfilter (Fixes #1338)

[Feature] Dynamic reputation in URL reputation plugin

[CritFix] Repair PTR_ARRAY_FOREACH macro

MFH: true

[Minor] Use VALGRIND env var to detect valgrind

[Minor] Plug memory leak on failed updates

Merge pull request #1337 from fatalbanana/fixtests

[Test] Fix tests

[Test] Fix tests

Merge pull request #1336 from fatalbanana/redir

Clean up redirectors.inc

[Fix] Stop hardcoding of lua in C

[Feature] Add CORS support to the controller

[Minor] Treat special HTTP methods specially

[WebUI] Add Access-Control-Allow-Origin for cluster management

[Minor] Allow to append headers for rspamd http router

[Fix] Fix adding maps from config in Lua

[Minor] Fix double free

[Minor] Remove commented entries & unregistered domains

[Minor] Sort redirectors.inc

[Minor] Fix default path from '/rspamd' to '/'

[WebUI] Fix disabled state

[WebUI] Rework neighbours query function

Merge pull request #1333 from AnnaStakhova/master

[WebUI] clusters for the chart

[WebUI] clusters for the chart

[Fix] Fix timezones parsing

Merge pull request #1331 from moisseev/rrd-summary

[WebUI] Fix graph selectors state resetting

[Fix] Plug termination memory leaks

[Fix] Fix heuristical CTE detection for QP encoding

[Fix] Fix usage of unsafe ucl iterators

[Feature] Add ucl_object_iterate_full function

[Fix] Plug memory leak in lua_tcp

[Minor] Url tld file is not a map

[Minor] Use deterministic ids for maps

[Minor] Add t1ha to the list of the specific hashes

[Conf] Allow to edit all local maps from WebUI by default

[Minor] Fix backends display in webui

[Fix] Fix surbl plugin to work with composite maps

[Feature] Multiple improvements in the maps

- Allow to create maps if directory is writable
- Show all backends for all maps
- Index backend istead of map
- Improve locking logic to retry on failure

[Minor] Do not use glib PRNG

[Minor] Add id for each rspamd map backend

[WebUI] Reduce font size of graph's legend

Fixes labels overlapping on page zoom out.

[Fix] Fix plugins callbacks in webui

[WebUI] Fix graph selectors state resetting

on reconnect / reload

Reported by: @denhli

[Feature] Add plugins list path in WebUI

[Feature] URL reputation plugin

[Minor] Be more strict about bad mime structure

[Feature] Add heuristic to detect broken messages

[Fix] Fix parsing messages with no body

Merge pull request #1326 from AnnaStakhova/master

[WebUI] Fix config ID

[WebUI] Fix config ID

Merge remote-tracking branch 'refs/remotes/vstakhov/master'

Merge pull request #1321 from dehnli/update-github-template

[Minor] Update github issue template

[Fix] Normalize path in HTTP router

[Minor] Normalize paths in URLs detected by Rspamd

[Test] More test cases

[Test] Add tests, fix normalization algorithm

[Feature] Add function to normalize HTTP paths

[Minor] Update github issue template

Merge pull request #1318 from moisseev/rrd-summary

[WebUI] Add summary to the Throughput tab

Merge pull request #1319 from AnnaStakhova/master

[WebUI] Initial clusters support

Merge branch 'master' of https://github.com/AnnaStakhova/rspamd

[WebUI] Initial clusters support

[Feature] Allow plugins to register webui handlers

Example of usage:

~~~lua
rspamd_plugins.multimap = {
  webui = {
    test = {
      handler = function(task, conn)
        conn:send_ucl({success = true})
      end
    }
  }
}

[WebUI] RRD summary: Hide inner labels of tiny pie sectors

[WebUI] RRD summary: Respect undefined values

Merge pull request #1317 from fatalbanana/m

[Feature] New URL filters in multimap

[WebUI] Fix RRD summary pie chart position

[WebUI] Add summary to the Throughput tab

[Feature] New URL filters in multimap

[Fix] Fix argument returned on redis backend errors

MFH: true

Release 1.4.2

* [CritFix] Deal with absent headers in DKIM
* [CritFix] Do not trust remote shingles count
* [CritFix] Fix headers selection in DKIM verification
* [Feature] Add EXT_CSS rule
* [Feature] Add toggle for disabling SURBLs
* [Feature] Extend redis lock when learning spawned
* [Feature] Parse <link> HTML tags
* [Fix] Avoid reusing g_error (Fixes #1262)
* [Fix] Do not reset loaded ANN when learning is requested
* [Fix] Fix another issue with external deps in SA
* [Fix] Fix body trie matching
* [Fix] Fix checking of DKIM bodies that needs just `\n` to be added
* [Fix] Fix fuzzy hashes count
* [Fix] Fix keys names
* [Fix] Fix length calculations for url encoded urls
* [Fix] Fix matching of the same patterns from different tries
* [Fix] Fix name of var
* [Fix] Fix parsing of URLs with spaces and other bad chars
* [Fix] Fix probability calculations for fuzzy redis backend
* [Fix] Fix signing headers creation in DKIM
* [Fix] Plug memory leak
* [Fix] Really fix chained SA dependencies
* [Fix] Really increase lock lifetime
* [Fix] Use checksum to avoid intersection between different ANNs
* [Fix] Use rspamd hashes in embedded ucl
* [Fix] Yet another change for testing external deps

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1316 from dehnli/master

[Minor] Update `mid` list

[Minor] Update `mid` list

Merge pull request #1315 from mneumann/dragonfly-fix-shm

Fix shm on DragonFly

[Feature] Send config id to the WebUI

[Feature] Implement sane checksum for config file

Fix shm on DragonFly

Rspamd tried to call shm_open(3) with a path in the root filesystem
(e.g. /rhm.3f0fd440d46fac91e1b4). But DragonFly uses regular files
for shm. Obviously, this fails, because rspamd has no permissions
to create files in the root (/).

Lots of lines like the following were found in
/var/log/rspamd/rspamd.log before this patch:

    rspamd_shmem_mkstemp: /usr/obj/dports/mail/rspamd/rspamd-1.4.1/src
      /libutil/util.c:1970: failed to create temp shmem
      /rhm.3f0fd440d46fac91e1b4: Permission denied

Also, rspamd made the receiving of mail very slow, when used
in the pre-accept rmilter setting, due to these errors. Even
worse, it just didn't filter emails at all.

This patch fixes the problem by creating the shm files in /tmp
for DragonFly. With this patch applied, these lines are gone from
the log and emails now correctly contain the X-Spamd-Result header,
AND receiving mails is now much much faster.

For rspamd 1.4.1, we will fix it in dports:

    https://github.com/DragonFlyBSD/DeltaPorts/pull/727

[Feature] Add neighbours option to support Rspamd cluster in WebUI

[Feature] Implement url tags concept