Merge pull request #1340 from fatalbanana/rspamd-1.4

Rspamd 1.4: backports

[Fix] Avoid extensive reallocs

MFH: true

[Fix] Plug memory leak in learning fuzzy storage

MFH: true

[Fix] Backport redis pool fixes from master

[Minor] Don't disrespect .online GTLD in hfilter (Fixes #1338)

[Minor] Add missing debian dependency

Issue: #1286
Reported by: @LynxChaus

[CritFix] Backport PTR_ARRAY_FOREACH fix

[Minor] Leftover for i386

[Minor] Try to fix build on non x86 architectures

Merge pull request #1330 from fatalbanana/rspamd-1.4

Rspamd 1.4: really fix build

[Feature] Use t1ha instead of metrohash and xxhash32

Merge pull request #1329 from fatalbanana/rspamd-1.4

Rspamd 1.4: fix build

[Minor] Add checksum for symbols cache

Merge pull request #1328 from fatalbanana/rspamd-1.4

Rspamd 1.4: backport missing API (#1325)

[Minor] Add methods to get symbols cache checksum

[Fix] Fix argument returned on redis backend errors

MFH: true

Release 1.4.2

* [CritFix] Deal with absent headers in DKIM
* [CritFix] Do not trust remote shingles count
* [CritFix] Fix headers selection in DKIM verification
* [Feature] Add EXT_CSS rule
* [Feature] Add toggle for disabling SURBLs
* [Feature] Extend redis lock when learning spawned
* [Feature] Parse <link> HTML tags
* [Fix] Avoid reusing g_error (Fixes #1262)
* [Fix] Do not reset loaded ANN when learning is requested
* [Fix] Fix another issue with external deps in SA
* [Fix] Fix body trie matching
* [Fix] Fix checking of DKIM bodies that needs just `\n` to be added
* [Fix] Fix fuzzy hashes count
* [Fix] Fix keys names
* [Fix] Fix length calculations for url encoded urls
* [Fix] Fix matching of the same patterns from different tries
* [Fix] Fix name of var
* [Fix] Fix parsing of URLs with spaces and other bad chars
* [Fix] Fix probability calculations for fuzzy redis backend
* [Fix] Fix signing headers creation in DKIM
* [Fix] Plug memory leak
* [Fix] Really fix chained SA dependencies
* [Fix] Really increase lock lifetime
* [Fix] Use checksum to avoid intersection between different ANNs
* [Fix] Use rspamd hashes in embedded ucl
* [Fix] Yet another change for testing external deps

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix shm on DragonFly

Rspamd tried to call shm_open(3) with a path in the root filesystem
(e.g. /rhm.3f0fd440d46fac91e1b4). But DragonFly uses regular files
for shm. Obviously, this fails, because rspamd has no permissions
to create files in the root (/).

Lots of lines like the following were found in
/var/log/rspamd/rspamd.log before this patch:

    rspamd_shmem_mkstemp: /usr/obj/dports/mail/rspamd/rspamd-1.4.1/src
      /libutil/util.c:1970: failed to create temp shmem
      /rhm.3f0fd440d46fac91e1b4: Permission denied

Also, rspamd made the receiving of mail very slow, when used
in the pre-accept rmilter setting, due to these errors. Even
worse, it just didn't filter emails at all.

This patch fixes the problem by creating the shm files in /tmp
for DragonFly. With this patch applied, these lines are gone from
the log and emails now correctly contain the X-Spamd-Result header,
AND receiving mails is now much much faster.

For rspamd 1.4.1, we will fix it in dports:

    https://github.com/DragonFlyBSD/DeltaPorts/pull/727

Merge pull request #1314 from fatalbanana/rspamd-1.4

Rspamd 1.4: fuzzy fixes

[Fix] Fix probability calculations for fuzzy redis backend

[CritFix] Do not trust remote shingles count

MFH: true

[Fix] Fix build

[Fix] Fix fuzzy hashes count

Merge pull request #1313 from fatalbanana/rspamd-1.4

[Minor] Add `compat_messages` for compatibility with legacy protocol

[Minor] Add `compat_messages` for compatibility with legacy protocol

MFH: true

Merge pull request #1303 from fatalbanana/rspamd-1.4

Rspamd 1.4: fann_redis fixes

[Fix] Fix keys names

[Fix] Use checksum to avoid intersection between different ANNs

[Fix] Really increase lock lifetime

[Minor] fann_redis: Try harder to reload redis scripts if needed

[Feature] Extend redis lock when learning spawned

Merge pull request #1302 from fatalbanana/rspamd-1.4

Rspamd 1.4: backport memory leak fix/other fixes

[Fix] Fix name of var

MFH: true

[Fix] Use rspamd hashes in embedded ucl

[Fix] Fix matching of the same patterns from different tries

MFH: true

[Fix] Fix body trie matching

MFH: true

[Fix] Plug memory leak

MFH: true

Merge pull request #1297 from fatalbanana/rspamd-1.4

Rspamd 1.4: backport DKIM fixes

[Fix] Fix signing headers creation in DKIM

MFH: true

[CritFix] Deal with absent headers in DKIM

MFH: true

[CritFix] Fix headers selection in DKIM verification

Found by: @moisseev
MFH: true

Conflicts:
src/libserver/dkim.c

[Fix] Fix checking of DKIM bodies that needs just `\n` to be added

[Fix] Avoid reusing g_error (Fixes #1262)

 Reported by: @jhejl

Merge pull request #1223 from fatalbanana/surbl

[Feature] Add toggle for disabling SURBLs

[Feature] Add toggle for disabling SURBLs

[Minor] Remove unused global var

Merge pull request #1222 from moisseev/patch-4

[Minor] Avoid `nil` index

[Minor] Avoid `nil` index

Merge pull request #1221 from moisseev/patch-3

[Minor] Fix typo

Merge pull request #1219 from moisseev/patch-2

[Minor] Avoid nil index

[Minor] Fix condition, avoid `nil` index

[Minor] Avoid nil index

[Minor] Fix typo

[Minor] Avoid nil index

[Minor] Allow to set lock expire for ANN module

[Fix] Fix length calculations for url encoded urls

[Fix] Fix parsing of URLs with spaces and other bad chars

[Feature] Add EXT_CSS rule

[Feature] Parse <link> HTML tags

Merge pull request #1216 from fatalbanana/t

[Test] Improve SpamAssassin dependencies tests

[Test] Improve SpamAssassin dependencies tests

[Fix] Do not reset loaded ANN when learning is requested

[Fix] Yet another change for testing external deps

[Fix] Fix another issue with external deps in SA

Merge pull request #1211 from moisseev/patch-1

[WebUI] Load graph data on reconnect if the tab is active

[Fix] Really fix chained SA dependencies

[WebUI] Load graph data on reconnect if the tab is active

[Minor] Update to 1.4.2

Release 1.4.1

* [Feature] ASN support in Clickhouse module
* [Feature] Add clickhouse plugin
* [Feature] Add generic tool to add universal maps for lua modules
* [Feature] Add logger.debugm to debug lua modules
* [Feature] Allow to register metrics symbols using register_symbol
* [Feature] Allow to specify prefix for fann_redis
* [Feature] Clickhouse: support different masks for IPv4/IPv6
* [Feature] Support forcing action in antivirus plugin
* [Fix] Add handling of regexp maps
* [Fix] Allow backslashes in http urls
* [Fix] Avoid mapping of empty files
* [Fix] Do not load tld file to speed up rspamadm
* [Fix] Do not resolve numeric IP addresses due to ipv6 insanity
* [Fix] Filter incorrect training data
* [Fix] Fix Fuzzyconvert tool when password or DB is given
* [Fix] Fix build with custom glib/gmime
* [Fix] Fix converting of learn count from sqlite to redis
* [Fix] Fix crashes with invalid received and task:set_from_ip
* [Fix] Fix external dependencies for SA module
* [Fix] Fix fann_redis when number of scores has been changed
* [Fix] Fix hyperscan usage for non compatible platforms
* [Fix] Fix loading of maps from UCL objects
* [Fix] Fix memory leak for task-less redis requests
* [Fix] Fix mid module with new maps syntax
* [Fix] Fix parsing of URLs with username
* [Fix] Fix re cache initialisation
* [Fix] Fix replacements to sanitize '%' character
* [Fix] Fix set and regexp like static maps
* [Fix] Fix some issues in redis settings
* [Fix] Fix static IP maps
* [Fix] Fix total learns counter for redis stats
* [Fix] Fix usage of config during reload
* [Fix] Fix various warnings and issues
* [Fix] Invalidate ANN if training data is incorrect
* [Fix] Miltiple fixes to fann_redis module
* [Fix] More fixes for URLs with backslashes
* [Fix] Properly get options for ip_score module
* [Fix] Relax requirements for Received as gmail cannot RFC
* [Fix] Remove or fix hyperscan incompatible regexps
* [Fix] Settings: correctly read redis config
* [Rework] Rework lua logger interface slightly
* [Rework] Use new maps add function

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Merge pull request #1209 from AnnaStakhova/master

Make status responsive

[WebUI] Improve uptime responsive

Merge pull request #1208 from moisseev/patch-1

[WebUI] Fix graph percentage mode resetting

[WebUI] Fix graph percentage mode resetting

on reconnect / reload

Fixes: #1193

[Fix] Fix crashes with invalid received and task:set_from_ip

Merge pull request #1207 from fatalbanana/fm

[Minor] Make FREEMAIL_REPLYTO_NEQ_FROM_DOM normal symbol

[Minor] Make FREEMAIL_REPLYTO_NEQ_FROM_DOM normal symbol

Merge pull request #1205 from smfreegard/rules_161129

Adjust scores and add new rules

[WebUI] diagram centered

The diagram is centered for smal screen

Merge pull request #1206 from fatalbanana/php

[Minor] Remove duplicated rule

3rd time's a charm

Fix freemail/disposable multimap definitions

[Minor] Allow load for locked ANNs

[Minor] Remove duplicated rule

Remove score from SUBJECT_END_EXCLAIM

Adjust scores and add new rules

Merge pull request #1199 from neutechfi/master

[WebUI] fix savesymbols absolute url to relative

[Fix] Miltiple fixes to fann_redis module

Merge pull request #1204 from fatalbanana/sc

[Minor] Reduce scoring on some rules

[Minor] Reduce scoring on some rules

[Fix] Fix replacements to sanitize '%' character

[Minor] Fix until clause

[Fix] Fix external dependencies for SA module

Merge pull request #1202 from cryptomilk/master-cmake-luajit

cmake: Add missing luajit include dirs

cmake: Add missing luajit include dirs

    /usr/include/luajit-5_1-2.0

Merge pull request #1201 from andrejzverev/mx_check

Fix typo when calling rspamd_redis_make_request for write operation.

Merge pull request #1198 from AnnaStakhova/master

Make Status responsive

Fix typo when calling rspamd_redis_make_request for write operation.

[WebUI] fix savesymbols absolute url to relative

[WebUI] Make status responsive plus

[WebUI] Make Status responsive