Release 1.4.4

* [CritFix] Fix bad memory leak in TLS certificates validation
* [Fix] Fix memory leak in HTTP maps
* [Fix] Replies module: fix symbol weight
* [Minor] Add missing macro
* [Minor] Do not treat IDN urls as bad URLs
* [Minor] Fix build with gcc 4.2
* [Minor] Fix cast
* [Minor] One more definition missed on Linux

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Fix memory leak in HTTP maps

Issue: #1332

[CritFix] Fix bad memory leak in TLS certificates validation

[Minor] Fix cast

[Minor] Do not treat IDN urls as bad URLs

Merge pull request #1362 from fatalbanana/rspamd-1.4

Rspamd 1.4: [Fix] Replies module: fix symbol weight

[Fix] Replies module: fix symbol weight

[Minor] One more definition missed on Linux

[Minor] Add missing macro

[Minor] Fix build with gcc 4.2

Issue: #1351
Reported by: @brad0

Release 1.4.3

* [CritFix] Backport PTR_ARRAY_FOREACH fix
* [CritFix] Fix descriptors leak on reload
* [Feature] Add `caseless_hash` method to `lua_util`
* [Feature] Use t1ha for hashes, allow inlining
* [Feature] Use t1ha instead of metrohash and xxhash32
* [Fix] Another try to fix descriptors leak
* [Fix] Another try to fix reload and logger
* [Fix] Avoid extensive reallocs
* [Fix] Avoid race condition on saving cache and reload
* [Fix] Backport redis pool fixes from master
* [Fix] Break pool connection on fatal redis errors
* [Fix] Fix argument returned on redis backend errors
* [Fix] Fix errors handling in fuzzy backend initialization
* [Fix] Fix race condition in SIGUSR2 handler
* [Fix] Fix reload and hyperscan ready event
* [Fix] More fixes to logger initialization
* [Fix] Plug memory leak in learning fuzzy storage

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Avoid race condition on saving cache and reload

MFH: true

[Fix] Fix reload and hyperscan ready event

MFH: true

[Fix] Fix race condition in SIGUSR2 handler

MFH: true

[Fix] Break pool connection on fatal redis errors

MFH: true

[Minor] Update version to 1.4.3

Merge pull request #1347 from fatalbanana/rspamd-1.4

Rspamd 1.4: backports

[WebUI] Set focus to password field (#1230)

Reported-by: @madorin

[Minor] Update public suffix list

[Minor] Remove commented entries & unregistered domains

[Minor] Sort redirectors.inc

Merge pull request #1346 from fatalbanana/rspamd-1.4

Rspamd 1.4: DMARC: always return policy

[Minor] DMARC: always return policy

[Fix] Another try to fix reload and logger

MFH: true

[Fix] Another try to fix descriptors leak

MFH: true

[Fix] More fixes to logger initialization

MFH: true

[CritFix] Fix descriptors leak on reload

MFH: true

[Fix] Fix errors handling in fuzzy backend initialization

Merge pull request #1342 from fatalbanana/rspamd-1.4

Rspamd 1.4: more missing dependencies for FANN (#1325)

[Feature] Use t1ha for hashes, allow inlining

[Feature] Add `caseless_hash` method to `lua_util`

Merge pull request #1340 from fatalbanana/rspamd-1.4

Rspamd 1.4: backports

[Fix] Avoid extensive reallocs

MFH: true

[Fix] Plug memory leak in learning fuzzy storage

MFH: true

[Fix] Backport redis pool fixes from master

[Minor] Don't disrespect .online GTLD in hfilter (Fixes #1338)

[Minor] Add missing debian dependency

Issue: #1286
Reported by: @LynxChaus

[CritFix] Backport PTR_ARRAY_FOREACH fix

[Minor] Leftover for i386

[Minor] Try to fix build on non x86 architectures

Merge pull request #1330 from fatalbanana/rspamd-1.4

Rspamd 1.4: really fix build

[Feature] Use t1ha instead of metrohash and xxhash32

Merge pull request #1329 from fatalbanana/rspamd-1.4

Rspamd 1.4: fix build

[Minor] Add checksum for symbols cache

Merge pull request #1328 from fatalbanana/rspamd-1.4

Rspamd 1.4: backport missing API (#1325)

[Minor] Add methods to get symbols cache checksum

[Fix] Fix argument returned on redis backend errors

MFH: true

Release 1.4.2

* [CritFix] Deal with absent headers in DKIM
* [CritFix] Do not trust remote shingles count
* [CritFix] Fix headers selection in DKIM verification
* [Feature] Add EXT_CSS rule
* [Feature] Add toggle for disabling SURBLs
* [Feature] Extend redis lock when learning spawned
* [Feature] Parse <link> HTML tags
* [Fix] Avoid reusing g_error (Fixes #1262)
* [Fix] Do not reset loaded ANN when learning is requested
* [Fix] Fix another issue with external deps in SA
* [Fix] Fix body trie matching
* [Fix] Fix checking of DKIM bodies that needs just `\n` to be added
* [Fix] Fix fuzzy hashes count
* [Fix] Fix keys names
* [Fix] Fix length calculations for url encoded urls
* [Fix] Fix matching of the same patterns from different tries
* [Fix] Fix name of var
* [Fix] Fix parsing of URLs with spaces and other bad chars
* [Fix] Fix probability calculations for fuzzy redis backend
* [Fix] Fix signing headers creation in DKIM
* [Fix] Plug memory leak
* [Fix] Really fix chained SA dependencies
* [Fix] Really increase lock lifetime
* [Fix] Use checksum to avoid intersection between different ANNs
* [Fix] Use rspamd hashes in embedded ucl
* [Fix] Yet another change for testing external deps

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix shm on DragonFly

Rspamd tried to call shm_open(3) with a path in the root filesystem
(e.g. /rhm.3f0fd440d46fac91e1b4). But DragonFly uses regular files
for shm. Obviously, this fails, because rspamd has no permissions
to create files in the root (/).

Lots of lines like the following were found in
/var/log/rspamd/rspamd.log before this patch:

    rspamd_shmem_mkstemp: /usr/obj/dports/mail/rspamd/rspamd-1.4.1/src
      /libutil/util.c:1970: failed to create temp shmem
      /rhm.3f0fd440d46fac91e1b4: Permission denied

Also, rspamd made the receiving of mail very slow, when used
in the pre-accept rmilter setting, due to these errors. Even
worse, it just didn't filter emails at all.

This patch fixes the problem by creating the shm files in /tmp
for DragonFly. With this patch applied, these lines are gone from
the log and emails now correctly contain the X-Spamd-Result header,
AND receiving mails is now much much faster.

For rspamd 1.4.1, we will fix it in dports:

    https://github.com/DragonFlyBSD/DeltaPorts/pull/727

Merge pull request #1314 from fatalbanana/rspamd-1.4

Rspamd 1.4: fuzzy fixes

[Fix] Fix probability calculations for fuzzy redis backend

[CritFix] Do not trust remote shingles count

MFH: true

[Fix] Fix build

[Fix] Fix fuzzy hashes count

Merge pull request #1313 from fatalbanana/rspamd-1.4

[Minor] Add `compat_messages` for compatibility with legacy protocol

[Minor] Add `compat_messages` for compatibility with legacy protocol

MFH: true

Merge pull request #1303 from fatalbanana/rspamd-1.4

Rspamd 1.4: fann_redis fixes

[Fix] Fix keys names

[Fix] Use checksum to avoid intersection between different ANNs

[Fix] Really increase lock lifetime

[Minor] fann_redis: Try harder to reload redis scripts if needed

[Feature] Extend redis lock when learning spawned

Merge pull request #1302 from fatalbanana/rspamd-1.4

Rspamd 1.4: backport memory leak fix/other fixes

[Fix] Fix name of var

MFH: true

[Fix] Use rspamd hashes in embedded ucl

[Fix] Fix matching of the same patterns from different tries

MFH: true

[Fix] Fix body trie matching

MFH: true

[Fix] Plug memory leak

MFH: true

Merge pull request #1297 from fatalbanana/rspamd-1.4

Rspamd 1.4: backport DKIM fixes

[Fix] Fix signing headers creation in DKIM

MFH: true

[CritFix] Deal with absent headers in DKIM

MFH: true

[CritFix] Fix headers selection in DKIM verification

Found by: @moisseev
MFH: true

Conflicts:
src/libserver/dkim.c

[Fix] Fix checking of DKIM bodies that needs just `\n` to be added

[Fix] Avoid reusing g_error (Fixes #1262)

 Reported by: @jhejl

Merge pull request #1223 from fatalbanana/surbl

[Feature] Add toggle for disabling SURBLs

[Feature] Add toggle for disabling SURBLs

[Minor] Remove unused global var

Merge pull request #1222 from moisseev/patch-4

[Minor] Avoid `nil` index

[Minor] Avoid `nil` index

Merge pull request #1221 from moisseev/patch-3

[Minor] Fix typo

Merge pull request #1219 from moisseev/patch-2

[Minor] Avoid nil index

[Minor] Fix condition, avoid `nil` index

[Minor] Avoid nil index

[Minor] Fix typo

[Minor] Avoid nil index

[Minor] Allow to set lock expire for ANN module

[Fix] Fix length calculations for url encoded urls

[Fix] Fix parsing of URLs with spaces and other bad chars

[Feature] Add EXT_CSS rule

[Feature] Parse <link> HTML tags

Merge pull request #1216 from fatalbanana/t

[Test] Improve SpamAssassin dependencies tests

[Test] Improve SpamAssassin dependencies tests

[Fix] Do not reset loaded ANN when learning is requested

[Fix] Yet another change for testing external deps

[Fix] Fix another issue with external deps in SA

Merge pull request #1211 from moisseev/patch-1

[WebUI] Load graph data on reconnect if the tab is active

[Fix] Really fix chained SA dependencies

[WebUI] Load graph data on reconnect if the tab is active

[Minor] Update to 1.4.2

Release 1.4.1

* [Feature] ASN support in Clickhouse module
* [Feature] Add clickhouse plugin
* [Feature] Add generic tool to add universal maps for lua modules
* [Feature] Add logger.debugm to debug lua modules
* [Feature] Allow to register metrics symbols using register_symbol
* [Feature] Allow to specify prefix for fann_redis
* [Feature] Clickhouse: support different masks for IPv4/IPv6
* [Feature] Support forcing action in antivirus plugin
* [Fix] Add handling of regexp maps
* [Fix] Allow backslashes in http urls
* [Fix] Avoid mapping of empty files
* [Fix] Do not load tld file to speed up rspamadm
* [Fix] Do not resolve numeric IP addresses due to ipv6 insanity
* [Fix] Filter incorrect training data
* [Fix] Fix Fuzzyconvert tool when password or DB is given
* [Fix] Fix build with custom glib/gmime
* [Fix] Fix converting of learn count from sqlite to redis
* [Fix] Fix crashes with invalid received and task:set_from_ip
* [Fix] Fix external dependencies for SA module
* [Fix] Fix fann_redis when number of scores has been changed
* [Fix] Fix hyperscan usage for non compatible platforms
* [Fix] Fix loading of maps from UCL objects
* [Fix] Fix memory leak for task-less redis requests
* [Fix] Fix mid module with new maps syntax
* [Fix] Fix parsing of URLs with username
* [Fix] Fix re cache initialisation
* [Fix] Fix replacements to sanitize '%' character
* [Fix] Fix set and regexp like static maps
* [Fix] Fix some issues in redis settings
* [Fix] Fix static IP maps
* [Fix] Fix total learns counter for redis stats
* [Fix] Fix usage of config during reload
* [Fix] Fix various warnings and issues
* [Fix] Invalidate ANN if training data is incorrect
* [Fix] Miltiple fixes to fann_redis module
* [Fix] More fixes for URLs with backslashes
* [Fix] Properly get options for ip_score module
* [Fix] Relax requirements for Received as gmail cannot RFC
* [Fix] Remove or fix hyperscan incompatible regexps
* [Fix] Settings: correctly read redis config
* [Rework] Rework lua logger interface slightly
* [Rework] Use new maps add function

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>