Merge pull request #3226 from Lekensteyn/dist-simplify

[Minor] Simplify creation of dist tarball that is reproducible

[Minor] Lua_logger: Fix printing of sparse tables

[Minor] Filter crap from javascript

[Minor] Update docs

[Minor] Lua_text: Support patterns

[Minor] Lua_text: Add exclude_chars method

[Project] Lua_content: Rework JS parsing

[Minor] Lua_content: Implement plain strings unescape

[Minor] Lua_content: Make text/urls extraction optional

Merge pull request #3227 from Lekensteyn/debian-packaging

Bring Debian packaging up-to-date

[Project] Lua_content: Implement JS extraction from PDF

[Minor] Debian: remove unnecessary packages

dh-systemd is a transitional package and moved into debhelper, so remove
it. This is supported since Debian Stretch. This change has to be
reversed if Debian Jessie or Ubuntu Xenial have to be supported.

[Minor] Debian: use non-deprecated libpcre2-dev package

See https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=911935

[Minor] Debian: Expand Build-Depends line and sort it

[Minor] Debian: remove unused cmake options

GD (off by default) and TORCH (on by default) were removed in 2.0, the
examples option (off by default) was removed in 2.2.

[Minor] Debian: add missing sodium dependency

Required since rspamd 2.0. Even Debian Jessie ships 1.0.0, so add it
unconditionally.

[Minor] Debian: Enable Hyperscan and parallel builds

Debian 9 (Stretch) ships with Hyperscan 4.4.1, Ubuntu 18.04 ships with
Hyperscan 4.7.0. Follow rspamd's official recommendation and enable
support for these.

The --parallel option has been supported since 2009 and works perfectly
with CMake, so enable it by default.

[Minor] Simplify creation of dist tarball that is reproducible

Instead of archiving files from the working tree, distribute files as
committed. Use the 'git archive' command to achieve this, it results in
a reproducible tarball with the same timestamp as the latest commit.

[Minor] Check type of resources

Merge pull request #3224 from korgoth1/master

[Test] excluding external relay ip example from spf.conf

Merge pull request #3220 from cgzones/compiler_warnings

[Minor] Fix some compiler warnings

[Minor] Another try to fix shifting

[Minor] Fix race condition in slow timer

[Minor] Another try to fix urls shifting when decoding

[Minor] Reset slow flag on checks pause

[Test] excluding external relay ip example from spf.conf

[Minor] Forgot in the previous commit

Merge pull request #3223 from moisseev/webui

[WebUI] Update favicon

[Minor] Postpone log closing unless we have opened a new one

Merge pull request #3215 from korgoth1/master

[Feature] SPF: Convert external IP to a map

[Minor] do not pass invalid C warnings to C++ flags

cc1plus: warning: command line option ‘-Wno-pointer-sign’ is valid for C/ObjC but not for C++
cc1plus: warning: command line option ‘-Wstrict-prototypes’ is valid for C/ObjC but not for C++

[Minor] use modern name -Wextra instead of -W

[Minor] silence redefinition of macro

[74/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpprint.c.o
In file included from ../contrib/lua-lpeg/lpprint.c:11:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[75/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpcap.c.o
In file included from ../contrib/lua-lpeg/lpcap.h:9,
                 from ../contrib/lua-lpeg/lpcap.c:9:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[77/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpvm.c.o
In file included from ../contrib/lua-lpeg/lpcap.h:9,
                 from ../contrib/lua-lpeg/lpvm.c:15:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[79/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpcode.c.o
In file included from ../contrib/lua-lpeg/lpcode.c:12:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[81/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lptree.c.o
In file included from ../contrib/lua-lpeg/lptree.c:15:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition

[Minor] silence -Wmisleading-indentation in contrib/snowball/

../contrib/snowball/compiler/analyser.c: In function ‘check_name_type’:
../contrib/snowball/compiler/analyser.c:210:19: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
  210 |         case 'r': if (p->type == t_routine ||
      |                   ^~
../contrib/snowball/compiler/analyser.c:211:54: note: ...this statement, but the latter is misleadingly indented as if it were guarded by the ‘if’
  211 |                       p->type == t_external) return; break;
      |                                                      ^~~~~
../contrib/snowball/compiler/analyser.c: In function ‘read_program’:
../contrib/snowball/compiler/analyser.c:859:21: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
  859 |                     if (q->used && q->definition == 0) error4(a, q); break;
      |                     ^~
../contrib/snowball/compiler/analyser.c:859:70: note: ...this statement, but the latter is misleadingly indented as if it were guarded by the ‘if’
  859 |                     if (q->used && q->definition == 0) error4(a, q); break;
      |                                                                      ^~~~~
../contrib/snowball/compiler/analyser.c:861:21: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
  861 |                     if (q->used && q->grouping == 0) error4(a, q); break;
      |                     ^~
../contrib/snowball/compiler/analyser.c:861:68: note: ...this statement, but the latter is misleadingly indented as if it were guarded by the ‘if’
  861 |                     if (q->used && q->grouping == 0) error4(a, q); break;
      |                                                                    ^~~~~

[Test] SPF external IP map

[WebUI] Update favicon

Issue #3207

[Minor] Lua_task: Remove unused crap

Issue: #3220

Merge pull request #3219 from cgzones/interface_cruft

[Minor] remove cruft files from webui

Merge pull request #3218 from cgzones/no_replxx

[Minor] fix compilation without replxx

Merge pull request #3217 from cgzones/exampledir

[Minor] remove unused examplesdir

Merge pull request #3216 from cgzones/spellings

[Minor] fix spelling

[Minor] fix spelling

[Minor] remove unused examplesdir

[Minor] fix compilation without replxx

../src/rspamadm/lua_repl.c: In function ‘rspamadm_lua_run_repl’:
../src/rspamadm/lua_repl.c:615:8: warning: unused variable ‘i’ [-Wunused-variable]
  615 |  gsize i;
      |        ^
../src/rspamadm/lua_repl.c:614:11: warning: unused variable ‘tb’ [-Wunused-variable]
  614 |  GString *tb = NULL;
      |           ^~
../src/rspamadm/lua_repl.c:613:11: warning: unused variable ‘is_multiline’ [-Wunused-variable]
  613 |  gboolean is_multiline = FALSE;
      |           ^~~~~~~~~~~~
../src/rspamadm/lua_repl.c: In function ‘rspamadm_lua’:
../src/rspamadm/lua_repl.c:1007:3: warning: implicit declaration of function ‘replxx_set_max_history_size’ [-Wimplicit-function-declaration]
 1007 |   replxx_set_max_history_size (rx_instance, max_history);
      |   ^~~~~~~~~~~~~~~~~~~~~~~~~~~
../src/rspamadm/lua_repl.c:1007:32: error: ‘rx_instance’ undeclared (first use in this function)
 1007 |   replxx_set_max_history_size (rx_instance, max_history);
      |                                ^~~~~~~~~~~
../src/rspamadm/lua_repl.c:1007:32: note: each undeclared identifier is reported only once for each function it appears in
../src/rspamadm/lua_repl.c:1008:3: warning: implicit declaration of function ‘replxx_history_load’ [-Wimplicit-function-declaration]
 1008 |   replxx_history_load (rx_instance, histfile);
      |   ^~~~~~~~~~~~~~~~~~~
../src/rspamadm/lua_repl.c:1010:3: warning: implicit declaration of function ‘replxx_history_save’ [-Wimplicit-function-declaration]
 1010 |   replxx_history_save (rx_instance, histfile);
      |   ^~~~~~~~~~~~~~~~~~~

[Minor] remove cruft files from webui

[Test] SPF external IP map

[Minor] Check string length to avoid OOB reading

Merge pull request #3153 from resec/smembers

[Minor] Eliminate redis SMEMBERS usage

Merge pull request #3214 from Lekensteyn/fix-dkim-policy-check

[Minor] Dkim_signing: correct is_skip_sign logic

[Project] Lua_content: Add preliminary fonts handling

[Minor] Try to fix slow timer race condition

[Test] SPF external IP map

[Minor] Dkim_signing: correct is_skip_sign logic

If any of "sign_networks", "auth_only", or "sign_local" are disabled,
then it should not automatically proceed with signing if the enabled
conditions all fail. For example, if only the auth_only setting is
enabled, and is_authed is false, then signing should be skipped.

An earlier check luckily prevents this correctness issue from being
exploitable ("ignoring unauthenticated mail"), but fix the logic anyway.

[Test] SPF external IP map

[Test] SPF external IP map

[Fix] Fix urls shifting when doing decode to include separators

Merge pull request #3213 from citrin/url-frag-test

[Test] Add a test case for URL parsing

[Minor] Just another try to avoid race

[Test] Add a test case for URL parsing

Currently it fails because fragment is not extracted correctly.

[Project] Lua_content: Implement url's extraction from PDF files

[Project] Lua_content: Implement ObjStm decoding

Merge pull request #3212 from moisseev/patch-1

[Minor] bayes_expiry: Fix type check (https://github.com/antirez/redis/issues/3231)

[Minor] bayes_expiry: Fix type check

[Project] Lua_content: Add preliminary support of compound objects

[Minor] Lua_text: Set class properly

[Project] Lua_content: Massive rework of the parsing structure

[Minor] Lua_content: Similar hang fix

[Minor] Lua_content: Fix some more crappy pdf issues

[Minor] Lua_content: Fix hang

[Fix] Fix urls encode function

[Fix] Avoid double escaping

[Fix] Fix dealing with `\0` in ucl strings and JSON

[Minor] Another try to fix race

[Minor] Sigh - another try to avoid races

[Minor] Bayes_expiry: Test type before trying to evaluate

Issue: #3208

Merge pull request #3210 from moisseev/spamtrap

[Conf] Update spamtrap map path example

[Conf] Update spamtrap map path example

[Minor] Rbl: Fix resolve ip options insertion

Merge pull request #3206 from korgoth1/master

[Test] SURBL resolve ip

[Minor] Add trailing slash when reconstructing numeric url

[Test] SURBL resolve ip

[Test] Add more tests

[Minor] Fixes in urls fragments/queries parsing

[Test] SURBL resolve ip

[Test] SURBL resolve ip

[Test] Improve unit tests

[Fix] Fix processing of numeric url's

[Test] SPF external relay map

[Minor] Fix reseted connections handling

[Minor] Do not try to detect utf8 using heuristic

[Fix] More fixes in html tag content calculations

[Minor] Check contents object type

[Fix] Fix gpg parts misdetection

Issue: #3205

[Minor] Add workaround for old libicu (bug in libicu)

[Project] Lua_content: Attach text to page objects via contents

[Project] Lua_content: More work to process pdf objects

[Project] Lua_content: Add pdf configuration options and support multiple filters

[Rework] Rework HTML tags content attachment

[Minor] Restore debug for now

[Minor] Fix GError oversetting in DKIM code