Merge pull request #3228 from Lekensteyn/debian-reproducible-builds

[Minor] Fix Debian reproducible builds

[Minor] CMake: Add ENABLE_LTO option

* The `CMAKE_BUILD_TYPE=None` option is commonly used to respect the
  user's optimization flags. Users may be interested in enabling LTO
  anyway in that case. Implement this the Debian build.
* Remove typo, the value is called RelWithDebInfo. Enable LTO for this
  by default.

[Minor] Debian: set BUILD_WITH_INSTALL_RPATH=ON

* Use the install RPATH to avoid relinking at install time.
* This additionally ensures reproducible builds invariant of the build
  directory since build paths such as `X/src:X/contrib/replxx:...` are
  no longer embedded in the binary.
* This assumes that binaries are not ran at build time. If this is
  needed, CMAKE_BUILD_RPATH_USE_ORIGIN=ON can be used instead (requires
  CMake 3.14). For older CMake, try setting LD_LIBRARY_PATH.

[Minor] Make ragel-generated files independent of the parent directory

* Use relative paths for `#line` directives to allow reproducible builds
  independent of the absolute build directory. For /b/rspamd/src/x.rl
  and build dir /b/build, it could result in `../../build/src/x.rl`.
* The `-L` option for `Inhibit writing #line directives` is useless, it
  just comments out the line with `/* ... */`, but that means that the
  source file is still different.
* Note that ragel only accepts one input file, despite plural `INPUTS`.

[Minor] test: remove hard-coded build directory

* Reproducible build: avoid defining the BUILDROOT macro and avoid
  embedding the build directory in the test image. Instead rely on the
  test files being present next to the executable.
* I considered using g_test_build_filename, available since GLib 2.38
  (available on all supported platforms, RHEL 7, Debian, Ubuntu, etc.),
  but decided against it because it would require setting the
  G_TEST_SRCDIR or G_TEST_BUILDDIR environment variables. Therefore this
  patch simply parses argv0 directly.

[Minor] contrib/snowball: fix modules.h location

* Reproducible builds! No more absolute paths in source files, so the
  generated binary is also invariant of the build directory.
* Output modules.h in snowball/libstemmer/ instead of snowball/. This
  allows removal of the extra include directory and -f option.
* This partially reverts some changes in
  https://github.com/snowballstem/snowball/commit/d178f201fda878c26538401650a7d46c37a5e6f1
  and matches the commands in GNUmakefile.

[Minor] contrib/libev: avoid absolute path for header

* Avoid including the absolute header path to permit reproducible builds
  invariant of the build direvtory.

[Minor] Debian: set fixfilepath reproducible build option

* Enable -ffile-prefix-map to ensure that assert statements in
  contrib/libev/ev.c and other places do not store the full file path.
  This ensures reproducible builds, invariant of the build directory.
  Supported since dpkg 1.19.1, including Debian buster and Ubuntu 19.04.
* Enable all hardening features while at it, this adds bindnow only. See
  https://manpages.debian.org/buster/dpkg-dev/dpkg-buildflags.1.en.html

[Minor] debian/rules: move makefile targets (no functional change)

Remove .PHONY marker for consistency. Move override_dh_strip before the
target dh_makeshlibs as is is executed right before that.

[Minor] Debian: update arches and versions in build dependencies

* glib 2.28 is the current minimum declared in CMakeLists.txt, but even
  Jessie satisfies that requirement. Remove it.
* Use DEB_HOST_ARCH for "The Debian architecture of the host machine"
  instead of DEB_TARGET_ARCH which is relevant for cross-compiling only.
* Update luajit arches based on https://packages.debian.org/sid/luajit
  * Added arm64, mips64el, ppc64, ppc64el (stretch-backports / buster).
  * Removed kfreebsd-i386 and 32-bit powerpc (removed in Jessie).
  * Removed powerpcspe (unofficial port with outdated luajit).
  * Maintained mips (removed after buster).

Merge pull request #3226 from Lekensteyn/dist-simplify

[Minor] Simplify creation of dist tarball that is reproducible

[Minor] Lua_logger: Fix printing of sparse tables

[Minor] Filter crap from javascript

[Minor] Update docs

[Minor] Lua_text: Support patterns

[Minor] Lua_text: Add exclude_chars method

[Project] Lua_content: Rework JS parsing

[Minor] Lua_content: Implement plain strings unescape

[Minor] Lua_content: Make text/urls extraction optional

Merge pull request #3227 from Lekensteyn/debian-packaging

Bring Debian packaging up-to-date

[Project] Lua_content: Implement JS extraction from PDF

[Minor] Debian: remove unnecessary packages

dh-systemd is a transitional package and moved into debhelper, so remove
it. This is supported since Debian Stretch. This change has to be
reversed if Debian Jessie or Ubuntu Xenial have to be supported.

[Minor] Debian: use non-deprecated libpcre2-dev package

See https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=911935

[Minor] Debian: Expand Build-Depends line and sort it

[Minor] Debian: remove unused cmake options

GD (off by default) and TORCH (on by default) were removed in 2.0, the
examples option (off by default) was removed in 2.2.

[Minor] Debian: add missing sodium dependency

Required since rspamd 2.0. Even Debian Jessie ships 1.0.0, so add it
unconditionally.

[Minor] Debian: Enable Hyperscan and parallel builds

Debian 9 (Stretch) ships with Hyperscan 4.4.1, Ubuntu 18.04 ships with
Hyperscan 4.7.0. Follow rspamd's official recommendation and enable
support for these.

The --parallel option has been supported since 2009 and works perfectly
with CMake, so enable it by default.

[Minor] Simplify creation of dist tarball that is reproducible

Instead of archiving files from the working tree, distribute files as
committed. Use the 'git archive' command to achieve this, it results in
a reproducible tarball with the same timestamp as the latest commit.

[Minor] Check type of resources

Merge pull request #3224 from korgoth1/master

[Test] excluding external relay ip example from spf.conf

Merge pull request #3220 from cgzones/compiler_warnings

[Minor] Fix some compiler warnings

[Minor] Another try to fix shifting

[Minor] Fix race condition in slow timer

[Minor] Another try to fix urls shifting when decoding

[Minor] Reset slow flag on checks pause

[Test] excluding external relay ip example from spf.conf

[Minor] Forgot in the previous commit

Merge pull request #3223 from moisseev/webui

[WebUI] Update favicon

[Minor] Postpone log closing unless we have opened a new one

Merge pull request #3215 from korgoth1/master

[Feature] SPF: Convert external IP to a map

[Minor] do not pass invalid C warnings to C++ flags

cc1plus: warning: command line option ‘-Wno-pointer-sign’ is valid for C/ObjC but not for C++
cc1plus: warning: command line option ‘-Wstrict-prototypes’ is valid for C/ObjC but not for C++

[Minor] use modern name -Wextra instead of -W

[Minor] silence redefinition of macro

[74/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpprint.c.o
In file included from ../contrib/lua-lpeg/lpprint.c:11:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[75/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpcap.c.o
In file included from ../contrib/lua-lpeg/lpcap.h:9,
                 from ../contrib/lua-lpeg/lpcap.c:9:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[77/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpvm.c.o
In file included from ../contrib/lua-lpeg/lpcap.h:9,
                 from ../contrib/lua-lpeg/lpvm.c:15:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[79/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lpcode.c.o
In file included from ../contrib/lua-lpeg/lpcode.c:12:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition
[81/340] Building C object contrib/lua-lpeg/CMakeFiles/rspamd-lpeg.dir/lptree.c.o
In file included from ../contrib/lua-lpeg/lptree.c:15:
../contrib/lua-lpeg/lptypes.h:15: warning: "NDEBUG" redefined
   15 | #define NDEBUG
      |
<command-line>: note: this is the location of the previous definition

[Minor] silence -Wmisleading-indentation in contrib/snowball/

../contrib/snowball/compiler/analyser.c: In function ‘check_name_type’:
../contrib/snowball/compiler/analyser.c:210:19: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
  210 |         case 'r': if (p->type == t_routine ||
      |                   ^~
../contrib/snowball/compiler/analyser.c:211:54: note: ...this statement, but the latter is misleadingly indented as if it were guarded by the ‘if’
  211 |                       p->type == t_external) return; break;
      |                                                      ^~~~~
../contrib/snowball/compiler/analyser.c: In function ‘read_program’:
../contrib/snowball/compiler/analyser.c:859:21: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
  859 |                     if (q->used && q->definition == 0) error4(a, q); break;
      |                     ^~
../contrib/snowball/compiler/analyser.c:859:70: note: ...this statement, but the latter is misleadingly indented as if it were guarded by the ‘if’
  859 |                     if (q->used && q->definition == 0) error4(a, q); break;
      |                                                                      ^~~~~
../contrib/snowball/compiler/analyser.c:861:21: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
  861 |                     if (q->used && q->grouping == 0) error4(a, q); break;
      |                     ^~
../contrib/snowball/compiler/analyser.c:861:68: note: ...this statement, but the latter is misleadingly indented as if it were guarded by the ‘if’
  861 |                     if (q->used && q->grouping == 0) error4(a, q); break;
      |                                                                    ^~~~~

[Test] SPF external IP map

[WebUI] Update favicon

Issue #3207

[Minor] Lua_task: Remove unused crap

Issue: #3220

Merge pull request #3219 from cgzones/interface_cruft

[Minor] remove cruft files from webui

Merge pull request #3218 from cgzones/no_replxx

[Minor] fix compilation without replxx

Merge pull request #3217 from cgzones/exampledir

[Minor] remove unused examplesdir

Merge pull request #3216 from cgzones/spellings

[Minor] fix spelling

[Minor] fix spelling

[Minor] remove unused examplesdir

[Minor] fix compilation without replxx

../src/rspamadm/lua_repl.c: In function ‘rspamadm_lua_run_repl’:
../src/rspamadm/lua_repl.c:615:8: warning: unused variable ‘i’ [-Wunused-variable]
  615 |  gsize i;
      |        ^
../src/rspamadm/lua_repl.c:614:11: warning: unused variable ‘tb’ [-Wunused-variable]
  614 |  GString *tb = NULL;
      |           ^~
../src/rspamadm/lua_repl.c:613:11: warning: unused variable ‘is_multiline’ [-Wunused-variable]
  613 |  gboolean is_multiline = FALSE;
      |           ^~~~~~~~~~~~
../src/rspamadm/lua_repl.c: In function ‘rspamadm_lua’:
../src/rspamadm/lua_repl.c:1007:3: warning: implicit declaration of function ‘replxx_set_max_history_size’ [-Wimplicit-function-declaration]
 1007 |   replxx_set_max_history_size (rx_instance, max_history);
      |   ^~~~~~~~~~~~~~~~~~~~~~~~~~~
../src/rspamadm/lua_repl.c:1007:32: error: ‘rx_instance’ undeclared (first use in this function)
 1007 |   replxx_set_max_history_size (rx_instance, max_history);
      |                                ^~~~~~~~~~~
../src/rspamadm/lua_repl.c:1007:32: note: each undeclared identifier is reported only once for each function it appears in
../src/rspamadm/lua_repl.c:1008:3: warning: implicit declaration of function ‘replxx_history_load’ [-Wimplicit-function-declaration]
 1008 |   replxx_history_load (rx_instance, histfile);
      |   ^~~~~~~~~~~~~~~~~~~
../src/rspamadm/lua_repl.c:1010:3: warning: implicit declaration of function ‘replxx_history_save’ [-Wimplicit-function-declaration]
 1010 |   replxx_history_save (rx_instance, histfile);
      |   ^~~~~~~~~~~~~~~~~~~

[Minor] remove cruft files from webui

[Test] SPF external IP map

[Minor] Check string length to avoid OOB reading

Merge pull request #3153 from resec/smembers

[Minor] Eliminate redis SMEMBERS usage

Merge pull request #3214 from Lekensteyn/fix-dkim-policy-check

[Minor] Dkim_signing: correct is_skip_sign logic

[Project] Lua_content: Add preliminary fonts handling

[Minor] Try to fix slow timer race condition

[Test] SPF external IP map

[Minor] Dkim_signing: correct is_skip_sign logic

If any of "sign_networks", "auth_only", or "sign_local" are disabled,
then it should not automatically proceed with signing if the enabled
conditions all fail. For example, if only the auth_only setting is
enabled, and is_authed is false, then signing should be skipped.

An earlier check luckily prevents this correctness issue from being
exploitable ("ignoring unauthenticated mail"), but fix the logic anyway.

[Test] SPF external IP map

[Test] SPF external IP map

[Fix] Fix urls shifting when doing decode to include separators

Merge pull request #3213 from citrin/url-frag-test

[Test] Add a test case for URL parsing

[Minor] Just another try to avoid race

[Test] Add a test case for URL parsing

Currently it fails because fragment is not extracted correctly.

[Project] Lua_content: Implement url's extraction from PDF files

[Project] Lua_content: Implement ObjStm decoding

Merge pull request #3212 from moisseev/patch-1

[Minor] bayes_expiry: Fix type check (https://github.com/antirez/redis/issues/3231)

[Minor] bayes_expiry: Fix type check

[Project] Lua_content: Add preliminary support of compound objects

[Minor] Lua_text: Set class properly

[Project] Lua_content: Massive rework of the parsing structure

[Minor] Lua_content: Similar hang fix

[Minor] Lua_content: Fix some more crappy pdf issues

[Minor] Lua_content: Fix hang

[Fix] Fix urls encode function

[Fix] Avoid double escaping

[Fix] Fix dealing with `\0` in ucl strings and JSON

[Minor] Another try to fix race

[Minor] Sigh - another try to avoid races

[Minor] Bayes_expiry: Test type before trying to evaluate

Issue: #3208

Merge pull request #3210 from moisseev/spamtrap

[Conf] Update spamtrap map path example

[Conf] Update spamtrap map path example

[Minor] Rbl: Fix resolve ip options insertion

Merge pull request #3206 from korgoth1/master

[Test] SURBL resolve ip

[Minor] Add trailing slash when reconstructing numeric url

[Test] SURBL resolve ip

[Test] Add more tests

[Minor] Fixes in urls fragments/queries parsing

[Test] SURBL resolve ip

[Test] SURBL resolve ip

[Test] Improve unit tests

[Fix] Fix processing of numeric url's

[Test] SPF external relay map

[Minor] Fix reseted connections handling

[Minor] Do not try to detect utf8 using heuristic