Merge pull request #3246 from moisseev/webui

Webui

[Minor] Update D3 JS library to v5.15.0

[Minor] Format numbers with d3.format,

remove Humanize JS library.

Merge pull request #3245 from moisseev/webui

[WebUI] Update D3Evolution to 1.2.0

[WebUI] Update D3Evolution to 1.2.0

+ Add cursor

The cursor location follows the mouse pointer movements when it hovers over the graph
and updates the coordinates of the cursor's cross-points in the graph legend.

[Minor] Remove unused variable

[Test] Add avast test cases

[Minor] Various fixes to the avast engine

[Fix] Fix processing of the closed tcp connections

[Feature] Antivirus: Add avast support

[Minor] Further fixes for FIPS mode

[CritFix] Fix re cache when mix of pcre and hyperscan is used

[Minor] Further logging improvements

[Minor] Fix log message

[Minor] Improve logging

Merge pull request #3241 from korgoth1/master

[Minor] Comment update about phishtank in phishing.conf

[Rework] Allow to add userdata as symbols options

[Rework] Rework options hash structure

[Feature] Allow milter code to deal with multiple headers

[Minor] Add hack to support multiple headers addition

[Minor] Slightly improve numeric checks (not finished)

Phishing comment

[Feature] Dkim_signing: Allow to sign via milter_headers

[Minor] Support explicit enabling of the FIPS mode in OpenSSL

[Minor] Disable ipv6 check via bind to a random port

Issue: #3221

[Minor] Oops, fix more stuff

[Minor] Use more portable _mm_loadu_si128

[Fix] Fix arc seal validation

[Fix] Further fixes in charset detection

[Feature] Speed up is_ascii function

[Fix] Fix regexp type check for pcre2

[Minor] Fix free logic reversal (as dtors are now in variables themselves)

[Rework] Use faster hashing approach for memory pools variables

[Minor] Distinguish max_lua_urls and max_urls

[Minor] Do not write truncated hyperscan files

[Minor] Remove dwarf-5 as it is not working with rpm

Merge pull request #3238 from korgoth1/master

[Test] spf.lua fix example of external relay

Merge pull request #3239 from spacefreak86/bugfixes

[Minor] Bugfixes in force_action

[Minor] Register forgotten symbol DMARC_BAD_POLICY

[Minor] Fix log messages in force_actions plugin

[Test] spf.lua fix example of external relay

[Minor] Lua_pdf: Check sanity

[Minor] Lua_text: Sanitize span length

Merge pull request #3235 from HeinleinSupport/master

[Minor] Fix Sophos ENCRYPTED caching

[Minor] Fix indentation

[Test] Fix ::1/64 absurdic case

[Minor] More masks changes

[Minor] Fix masks calculations

[Fix] Use ipv6-mapped-ipv4 addresses in radix trie

[Minor] Fix Sophos ENCRYPTED caching

Merge pull request #3234 from fatalbanana/auth_only

[Minor] Fix previous commit

[Minor] Fix previous commit

Merge pull request #3233 from fatalbanana/auth_only

[Minor] dkim_signing: auth_only is a misnomer (#3230)

[Minor] dkim_signing: auth_only is a misnomer

[Fix] Fix white on white rule and add is_leaf flag

[Minor] Pet luacheck

[Minor] Remove useless stuff

[Test] Fix/Improve radix testing

Merge pull request #3231 from moisseev/patch-1

[Minor] Fix spamtrap score

[Minor] Fix spamtrap score

Issue #3162

[Feature] Implement content hashes

[Project] Lua_content: Add preliminary support of fuzzy hashes from PDF scripts

[Minor] Lua_content: Use oneline to normalise JS stuff

[Minor] Lua_text: Add oneline method

[Minor] Pet luacheck, erm

[Minor] Fix detection rules

[Project] Lua_content: Improve JS extraction logic

[Minor] Debian: Add extra args to debian rules

[Minor] Lua_content: Fix objects regexp...

[Minor] Fix PDF_JAVASCRIPT rule

Merge pull request #3228 from Lekensteyn/debian-reproducible-builds

[Minor] Fix Debian reproducible builds

[Minor] CMake: Add ENABLE_LTO option

* The `CMAKE_BUILD_TYPE=None` option is commonly used to respect the
  user's optimization flags. Users may be interested in enabling LTO
  anyway in that case. Implement this the Debian build.
* Remove typo, the value is called RelWithDebInfo. Enable LTO for this
  by default.

[Minor] Debian: set BUILD_WITH_INSTALL_RPATH=ON

* Use the install RPATH to avoid relinking at install time.
* This additionally ensures reproducible builds invariant of the build
  directory since build paths such as `X/src:X/contrib/replxx:...` are
  no longer embedded in the binary.
* This assumes that binaries are not ran at build time. If this is
  needed, CMAKE_BUILD_RPATH_USE_ORIGIN=ON can be used instead (requires
  CMake 3.14). For older CMake, try setting LD_LIBRARY_PATH.

[Minor] Make ragel-generated files independent of the parent directory

* Use relative paths for `#line` directives to allow reproducible builds
  independent of the absolute build directory. For /b/rspamd/src/x.rl
  and build dir /b/build, it could result in `../../build/src/x.rl`.
* The `-L` option for `Inhibit writing #line directives` is useless, it
  just comments out the line with `/* ... */`, but that means that the
  source file is still different.
* Note that ragel only accepts one input file, despite plural `INPUTS`.

[Minor] test: remove hard-coded build directory

* Reproducible build: avoid defining the BUILDROOT macro and avoid
  embedding the build directory in the test image. Instead rely on the
  test files being present next to the executable.
* I considered using g_test_build_filename, available since GLib 2.38
  (available on all supported platforms, RHEL 7, Debian, Ubuntu, etc.),
  but decided against it because it would require setting the
  G_TEST_SRCDIR or G_TEST_BUILDDIR environment variables. Therefore this
  patch simply parses argv0 directly.

[Minor] contrib/snowball: fix modules.h location

* Reproducible builds! No more absolute paths in source files, so the
  generated binary is also invariant of the build directory.
* Output modules.h in snowball/libstemmer/ instead of snowball/. This
  allows removal of the extra include directory and -f option.
* This partially reverts some changes in
  https://github.com/snowballstem/snowball/commit/d178f201fda878c26538401650a7d46c37a5e6f1
  and matches the commands in GNUmakefile.

[Minor] contrib/libev: avoid absolute path for header

* Avoid including the absolute header path to permit reproducible builds
  invariant of the build direvtory.

[Minor] Debian: set fixfilepath reproducible build option

* Enable -ffile-prefix-map to ensure that assert statements in
  contrib/libev/ev.c and other places do not store the full file path.
  This ensures reproducible builds, invariant of the build directory.
  Supported since dpkg 1.19.1, including Debian buster and Ubuntu 19.04.
* Enable all hardening features while at it, this adds bindnow only. See
  https://manpages.debian.org/buster/dpkg-dev/dpkg-buildflags.1.en.html

[Minor] debian/rules: move makefile targets (no functional change)

Remove .PHONY marker for consistency. Move override_dh_strip before the
target dh_makeshlibs as is is executed right before that.

[Minor] Debian: update arches and versions in build dependencies

* glib 2.28 is the current minimum declared in CMakeLists.txt, but even
  Jessie satisfies that requirement. Remove it.
* Use DEB_HOST_ARCH for "The Debian architecture of the host machine"
  instead of DEB_TARGET_ARCH which is relevant for cross-compiling only.
* Update luajit arches based on https://packages.debian.org/sid/luajit
  * Added arm64, mips64el, ppc64, ppc64el (stretch-backports / buster).
  * Removed kfreebsd-i386 and 32-bit powerpc (removed in Jessie).
  * Removed powerpcspe (unofficial port with outdated luajit).
  * Maintained mips (removed after buster).

Merge pull request #3226 from Lekensteyn/dist-simplify

[Minor] Simplify creation of dist tarball that is reproducible

[Minor] Lua_logger: Fix printing of sparse tables

[Minor] Filter crap from javascript

[Minor] Update docs

[Minor] Lua_text: Support patterns

[Minor] Lua_text: Add exclude_chars method

[Project] Lua_content: Rework JS parsing

[Minor] Lua_content: Implement plain strings unescape

[Minor] Lua_content: Make text/urls extraction optional

Merge pull request #3227 from Lekensteyn/debian-packaging

Bring Debian packaging up-to-date

[Project] Lua_content: Implement JS extraction from PDF

[Minor] Debian: remove unnecessary packages

dh-systemd is a transitional package and moved into debhelper, so remove
it. This is supported since Debian Stretch. This change has to be
reversed if Debian Jessie or Ubuntu Xenial have to be supported.

[Minor] Debian: use non-deprecated libpcre2-dev package

See https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=911935

[Minor] Debian: Expand Build-Depends line and sort it

[Minor] Debian: remove unused cmake options

GD (off by default) and TORCH (on by default) were removed in 2.0, the
examples option (off by default) was removed in 2.2.

[Minor] Debian: add missing sodium dependency

Required since rspamd 2.0. Even Debian Jessie ships 1.0.0, so add it
unconditionally.

[Minor] Debian: Enable Hyperscan and parallel builds

Debian 9 (Stretch) ships with Hyperscan 4.4.1, Ubuntu 18.04 ships with
Hyperscan 4.7.0. Follow rspamd's official recommendation and enable
support for these.

The --parallel option has been supported since 2009 and works perfectly
with CMake, so enable it by default.

[Minor] Simplify creation of dist tarball that is reproducible

Instead of archiving files from the working tree, distribute files as
committed. Use the 'git archive' command to achieve this, it results in
a reproducible tarball with the same timestamp as the latest commit.

[Minor] Check type of resources

Merge pull request #3224 from korgoth1/master

[Test] excluding external relay ip example from spf.conf