[Fix] Ignore diacritics in chartable module for specific languages

Issue: #3156

[Minor] Add diacritics flag for language detector

[Minor] Remove non-reject gtube patterns unless enable_test_patterns is enabled

[Minor] Fix a455c6542212948969b6c115344e9d059606407a missing part

[CritFix] Fix html entities decoding

[Rework] Stop using of uthash for http headers

[Minor] Fix id priorities application

[Fix] Process high priority settings even if settings/id has been specified

[Fix] Fix ignored symbols exporting

Merge pull request #3246 from moisseev/webui

Webui

[Minor] Update D3 JS library to v5.15.0

[Minor] Format numbers with d3.format,

remove Humanize JS library.

Merge pull request #3245 from moisseev/webui

[WebUI] Update D3Evolution to 1.2.0

[WebUI] Update D3Evolution to 1.2.0

+ Add cursor

The cursor location follows the mouse pointer movements when it hovers over the graph
and updates the coordinates of the cursor's cross-points in the graph legend.

[Minor] Remove unused variable

[Test] Add avast test cases

[Minor] Various fixes to the avast engine

[Fix] Fix processing of the closed tcp connections

[Feature] Antivirus: Add avast support

[Minor] Further fixes for FIPS mode

[CritFix] Fix re cache when mix of pcre and hyperscan is used

[Minor] Further logging improvements

[Minor] Fix log message

[Minor] Improve logging

Merge pull request #3241 from korgoth1/master

[Minor] Comment update about phishtank in phishing.conf

[Rework] Allow to add userdata as symbols options

[Rework] Rework options hash structure

[Feature] Allow milter code to deal with multiple headers

[Minor] Add hack to support multiple headers addition

[Minor] Slightly improve numeric checks (not finished)

Phishing comment

[Feature] Dkim_signing: Allow to sign via milter_headers

[Minor] Support explicit enabling of the FIPS mode in OpenSSL

[Minor] Disable ipv6 check via bind to a random port

Issue: #3221

[Minor] Oops, fix more stuff

[Minor] Use more portable _mm_loadu_si128

[Fix] Fix arc seal validation

[Fix] Further fixes in charset detection

[Feature] Speed up is_ascii function

[Fix] Fix regexp type check for pcre2

[Minor] Fix free logic reversal (as dtors are now in variables themselves)

[Rework] Use faster hashing approach for memory pools variables

[Minor] Distinguish max_lua_urls and max_urls

[Minor] Do not write truncated hyperscan files

[Minor] Remove dwarf-5 as it is not working with rpm

Merge pull request #3238 from korgoth1/master

[Test] spf.lua fix example of external relay

Merge pull request #3239 from spacefreak86/bugfixes

[Minor] Bugfixes in force_action

[Minor] Register forgotten symbol DMARC_BAD_POLICY

[Minor] Fix log messages in force_actions plugin

[Test] spf.lua fix example of external relay

[Minor] Lua_pdf: Check sanity

[Minor] Lua_text: Sanitize span length

Merge pull request #3235 from HeinleinSupport/master

[Minor] Fix Sophos ENCRYPTED caching

[Minor] Fix indentation

[Test] Fix ::1/64 absurdic case

[Minor] More masks changes

[Minor] Fix masks calculations

[Fix] Use ipv6-mapped-ipv4 addresses in radix trie

[Minor] Fix Sophos ENCRYPTED caching

Merge pull request #3234 from fatalbanana/auth_only

[Minor] Fix previous commit

[Minor] Fix previous commit

Merge pull request #3233 from fatalbanana/auth_only

[Minor] dkim_signing: auth_only is a misnomer (#3230)

[Minor] dkim_signing: auth_only is a misnomer

[Fix] Fix white on white rule and add is_leaf flag

[Minor] Pet luacheck

[Minor] Remove useless stuff

[Test] Fix/Improve radix testing

Merge pull request #3231 from moisseev/patch-1

[Minor] Fix spamtrap score

[Minor] Fix spamtrap score

Issue #3162

[Feature] Implement content hashes

[Project] Lua_content: Add preliminary support of fuzzy hashes from PDF scripts

[Minor] Lua_content: Use oneline to normalise JS stuff

[Minor] Lua_text: Add oneline method

[Minor] Pet luacheck, erm

[Minor] Fix detection rules

[Project] Lua_content: Improve JS extraction logic

[Minor] Debian: Add extra args to debian rules

[Minor] Lua_content: Fix objects regexp...

[Minor] Fix PDF_JAVASCRIPT rule

Merge pull request #3228 from Lekensteyn/debian-reproducible-builds

[Minor] Fix Debian reproducible builds

[Minor] CMake: Add ENABLE_LTO option

* The `CMAKE_BUILD_TYPE=None` option is commonly used to respect the
  user's optimization flags. Users may be interested in enabling LTO
  anyway in that case. Implement this the Debian build.
* Remove typo, the value is called RelWithDebInfo. Enable LTO for this
  by default.

[Minor] Debian: set BUILD_WITH_INSTALL_RPATH=ON

* Use the install RPATH to avoid relinking at install time.
* This additionally ensures reproducible builds invariant of the build
  directory since build paths such as `X/src:X/contrib/replxx:...` are
  no longer embedded in the binary.
* This assumes that binaries are not ran at build time. If this is
  needed, CMAKE_BUILD_RPATH_USE_ORIGIN=ON can be used instead (requires
  CMake 3.14). For older CMake, try setting LD_LIBRARY_PATH.

[Minor] Make ragel-generated files independent of the parent directory

* Use relative paths for `#line` directives to allow reproducible builds
  independent of the absolute build directory. For /b/rspamd/src/x.rl
  and build dir /b/build, it could result in `../../build/src/x.rl`.
* The `-L` option for `Inhibit writing #line directives` is useless, it
  just comments out the line with `/* ... */`, but that means that the
  source file is still different.
* Note that ragel only accepts one input file, despite plural `INPUTS`.

[Minor] test: remove hard-coded build directory

* Reproducible build: avoid defining the BUILDROOT macro and avoid
  embedding the build directory in the test image. Instead rely on the
  test files being present next to the executable.
* I considered using g_test_build_filename, available since GLib 2.38
  (available on all supported platforms, RHEL 7, Debian, Ubuntu, etc.),
  but decided against it because it would require setting the
  G_TEST_SRCDIR or G_TEST_BUILDDIR environment variables. Therefore this
  patch simply parses argv0 directly.

[Minor] contrib/snowball: fix modules.h location

* Reproducible builds! No more absolute paths in source files, so the
  generated binary is also invariant of the build directory.
* Output modules.h in snowball/libstemmer/ instead of snowball/. This
  allows removal of the extra include directory and -f option.
* This partially reverts some changes in
  https://github.com/snowballstem/snowball/commit/d178f201fda878c26538401650a7d46c37a5e6f1
  and matches the commands in GNUmakefile.

[Minor] contrib/libev: avoid absolute path for header

* Avoid including the absolute header path to permit reproducible builds
  invariant of the build direvtory.

[Minor] Debian: set fixfilepath reproducible build option

* Enable -ffile-prefix-map to ensure that assert statements in
  contrib/libev/ev.c and other places do not store the full file path.
  This ensures reproducible builds, invariant of the build directory.
  Supported since dpkg 1.19.1, including Debian buster and Ubuntu 19.04.
* Enable all hardening features while at it, this adds bindnow only. See
  https://manpages.debian.org/buster/dpkg-dev/dpkg-buildflags.1.en.html

[Minor] debian/rules: move makefile targets (no functional change)

Remove .PHONY marker for consistency. Move override_dh_strip before the
target dh_makeshlibs as is is executed right before that.

[Minor] Debian: update arches and versions in build dependencies

* glib 2.28 is the current minimum declared in CMakeLists.txt, but even
  Jessie satisfies that requirement. Remove it.
* Use DEB_HOST_ARCH for "The Debian architecture of the host machine"
  instead of DEB_TARGET_ARCH which is relevant for cross-compiling only.
* Update luajit arches based on https://packages.debian.org/sid/luajit
  * Added arm64, mips64el, ppc64, ppc64el (stretch-backports / buster).
  * Removed kfreebsd-i386 and 32-bit powerpc (removed in Jessie).
  * Removed powerpcspe (unofficial port with outdated luajit).
  * Maintained mips (removed after buster).

Merge pull request #3226 from Lekensteyn/dist-simplify

[Minor] Simplify creation of dist tarball that is reproducible

[Minor] Lua_logger: Fix printing of sparse tables

[Minor] Filter crap from javascript

[Minor] Update docs

[Minor] Lua_text: Support patterns

[Minor] Lua_text: Add exclude_chars method

[Project] Lua_content: Rework JS parsing

[Minor] Lua_content: Implement plain strings unescape

[Minor] Lua_content: Make text/urls extraction optional

Merge pull request #3227 from Lekensteyn/debian-packaging

Bring Debian packaging up-to-date

[Project] Lua_content: Implement JS extraction from PDF