Merge pull request #3252 from andryyy/patch-16

[Minor] More german stop words

[Minor] Some more logging improvements

[Minor] Improve dkim failures logging

[Fix] Avoid strdup usage for symbols options

[Minor] Fix hyperscan loaded when invalid files are presented

[Minor] Fix error path

More german stop words

[Fix] Allow to reset settings id from Lua (e.g. because of the priority)

Merge pull request #3250 from korgoth1/master

[Test] Setting's priority

[Test] Setting's priority

[Test] Setting's priority

[Minor] Update version to 2.4

Release 2.3

* [Conf] SPF is no longer a C module
* [Conf] Update spamtrap map path example
* [CritFix] Fix html entities decoding
* [CritFix] Fix re cache when mix of pcre and hyperscan is used
* [Feature] Allow milter code to deal with multiple headers
* [Feature] Antivirus: Add avast support
* [Feature] Dkim_signing: Allow to sign via milter_headers
* [Feature] Implement content hashes
* [Feature] Lua_text: Add regexp split iterator method
* [Feature] Lua_text: Implement flattening of the input tables
* [Feature] Send quit command to Redis
* [Feature] Speed up is_ascii function
* [Feature] Spf: Add external_relay option
* [Fix] Avoid double escaping
* [Fix] Fix O(N^2) algorithm
* [Fix] Fix arc seal validation
* [Fix] Fix base tag processing according to stupid HTML renderer behaviour
* [Fix] Fix dealing with `\0` in ucl strings and JSON
* [Fix] Fix gpg parts misdetection
* [Fix] Fix ignored symbols exporting
* [Fix] Fix processing of numeric url's
* [Fix] Fix processing of the closed tcp connections
* [Fix] Fix regexp type check for pcre2
* [Fix] Fix urls encode function
* [Fix] Fix urls shifting when doing decode to include separators
* [Fix] Fix white on white rule and add is_leaf flag
* [Fix] Further fixes in charset detection
* [Fix] Ignore diacritics in chartable module for specific languages
* [Fix] Limit size of symbols options by max_opts_len option
* [Fix] More fixes in html tag content calculations
* [Fix] Plug memory leak in fuzzy storage
* [Fix] Process high priority settings even if settings/id has been specified
* [Fix] Select a different upstream on last retransmit
* [Fix] Treat soft hyphen as zero width space
* [Fix] Try harder to watch the lifetime of the key_stat
* [Fix] Use ipv6-mapped-ipv4 addresses in radix trie
* [Project] Add logic to break execution when processing symbols*
* [Project] Add methods to set specific content for mime parts from Lua
* [Project] Lua_content: support PDF files
* [Project] Move dns_tool to using of the rspamd_spf from FFI module
* [Project] Preliminary SPF plugin in Lua
* [Project] Show debug stat for memory pool
* [Project] Some rework about specific data that is now tagged
* [Project] Start reworking of the mempool structure
* [Rework] Allow to add userdata as symbols options
* [Rework] Change mime part specifics handling
* [Rework] Move LRU SPF cache from spf plugin
* [Rework] Rework HTML tags content attachment
* [Rework] Rework options hash structure
* [Rework] Start lua_content library
* [Rework] Stop using of uthash for http headers
* [Rework] Use faster hashing approach for memory pools variables
* [Rules] Add PDF related rules

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Sigh, use EVP_DigestInit_ex instead

[Minor] Fix order when setting FIPS flags

Related to https://github.com/openssl/openssl/issues/10031

[Fix] Ignore diacritics in chartable module for specific languages

Issue: #3156

[Minor] Add diacritics flag for language detector

[Minor] Remove non-reject gtube patterns unless enable_test_patterns is enabled

[Minor] Fix a455c6542212948969b6c115344e9d059606407a missing part

[CritFix] Fix html entities decoding

[Rework] Stop using of uthash for http headers

[Minor] Fix id priorities application

[Fix] Process high priority settings even if settings/id has been specified

[Fix] Fix ignored symbols exporting

Merge pull request #3246 from moisseev/webui

Webui

[Minor] Update D3 JS library to v5.15.0

[Minor] Format numbers with d3.format,

remove Humanize JS library.

Merge pull request #3245 from moisseev/webui

[WebUI] Update D3Evolution to 1.2.0

[WebUI] Update D3Evolution to 1.2.0

+ Add cursor

The cursor location follows the mouse pointer movements when it hovers over the graph
and updates the coordinates of the cursor's cross-points in the graph legend.

[Minor] Remove unused variable

[Test] Add avast test cases

[Minor] Various fixes to the avast engine

[Fix] Fix processing of the closed tcp connections

[Feature] Antivirus: Add avast support

[Minor] Further fixes for FIPS mode

[CritFix] Fix re cache when mix of pcre and hyperscan is used

[Minor] Further logging improvements

[Minor] Fix log message

[Minor] Improve logging

Merge pull request #3241 from korgoth1/master

[Minor] Comment update about phishtank in phishing.conf

[Rework] Allow to add userdata as symbols options

[Rework] Rework options hash structure

[Feature] Allow milter code to deal with multiple headers

[Minor] Add hack to support multiple headers addition

[Minor] Slightly improve numeric checks (not finished)

Phishing comment

[Feature] Dkim_signing: Allow to sign via milter_headers

[Minor] Support explicit enabling of the FIPS mode in OpenSSL

[Minor] Disable ipv6 check via bind to a random port

Issue: #3221

[Minor] Oops, fix more stuff

[Minor] Use more portable _mm_loadu_si128

[Fix] Fix arc seal validation

[Fix] Further fixes in charset detection

[Feature] Speed up is_ascii function

[Fix] Fix regexp type check for pcre2

[Minor] Fix free logic reversal (as dtors are now in variables themselves)

[Rework] Use faster hashing approach for memory pools variables

[Minor] Distinguish max_lua_urls and max_urls

[Minor] Do not write truncated hyperscan files

[Minor] Remove dwarf-5 as it is not working with rpm

Merge pull request #3238 from korgoth1/master

[Test] spf.lua fix example of external relay

Merge pull request #3239 from spacefreak86/bugfixes

[Minor] Bugfixes in force_action

[Minor] Register forgotten symbol DMARC_BAD_POLICY

[Minor] Fix log messages in force_actions plugin

[Test] spf.lua fix example of external relay

[Minor] Lua_pdf: Check sanity

[Minor] Lua_text: Sanitize span length

Merge pull request #3235 from HeinleinSupport/master

[Minor] Fix Sophos ENCRYPTED caching

[Minor] Fix indentation

[Test] Fix ::1/64 absurdic case

[Minor] More masks changes

[Minor] Fix masks calculations

[Fix] Use ipv6-mapped-ipv4 addresses in radix trie

[Minor] Fix Sophos ENCRYPTED caching

Merge pull request #3234 from fatalbanana/auth_only

[Minor] Fix previous commit

[Minor] Fix previous commit

Merge pull request #3233 from fatalbanana/auth_only

[Minor] dkim_signing: auth_only is a misnomer (#3230)

[Minor] dkim_signing: auth_only is a misnomer

[Fix] Fix white on white rule and add is_leaf flag

[Minor] Pet luacheck

[Minor] Remove useless stuff

[Test] Fix/Improve radix testing

Merge pull request #3231 from moisseev/patch-1

[Minor] Fix spamtrap score

[Minor] Fix spamtrap score

Issue #3162

[Feature] Implement content hashes

[Project] Lua_content: Add preliminary support of fuzzy hashes from PDF scripts

[Minor] Lua_content: Use oneline to normalise JS stuff

[Minor] Lua_text: Add oneline method

[Minor] Pet luacheck, erm

[Minor] Fix detection rules

[Project] Lua_content: Improve JS extraction logic

[Minor] Debian: Add extra args to debian rules

[Minor] Lua_content: Fix objects regexp...

[Minor] Fix PDF_JAVASCRIPT rule

Merge pull request #3228 from Lekensteyn/debian-reproducible-builds

[Minor] Fix Debian reproducible builds

[Minor] CMake: Add ENABLE_LTO option

* The `CMAKE_BUILD_TYPE=None` option is commonly used to respect the
  user's optimization flags. Users may be interested in enabling LTO
  anyway in that case. Implement this the Debian build.
* Remove typo, the value is called RelWithDebInfo. Enable LTO for this
  by default.

[Minor] Debian: set BUILD_WITH_INSTALL_RPATH=ON

* Use the install RPATH to avoid relinking at install time.
* This additionally ensures reproducible builds invariant of the build
  directory since build paths such as `X/src:X/contrib/replxx:...` are
  no longer embedded in the binary.
* This assumes that binaries are not ran at build time. If this is
  needed, CMAKE_BUILD_RPATH_USE_ORIGIN=ON can be used instead (requires
  CMake 3.14). For older CMake, try setting LD_LIBRARY_PATH.

[Minor] Make ragel-generated files independent of the parent directory

* Use relative paths for `#line` directives to allow reproducible builds
  independent of the absolute build directory. For /b/rspamd/src/x.rl
  and build dir /b/build, it could result in `../../build/src/x.rl`.
* The `-L` option for `Inhibit writing #line directives` is useless, it
  just comments out the line with `/* ... */`, but that means that the
  source file is still different.
* Note that ragel only accepts one input file, despite plural `INPUTS`.

[Minor] test: remove hard-coded build directory

* Reproducible build: avoid defining the BUILDROOT macro and avoid
  embedding the build directory in the test image. Instead rely on the
  test files being present next to the executable.
* I considered using g_test_build_filename, available since GLib 2.38
  (available on all supported platforms, RHEL 7, Debian, Ubuntu, etc.),
  but decided against it because it would require setting the
  G_TEST_SRCDIR or G_TEST_BUILDDIR environment variables. Therefore this
  patch simply parses argv0 directly.

[Minor] contrib/snowball: fix modules.h location

* Reproducible builds! No more absolute paths in source files, so the
  generated binary is also invariant of the build directory.
* Output modules.h in snowball/libstemmer/ instead of snowball/. This
  allows removal of the extra include directory and -f option.
* This partially reverts some changes in
  https://github.com/snowballstem/snowball/commit/d178f201fda878c26538401650a7d46c37a5e6f1
  and matches the commands in GNUmakefile.