Merge pull request #3358 from korgoth1/master

[TEST] utf8 fix

Merge pull request #3357 from citrin/from_neq_envfrom

[Fix] Fix FROM_NEQ_ENVFROM

[TEST] Some rules + FROM_NEQ_ENVFROM

[Fix] Fix FROM_NEQ_ENVFROM

Regression was introduced in 23675060063301aaa3c93044e0029fda553d4e8f

Merge pull request #3356 from korgoth1/master

[TEST] Some rules + FROM_NEQ_ENVFROM

[TEST] Some rules + FROM_NEQ_ENVFROM

[Fix] One more fix to skip images that are not urls

Revert "[Minor] Do not append unbalanced closing tags"

This reverts commit e1339c646f9a910f4cc1805020af35a7c1f82a1d.

[Minor] Use more strict checks for image urls

[Minor] Fix flags and protocols checks

[Minor] More fixes to digests selectors + added tests

[Minor] Lua_text: Add cookie for metatable

[Minor] Selectors: Optimize the case

[Minor] Selectors: Fix digests and add compatibility with blake2b used in C

[Minor] Add common selectors functions

[Fix] Unify selectors digest functions

[Minor] Fix default behaviour of task:get_urls

[Minor] Add limit for number of files processed in archives

[Minor] Allow to limit number of files returned by archive:get_files

[Fix] Disable text detection heuristics for encrypted parts

Issue: #3349

[Minor] Reduce priority of replies to avoid interference with settings

[Minor] One more fix for spaces at the end of boundary

[Fix] Skip spaces at the boundary end

[Minor] Allow to disable logging for modules on reload

[Minor] Do not append unbalanced closing tags

[Fix] Distinguish type from flags in register_symbol

[Minor] Replies: Fix predicate

Merge pull request #3346 from jendis/from_rules

[Rules] Add FROM_INVALID and ENVFROM_INVALID rules

Merge pull request #3344 from jendis/raw_envfrom

[Feature] extend lua api

[Minor] Workaround for \0 character (poor API choice)

[Feature] Controller: Allow to pass query arguments to the lua webui plugins

[Minor] Lua_ip: Add address comparison method

Merge pull request #3313 from arkamar/hiredis

Revert "[Fix] Fix hiredis stupidity" and use the hiredis api as intended

[Minor] Replies: Check all recipients

[Minor] Replies: Use milliseconds resolution for expiration

[Minor] Selectors: Add scan_result extractor

[Minor] Lua_selectors: Add optional shadow result name

[Minor] Lua_task: Add support of shadow results

[Minor] Prevent controller results from being cached

Issue: #3330

Merge pull request #3345 from jendis/fix_3249

[Fix] Url_redirector: fix issue #3249

[Minor] Fix the case of empty flags :(

[Rework] Further rework of lua urls extraction API

[Minor] Add lua_geti compat method

[Minor] Amend doc string

[Minor] Set content flag on urls extracted from pdf

[Rework] Rework url flags handling API

[Fix] #3249

[Rework] Rework urls extraction

[Feature] extend lua api

add new value accessible by key 'raw' to the table returned by util:parse_mail_address and task:get_from

[Minor] Oops, fix test

[Minor] Rbl: Adjust whitelisting one more time

[Fix] Rbl: Fix ignore_defaults in conjunction with ignore_whitelists

[Minor] Erm, forgot one more place to debug

[Minor] Add more whitelists debugging

Merge pull request #3343 from chkpnt/dschung/luacheck

[Minor] Pet luacheck

Merge pull request #3342 from chkpnt/dschung/fix-reject-mail-message

[Fix] Do not flag pre-result of virus scanners as least if action is reject

[Minor] Pet luacheck

[Fix] Do not flag pre-result of virus scanners as least if action is reject

fixes #3279

rules/headers_checks.lua: add [ENV]FROM_INVALID

rules/headers_checks.lua: make CHECK_FROM callback a bit more efficient

[Minor] Link libicu to replxx

Merge pull request #3336 from rm-minus-rf/master

[Feature] allow variables in force_actions messages

[Minor] selectors: cleaner symbol extractor

'symbol' extractor returns a table
'to_ascii' transform can handle tables

Merge pull request #3341 from jendis/fix_lua_api

[Minor] Improve lua api

src/lua/lua_util.c: remove unused function

[Rework] add alias util:parse_addr for util:parse_mail_address

[Rework] get rid of util:parse_addr duplicating the util:parse_mail_address, replace where used

[Minor] complete comment part of util:parse_addr and util:parse_mail_address method

[Minor] complete doc part of task:get_from method

[Test] Enrich rbl tests

[Minor] Rbl: Fix log message

[Minor] Libucl: Backport fixes

[Minor] Rbl: Add whitelisting indication to the symbol's options

[Minor] Allow to adjust symbols without score change

[Fix] add missing selector_cache declaration

[Feature] add queueid, uid, messageid and specific symbols to selectors
[Minor] use only selectors to fill vars in force_actions message

Merge pull request #3340 from chkpnt/patch-1

[Conf] Fix wrong comment in options.inc

[Minor] Selectors: Add ability to use base32 variants

[Conf] Fix wrong comment in options.inc

[Minor] Clickhouse: Rework schema upload to make it more resilent

[Minor] Try to process images before text part heuristic

[Minor] Rspamadm: Add urls --full option

[Minor] Allow 'default' to be the default result

[Minor] Support shadow results in lua task api

[Minor] Lua_task: Add table version and multi-results support for set_pre_result

[Minor] Add some missing types and docs to rspamd_lua_parse_table_arguments

[Project] Rework some more functions to work with shadow results

Merge pull request #3332 from cgzones/compiler_new

Resolve various Compiler warnings

[Feature] allow variables in force_actions messages

See https://github.com/rspamd/rspamd/issues/3335 for details.

[Minor] Correct deflate header detection

[Minor] Lua_content: Process xref objects and detect encryption there

[Minor] Improve log message for inflate/deflate

Merge pull request #3331 from moisseev/patch-3

[Minor] Add image/x-ms-bmp CT

[Minor] Explicit specify order of binary operations

../contrib/libev/ev.c: In function ‘ev_io_start’:
../contrib/libev/ev.c:4396:34: warning: suggest parentheses around arithmetic in operand of ‘|’ [-Wparentheses]
 4396 |   fd_change (EV_A_ fd, w->events & EV__IOFDSET | EV_ANFD_REIFY);
      |                        ~~~~~~~~~~^~~~~~~~~~~~~

[Minor] Avoid nested opening comment sequences

../contrib/libev/ev.c: At top level:
../contrib/libev/ev.c:5660:27: warning: "/*" within comment [-Wcomment]
 5660 | /* EV_STAT     0x00001000 /* stat data changed */
      |
../contrib/libev/ev.c:5661:27: warning: "/*" within comment [-Wcomment]
 5661 | /* EV_EMBED    0x00010000 /* embedded event loop needs sweep */
      |

[Minor] enable Wmissing-format-attribute

[Minor] silence warnings about unused function results

GCC does not respect `(void) func()`

[Minor] Enable missing_noreturn compiler warning

[Minor] Remove unused-but-set variables

../src/libserver/url.c: In function ‘rspamd_url_host_set_add’:
../src/libserver/url.c:3808:11: warning: variable ‘k’ set but not used [-Wunused-but-set-variable]
 3808 |  khiter_t k;
      |           ^

../src/lua/lua_task.c: In function ‘lua_task_has_urls’:
../src/lua/lua_task.c:2406:11: warning: variable ‘need_emails’ set but not used [-Wunused-but-set-variable]
 2406 |  gboolean need_emails = FALSE, ret = FALSE;
      |           ^~~~~~~~~~~

[Minor] Print always IPO status