Merge pull request #622 from moisseev/patch-1

[Minor] Fix percent sign in statistics learning condition

[Fix] Reduce the default thresholds for learning

Issue: #624
Reported by: @moisseev

[Minor] Fix percent sign in statistics learning condition

[Feature] Sort symbols when displaying them in log

[Fix] Another rework for lua_redis events handling

Issue: #609

[Feature] Use rspamd specific type checks for userdata

[Fix] Improve lua redis handling

[CritFix] Fix redis structure by adding {NULL, NULL} member

Issue: #609
Reported by: @moisseev

[Feature] Add better method to check lua userdata types

[Fix] Use custom error function for pre and post filters

[Fix] Initialize vars to avoid warnings

[Fix] Fix order of arguments

[Fix] Try to fix redis crashes

[Fix] Cleanup stack from global vars

[Feature] Improve logging lua types

[Feature] Add more domains to redirectors list

[Doc] Add preliminary FANN documentation

[Feature] Print userdata using tostring if possible

[Feature] Improve phishing plugin

- Ignore redirected URLs
- Fix levenshtein distance calculations

[Feature] Improve levenshtein distance function

- Use g_malloc instead of alloca
- Allow to set variable replacement cost
- Update lua util.levenshtein_distance

[Fix] Repair optional dependencies

[Minor] Slighlty reduce PHISHING score

[Minor] Always return constant number of results from lua redis

[Minor] Improve string to action function

Merge pull request #618 from moisseev/phishing

Updates to phishing module

[Fix] Do not greylist on rejection

[Fix] Fix ratelimit initialization

[Feature] Various improvements in greylist module

Revert "[CritFix] Pre-filters and post-filters were completely broken"

This reverts commit 88c10484ff3802b59d8bcc7e9832e9fe97c9bb89.

[CritFix] Really skip filters in case of pre-result set

[CritFix] Pre-filters and post-filters were completely broken

[CritFix] Restore the intended pre-filters behaviour

Previously, filters and post-filters were checked even if pre-filter has
set some result. Now pre-result efficienly makes a trapdoor to writing
reply (as it was before 1.0).

[Feature] Implement order of pre/post filters

[Feature] Add preliminary greylist plugin

Issue: #611

[Fix] One more fix in redis destructor

[Fix] Fix ipv6 mask application

[Fix] Reverse options when received

[Feature] Allow setting scores and actions from lua

[Feature] Add more encodingsto cryptobox hash API

[Feature] Allow partial hash updates

[Feature] Add task:get_rawbody method

[Feature] Now cryptobox lua API accepts rspamd text as input

[Feature] Add some time manipulation functions for lua APi

[Minor] Add whitelist for phishing module

[Minor fix] Limit PHISHING to one shot

[Minor] Add redirector's TLD to PHISHING symbol options

[Fix] Do not send NaN in json

Issue: #615
Reported by: @moisseev

[Feature] Add 'symbols_enabled' and 'groups_enabled' to settings

Merge pull request #614 from Sp1l/patch-1

Fix build with unmodified LibreSSL opensslv.h

Fix build with unmodified LibreSSL opensslv.h

Add test for LibreSSL to use "old" methods when OPENSSL_VERSION_NUMBER is 0x20000000L

[Feature] Add learn condition to the default configuration

[Fix] Fix conditional learning

[Fix] Fix return value for couple of lua functions

[Fix] Fix setting of the lua top

[Minor] Add 'learn_condition' alias

[Feature] Implement conditional learning for classifiers

Issue: #613

[Minor] Remove deprecated lua functions

[Feature] Add learn conditions for classifiers

Issue: #613

[Feature] Save bayes probability in memory pool var

Issue: #613

[Fix] More guards for redis free

Release 1.2.6

* Fix parsing of URLs in texts
* Fix creating of URLs from LUA
* Fix some more URL detector issues
* Fix unit tests
* Fix JIT compilation for PCRE2 expressions
* Fix JIT usage for PCRE2
* Fix UTF8 mode in PCRE2
* Add workaround for pre-historic compilers (#605)
* Fix and rescore R_PARTS_DIFFER logic
* Properly set lua paths for tests
* Fix SA rawbody processing - exclude top part
* Store text parts content with newlines stripped
* Properly support SA body regexps
* Fix body rules in SA plugin
* Fix setting of score for parts differ
* More fixes to parts distance calculations
    - Use hashed words instead of full words for speed
    - Improve levenstein distance calculations and penalise replaces
    - Always return number from 0 to 1
    - Use g_malloc instead of alloca
* Fix percents output in R_PARTS_DIFFER
* Plug memory leak in dkim module
* Plug minor memory leak in regexps creation

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Inverse logic for saving ANN

[Minor] Plug minor memory leak in regexps creation

[Fix] Further tweaks to redis garbadge collection

[CritFix] Plug memory leak in dkim module

[Minor] Fix percents output in R_PARTS_DIFFER

[Fix] More fixes to parts distance calculations

- Use hashed words instead of full words for speed
- Improve levenstein distance calculations and penalise replaces
- Always return number from 0 to 1
- Use g_malloc instead of alloca

[Minor] Use more portable constants for uint64_t

[Fix] Fix fann rewrite

[Fix] Fix body rules in SA plugin

[CritFix] Properly support SA body regexps

[Feature] Store text parts content with newlines stripped

[CritFix] Fix SA rawbody processing - exclude top part

[Fix] Fix setting of score for parts differ

[Fix] Fix dynamic scoring of subject symbols

Reported by: @moisseev

[Minor] Rework subject rules as lua rules

Merge pull request #608 from moisseev/subject

[Minor] Improve subject rules

[Test] Properly set lua paths for tests

[Test] Disable broken tests

[Minor] Improve subject rules

Make scores depend on subject length
Also resolves #548

[Minor] Reduce debug level

[Fix] Fix varargs loop

[Fix] Fix and rescore R_PARTS_DIFFER logic

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Fix] Fix timeouts processing in lua_redis

[Feature] Lock ANN file when loading

[Feature] Add more file utilities to lua_util

[Feature] Add locking routines for lua_util

[Feature] Rework fann module to understand settings

[Feature] Save settings id hash for convenience

[Feature] Allow to get settings and settings id hash from lua_task

[Feature] Pass settings id to lua script from log helper

[Feature] Pass settings id to log helper

[Feature] Rework ratelimit module to set expiration

[Fix] Fix refcounts in lua_redis

[Feature] Add simplier versions of refcounts

Now REF_RETAIN and REF_RELEASE cannot be used for
interprocess/interthreads refcounting. However, for a single process
their performance should slightly increased.

New REF_RETAIN_ATOMIC and REF_RELEASE_ATOMIC are implemented to replace
old semantics.

[Feature] Allow pipelining for redis.make_request

[Feature] Implement pipelining for redis async interface

Merge pull request #607 from moisseev/patch-1

[Minor] Combine `header` and `headers` metric groups

[Minor] Combine `header` and `headers` metric groups

Merge pull request #606 from smfreegard/rules_260416

Rules updates