Merge remote-tracking branch 'upstream/master'

* upstream/master:
  [Fix] Try to handle multiline history in a more sane way
  [Minor] Some output fixes
  [Feature] Add dot commands for lua REPL:
  [Feature] Fix task functions to work without rspamd_config
  [Fix] Fix REPL output
  [Feature] Add the initial version of LUA repl to rspamadm
  [Feature] Distinguish luajit from lua
  [Rework] Import linenoise for line editing
  [Minor] Use shorter keys for replies module
  [Feature] Add replies plugin

[Fix] Try to handle multiline history in a more sane way

[Minor] Some output fixes

[Feature] Add dot commands for lua REPL:

* .help - shows help
* .load - loads lua script
* .message - scans messages using the specified lua callback

[Feature] Fix task functions to work without rspamd_config

[Fix] Fix REPL output

Merge branch 'lua-repl'

[Feature] Add the initial version of LUA repl to rspamadm

[Feature] Distinguish luajit from lua

[Rework] Import linenoise for line editing

[Minor] Use shorter keys for replies module

Merge pull request #625 from fatalbanana/master

[Feature] Add replies plugin

[Feature] Add replies plugin

Merge remote-tracking branch 'upstream/master'

* upstream/master: (37 commits)
  [Fix] Fix build
  [Feature] Propagate HTTP result string when using proxy
  [Feature] Better lua_redis logging
  [Fix] Do not greylist messages if redis has failed somehow
  [Feature] Better deal with backend errors
  [Fix] Fix more issues with scripts processing
  [Fix] Fix lua compare function init
  [Fix] Fix proxying of the encrypted messages
  [Fix] Adjust body/body_buf when stealing encrypted message
  [Fix] Properly init and free session structures
  [Fix] Another try to fix hanged redis sessions
  [Minor] Print task pointer to simplify debug
  [Feature] Implement compare scripts for mirrors results
  [Feature] Implement compare scripts setup
  [Feature] Implement mirroring in rspamd proxy
  [Feature] Add method to copy message from http connection
  [Feature] Add utility function to return random number from 0 to 1
  [Feature] Add results parsing code
  [Rework] Separate method to close backend connections
  [Feature] Split main connection from mirrored connections
  ...

[Fix] Fix build

[Feature] Propagate HTTP result string when using proxy

[Feature] Better lua_redis logging

[Fix] Do not greylist messages if redis has failed somehow

[Feature] Better deal with backend errors

[Fix] Fix more issues with scripts processing

[Fix] Fix lua compare function init

[Fix] Fix proxying of the encrypted messages

[Fix] Adjust body/body_buf when stealing encrypted message

[Fix] Properly init and free session structures

[Fix] Another try to fix hanged redis sessions

[Minor] Print task pointer to simplify debug

Merge branch 'rspamd-test-proxy'

[Feature] Implement compare scripts for mirrors results

[Feature] Implement compare scripts setup

[Feature] Implement mirroring in rspamd proxy

[Feature] Add method to copy message from http connection

[Feature] Add utility function to return random number from 0 to 1

[Feature] Add results parsing code

[Rework] Separate method to close backend connections

[Feature] Split main connection from mirrored connections

[Feature] Add mirrors feature

[Feature] Improve logging in proxy and add refcounts

[Feature] Perform files expansion on proxying

[Rework] Rename http proxy to rspamd proxy

[Fix] Remove event before closing of fd to avoid race conditions

[Fix] Fix max_train setup in ANN module

Merge pull request #622 from moisseev/patch-1

[Minor] Fix percent sign in statistics learning condition

[Fix] Reduce the default thresholds for learning

Issue: #624
Reported by: @moisseev

[Minor] Fix percent sign in statistics learning condition

[Feature] Sort symbols when displaying them in log

[Fix] Another rework for lua_redis events handling

Issue: #609

[Feature] Use rspamd specific type checks for userdata

[Fix] Improve lua redis handling

[CritFix] Fix redis structure by adding {NULL, NULL} member

Issue: #609
Reported by: @moisseev

[Feature] Add better method to check lua userdata types

Merge remote-tracking branch 'upstream/master'

* upstream/master:
  [Fix] Try to fix redis crashes
  [Fix] Cleanup stack from global vars
  [Feature] Improve logging lua types

[Fix] Use custom error function for pre and post filters

[Fix] Initialize vars to avoid warnings

[Fix] Fix order of arguments

[Fix] Try to fix redis crashes

[Fix] Cleanup stack from global vars

[Feature] Improve logging lua types

Merge remote-tracking branch 'upstream/master'

* upstream/master:
  [Feature] Add more domains to redirectors list
  [Doc] Add preliminary FANN documentation
  [Feature] Print userdata using tostring if possible
  [Feature] Improve phishing plugin
  [Feature] Improve levenshtein distance function
  [Fix] Repair optional dependencies
  [Minor] Slighlty reduce PHISHING score
  [Minor] Always return constant number of results from lua redis
  [Minor] Improve string to action function
  [Fix] Do not greylist on rejection
  [Minor] Add whitelist for phishing module
  [Minor fix] Limit PHISHING to one shot
  [Minor] Add redirector's TLD to PHISHING symbol options

[Feature] Add more domains to redirectors list

[Doc] Add preliminary FANN documentation

[Feature] Print userdata using tostring if possible

[Feature] Improve phishing plugin

- Ignore redirected URLs
- Fix levenshtein distance calculations

[Feature] Improve levenshtein distance function

- Use g_malloc instead of alloca
- Allow to set variable replacement cost
- Update lua util.levenshtein_distance

[Fix] Repair optional dependencies

[Minor] Slighlty reduce PHISHING score

[Minor] Always return constant number of results from lua redis

[Minor] Improve string to action function

Merge pull request #618 from moisseev/phishing

Updates to phishing module

[Fix] Do not greylist on rejection

[Fix] Fix ratelimit initialization

[Feature] Various improvements in greylist module

Revert "[CritFix] Pre-filters and post-filters were completely broken"

This reverts commit 88c10484ff3802b59d8bcc7e9832e9fe97c9bb89.

[CritFix] Really skip filters in case of pre-result set

[CritFix] Pre-filters and post-filters were completely broken

[CritFix] Restore the intended pre-filters behaviour

Previously, filters and post-filters were checked even if pre-filter has
set some result. Now pre-result efficienly makes a trapdoor to writing
reply (as it was before 1.0).

[Feature] Implement order of pre/post filters

[Feature] Add preliminary greylist plugin

Issue: #611

[Fix] One more fix in redis destructor

[Fix] Fix ipv6 mask application

[Fix] Reverse options when received

[Feature] Allow setting scores and actions from lua

[Feature] Add more encodingsto cryptobox hash API

[Feature] Allow partial hash updates

[Feature] Add task:get_rawbody method

[Feature] Now cryptobox lua API accepts rspamd text as input

[Feature] Add some time manipulation functions for lua APi

[Minor] Add whitelist for phishing module

[Minor fix] Limit PHISHING to one shot

[Minor] Add redirector's TLD to PHISHING symbol options

[Fix] Do not send NaN in json

Issue: #615
Reported by: @moisseev

[Feature] Add 'symbols_enabled' and 'groups_enabled' to settings

Merge pull request #614 from Sp1l/patch-1

Fix build with unmodified LibreSSL opensslv.h

Fix build with unmodified LibreSSL opensslv.h

Add test for LibreSSL to use "old" methods when OPENSSL_VERSION_NUMBER is 0x20000000L

[Feature] Add learn condition to the default configuration

[Fix] Fix conditional learning

[Fix] Fix return value for couple of lua functions

[Fix] Fix setting of the lua top

[Minor] Add 'learn_condition' alias

[Feature] Implement conditional learning for classifiers

Issue: #613

[Minor] Remove deprecated lua functions