]> source.dussan.org Git - rspamd.git/log
rspamd.git
6 years agoRemove unnecessary debug out 2105/head
Carsten Rosenberg [Thu, 22 Mar 2018 13:32:57 +0000 (14:32 +0100)]
Remove unnecessary debug out

6 years agoCleanup files 2095/head
Carsten Rosenberg [Tue, 20 Mar 2018 13:44:43 +0000 (14:44 +0100)]
Cleanup files

6 years agoMerge remote-tracking branch 'upstream/master'
Carsten Rosenberg [Tue, 20 Mar 2018 13:38:39 +0000 (14:38 +0100)]
Merge remote-tracking branch 'upstream/master'

6 years agoRespect Sophos/SAVDI FAIL212 REJ4 REJ1 Return Codes in antivirus.lua
Carsten Rosenberg [Tue, 20 Mar 2018 13:37:17 +0000 (14:37 +0100)]
Respect Sophos/SAVDI FAIL212 REJ4 REJ1 Return Codes in antivirus.lua

6 years ago[Minor] Start 1.7.2
Vsevolod Stakhov [Tue, 20 Mar 2018 12:28:40 +0000 (12:28 +0000)]
[Minor] Start 1.7.2

6 years agoRelease 1.7.1 1.7.1
Vsevolod Stakhov [Tue, 20 Mar 2018 12:26:55 +0000 (12:26 +0000)]
Release 1.7.1

* [CritFix] Fix lowercase comparison
* [CritFix] Timezone defines seconds WEST UTC not East
* [Feature] Add filename to log format
* [Feature] Add lua rules squeezing
* [Feature] Add related symbols analysis to rspamd_stats
* [Feature] Remove upstream `X-Spam: Yes` header by default
* [Feature] rspamd_stats: Output progress info on STDERR
* [Feature] Whitelist for emails module
* [Fix] Do not allow dependencies on self
* [Fix] Do not cache metric result
* [Fix] Do not trust all issuers as a client certificate
* [Fix] Fix dependencies in lua squeeze
* [Fix] Fix enabling/disabling squeezed rules
* [Fix] Fix enabling/disabling symbols
* [Fix] Fix external dependencies
* [Fix] Fix processing of a single compressed file
* [Fix] Fix some typos
* [Fix] Fix various modules in case of empty message
* [Fix] Handle callbacks that returns table of options
* [Fix] Improve cached action interaction
* [Fix] Make dynamic conf more NaN aware
* [Fix] Never hide actions from WebUI `configuration` tab
* [Project] Implementation of Lua rules squeezing

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>
6 years agoMerge pull request #2094 from moisseev/spam_flag
Vsevolod Stakhov [Tue, 20 Mar 2018 10:54:46 +0000 (10:54 +0000)]
Merge pull request #2094 from moisseev/spam_flag

[Feature] Remove upstream `X-Spam: Yes` header by default

6 years agoMerge pull request #2093 from treibholz/subject_privacy
Vsevolod Stakhov [Tue, 20 Mar 2018 10:54:07 +0000 (10:54 +0000)]
Merge pull request #2093 from treibholz/subject_privacy

Subject privacy for webUI

6 years ago[Feature] Remove upstream `X-Spam: Yes` header by default 2094/head
Alexander Moisseev [Tue, 20 Mar 2018 08:56:22 +0000 (11:56 +0300)]
[Feature] Remove upstream `X-Spam: Yes` header by default

6 years ago[Minor] Catch upstream `X-Spam` flag as well with `SPAM_FLAG` regexp
Alexander Moisseev [Tue, 20 Mar 2018 08:48:08 +0000 (11:48 +0300)]
[Minor] Catch upstream `X-Spam` flag as well with `SPAM_FLAG` regexp

6 years agoMerge pull request #2092 from moisseev/actions
Vsevolod Stakhov [Mon, 19 Mar 2018 20:49:28 +0000 (20:49 +0000)]
Merge pull request #2092 from moisseev/actions

[Fix] Never hide actions from WebUI `configuration` tab

6 years agoimplemented suggestions 2093/head
Klaus Umbach [Mon, 19 Mar 2018 20:36:47 +0000 (21:36 +0100)]
implemented suggestions

* changed: default hashing-algorithm to blake2
* added: length-limit (default 16)
* changed: prefix to show it's obfuscated (obf)

6 years agoadded config-options to default-config
Klaus Umbach [Mon, 19 Mar 2018 19:38:26 +0000 (20:38 +0100)]
added config-options to default-config

6 years agoimplemented subject privacy in the webUI
Klaus Umbach [Mon, 19 Mar 2018 18:25:27 +0000 (19:25 +0100)]
implemented subject privacy in the webUI

6 years ago[Fix] Never hide actions from WebUI `configuration` tab 2092/head
Alexander Moisseev [Mon, 19 Mar 2018 16:48:04 +0000 (19:48 +0300)]
[Fix] Never hide actions from WebUI `configuration` tab

- Never hide actions (fixes #1910)
- Allow to disable actions from WebUI
- Add `rewrite subject` action to `configuration` tab

6 years ago[Minor] Some lua style fixes
Vsevolod Stakhov [Mon, 19 Mar 2018 15:43:03 +0000 (15:43 +0000)]
[Minor] Some lua style fixes

6 years ago[Minor] Fix X-Originating-Ip handle in elastic plugin
Vsevolod Stakhov [Mon, 19 Mar 2018 15:26:30 +0000 (15:26 +0000)]
[Minor] Fix X-Originating-Ip handle in elastic plugin

6 years agoMerge pull request #2089 from smfreegard/rules_20180301
Vsevolod Stakhov [Mon, 19 Mar 2018 14:16:02 +0000 (14:16 +0000)]
Merge pull request #2089 from smfreegard/rules_20180301

Corpus/Rescore improvements, new and improved rules

6 years ago[Minor] Allow to parse integer database names for Redis
Vsevolod Stakhov [Mon, 19 Mar 2018 14:13:02 +0000 (14:13 +0000)]
[Minor] Allow to parse integer database names for Redis

Issue: #2083
Closes: #2083
6 years agoFix HAS_GUC_PROXY_URI and HAS_GOOGLE_REDIR 2089/head
Steve Freegard [Mon, 19 Mar 2018 13:43:16 +0000 (13:43 +0000)]
Fix HAS_GUC_PROXY_URI and HAS_GOOGLE_REDIR

6 years ago[Fix] Make dynamic conf more NaN aware
Vsevolod Stakhov [Mon, 19 Mar 2018 13:25:44 +0000 (13:25 +0000)]
[Fix] Make dynamic conf more NaN aware

6 years ago[Minor] Allow to reset score of an action
Vsevolod Stakhov [Mon, 19 Mar 2018 13:17:40 +0000 (13:17 +0000)]
[Minor] Allow to reset score of an action

Issue: 2088

6 years ago[Fix] Do not trust all issuers as a client certificate
Vsevolod Stakhov [Mon, 19 Mar 2018 13:13:19 +0000 (13:13 +0000)]
[Fix] Do not trust all issuers as a client certificate

Issue: #2087

6 years ago[Minor] Add constant time memcmp function
Vsevolod Stakhov [Mon, 19 Mar 2018 12:54:51 +0000 (12:54 +0000)]
[Minor] Add constant time memcmp function

6 years ago[Minor] Sync public suffix list
Andrew Lewis [Mon, 19 Mar 2018 12:49:43 +0000 (14:49 +0200)]
[Minor] Sync public suffix list

6 years agoCorpus test improvements
Steve Freegard [Mon, 19 Mar 2018 12:11:24 +0000 (12:11 +0000)]
Corpus test improvements

6 years agoRescore logging and reporting improvements
Steve Freegard [Mon, 19 Mar 2018 12:09:40 +0000 (12:09 +0000)]
Rescore logging and reporting improvements

6 years agoAdd new header rules
Steve Freegard [Mon, 19 Mar 2018 12:03:27 +0000 (12:03 +0000)]
Add new header rules

6 years agoFix missing regexp
Steve Freegard [Mon, 19 Mar 2018 12:00:05 +0000 (12:00 +0000)]
Fix missing regexp

6 years agoImprove URI_HIDDEN_PATH based on corpus testing
Steve Freegard [Mon, 19 Mar 2018 11:58:45 +0000 (11:58 +0000)]
Improve URI_HIDDEN_PATH based on corpus testing

6 years agoAdd XM_CASE rule
Steve Freegard [Mon, 19 Mar 2018 11:56:20 +0000 (11:56 +0000)]
Add XM_CASE rule

6 years agoSplit MISSING_SUBJECT into EMPTY_SUBJECT based on corpus testing
Steve Freegard [Mon, 19 Mar 2018 11:53:38 +0000 (11:53 +0000)]
Split MISSING_SUBJECT into EMPTY_SUBJECT based on corpus testing

6 years agoImprove REPLYTO_EQ_TO_ADDR based on corpus testing
Steve Freegard [Mon, 19 Mar 2018 11:46:05 +0000 (11:46 +0000)]
Improve REPLYTO_EQ_TO_ADDR based on corpus testing

6 years agoMerge pull request #2084 from moisseev/rspamd_stats
Vsevolod Stakhov [Sun, 18 Mar 2018 21:24:46 +0000 (21:24 +0000)]
Merge pull request #2084 from moisseev/rspamd_stats

 [Feature] rspamd_stats: Output progress info on STDERR

6 years agoMerge pull request #2086 from fatalbanana/typo
Vsevolod Stakhov [Sun, 18 Mar 2018 16:53:38 +0000 (16:53 +0000)]
Merge pull request #2086 from fatalbanana/typo

[Fix] Fix some typos

6 years ago[Fix] Fix some typos 2086/head
Andrew Lewis [Sun, 18 Mar 2018 00:26:07 +0000 (02:26 +0200)]
[Fix] Fix some typos

6 years ago[Minor] Another id==0 issue
Vsevolod Stakhov [Sat, 17 Mar 2018 16:38:21 +0000 (16:38 +0000)]
[Minor] Another id==0 issue

6 years ago[Feature] rspamd_stats: Output progress info on STDERR 2084/head
Alexander Moisseev [Sat, 17 Mar 2018 16:03:53 +0000 (19:03 +0300)]
[Feature] rspamd_stats: Output progress info on STDERR

and only if it is connected to the terminal

6 years ago[Minor] Import subroutines from IO::Interactive Perl module
Alexander Moisseev [Sat, 17 Mar 2018 16:01:06 +0000 (19:01 +0300)]
[Minor] Import subroutines from IO::Interactive Perl module

6 years ago[Minor] Fix spinner rotation
Alexander Moisseev [Sat, 17 Mar 2018 15:58:08 +0000 (18:58 +0300)]
[Minor] Fix spinner rotation

6 years ago[Minor] Disable extra verbose lang_detection logs
Vsevolod Stakhov [Sat, 17 Mar 2018 15:49:10 +0000 (15:49 +0000)]
[Minor] Disable extra verbose lang_detection logs

6 years ago[Minor] Fix issue with parent=0
Vsevolod Stakhov [Sat, 17 Mar 2018 15:47:09 +0000 (15:47 +0000)]
[Minor] Fix issue with parent=0

6 years ago[Minor] Fix squeezed groups enabling
Vsevolod Stakhov [Sat, 17 Mar 2018 14:48:26 +0000 (14:48 +0000)]
[Minor] Fix squeezed groups enabling

6 years ago[Minor] Register names for callback only symbols
Vsevolod Stakhov [Sat, 17 Mar 2018 14:48:11 +0000 (14:48 +0000)]
[Minor] Register names for callback only symbols

6 years ago[CritFix] Fix lowercase comparison
Vsevolod Stakhov [Sat, 17 Mar 2018 14:20:05 +0000 (14:20 +0000)]
[CritFix] Fix lowercase comparison

6 years ago[Fix] Fix enabling/disabling symbols
Vsevolod Stakhov [Sat, 17 Mar 2018 12:22:39 +0000 (12:22 +0000)]
[Fix] Fix enabling/disabling symbols

6 years ago[Minor] Try to deal with squeezed symbols with a special care
Vsevolod Stakhov [Fri, 16 Mar 2018 17:27:09 +0000 (17:27 +0000)]
[Minor] Try to deal with squeezed symbols with a special care

6 years ago[Fix] Fix enabling/disabling squeezed rules
Vsevolod Stakhov [Fri, 16 Mar 2018 17:14:32 +0000 (17:14 +0000)]
[Fix] Fix enabling/disabling squeezed rules

6 years ago[Fix] Fix external dependencies
Vsevolod Stakhov [Fri, 16 Mar 2018 15:50:33 +0000 (15:50 +0000)]
[Fix] Fix external dependencies

6 years ago[Minor] Fix syntax error added by CLion
Vsevolod Stakhov [Fri, 16 Mar 2018 13:26:06 +0000 (13:26 +0000)]
[Minor] Fix syntax error added by CLion

6 years ago[Minor] Fix zero return value
Vsevolod Stakhov [Fri, 16 Mar 2018 13:22:21 +0000 (13:22 +0000)]
[Minor] Fix zero return value

6 years ago[Minor] Silence warning
Vsevolod Stakhov [Fri, 16 Mar 2018 12:32:16 +0000 (12:32 +0000)]
[Minor] Silence warning

6 years ago[Fix] Handle callbacks that returns table of options
Vsevolod Stakhov [Fri, 16 Mar 2018 11:51:46 +0000 (11:51 +0000)]
[Fix] Handle callbacks that returns table of options

6 years ago[Minor] Fix warning
Vsevolod Stakhov [Fri, 16 Mar 2018 10:56:49 +0000 (10:56 +0000)]
[Minor] Fix warning

6 years ago[Fix] Fix dependencies in lua squeeze
Vsevolod Stakhov [Fri, 16 Mar 2018 10:56:09 +0000 (10:56 +0000)]
[Fix] Fix dependencies in lua squeeze

6 years ago[Minor] Another try to fix action output
Vsevolod Stakhov [Thu, 15 Mar 2018 18:10:43 +0000 (18:10 +0000)]
[Minor] Another try to fix action output

6 years ago[Minor] Disallow squeezing of rules with flags
Vsevolod Stakhov [Thu, 15 Mar 2018 18:05:56 +0000 (18:05 +0000)]
[Minor] Disallow squeezing of rules with flags

6 years ago[Minor] Silence warnings
Vsevolod Stakhov [Thu, 15 Mar 2018 18:03:12 +0000 (18:03 +0000)]
[Minor] Silence warnings

6 years ago[Feature] Add lua rules squeezing
Vsevolod Stakhov [Thu, 15 Mar 2018 18:00:35 +0000 (18:00 +0000)]
[Feature] Add lua rules squeezing

6 years ago[Minor] Fix dependency
Vsevolod Stakhov [Thu, 15 Mar 2018 18:00:24 +0000 (18:00 +0000)]
[Minor] Fix dependency

6 years ago[Fix] Do not allow dependencies on self
Vsevolod Stakhov [Thu, 15 Mar 2018 17:45:17 +0000 (17:45 +0000)]
[Fix] Do not allow dependencies on self

6 years ago[Minor] Fix noise on debug_modules initialisation
Vsevolod Stakhov [Thu, 15 Mar 2018 16:50:53 +0000 (16:50 +0000)]
[Minor] Fix noise on debug_modules initialisation

6 years ago[Project] Add some generic code to squeeze lua rules
Vsevolod Stakhov [Thu, 15 Mar 2018 16:24:44 +0000 (16:24 +0000)]
[Project] Add some generic code to squeeze lua rules

6 years ago[Project] Encourage dependencies registration by name only
Vsevolod Stakhov [Thu, 15 Mar 2018 16:24:04 +0000 (16:24 +0000)]
[Project] Encourage dependencies registration by name only

6 years ago[Minor] Fix enabling debug modules on startup
Vsevolod Stakhov [Thu, 15 Mar 2018 15:16:45 +0000 (15:16 +0000)]
[Minor] Fix enabling debug modules on startup

6 years ago[Project] Start implementation of Lua rules squeezing
Vsevolod Stakhov [Thu, 15 Mar 2018 14:43:35 +0000 (14:43 +0000)]
[Project] Start implementation of Lua rules squeezing

6 years ago[Minor] Allow to require some Lua function in C
Vsevolod Stakhov [Thu, 15 Mar 2018 14:00:33 +0000 (14:00 +0000)]
[Minor] Allow to require some Lua function in C

6 years ago[Fix] Improve cached action interaction
Vsevolod Stakhov [Thu, 15 Mar 2018 14:00:10 +0000 (14:00 +0000)]
[Fix] Improve cached action interaction

6 years ago[Minor] Disallow cached action one more time
Vsevolod Stakhov [Thu, 15 Mar 2018 10:28:34 +0000 (10:28 +0000)]
[Minor] Disallow cached action one more time

6 years ago[Minor] Allow negative scores for no action pre-action
Vsevolod Stakhov [Thu, 15 Mar 2018 10:26:59 +0000 (10:26 +0000)]
[Minor] Allow negative scores for no action pre-action

6 years ago[Minor] Fix links
Vsevolod Stakhov [Wed, 14 Mar 2018 18:11:40 +0000 (18:11 +0000)]
[Minor] Fix links

6 years ago[Minor] Allow to specify hs_ext data for regular expressions
Vsevolod Stakhov [Wed, 14 Mar 2018 14:50:56 +0000 (14:50 +0000)]
[Minor] Allow to specify hs_ext data for regular expressions

6 years agoMerge pull request #2067 from moisseev/configwizard
Vsevolod Stakhov [Wed, 14 Mar 2018 14:01:47 +0000 (14:01 +0000)]
Merge pull request #2067 from moisseev/configwizard

[Minor] configwizard: check version matching

6 years ago[Minor] Avoid using of the cached result
Vsevolod Stakhov [Wed, 14 Mar 2018 13:45:39 +0000 (13:45 +0000)]
[Minor] Avoid using of the cached result

6 years ago[Fix] Do not cache metric result
Vsevolod Stakhov [Wed, 14 Mar 2018 13:43:23 +0000 (13:43 +0000)]
[Fix] Do not cache metric result

6 years ago[CritFix] Timezone defines seconds WEST UTC not East
Vsevolod Stakhov [Tue, 13 Mar 2018 18:07:26 +0000 (18:07 +0000)]
[CritFix] Timezone defines seconds WEST UTC not East

Issue: #2074

6 years ago[Feature] Add filename to log format
Vsevolod Stakhov [Tue, 13 Mar 2018 17:58:16 +0000 (17:58 +0000)]
[Feature] Add filename to log format

6 years ago[Minor] Add Lua API to get filename
Vsevolod Stakhov [Tue, 13 Mar 2018 17:49:35 +0000 (17:49 +0000)]
[Minor] Add Lua API to get filename

6 years ago[Minor] Add ability to pass filename from Rspamc
Vsevolod Stakhov [Tue, 13 Mar 2018 17:28:42 +0000 (17:28 +0000)]
[Minor] Add ability to pass filename from Rspamc

6 years ago[Minor] Add workaround for old perl
Vsevolod Stakhov [Tue, 13 Mar 2018 16:37:13 +0000 (16:37 +0000)]
[Minor] Add workaround for old perl

6 years ago[Minor] Understand both 'statistic' and 'statistics'
Vsevolod Stakhov [Tue, 13 Mar 2018 16:36:18 +0000 (16:36 +0000)]
[Minor] Understand both 'statistic' and 'statistics'

6 years ago[Minor] Fix and document --nrelated option
Vsevolod Stakhov [Tue, 13 Mar 2018 16:34:37 +0000 (16:34 +0000)]
[Minor] Fix and document --nrelated option

6 years ago[Fix] Fix processing of a single compressed file
Vsevolod Stakhov [Tue, 13 Mar 2018 16:15:01 +0000 (16:15 +0000)]
[Fix] Fix processing of a single compressed file

6 years ago[Minor] Fix spinner update
Vsevolod Stakhov [Tue, 13 Mar 2018 16:13:12 +0000 (16:13 +0000)]
[Minor] Fix spinner update

6 years ago[Feature] Add related symbols analysis to rspamd_stats
Vsevolod Stakhov [Tue, 13 Mar 2018 12:56:22 +0000 (12:56 +0000)]
[Feature] Add related symbols analysis to rspamd_stats

6 years ago[Minor] Allow an alternative syslog format
Vsevolod Stakhov [Tue, 13 Mar 2018 12:56:05 +0000 (12:56 +0000)]
[Minor] Allow an alternative syslog format

6 years ago[Minor] Fix rbls rules count calculation
Vsevolod Stakhov [Tue, 13 Mar 2018 11:09:13 +0000 (11:09 +0000)]
[Minor] Fix rbls rules count calculation

6 years ago[Minor] Fix ratelimit for empty messages too
Andrew Lewis [Tue, 13 Mar 2018 10:56:01 +0000 (12:56 +0200)]
[Minor] Fix ratelimit for empty messages too

6 years agoMerge pull request #2072 from fatalbanana/empty
Vsevolod Stakhov [Tue, 13 Mar 2018 10:52:41 +0000 (10:52 +0000)]
Merge pull request #2072 from fatalbanana/empty

[Fix] Fix various modules in case of empty message

6 years ago[Fix] Fix various modules in case of empty message 2072/head
Andrew Lewis [Tue, 13 Mar 2018 10:42:37 +0000 (12:42 +0200)]
[Fix] Fix various modules in case of empty message

6 years agoMerge pull request #2070 from fatalbanana/ew
Vsevolod Stakhov [Tue, 13 Mar 2018 10:29:22 +0000 (10:29 +0000)]
Merge pull request #2070 from fatalbanana/ew

[Feature] Whitelist for emails module

6 years ago[Feature] Whitelist for emails module 2070/head
Andrew Lewis [Tue, 13 Mar 2018 09:46:21 +0000 (11:46 +0200)]
[Feature] Whitelist for emails module

6 years ago[Minor] Update version to 1.7.1
Vsevolod Stakhov [Mon, 12 Mar 2018 16:49:24 +0000 (16:49 +0000)]
[Minor] Update version to 1.7.1

6 years agoRelease 1.7.0 1.7.0
Vsevolod Stakhov [Mon, 12 Mar 2018 16:46:32 +0000 (16:46 +0000)]
Release 1.7.0

* [Conf] Add bayes_expiry as explicit module
* [Conf] Adjust names and weights for neural network plugin
* [Conf] Change updates url
* [Conf] Default statistics is stored in Redis now
* [Conf] Disable fann_redis module by default
* [Conf] Fix default elastic configuration
* [Conf] Fix double quote position
* [Conf] Massive config rework for new structure of symbols and scores
* [Conf] Rename Rambler BLs as they are now Rspamd's ones
* [Conf] Use dedicated rspamd.com subdomains
* [Conf] Use more data from rspamd.com fuzzy storage
* [CritFix] Add sanity guards for badly broken HTML
* [CritFix] Another errors path handling fix
* [CritFix] Another portion of tokenization fixes
* [CritFix] Do not send reject messages after set reply
* [CritFix] Fix ARC chain verification
* [CritFix] Fix crash in milter errors handler
* [CritFix] Fix memory leak in spf caching logic
* [CritFix] Fix milter commands pipelining
* [CritFix] Fix newlines detection
* [CritFix] Fix semicolons parsing in the content type
* [CritFix] Plug memory leak in zstd protocol compression
* [Feature] Add ability to match score in force_actions module
* [Feature] Add aes-rng PRF to libottery
* [Feature] Add 'composites' debug module
* [Feature] Add concept of experimental modules
* [Feature] Add DKIM trace symbol
* [Feature] Add EBL to the default config
* [Feature] Add expected ip check for emails plugin
* [Feature] Add framework to manage Redis scripts
* [Feature] Add framing for the new reputation generic plugin
* [Feature] Add function to show plugins stat
* [Feature] Add gzip compression support for clickhouse module
* [Feature] Add gzip compression support for rspamd controller
* [Feature] Add gzip support when sending lua http requests
* [Feature] Add json output for rspamd_stats
* [Feature] Add method to do a synchronous Redis connection
* [Feature] Add method to get all content-type attributes in Lua
* [Feature] Add `-m` flag to configdump to show modules states
* [Feature] Add mime types to extensions map
* [Feature] Add more features to rescore utility
* [Feature] Add more gtube like patterns to test other spam actions
* [Feature] Add more metafunctions, improve logging
* [Feature] Add more text attributes
* [Feature] Add new configwizard command to rspamadm
* [Feature] Add new tooling for stats conversation
* [Feature] Add old groups migration tool
* [Feature] Add plugins state variable
* [Feature] Add preliminary ecdsa keys support in DKIM
* [Feature] Add preliminary support of idempotent symbols
* [Feature] Add Redis server wizard
* [Feature] Add routine to convert old style stats to a new one
* [Feature] Add some sanity checks for actions and controller
* [Feature] Add statistic convertation module to configwizard
* [Feature] Add sugestions logic to mempool allocator
* [Feature] Add support of config transform in Lua
* [Feature] Add timeout to rspamc when doing corpus test
* [Feature] Add tooling to convert bayes schemas
* [Feature] Add torch conditional to configuration
* [Feature] Add torch-decisiontree package
* [Feature] Add torch-optim contrib package
* [Feature] Add TTL autodetection
* [Feature] Add urls reputation to the reputation framework
* [Feature] Allow floating and negative values in expressions limits
* [Feature] Allow multiple CTs in full extensions map
* [Feature] Allow multiple fann rules
* [Feature] Allow randomly select User-Agent from a list
* [Feature] Allow rspamadm commands to export methods in Lua
* [Feature] Allow rule specific min_bytes in fuzzy check
* [Feature] Allow to adjust symbols scores from Lua
* [Feature] Allow to attach stat signature to messages
* [Feature] Allow to change SMTP from via milter headers
* [Feature] Allow to configure monitored
* [Feature] Allow to create directories in Lua API
* [Feature] Allow to disable torch and skip train samples for ANN
* [Feature] Allow to discard messages dynamically
* [Feature] Allow to enable/disable languages from the detector
* [Feature] Allow to generate DKIM keys from rspamadm API
* [Feature] Allow to get CPU flags from Lua
* [Feature] Allow to have high precision timestamps in logs
* [Feature] Allow to insert headers into specific position
* [Feature] Allow to limit redirector requests per task
* [Feature] Allow to load and use dynamic ANNs with torch
* [Feature] Allow to quarantine rejected messages using milter interface
* [Feature] Allow to receive signing keys from mempool vars
* [Feature] Allow to reserve elements in libucl
* [Feature] Allow to reuse signal handlers chains
* [Feature] Allow to set custom mempool variables from settings
* [Feature] Allow to set headers from settings
* [Feature] Allow to set Settings-Id for all connections
* [Feature] Allow to skip real action and add a header instead
* [Feature] Allow to skip specific hashes in fuzzy storage
* [Feature] Allow to spawn asynchronous processes from Lua
* [Feature] Allow to specify number of threads for ANN learning
* [Feature] Allow to use global lua maps in settings
* [Feature] Allow to use postfilters in composites
* [Feature] Allow to verify signatures from HTTP headers in maps
* [Feature] Antivirus: ordered pattern matches
* [Feature] Authentication-Results: support hiding usernames
* [Feature] Automatically create tables in clickhouse
* [Feature] Catch next-to-last bad extension
* [Feature] Check cached maps more frequently
* [Feature] Check groups sanity
* [Feature] Deal with obscured URLs with @ symbols
* [Feature] Enhance task:store_in_file method
* [Feature] Export password encryption routines to Redis
* [Feature] Filter nan and inf when adding scores
* [Feature] Finalize 7zip files support
* [Feature] Further improvements in language detection
* [Feature] Further improvements in language detection algorithm
* [Feature] Generic key name expansion for Redis keys
* [Feature] Hash whitelist for fuzzy_check
* [Feature] Implement bayes signatures storage
* [Feature] Implement buckets for Redis backend
* [Feature] Implement DKIM reputation adjustments
* [Feature] Implement forked workers children monitoring
* [Feature] Implement headers flags in mime parser
* [Feature] Implement l1/l2 regularization against the current weights
* [Feature] Implement manual ANN train mode
* [Feature] Implement per-user ANN support
* [Feature] Implement torch based ANN learning
* [Feature] Implement upstreams logic for clickhouse exporter
* [Feature] Import torch to Rspamd...
* [Feature] Improve allocation policy when interacting with Lua
* [Feature] Improve Lua/C interaction in history_redis
* [Feature] Improve multiple fuzzy results combining
* [Feature] Improve parsing of DKIM keys: parse algorithm
* [Feature] Improve subprocesses termination handle
* [Feature] Improve symbol type parsing in Lua API
* [Feature] Metadata Exporter: e-Mail Alerts: support multiple recipients; alerting senders/recipients/users (#1600)
* [Feature] Milter headers: support adding/removing arbitrary headers from config
* [Feature] More metatokens
* [Feature] Multimap: checking of symbol options
* [Feature] Multimap: template URL filter
* [Feature] New bayes expiry plugin
* [Feature] Periodically save rspamd stats to disk
* [Feature] Preliminary import of the elasticsearch module
* [Feature] Ratelimit: allow full addresses in whitelisted_rcpts
* [Feature] Ratelimit: support fetching limits from Redis
* [Feature] RBL: received: filtering by position & flags
* [Feature] Read global maps for lua
* [Feature] Redis settings: support checking multiple keys
* [Feature] Rework fann plugin to be a normal post-filter
* [Feature] Rework logging configuration for rspamadm case
* [Feature] Rework short hashes generation to avoid FP
* [Feature] Save real ucl types when exporting to Lua
* [Feature] Set TCP_NODELAY for milter sockets
* [Feature] Setup DKIM signing from configwizard
* [Feature] Skip certain symbols from ANN classify
* [Feature] Store plugins state
* [Feature] Support etag for HTTP maps
* [Feature] Support Expires header when using HTTP maps
* [Feature] Support sending given header multiple times in lua_http
* [Feature] Support sha512 in DKIM signatures
* [Feature] Try to detect HTML messages better
* [Feature] Use array instead of queue to reduce memory fragmentation
* [Feature] Use controller port by default when connecting to local IP
* [Feature] Use rdtsc where possible
* [Fix] Actively load skip hashes map in fuzzy storage
* [Fix] Add another workaround to display history properly
* [Fix] Add definition for old glib compatibility method
* [Fix] Add missing rspamadm control options to help
* [Fix] Add workaround for IPv6 in sendmail
* [Fix] Add workaround for system with non-XSI compatible tzset
* [Fix] Allow oversigning in DKIM signatures
* [Fix] Allow to check negative scores in force_actions
* [Fix] Allow to have negative actions limits
* [Fix] Allow to set any layers number for fann rules
* [Fix] Another fix for rdtcs
* [Fix] Another fix to lua xmlrpc
* [Fix] Another try to deal with #1998
* [Fix] Another try to fix #1998
* [Fix] Another try to fix threading in torch
* [Fix] Apply language detection when adding fuzzy hashes
* [Fix] ARC: Fix Lua 5.3 compatibility; timestamp should be integer
* [Fix] Authentication Results: Fix SPF smtp.mail_from
* [Fix] Auth-Results: Multiple DKIM signatures
* [Fix] Avoid changing content-transfer-encoding header's value
* [Fix] Better handling of the legacy protocol
* [Fix] Check decoded headers sanity (e.g. by excluding \0)
* [Fix] Check for magic when checking for an archive
* [Fix] Cleanup mess with groups
* [Fix] Clickhouse: Insertion in the symbols table
* [Fix] Crash in URL processing
* [Fix] Deal with another case when processing exceptions
* [Fix] Deal with deeply nested messages more aggressively
* [Fix] Deal with nan and inf encoding in json/ucl
* [Fix] Deal with non-key arguments in lua_redis.exec_script
* [Fix] Deal with unknown weight
* [Fix] Deal with URLs with no slashes after protocol
* [Fix] Deal with URLs wrapped in [] in text parts
* [Fix] Deal with zero scores symbols
* [Fix] Default monitoring domain for surbl plugin
* [Fix] Delay upstream re-resolving when one upstream is defined
* [Fix] Detection of maillist optimized and fixed
* [Fix] DKIM signing: allow for auth_only to be false
* [Fix] DMARC: require report_settings for sending reports only
* [Fix] Do not allow garbadge when checking url domain
* [Fix] Do not cache SPF records with PTR elements
* [Fix] Do not constantly re-resolve failed upstreams with a single element
* [Fix] Do not crash if no words defined
* [Fix] Do not crash on empty subtype
* [Fix] Do not expose spamtrap messages to SMTP reply
* [Fix] Do not fail rbl plugin when there are no received or emails
* [Fix] Do not ignore short words
* [Fix] Do not include idempotent/nostat symbols to checksum
* [Fix] Do not override groups when converting metrics
* [Fix] Do not override unix socket group when group comes before owner
* [Fix] Do not skip the last character
* [Fix] Do not spawn too many workers by default
* [Fix] Do not stop monitored on dns errors
* [Fix] Do not stop parsing headers on bad IP header
* [Fix] Do not strip last character in the last word
* [Fix] Do not treat script content as text
* [Fix] Do not try to connect to non-supported addresses
* [Fix] Do not try to dereference last character
* [Fix] Do not try to sign unknown domains
* [Fix] Don't use whitelist/greylist maps as regexp, but as map
* [Fix] Erase unknown HTML entities
* [Fix] Exim Received header protocol parsing
* [Fix] First load selector_map and path_map. And only return false when domain not found if try_fallback is false
* [Fix] Fix a lot of FP in chartable in mixed languages
* [Fix] Fix ANN checks
* [Fix] Fix ANN loading logic
* [Fix] Fix another tokenization issue
* [Fix] Fix autolearn parameters reading
* [Fix] Fix bad archive characters stripping
* [Fix] Fix bad extension check
* [Fix] Fix bayes schema conversion
* [Fix] Fix blacklists and DMARC in whitelist
* [Fix] Fix brain-damaged torch build system
* [Fix] Fix build on FreeBSD
* [Fix] Fix clickhouse exporter
* [Fix] Fix clickhouse schema
* [Fix] Fix comparision
* [Fix] Fix composites processing
* [Fix] Fix connecting to a unix socket in rspamadm statconvert
* [Fix] Fix couple of warnings
* [Fix] Fix crashes in the rspamd_control path
* [Fix] Fix deletion from hash
* [Fix] Fix DKIM forgeries via multiple headers
* [Fix] FIx dynamic conf plugin
* [Fix] Fix emails detection
* [Fix] Fix empty headers simple canonicalization
* [Fix] Fix empty threshold check in greylisting module
* [Fix] Fix encrypted legacy reply in fuzzy storage
* [Fix] Fix enormous scores for R_WHITE_ON_WHITE
* [Fix] Fix exceptions list in surbl
* [Fix] Fix *_EXCESS_BASE64 rules
* [Fix] Fix expire rounding
* [Fix] Fix extra hits in PCRE mode for regular expressions
* [Fix] Fix format strings
* [Fix] Fix get_content method
* [Fix] Fix groups override when defining symbols
* [Fix] Fix learned count in new schema
* [Fix] Fix learn errors propagation
* [Fix] Fix loading of per-user redis backend for statistics
* [Fix] Fix logging buffer corruption in case of repeated messages
* [Fix] Fix lua cached elements invalidation
* [Fix] Fix merging of the implicit arrays
* [Fix] Fix mime_types scoring
* [Fix] Fix multiple headers in DKIM headers list
* [Fix] Fix null callee case in clang plugin
* [Fix] Fix obscured url in format user@@example.com
* [Fix] Fix parsing of the per-user script
* [Fix] Fix priorities in rspamd_update, disable rules execution
* [Fix] Fix processing of closed tags
* [Fix] Fix processing of idempotent rules when autolearn fails
* [Fix] Fix processing of multipart parts with no headers
* [Fix] Fix processing of skip-hashes in fuzzy storage
* [Fix] Fix PTR processing in SPF
* [Fix] Fix pushing country to clickhouse asn table
* [Fix] Fix random forests module
* [Fix] Fix real IP parsing for some strange Exim received
* [Fix] Fix Redis timeout setup
* [Fix] Fix reload crash when hyperscan is enabled
* [Fix] Fix reusing of redis connection after exec
* [Fix] Fix sanity checks on macro value
* [Fix] Fix setting of path and cpath for Lua
* [Fix] Fix setting of signals when spawning a thread
* [Fix] Fix text splitting: stack overflow (too many captures)
* [Fix] Fix ticks processing
* [Fix] Fix upstream addrs updating
* [Fix] Fix urls/emails distinguishing found in queries
* [Fix] Fix user settings check
* [Fix] Fix variable increment
* [Fix] Fix various issues in stat_convert
* [Fix] F-PROT Antivirus infection string for all known occurences
* [Fix] F-PROT Antivirus: only check return code to determine infection
* [Fix] Further fixes around floating point expressions
* [Fix] Further fixes to ANN module
* [Fix] Further fixes to rescore tool
* [Fix] Further fixes to support ES 6
* [Fix] Further tokenization fixes
* [Fix] Greylisting set phase is not idempotent
* [Fix] Handle proxy copy errors
* [Fix] Header checks: Fix get_raw_header method
* [Fix] Header checks: REPLYTO_UNPARSEABLE rule
* [Fix] Kill spawned processes on termination
* [Fix] Load skip map from all processes as shared cache is unavailable
* [Fix] Lowercase HTTP headers to make them searchable from Lua
* [Fix] Lowercase words
* [Fix] Lua_http: freeing
* [Fix] Lua: lpeg to be loaded with rspamd_lua_add_preload, to avoid "rspamd_config_read: rcl parse error: cannot init lua file […] module 'lpeg' not found"
* [Fix] Map absence is not an error
* [Fix] Metadata exporter: check IP sanity
* [Fix] Milter headers: custom headers: removing headers
* [Fix] Milter headers: skip_local / skip_authenticated settings
* [Fix] Milter headers: X-Spamd-Result header if X-Virus ran first
* [Fix] mime_types: fix next-to-last extension length check
* [Fix] More hacks to deal with old configs
* [Fix] Move composites second pass to the dedicated stage
* [Fix] Multimap: received: filtering of artificial header
* [Fix] Multiple fixes in torch based ANN plugins
* [Fix] Once more (#1879) fix bad extension check
* [Fix] Optimize rspamd_fstring_t reallocations
* [Fix] options.local_networks setting
* [Fix] Parse HREF urls without explicit prefix
* [Fix] Plan new event on HTTP errors
* [Fix] Plug another possible memory leak
* [Fix] Plug memory leak
* [Fix] Plug memory leak in lua_tcp
* [Fix] Plug memory leak when setting email addresses from Lua
* [Fix] Propagate learn/stat errors more precisely
* [Fix] Ratelimit: fix whitelisted_rcpts matching
* [Fix] Ratelimit: lowercase email addresses
* [Fix] RBL: received: deal with missing data (#1965)
* [Fix] Rebalance and slightly rework MX check plugin
* [Fix] Redis key expansion: EVAL: deal with strings
* [Fix] Redis script loading in DMARC; URL tags; URL reputation
* [Fix] Reject invalid bh for DKIM signatures earlier
* [Fix] Relax pem signature detection
* [Fix] Relax unicode properties requirements for chartable module
* [Fix] Remove extra noise from dkim and arc signing
* [Fix] Remove hop-by-hop headers in proxy
* [Fix] Remove incorrect method `task:set_metric_subject`
* [Fix] Replace space like characters in headers with plain space
* [Fix] Restore old style ratelimits support
* [Fix] Rework elasticsearch plugin
* [Fix] Rewriting subjects via force actions module
* [Fix] RPM postinstall
* [Fix] Sanitize IP in history redis
* [Fix] Select the correct signature when doing simple canon
* [Fix] Set CLOEXEC flag on files opened
* [Fix] Setting check_local / check_authed in plugins (#1954)
* [Fix] Settings: avoid checking invalid IP (#1981)
* [Fix] Settings: header: deal with multiple settings (#1988)
* [Fix] Skip checks if both extensions are not bad
* [Fix] Skip nostat tokens when get number of tokens
* [Fix] Some more fixes towards emails detection
* [Fix] SpamAssassin: Fail check_freemail_header if regexp didn't match
* [Fix] Stop using of g_slice...
* [Fix] Switch rspamadm logging to message level
* [Fix] Symbol 'FANNR_SPAM' has its score defined..
* [Fix] Table parameter for rspamd_config:add_doc()
* [Fix] Treat 'rewrite subject' as spam action
* [Fix] Try harder in passing IPv6 addresses
* [Fix] Try harder to find rfc822 notifications
* [Fix] Try harder to find urls
* [Fix] Use decoded values when parsing mime addresses
* [Fix] Use full URL when making an HTTP request
* [Fix] Use greylisting threshold in greylisting module
* [Fix] Use n_words attribute from ngramms
* [Fix] Use raw urls when sending requests to redirector
* [Fix] Use the right boolean operator on error check
* [Fix] Use weight from map for fuzzy scoring
* [Fix] Various fixes to elastic plugin
* [Fix] Various fixes to fann_redis instantiation
* [Fix] Various improvements in language detection
* [Fix] Virus infection string for F-PROT Antivirus
* [Fix] Virus infetction string for F-PROT Antivirus
* [Fix] WebUI: use relative path for savemap (#1943)
* [Fix] WHITE_ON_WHITE: Ensure score is matched to part that fired the rule
* [Fix] Write configuration changes as UCL config
* [Project] Add detection logic for words
* [Project] Add fast debug logging infrastructure
* [Project] Add more flags to languages
* [Project] Add n-gramms data files
* [Project] Add ngramms frequencies detector
* [Project] Add random words selection logic
* [Project] Add unigramms to language detection as well
* [Project] Convert all C modules to fast debug infrastructure
* [Project] Detect some languages based on unicode script
* [Project] Enable fast debug lookup for some modules
* [Project] Enable language detector init in scanner workers
* [Project] Further improvements to language detector
* [Project] Implement logic of ngramms application
* [Project] Improve weighting in lang_detection
* [Project] Initialize language detector
* [Project] Preliminary version of ngramms based language detector
* [Project] Preliminary version of the new stat_convert
* [Project] Remove old language detector
* [Project] Rework language detection ngramms structure
* [Project] Start language detection project
* [Project] Start rework of language detection to improve quality
* [Project] Use fast debug logging check
* [Rework] Add frame for new reputation based IP score module
* [Rework] Continue stat_convert rework task
* [Rework] Implement new version of fuzzy replies
* [Rework] Improve readability of xmlrpc API
* [Rework] Kill metrics!11
* [Rework] Ratelimit module
* [Rework] Rename fann_redis to neural plugin
* [Rework] Reorganize mime_types module
* [Rework] Rework rescore utility
* [Rework] Rewrite model and learning logic for rescore
* [Rework] Run post-loads when all initialization is completed
* [Rework] Simplify lua path initialization
* [Rework] Start major stat_convert rework
* [Rework] Start mempool fragmentation reduce project
* [Rework] Start moving of fann redis to torch
* [Rework] Stop embedding rspamadm scripts into C
* [Rework] Use floating point arithmetics in Rspamd expressions
* [Rework] Use frequencies distribution in language detector
* [Rules] Penalise R_BAD_CTE_7BIT for utf8 messages
* [WebUI] Compact graph selectors
* [WebUI] Escape strings inside HTML in history
* [WebUI] Fix message count in throughput summary (#1724)
* [WebUI] Fix NaNs display on Throughput graph
* [WebUI] Migrate widgets to D3 v4
* [WebUI] Restore passwordless login support (#2003)
* [WebUI] Show symbol descriptions as tooltips in history
* [WebUI] Stop using commas in pie chart tooltips
* [WebUI] Update D3 and jQuery
* [WebUI] Update D3Evolution 1.0.0 -> 1.1.0

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>
6 years agoRelease 1.6.6
Vsevolod Stakhov [Fri, 16 Feb 2018 13:47:47 +0000 (13:47 +0000)]
Release 1.6.6

* [CritFix] Add sanity guards for badly broken HTML
* [CritFix] Another errors path handling fix
* [CritFix] Fix ARC chain verification
* [CritFix] Fix crash in milter errors handler
* [Feature] Allow to insert headers into specific position
* [Feature] Allow to receive signing keys from mempool vars
* [Feature] Authentication-Results: support hiding usernames
* [Fix] Another try to deal with #1998
* [Fix] Another try to fix #1998
* [Fix] Better handling of the legacy protocol
* [Fix] Check decoded headers sanity (e.g. by excluding \0)
* [Fix] Deal with nan and inf encoding in json/ucl
* [Fix] Deal with URLs wrapped in [] in text parts
* [Fix] DKIM signing: allow for auth_only to be false
* [Fix] Do not crash on empty subtype
* [Fix] Do not fail rbl plugin when there are no received or emails
* [Fix] Do not skip the last character
* [Fix] Do not try to dereference last character
* [Fix] Do not try to sign unknown domains
* [Fix] Exim Received header protocol parsing
* [Fix] First load selector_map and path_map. And only return false when domain not found if try_fallback is false
* [Fix] Fix bad archive characters stripping
* [Fix] Fix comparision
* [Fix] Fix connecting to a unix socket in rspamadm statconvert
* [Fix] Fix empty headers simple canonicalization
* [Fix] Fix extra hits in PCRE mode for regular expressions
* [Fix] Fix parsing of the per-user script
* [Fix] Fix processing of skip-hashes in fuzzy storage
* [Fix] Fix Redis timeout setup
* [Fix] Fix sanity checks on macro value
* [Fix] Fix text splitting: stack overflow (too many captures)
* [Fix] Fix urls/emails distinguishing found in queries
* [Fix] F-PROT Antivirus: only check return code to determine infection
* [Fix] Metadata exporter: check IP sanity
* [Fix] Multimap: received: filtering of artificial header
* [Fix] Plan new event on HTTP errors
* [Fix] Plug another possible memory leak
* [Fix] Remove hop-by-hop headers in proxy
* [Fix] Sanitize IP in history redis
* [Fix] Setting check_local / check_authed in plugins (#1954)
* [Fix] Settings: avoid checking invalid IP (#1981)
* [Fix] Try harder in passing IPv6 addresses
* [Fix] WebUI: use relative path for savemap (#1943)
* [WebUI] Fix message count in throughput summary (#1724)
* [WebUI] Fix NaNs display on Throughput graph
* [WebUI] Restore passwordless login support (#2003)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>
6 years ago[Minor] Check sqlite databases before conversation
Vsevolod Stakhov [Mon, 12 Mar 2018 15:48:41 +0000 (15:48 +0000)]
[Minor] Check sqlite databases before conversation

6 years ago[Minor] Fix table argument parsing
Vsevolod Stakhov [Mon, 12 Mar 2018 15:44:58 +0000 (15:44 +0000)]
[Minor] Fix table argument parsing

6 years ago[Minor] Fix upstreams parsing
Vsevolod Stakhov [Mon, 12 Mar 2018 15:41:39 +0000 (15:41 +0000)]
[Minor] Fix upstreams parsing

6 years ago[Minor] Try better to expiry bayes in a clustered setup
Vsevolod Stakhov [Mon, 12 Mar 2018 13:24:36 +0000 (13:24 +0000)]
[Minor] Try better to expiry bayes in a clustered setup

6 years ago[Minor] Add jittering to expiration periodic
Vsevolod Stakhov [Mon, 12 Mar 2018 13:15:56 +0000 (13:15 +0000)]
[Minor] Add jittering to expiration periodic