Merge pull request #504 from fatalbanana/master

Fix user/language learn count in sqlite statistics (#496)

Fix fuzzy relearning

Issue: #489
Investigated by: @moisseev

Fix build with custom pcre

Fix user/language learn count in sqlite statistics (#496)

Temporary enable pcre jit fast path

Increase severity of sqlite errors

Another fix to redis events logic

Try to fix memory leak on redis stat

Issue: #500
Reported by: @mozzan

Fix redis stats

Use pipelined HINCRBY

Fix various issues

Implement redis advanced lua api

Start improved redis lua api

Fix stat migration script

Store int64 as strings

There are no 64 bits integers in lua, so store them as strings

Merge pull request #499 from fatalbanana/master

ratelimit: avoid possible indexing of nil value (Fixes #498)

Add stat_convert command

New command is intended to convert sqlite stats to redis stats

Fix parsing of redis args

ratelimit: avoid possible indexing of nil value (Fixes #498)

Implement synchronous redis call

Add lua_sqlite3 unit tests

Fix locking issues with sqlite

Fix more issues

Fix sqlite3 API initialization

Add lua sqlite3 module

Fix HEADER_FORGED_MDN rule

Do not require mempool to open sqlite3 db

Add parsing to MDN rules

Issue: #480

Add util.parse_mail_address function to LUA API

Move internet address pushing to common routines

Disable bad hfilter symbols in metrics

Issue: #497
Reported by: @MisterM74

Same issue for [] addresses

Erm, fix issue with length calculation

Fix names for parsed addresses

Add logging macroes with guards

Rework parsing of IP addresses

Add rule to detect spammers attempts to cheat mime parsing

Fix misprint in the path

Add symbols for mime_types to the default config

Add mime types checking plugin

Use `task:get_from()` to get sender

Allow `any`, `mime` and `smtp` for get_from/get_recipients

Add support for forged confirmation headers

Issue: #480
Reported by: @AdUser
Patch by: @AdUser

Rework ratelimits documentation

Add `BROKEN_HEADERS` rule

Fix broken headers and task:has_flag

Erm, forgot to add the real fix to google groups

Rework flags LUA API

- Allow to check for a specific flag
- Add `learn_spam`, `learn_ham` and `broken_headers` flags
- Unify internal functions

Add broken headers flag

Fix googlegroups support in maillist plugin

Don't crash if learn cache failed to initialize

Fix cache definitions in multiple classifier and no type

Issue: #493
Reported by: @wackerm

Disable MID checks for hfilter by default

Fix issues with dual stack and hfilter

Adjust some weights

Faster curve25519 key generation via Edwards isomorphism

Increase number of messages learned

Issue: #492
Reported by: @mnik247

Do not recompile lua generated headers all time

Use the unified checkpoints function in fuzzy_backend

Add checkpoints to learn cache

Add dedicated function to checkpoint sqlite

Fix stat_cache closing

Update version to 1.1.2

Release 1.1.1

* Fix duplicated XBL symbol
* Reduce log severity for ratelimit missing servers
* Fix XBL composite to avoid duplicate symbols
* Reduce weight of URL_ONLY rule due to FP rate
* Disable fuzzy hashes from the metadata for now
* Fix processing of empty messages (#486)
* Always treat DNS timeouts as temporary fail for SPF
* Fix issue with SPF double IP stack (#483)
* Use X-Forwarded-For when checking secure_ip (#488)
* Fix hash calculation for sqlite stats
* Fix memory corruption on punycode
* Fix strings allocation in punycode
* Fix error message (#491)

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix error message

Issue: #491
Reported by: @moisseev

Oops, fix typename for rnds

Another fix to punycode

Fix memory corruption on punycode

Remove some chars from domain safe class

Add X-Real-IP support as well

Fix hash calculation for sqlite stats

Allow authorized IP without forwarded

Issue: #488

Use X-Forwarded-For when checking secure_ip

Issue: #488

Fix issue with SPF double IP stack

Issue: #483

Always treat DNS timeouts as temporary fail for SPF

Fix processing of empty messages.

Issue: #486
Reported by: @moisseev

Disable fuzzy hashes from the metadata

Issue: #486

Slightly fix documentation.

Reduce weight of URL_ONLY rule due to FP rate

Update version to 1.1.1

Fix XBL composite to avoid duplicate symbols

Reduce log severity for ratelimit missing servers

Fix duplicated XBL symbol

Fix some compiler warnings

Add migration notes 1.0 -> 1.1

Merge pull request #484 from fatalbanana/master

Update CentOS7 service file patch again

Update CentOS7 service file patch again

Release 1.1.0

* Incompatible change: sqlite3 and per_user behaviour:
Now both redis and sqlite3 follows the common principles for per-user
statistics:
1) If per-user statistics is enabled check per-user tokens ONLY
2) If per-user statistics is not enabled then check common tokens ONLY
If you need old behaviour, then you'd need to use separate classifier
for per-user statistics.
* Implement redis statistics backend and cache
* Implement autolearning for statistics
* Reworked statistics architecture from scratch
* Add hyperscan (https://github.com/01org/hyperscan) engine for regular
expressions:
- add lazy loader for hyperscan databases
- rework regexp cache to have joint pcre/hyperscan scanning
- implement hyperscan pre-filter support
- add compilation guards for bad expressions
- implement `rspamadm control recompile` command
- implement hyperscan cache monitoring
- slides: <https://highsecure.ru/rspamd-hyperscan.pdf>
* Implement flexible task logging
* Rework fuzzy worker:
- it is now possible to run multiple fuzzy workers;
- implement lazy writing as sqlite3 is bad at concurrent writing;
- add retries for simple sql commands in fuzzy backend;
- use fine-grained transactions for fuzzy;
- implement new multi-pubkeys mode;
- allow encrypted only storages;
- rework statistics for fuzzy;
- add `rspamadm control fuzzystat` command for extended statistics;
- implement human readable output for the previous command;
- add condition script for learning fuzzy storage;
* Various fixes to SPF:
- fix `redirect` records;
- fix domains when parsing mx/ptr/a records in includes/redirects;
- fix issues with multiple addresses in SPF records;
- ignore SPF results in case of DNS failure;
- adjust TTL of records when resolving subelements of SPF records;
- always select `v=spf1` line if it is available
- do not cache records with DNS failure in subrequests;
- ignore records with temporary fails during subrequests resolving;
- fix `RDNS_RC_NOREC` support;
* Add clang plugin for static analysis:
- implement static checks for `rspamd_printf` format strings;
* Add 'allow_raw_input' option for non-mime messages
* Recognize types using libmagic
* Fix parsing of IPv6 received headers
* Add new interface of communication between workers in rspamd
* Add support for named socketpairs
* Don't write URLs by default as it is too verbose
* Set status for HTTP replies
* Try load `rspamd.conf.override`
* Implement words decaying for text parts to limit many checks
* Improve support of SA rules and plugins:
- add check_for_shifted_date and check_for_missing_to_header eval rules;
- add 'check_relays_unparseable' support;
- add `check_for_mime('mime_attachement')` function;
- use new re_cache interface for all SA rules;
- add support for `Mail::SpamAssassin::Plugin::MIMEHeader`;
- add support of 'special' SA headers to `exists` function;
- fix issue when SA metas contain other metas;
- fix freemail rules;
* Many fixes to the URL parser
* Match any newline character in regexps
* Fix resolving of upstreams and detection of poor IPv6 configurations
* Parse upstreams selection algorithm from the configuration line
* Add `reresolve` command to the control interface
* Generate fuzzy hashes from task metadata (URLs and headers)
* Add method to check if IP is local and `local_addrs` option
* Implement forced timeout for delayed filters
* Disable fast path of pcre-jit as it seems to be broken
* Bayes fixes:
- new normalizer function;
- really use weights of tokens from the OSB algorithm;
- restore multiple classifiers support;
* Rules changes:
- add `R_SUSPICIOUS_URL` rule that detects obfuscated URL's;
- improve empty image rule;
- rework `FORGED_RECIPIENTS` rule;
- reduce weight of `SUSPICIOUS_RECIPS`;
- fix `*_NORESOLVE_MX` symbols in hfilter;
- add `SUBJ_ALL_CAPS` rule with support of UTF8
- add spamhaus SBL to uribl
- fix `SUSPICIOUS_RECIPS` and `SORTED_RECIPS` rules
- remove `R_TO_SEEMS_AUTO` as it generates a lot of FP;
- add new Message-ID regexp for Thunderbird (by @moisseev);
* Plugins changes:
- allow ratelimit plugin to set symbol instead of pre-result
- support IP DNS black lists for URIBL (e.g spamhaus SBL);
- drop deprecated SURBL bits (by @fatalbanana)
- rename `JP_SURBL_MULTI` to `ABUSE_SURBL` (by @fatalbanana)
- add `SURBL_BLOCKED` (by @fatalbanana)
- add `CR_SURBL`
- SURBL: allow fallthrough to default symbol (by @fatalbanana)
- Settings: fix IP match (by @fatalbanana)
- SURBL: add missing symbols to metric (by @fatalbanana)
- allow processing images urls for SURBL
- unconditionally disable SPF for authenticated users and local networks
* Rework ratelimit plugin
- switch to `rates` instead of old and stupid strings to setup;
- check if a bucket is zero and disable the corresponding limits'
- turn off all buckets by default;
- check either `rcpt` or `user` buckets, not all together'
- document new `rates` and `symbol` options;
- inform user about what buckets are used in the configuration;
* Add neural network **experimental** plugin
* Add a sample script to learn neural network from rspamd logs
* Add documentation strings support to rspamd:
- add strings for the main configuration options;
- document workers options;
- add internal plugin options;
- create `rspamadm confighelp` routine;
- implement human readable output for the previous command;
- add subtree search support;
- add keyword search support;
* Documentation improvements, tutorials section, statistics description
* Many other minor and major bugfixes not noted here

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Fix an awful memory leak

Small improvement of logging

Rework hyperscan notifies to reduce noise level

Disable fast path of pcre as it seems to be broken

Do not treat unknown worker type as fatal error

Further reduction of spf noise

Reduce noise level for certain records

RDNS_RC_NOREC is equal for NXDOMAIN in case of SPF checks

'>' and '<' are not domain safe symbols

Don't treat all but include/redirect errors as tempfail

Misprint

Check if we have some reply before retransmit