Optimize performance of expiration.

More sync optimizations.

First attempt to clean orphaned elements.

Enable foreign keys in sqlite3.

Fix shingles merging.

Fix duplicate cases in merge operation.

Improve logging for merging.

Add merge logic.

Start fuzzy_merge command.

Add functional test for task flags API.

Add task:set_flag and task:get_flags.

Issue: #382

Add no_stat flag.

Issue: #382

Show learned counter.

Issue: #383

Save learned messages count.

Add strict mode for configtest.

Add logger counters.

Slightly improve help messages.

Add configtest command.

Implement generating keypairs via rspamadm.

Allow metric registration for composite expressions.

Add encrypted length guard.

Add `pw` utility to manage rspamd passwords.

Move constant_memcmp to libutil code.

Improve passing of arguments to commands.

Add rspamadm routine.

Set C locale for numeric values.

Add more verbosity to parsing of values.

Correctly set locale before start.

Try to fix crashes when GString is reallocated.

Issue: #381

Fix piechart clean slice.

Issue: #380

Update version to 1.0.3

Release 1.0.2

* Fix critical bug in webui that prevents password from being sent
* Rework webui view:
- Switch to d3.js for graphs
- Improve piechart look
- Rework colors for piechart
- Fix layout for symbols
- Fix refresh button
* Add descriptions for whitelist maps
* Fix build on arm (#379)
* Fix issue with the last element in the radix trie
* Add more tests for radix trie algorithm
* Allow to extract URLs from query strings of other URLs (#361)
* Initialize rrd fields before writing to file
* Fix double free if no password has been specified

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Search for urls in query parts of html urls as well.

Fix double free if no password has been specified.

Reported by: Golub Mikhail

Initialize rrd fields before writing to file.

Allow to extract URLs from query strings of other URLs.

Issue: #361
Reported by: @socksrambler

Add tests for the problematic case in radix trie.

Fix issue with the last element in the radix trie.

Update webui.

Reiterate on colors one more time.

Fix issue with va_list passing.

Issue: #379
Reported by: @Gottox

Improve pie colors.

Add descriptions for whitelist maps.

Rename main.h and main.c to `rspamd.X`

Update version number to 1.0.2.

Release 1.0.1

* Add writing to rrd from the controller
* Fixed lots of bugs in rrd code
* Adopt new DNS API in hfilter plugin (by @AlexeySa)
* Allow only one controller process to manage rrd file
* Set event base for fuzzy calls
* Improve fuzzy IO errors logging
* Add rra extraction function to rrd library
* Add graph handler to the controller
* Cache correct passwords to avoid too high CPU usage when working with webui
* Controller sockets are owned by router do not export them to task
* Optimize logging by skipping hash table search if it's empty
* Fix loading issue whith broken statfiles
* Print assertions from glib to rspamd logger
* Load legacy `lua/rspamd.local.lua`
* Update webui with some fixes to learning and scanning

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Update webui.

Load legacy `lua/rspamd.local.lua`

Fix issue when there is no reject score for any metric.

Print assertions from glib to rspamd logger.

Fix issue whith broken statfiles.

Fix time for /graph.

Optimize logging by skipping hash table search if it's empty.

Controller sockets are owned by router do not export them to task.

Cache correct passwords to avoid too high CPU usage.

Add graph handler to the controller.

Add rra extraction function.

Fix assignment order.

Improve fuzzy IO errors logging.

Set event base for fuzzy calls.

Perform some rrd file check.

Adjust rrd intervals.

Preserve worker's index when restaring workers.

Allow only one controller process to manage rrd file.

Merge pull request #373 from AlexeySa/patch-6

Fix Hfilter plugin with the new DNS API

Fix Hfilter plugins with the new DNS API

Fix a stupid bug in rrd event initialization.

Improve rrd tests.

Add writing to rrd from the controller.

Update version to 1.0.1

Update `add header` action in the settings.

Update statistics documentation.

Merge pull request #371 from fatalbanana/master

Merge changes from OBS (except for EL6 stuff)

Merge changes from OBS (except for EL6 stuff)

Add migration notes.

Release 1.0.0

* Rework symbols processing:
- Improve sorting logic for symbols
- Organize processing into multiple stages
- Added asynchronous watchers for symbols
- Added ability to organize dependencies between symbols
* Fixed URL redirector:
- Use optimized POE loop
- Organize dependencies
- Fix startup
* New sqlite3 backend:
- Allow to have per-languages and per-user statistics
- Allow sqlite3 to be used as statistics backend
* Store tokenizer configuration within statfiles
* Improve bayes statistics:
- Use headers and images metainformation in bayes
- Suggest using of pre-processed tokens for statistics
- Fix tokens normalization for OSB algorithm
* Rewrite url parsing:
- Fix numerous issues with url extraction and normalization
- Fix mailto urls
* Fix settings plugin to allow custom actions scores
* Improve rbl plugin
* Allow capturing patterns in rspamd lua regexp library
* Add GTUBE support
* Fix spamc legacy support
* Add DKIM support to RBL module
* Fix issues with multiple DKIM signatures
* Fix issue if rspamd cannot create statfiles (#331)
* Rework parts and task structure:
- Now text_parts, parts and received are arrays
- Pre-allocate arrays with some reasonable defaults
- Use arrays instead of lists in plugins and checks
- Remove unused fields from task structure
- Rework mime_foreach callback function
- Remove deprecated scan_milliseconds field
* Add ip_score plugin support (not enabled by default):
- Can check for asn/country and network using DNS lookups
- Can store and load reputation from redis server
* Improve PARTS_DIFFER rule to count merely different words
* New HTML parser:
- Parses HTML parts using a set of state machines
- Extracts useful data and exports it to lua functions:
+ Styles
+ Images
+ URLs
+ Colors
+ Structure elements
- Added HTML rules for some checks
* New version of LUA DNS API
* Table versions of many functions in LUA API
* Improve rspamc client:
- Print execution time
- Allow executing of external commands and passing output to them
- Allow mime output mode when rspamc alters message according to rspamd
checks and send it to an external command or stdout
* Allow scanning of local files using HTTP requests
* Rework configuration system:
- Rules are now moved from the $CONFDIR to $RULESDIR to avoid ambiguity
- All modules configurations are now split in $CONFDIR/modules.d/* to
simplify upgrades
- Move hfilter to plugins
- Allow plugins and rules to define default scores to simplify metrics
setup
- Include overrides for all modules to honor local/automatic parameters
- Tune scores for many modules
* Rework and enable DMARC plugin
* Add whitelist plugin for SPF/DKIM/DMARC based whitelisting
* Add some common domains to whitelists shipped with rspamd
* Rework logging:
- Now each log entry supports module name and a `tag`. Tag is used to
identify unique objects (such as tasks) when checking log files
- It is possible to turn on debugging for the specific modules
- Systemd logging is fixed
* Improve spamassassin plugin.
- Now headers are matched more like SA
- Improve support of Message-ID
- Add support of ToCc header type
- Fix :addr and :name in headers regexps
* Resurrect rrd support code
* Save controller stats between restarts
* Fixed tonns of bugs
* Added tonns of minor improvements and features
* Added more unit tests
* Create functional tests framework
* Added documentation for missing modules
* Added rpm/deb repositories and scripts
* Updated WebUI and libucl externals

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

Add 0.9.10 changelog entry.

Merge pull request #370 from fatalbanana/master

Fix DKIM RBL

Fix DKIM RBL

Update linux build specs.

Set one shot mode for dkim.

Further reduce hfilter weights.

Check DKIM domain when whitelisting by DKIM signature.

Improve dkim domains validation for DMARC

Indexes start from 1 in lua!!!!

Sanitize spaces in headers' start.

Enable systemd logging in systemd configuration.

Add special knob for systemd logging.

Add facebookmail.com to dmarc whitelist.

Adjust scores for whitelists slightly.

Use tld for whitelisting.

Fix wrongly placed g_string_free.

Allow optional multiplier for whitelists.

Fix logging in DNS.

Print IP address in logs.

Add whitelist configuration.

Use new statistics format in the default config.

Match domain name for simple dkim signatures.

Add Karp-Rabin algorithm for substrings search.

Fix multiple DKIM signatures for relaxed method.