Merge pull request #564 from fatalbanana/master

[Minor] Update CentOS service file patch

[Minor] Update CentOS service file patch

[Minor] Another fix to number of `~` symbols...

[Minor] Fix markdown

Release 1.2.0

* New dynamic updates plugin
* Regular expressions map support
* Faster radix trie algorithm
* Faster siphash for AVX2 supporing CPUs (used in fuzzy hashes)
* PCRE2 support
* Allow quoted and slashed keys in map
* Add proper support of DNS resolvers balancing (#552)
* Rework includes and configuration system for better local changes support
* New keypairs framework for signing and encryption
* Added support for dynamic modules and workers
* Allow to dump configuration with help comments
* Rework once_received module
- Fix priority for `good_hosts`
- If a good host has been found do not add once_received symbols
- Fix priorities for strict once_received
- Add ability to whitelist IP addresses
* Implement support of signed maps for HTTP and file maps
* Add command to sync fuzzy storage (#533)
* Rework system of symbols and actions registration
It is possible now to use priorities when adding symbols to metrics and
override scores for symbols with lower priority with the scores with
high priority.
* Add auth support and db selection for redis stats
* Improve composite rules application
* Add ignore_received option
* Fix critical issue with inconsistent resorting
* Fix `all` in spf redirects
* Add punycoded versions for IDN domains (#554)
* Improve sorting order for symbols cache
* Add lockless logging for processes management
* Allow to specify flags for metric symbols
* Load images height and width from style attribute (#538)
* Override DNS requests limits for SPF and DKIM
* Fix resetting symbols to their default values in WebUI
* Improve configuration agility for redis stats
* Allow to set db and password for redis in stat_convert
* Import the latest libucl
* LUA API changes:
- Add rspamd_version function to LUA API
- Add lua_cryptobox module
- Add lua_map module
- Add task:set_metric_action lua API method
- Fix race condition in lua_tcp module
- Fix a lot of issues in lua_redis module
- Rework and abstract lua maps API
- Add util.strlen_utf8 lua function
- Add lua functions for caseless comparison
- Allow optional symbols registration
- Add config:add_map table form method, add regexp maps
- Add task:has_urls method
- Add task:has_flag method
- Add html tags methods to lua_html
- Add task:get_dns_req
* Plugins changes:
- Add support for WLBLEval SA plugin
- Use caseless comparison in SA and DMARC plugins
- Allow SA plugin to set scores for rspamd symbols
- Add regexp maps support to multimap
- Allow filenames match in multimap
- Add more filters for the existing map types
- Fix html images rules to reduce FP rates
* New rules:
- LONG_SUBJ - too long subject
- MIME_BAD_ATTACHMENT - bad attachement type
- RDNS_NONE - no reverse DNS record for sender's IP
- Fix MISSING_MIMEOLE rule for modern OE
* Many other bugfixes, memory leaks plugs thanks to:
- Coverity scan
- New gcc-6 warnings
- valgrind manual iterations
* Documentation improvements:
- FAQ list: https://rspamd.com/doc/faq.html
- Reworked quick start guide
- Added documentation for all active modules
* Other changes:
- Dropped Ubuntu Vivid support
- Added Ubuntu Xenial support
- Rework build system for rspamd and rmilter

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Doc] Add mime_types documentation

[Doc] Add some documentation for rspamd update

[Feature] Allow base32 keys in maps

[Minor] Add some more info about systemd failures

[Doc] Use UCL highlighter instead of nginx

[Doc] Update redis backend documentation

[Fix] Lowercase keys in SA lists

[Fix] Fix resetting symbols to their default values in WebUI

[Fix] Fix a bug in MIME_BAD_ATTACHMENT rule

Issue: #561
Reported by: @moisseev

[Minor] Add `trusted_ips` alias

[Doc] Add chartable documentation

[Doc] Document new map types and features

[Feature] Rework composite rules application

First of all exclude all elements with any parent that is negation:
`!A || B` -> here we can have both !A and B matched, but we do *NOT*
want to remove symbol in that case.

 We apply the following logic subsequently:
- if no composites would like to save score then we remove score
- if no composites would like to save symbol then we remove symbol

[Feature] Save operation node for expressions atoms

[Minor] Place default extensions map to the config

[Minor] Add HS_FLAG_SINGLEMATCH for re maps

[Feature] Add filename multimap type

[Feature] Allow regexp maps for mime types

[Feature] Add MIME_BAD_ATTACHMENT rule for bad attachment types

[Feature] Add punycoded versions for IDN domains

Issue: #554
Reported by: @moisseev

Merge pull request #559 from moisseev/patch-2

[Minor] Raise `LONG_SUBJ` threshold

[Feature] Add regexp maps support to multimap module

[Minor] Fix loading of regexp maps

[Fix] Allocate ids array in case of hyperscan

[Minor] Fix description of rspamd_lua_parse_table_arguments

[Feature] Add config:add_map table form method, add regexp maps

[Minor] Raise `LONG_SUBJ` threshold

[Feature] Allow to extract functions from lua tables

[Feature] Add method to check regexp maps

[Feature] Allow to set db and password for redis in stat_convert

[Fix] Fix couple of issues with arguments in lua_redis

[Fix] Fix parsing of address:port

[Feature] More sane configuration for redis statistics

[Fix] Improve diagnostic for url misdetection

[Feature] Add support for regexp maps

[Fix] Do not check empty html components

[Fix] Restore described behaviour for some lua functions

[Feature] Rework rspamd DNS to use the ordinary upstreams rotation

Issue: #552
Reported by: @Freeaqingme

[Minor] Nameservers are now raw ucl object

[Feature] Add workaround for master-slave definitions

[Feature] Allow forced and non-forced upstreams selection

[Fix] Fix parsing upstreams from UCL

[Feature] Allow raw ucl options in the config

[Feature] Allow iterating over upstreams

[Feature] Add flags and opaque data to upstreams

[Feature] Rework librdns to interact with external upstreams

[Minor] Add EV_CLOSED support for guard event

[Minor] Fix some errno handling

[Minor] Ensure that socket received is non-blocking

[Minor] Fix map callback type

[Feature] Allways clear maps on exit

[Fix] Fix memory leak in HTTP request code

[Feature] Allow quoted and slashed keys in maps

[Feature] Restore locking logic for HTTP maps

[Fix] More fixes to maps resources management

[Fix] Rework map reading state machine

[Fix] Switch to refcounts to avoid more races

Issue: #550
Reported by: @moisseev

[Fix] Fix another memory issue with lua maps

Issue: #550
Reported by: @moisseev

[Fix] Fix memory allocation in fstring

[Fix] Fix potential HTTP connection structure corruption

Issue: #550
Reported by: @moisseev

[Fix] Use CAS for atomic maps lock

[Feature] Allow data for all maps types

[Minor] Add flag for embedded maps

[Feature] Print map id when using it in lua logger

[Feature] Add map:get_uri method

[Fetaure] Be more clever about map timeouts

[Fix] Fix case when DNS resolver is not initialized

[Feature] Add task:get_dns_req method

[Feature] Override DNS requests limits for SPF and DKIM

[Minor] Revert disabling of fast path

[Minor] Disable pcre jit fast

[Feature] Add more information about regexps

[Feature] Load images height and width from style attribute

Issue: #538
Submitted by: @moisseev

[Fix] Always try to use height and width for images

[Minor] Set value even if a string cannot be converted to a number

[Doc] Add comments about configuration

[Feature] Rework includes system in the configuration

[Feature] Add LOCAL_CONFDIR option

[Doc] Describe new way to redefine symbols

[Feature] Rework includes and configuration system

[Feature] Allow priorities in dynamic updates

[Feature] Add default dynamic updates configuration

[Fix] Fix HTTP maps updates

[Feature] Add function to *properly* print HTTP date

strftime is badly broken and polluted by brain-damaged people that
think that locales in libc is a good idea. It isn't.

[Feature] Use Last-Modified header

[Fix] Fix multiple issues with http maps

[Fix] Fix parsing of HTTP maps

[Minor] Add restart to systemd service

Issue: #91
Reported by: @damned-trooper

[Fix] Add guard when searching for email urls

[Fix] Do not allow empty IP addresses to be parsed

[Fix] Skip invalid addresses when parsing IP lists

[Minor] Zero new nodes in btrie

[Fix] Plug memory leak in lua_fann

[Minor] Explicitly set ENABLE_LUAJIT in debian rules

[Fix] Fix versions comparison