Merge pull request #707 from fatalbanana/rpm

[Fix] Update RPM spec/sources (#700)

[Minor] Fix improperly understood flag when maping private key

[Fix] More fixes to end of headers detection

[Rework] Fix DKIM headers canonicalization

[Fix] Properly detect end of headers position

[Feature] Store raw headers value to use them in DKIM

[Fix] Another refcount fix

[Fix] Update RPM spec/sources (#700)

[Fix] Fix start of body detection in DKIM

[Fix] Fix dkim private keys operations

Merge pull request #706 from moisseev/check_extension

Fixes for check_mime_type function

Merge pull request #705 from fatalbanana/dmarc

Allow for disabling DMARC reporting when Redis is configured globally

Merge pull request #704 from AlexeySa/patch-10

[Fix] Fix redis set request in replies plugin

[Minor] Do not pollute symbol options with (long) filenames

[Fix] Fix next-to-last extension length check

- Insert `symbol_bad_extension` even if length check fails for double extension
- Use extension length check with non-archive bad extensions as well
- Optimize check_mime_type funtion code

[Doc] Update & rework DMARC module docs

[Fix] Allow for disabling DMARC reporting when Redis is configured

 - Also disable this by default
 - Added disposition to report information
 - Reports should be stored for mail that passed DMARC too

Update replies.lua

[Fix] Fix redis set request in replies plugin

[Fix] Fix parsing of rarv5 archives

Issue: #703
Reported by: @moisseev

Merge pull request #702 from moisseev/mime_types

[Minor] Do not treat numbers as extensions in archived file names

Merge pull request #701 from fatalbanana/lua

[Fix] Fix rspamd_redis_make_request syntax in replies plugin

[Feature] Show DKIM signature in rspamc client

[Feature] Send DKIM signature to protocol reply

[Feature] Implement dkim signing in dkim check plugin

[Fix] Fix body start position

[Minor] Do not treat numbers as extensions in archived file names

Do not insert 'MIME_DOUBLE_BAD_EXTENSION' sybmol if next-to-last extension is a number.

[Fix] Fix rspamd_redis_make_request syntax in replies plugin

[Minor] Further adjustments

[Minor] Slightly adjust multipliers for M$ Word and PDF files

[Feature] Support DKIM signing

[Fix] Fix writing of HTTP messages

[Fix] Always use shmem on linux

[Fix] Fix files fallback for shmem transfer

[Fix] Add filenames sanity filtering for mime types

[Minor] Fix couple of warnings and disable -pedantic mode

[Fix] Fix potential NULL dereference

[Feature] Add new symbols to filter bad extensions in messages

* MIME_ENCRYPTED_ARCHIVE - encrypted archive has been found
* MIME_ARCHIVE_IN_ARCHIVE - archive is enclosed within another archive
* MIME_DOUBLE_BAD_EXTENSION - double extension to hide something
* MIME_BAD_EXTENSION - bad extension in attachement or archive

[Fix] Fix whitelists and blacklists in SA rules

[Feature] Store more information about compressed files

[Feature] Add rar v4 support

[Feature] Add preliminary rarv5 support

[Fix] Avoid `table.getn` method as it has been removed in lua 5.3

Issue: #697
Reported by: @jessbo

[Feature] Add better zip files search algorithm

[Fix] Match archive name as well

[Feature] Support archives when matching patterns in multimap

[Feature] Add new utility methods to mimepart object

[Feature] Add lua API for getting info from archives

[Fix] Include some more information about archives

[Feature] Support archive files list extraction

[Rework] Remove dedicated images list

[Rework] Rename mime parts structures

[Feature] Support EXIF jpeg images

[Minor] Adjust array size for fuzzy commands

[Fix] Avoid double hashing for images

Merge pull request #694 from moisseev/phishing-FQDN

[Feature] Supprort FQDNs in phishing module maps

Fix typo

[Feature] Supprort FQDNs in phishing module maps

Merge pull request #693 from fatalbanana/robot-tests

[Test] Add & rework functional tests

[WebUI] Use local copy of d3evolution

[WebUI] Rework webui

- Remove uploaders as they are utterly broken
- Simplify actions loading
- Rework interface loading

[Test] Add & rework functional tests

 - Machine formatted test data
 - More idiomatic use of test framework
 - Added tests for fuzzy & redis statistics

[Fix] Another d3evolution update

[Fix] Fix rows calculation in graph

[Feature] Interpolate points sent to webui

[Fix] Update d3evolution version

[Feature] Enable rrd by default

[WebUI] Enable throughput graph show

[Fix] Correctly parse query type

[Fix] Treat NaN values properly in graph command

[Fix] Improve rrd diagnostic errors

[Fix] Try to avoid FP when checking for phished URLs

[Feature] Improve phishtank and openphish support

[Fix] Fix scheduling of locked map events

Merge pull request #692 from moisseev/conf-composites

[Conf] Allow easy adding composites

Merge pull request #691 from moisseev/conf-fuzzy_check

[Conf] Fix fuzzy_check.conf includes order

[Doc] Add link to fuzzy storage doc

[Conf] Allow easy adding composites

[Conf] Fix fuzzy_check.conf includes order

This fixes #672 and fixes #563.

[Feature] Show symbols description in scan output

[Feature] Implement zero-copy mode for HTTP reading

[Fix] Improve phishing module logging

[Fix] Do not leave temporary maps cached

[Fix] Fix maps locking

[Feature] Humanize numbers in stats widgets

[Feature] Always allow to terminate rspamd

Merge pull request #689 from moisseev/patch-1

[Minor] Correct grammar

Merge pull request #686 from fatalbanana/robot

Minor tweaks for test suite

Merge pull request #687 from moisseev/batv

[Feature] Add support for non-standard BATV signatures

[Minor] Correct grammar

[Feature] Add support for non-standard BATV signatures

[Test] Fix Python3 compatibility

[Test] Add generic rspamc result processor

[Feature] Add workaround for systems without sane shmem support

OSX is so POSIX, such Unix, wow!

[Fix] Fix build with the new tests framework

[Feature] Add test to check shared memory support sanity

[Minor] Add more debugging possibilites for maps code

[CritFix] Fix leak of shared memory fds and files

[Fix] Fix memory leak in unsigned maps reading

[Fix] Fix a stupid misprint in word 'phishing'