New dcc module

[Feature] Implement preliminary code for fann autolearn

[Feature] Add method to get number of symbols in the cache

[Feature] Extend log structure

[Feature] Execute lua scripts by log helper

[Feature] Add on load hooks for rspamd_config

[Feature] Add worker scripts functionality

[Feature] Add task:get_symbols_numeric method

[Feature] Add util.stat function

[Feature] Add util.get_ticks function

Merge pull request #583 from smfreegard/uribl_sbl_fix

Add URIBL_SBL_CSS

[Fix] Some fixes for log pipe handling

[Feature] Add new auxiliary methods for symbols cache

[Minor] Add startup mutex

[Minor] Some fixes

Add URIBL_SBL_CSS

[Feature] Add preliminary version of log_helper worker

[Feature] Start client implementation for logging pipes in rspamd

[Feature] Add magic for all workers' contexts

[Minor] Move shared parts of worker definition to a separated header

[Feature] Unify mandatory workers spawning

[Feature] Rework system of workers' flags

[Feature] Implement log pipe feature for rspamd logs analysis

[Feature] Allow to attach fd when broadcasting to workers

[Feature] Allow to send descriptors from workers to main

[Feature] Allow to attach file descriptors to control commands

[Fix] Try to set redis to NULL to avoid double free

[Fix] Change copy strategy in strlcpy

[Fix] Save required score in history

Issue: #581

[Fix] Fix strlcpy startup

[Feature] Allow to print compact json in client

[Feature] Add support of half-closed connection in lua_tcp

Merge pull request #579 from fatalbanana/master

Whitelist fixes

[Fix] Fix DMARC whitelist misconfiguration

[Minor] Fix iterator

[Feature] Optimize strlcpy for aligned input

[Feature] Rework whitelist module

- Now we check different elements for different checks
- MIME from for DMARC
- DKIM signature domain for DKIM
- SMTP from or HELO for SPF

[Minor] Update version to 1.2.3

Release 1.2.2

* Use HTTP Content-Type on non mime input if possible
* Save log level when compressing log messages
* Further rework of composite rules (add '^' prefix)
* Add tracking for rspamd expressions
* Store actions limits in metric result
* Fix parsing of include/redirect with many records in SPF
* Add method to disable symbols execution in the cache
* Allow to disable checks from settings
* Allow to select settings by id in HTTP query
* Find URLs with '\r' and '\n' inside href attribute
* Implement vectored mode for hyperscan (experimental)
* Improve client connection errors diagnostics
* Allow to edit new files with signtool
* Improve hashes performance on 32 bit platforms
* Fix sorting of limits
* Remove slow and unused rules `INVALID_EXIM_RECEIVED*`
* Add expression:process_traced lua method
* Allow tables in task:insert_result
* Save trace for SA metas
* Do not parse broken TLD parts in URLs
* Investigate many border cases in URLs parser

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Fix log level for repeated message

[Fix] Fix regexp rule

[Fix] Investigate many border cases in URLs parser

[Fix] Do not parse broken TLD parts

[Feature] Save trace for SA metas

[Feature] Allow tables in task:insert_result

[Feature] Add expression:process_traced method

[Feature] Add task:get_symbols method

[Fix] Remove slow and unused rules `INVALID_EXIM_RECEIVED*`

[Tests] Add more tests for expressions

[Fix] Fix sorting of limits

[Fix] Fix saving of regexp atoms strings

[Feature] Use XXH64 on 64 bits platforms only

[Fix] Allow to edit new files with signtool

[Fix] Print error when cannot connect to rspamd

[Fix] Fix return value from the function

[Fix] Improve parsing of the connect string for the client

[Feature] Implement vectored mode for hyperscan

Rspamd can now use the fastest possible mode of hyperscan to allow
further speed up in regexps matching.

[Feature] Improve processing of headers to lua

[Feature] Add method to get headers as array for speed

[Minor] Add vectorized_hyperscan configuration knob

No underlaying functionality is implemented yet.

[Feature] Find URLs with '\r' and '\n' inside href attribute

[Feature] Allow to select settings by id in HTTP query

[Feature] Allow to disable checks from settings

[Feature] Add method to disable symbols execution in the cache

[Fix] Rework settings actions in symbols cache

[Fix] Fix parsing of include/redirect with many records in SPF

[Feature] Simplify actions application by the settings

[Feature] Store actions limits in metric result

[Feature] Add tracking for rspamd expressions

[Doc] Add new composites documentation

[Fix] Do not use '|' symbol as it is operator's symbol

Replace '|' with '^'.

[Feature] Further rework of composite rules

Now it is possible to force removal for a symbol in a composite by adding
'|' symbol to its name.

[Fix] Save log level when compressing log messages

[Feature] Use HTTP Content-Type on non mime input if possible

[Minor] Remove legacy interface

[Minor] Update version to 1.2.2

Release 1.2.1

* Add list support to `mime types` module configuration (by @moisseev)
* Allow symbols params to be printed in logs
* Fix `MIME_BAD_ATTACHMENT` false positives for MDN/DSN
* Fix crashes on arm32
* Do not classify message if some class is missing
* Fix cryptobox cleanup
* Remove multipart/report from bad mime types (#569)
* Improve logging for fuzzy hashes
* Show map URLs in webui
* Sort symbols in webui

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Feature] Sort symbols in webui

[Feature] Show map URLs in webui

[Feature] Improve logging for fuzzy hashes

[Fix] Remove multipart/report from bad mime types

Issue: #569
Reported by: @moisseev

[Fix] Fixed cryptobox cleanup

Merge pull request #568 from moisseev/patch-4

[Fix] `MIME_BAD_ATTACHMENT` false positives for MDN

[Feature] Do not classify message if some class is missing

[Fix] Fix crashes on arm32

[Minor] Update version to 1.2.1

[Fix] `MIME_BAD_ATTACHMENT` false positives for MDN/DSN

[Feature] Allow symbols params to be printed in logs

Merge pull request #567 from moisseev/patch-3

[Feature] Add list support to `mime types` module configuration

[Feature] Add list support to `mime types` module configuration

- this change allows to configure several mime types for an extension like ```txt = [ "message/disposition-notification", "text/plain", "text/rfc822-headers" ];```
- `type` variable replaced with `mtype` as `type` is lua reserved word

Merge pull request #564 from fatalbanana/master

[Minor] Update CentOS service file patch

[Minor] Update CentOS service file patch

[Minor] Another fix to number of `~` symbols...

[Minor] Fix markdown

Release 1.2.0

* New dynamic updates plugin
* Regular expressions map support
* Faster radix trie algorithm
* Faster siphash for AVX2 supporing CPUs (used in fuzzy hashes)
* PCRE2 support
* Allow quoted and slashed keys in map
* Add proper support of DNS resolvers balancing (#552)
* Rework includes and configuration system for better local changes support
* New keypairs framework for signing and encryption
* Added support for dynamic modules and workers
* Allow to dump configuration with help comments
* Rework once_received module
- Fix priority for `good_hosts`
- If a good host has been found do not add once_received symbols
- Fix priorities for strict once_received
- Add ability to whitelist IP addresses
* Implement support of signed maps for HTTP and file maps
* Add command to sync fuzzy storage (#533)
* Rework system of symbols and actions registration
It is possible now to use priorities when adding symbols to metrics and
override scores for symbols with lower priority with the scores with
high priority.
* Add auth support and db selection for redis stats
* Improve composite rules application
* Add ignore_received option
* Fix critical issue with inconsistent resorting
* Fix `all` in spf redirects
* Add punycoded versions for IDN domains (#554)
* Improve sorting order for symbols cache
* Add lockless logging for processes management
* Allow to specify flags for metric symbols
* Load images height and width from style attribute (#538)
* Override DNS requests limits for SPF and DKIM
* Fix resetting symbols to their default values in WebUI
* Improve configuration agility for redis stats
* Allow to set db and password for redis in stat_convert
* Import the latest libucl
* LUA API changes:
- Add rspamd_version function to LUA API
- Add lua_cryptobox module
- Add lua_map module
- Add task:set_metric_action lua API method
- Fix race condition in lua_tcp module
- Fix a lot of issues in lua_redis module
- Rework and abstract lua maps API
- Add util.strlen_utf8 lua function
- Add lua functions for caseless comparison
- Allow optional symbols registration
- Add config:add_map table form method, add regexp maps
- Add task:has_urls method
- Add task:has_flag method
- Add html tags methods to lua_html
- Add task:get_dns_req
* Plugins changes:
- Add support for WLBLEval SA plugin
- Use caseless comparison in SA and DMARC plugins
- Allow SA plugin to set scores for rspamd symbols
- Add regexp maps support to multimap
- Allow filenames match in multimap
- Add more filters for the existing map types
- Fix html images rules to reduce FP rates
* New rules:
- LONG_SUBJ - too long subject
- MIME_BAD_ATTACHMENT - bad attachement type
- RDNS_NONE - no reverse DNS record for sender's IP
- Fix MISSING_MIMEOLE rule for modern OE
* Many other bugfixes, memory leaks plugs thanks to:
- Coverity scan
- New gcc-6 warnings
- valgrind manual iterations
* Documentation improvements:
- FAQ list: https://rspamd.com/doc/faq.html
- Reworked quick start guide
- Added documentation for all active modules
* Other changes:
- Dropped Ubuntu Vivid support
- Added Ubuntu Xenial support
- Rework build system for rspamd and rmilter

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Doc] Add mime_types documentation

[Doc] Add some documentation for rspamd update

[Feature] Allow base32 keys in maps

[Minor] Add some more info about systemd failures

[Doc] Use UCL highlighter instead of nginx