Release 1.8.3

* [CritFix] Make flags mutually exclusive for mime parts
* [CritFix] Strictly deny unencoded bad utf8 sequences in headers
* [Feature] Add Kaspersky antivirus support
* [Feature] Add method to get dkim results
* [Feature] Add more words regexp classes
* [Feature] Allow to choose words format in `rspamadm mime`
* [Feature] Allow to get all types of words from Lua
* [Feature] Allow to get task flags in C expressions
* [Feature] Allow to require encryption when accepting connections
* [Feature] Ignore bogus whitespaces in the words
* [Feature] Implement more strict configuration tests
* [Feature] Improve SPF results in Authentication-Results
* [Feature] Support ClickHouse database
* [Fix] Add failsafety for utf8 regexps
* [Fix] Do not trigger BROKEN_CONTENT_TYPE on innocent text parts
* [Fix] Emit error if connection has been terminated with no stop pattern
* [Fix] Fix boundaries checks in embedded messages
* [Fix] Fix double free
* [Fix] Perform policy downgrade on sample out, add tests
* [Fix] Properly escape utf8 regexps in hyperscan mode
* [Fix] Selectors - attachments args condition
* [Fix] Some fixes for raw parts
* [Fix] Treat learning errors as non-fatal
* [Fix] Use tld when looking for DKIM domains
* [Project] Words unicode structure rework
* [Project] Add preliminary Redis Sentinel support
* [Project] Improve Authentication-Results header
* [Project] Rework DKIM checks results
* [Project] Use more generalised API to produce meta words

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Feature] Implement more strict configuration tests

[Minor] Do not start new symbols when task is being destroyed/cleaned

[Minor] Do not tolerate archives with `text` content type

[Fix] Do not trigger BROKEN_CONTENT_TYPE on innocent text parts

[Minor] Add rspamd_str_make_utf_valid routine + unit tests

[Feature] Support ClickHouse database

Issue: #2655

[Minor] Fix greylisting messages

Issue: #2660

[Minor] Oops, restore tempfail handling in DKIM

[Project] Rework DKIM AR to support RFC6008

[Project] Fix several issues with dkim check results

[Feature] Add method to get dkim results

[Minor] Save dkim check result in mempool variable

[Project] Rework DKIM checks results

[Minor] Fix misprint

[Feature] Improve SPF results in Authentication-Results

Update AUTHORS.md

[Minor] Try to fix race condition in http connection

[Fix] Fix boundaries checks in embedded messages

[Minor] Count words based on text words

[Minor] Fix case when all words are exceptions

[Feature] Allow to choose words format in `rspamadm mime`

[Minor] Allow to get meta words

[Feature] Allow to get all types of words from Lua

[Rules] Use bad_unicode flag for LEAKED_PASSWORD_SCAM rule

Issue: #2649

[Minor] Slightly extend what we can treat as words

[Minor] Support metawords in words regexps

[Feature] Allow to get task flags in C expressions

[Feature] Add more words regexp classes

[Fix] Fix double free

[Fix] Add failsafety for utf8 regexps

[Fix] Perform policy downgrade on sample out, add tests

[Minor] Store the fact that we have utf8 only regexps in corpus

[Test] Add tests for pct=0 case

[Minor] Exclude raw words from words re class

[Fix] Some fixes for raw parts

[CritFix] Strictly deny unencoded bad utf8 sequences in headers

[Test] Add tests for broken richtext case

[Minor] Add extra heuristic for text parts

[CritFix] Make flags mutually exclusive for mime parts

[Fix] Treat learning errors as non-fatal

Issue: #2637

[Minor] Another fail-safety check

[Minor] Fix for DSN

[Feature] Ignore bogus whitespaces in the words

Issue: #2649

[Fix] Use tld when looking for DKIM domains

Issue: #2646

[Project] Use URLs TLDs instead of !!EX!! in stat tokens

[Project] Use more generalised API to produce meta words

[Minor] Ignore skipped words

[Minor] Do not include skipped or empty tokens in fuzzy hash

[Minor] Fix lua tokenize function

[Minor] Fix indefinite loop in language detector

[Minor] Check language detector pointer before use

[Project] Finish basic tasks in new unicode project

[Project] Rework parts conversion and serialization

[Project] Rework language detector to work with ucs32

[Project] Another try to normalize unicode properly

[Project] Various unicode fixes in language detector

[Project] Rework stemming

[Project] Add function to normalize unicode on per words basis

[Project] Start words unicode structure rework

[Minor] Use empty prompt instead of NULL

Issue: #2591

[Minor] Do not use item in classifiers as it causes issues

Issue: #2636

[Minor] Fix hash calculation

[Minor] Do not expand implicit arrays as it breaks things

[Minor] Simplify uniqueness check

[Minor] Fix configuring logic for bayes_expiry

[Project] Migrate fuzzy redis backend to lua_redis

[Project] Use lua_redis for redis_cache as well

[Project] Use lua_redis to configure servers in bayes Redis backend

[Minor] Add function to load redis server config in C using lua_redis

Merge pull request #2644 from moisseev/expiry

[Minor] Fix bayes_expiry disabling

[Minor] Fix bayes_expiry disabling

[Project] Add preliminary Redis Sentinel support

[Fix] Emit error if connection has been terminated with no stop pattern

[Minor] Remove redundant check

[Minor] Check pointer before usage

[Minor] Use is_attachment where useful

[Minor] Add is_attachment method

Merge pull request #2642 from moisseev/headers

[Minor] Add new Message-ID regexp for Seamonkey

[Minor] Add new Message-ID regexp for Seamonkey

Resolves #2634

[Feature] Add kaspersky antivirus support

[Minor] Oops, save content if file

[Minor] Support normal logic of scanning for savapi

[Minor] Slightly improve antivirus parts selection logic

Merge pull request #2640 from HeinleinSupport/selectors

[Fix] Selectors - attachments args condition

[Minor] Fix tests

[Fix] Selectors - attachments args condition

Merge pull request #2638 from HeinleinSupport/selectors

[Minor] Selectors - add hash support to attachments selector

[Fix] Properly escape utf8 regexps in hyperscan mode

[Minor] Improve debugging in spf

[Feature] Allow to require encryption when accepting connections

[Minor] Improve encryption requirement error code

[Minor] Allow to require encryption when checking messages

[Minor] Selectors - add hash support to attachments selector

Merge pull request #2635 from philfry/fix_preproc

[Minor] Fix preprocessor syntax for old compilers

fix preprocessor syntax

[Minor] Update version to 1.8.3

Release 1.8.2

* [Conf] Add DWL support in the default configuration
* [Conf] Disable rspamd_update by default (again)
* [Conf] Fix configuration sample for ratelimit
* [CritFix] Disable broken url tags by default
* [CritFix] Fix \0 processing when doing RSA sign
* [CritFix] Fix adding symbols to their primary groups
* [Feature] Add `rspamadm cookie` utility
* [Feature] Add specialised functions for generating encrypted cookies
* [Feature] Add support of cookies in replies module
* [Feature] Add support of words regexps
* [Feature] Allow to add 3rd party clang plugins
* [Feature] Allow to create lua regexps from glob or plain patterns
* [Feature] Allow to set custom limits for upstream lists
* [Feature] Detect orphaned parts and attach them to message
* [Feature] Filter tokens in bayes
* [Feature] Fold b= value when doing arc sealing
* [Feature] Ignore cookies in the future and too old in the past
* [Feature] Skip stop words in statistics
* [Feature] Store stop words and allow to query them
* [Feature] Support query arguments in controller's custom commands
* [Feature] Tune upstream limits in Rspamd proxy
* [Feature] Use different callback symbols for different uribls
* [Feature] Write DKIM selector in dkim allow/reject symbols
* [Fix] Add obs_fws state support to eoh state machine
* [Fix] Add sanity check when applying mime boundaries heuristic
* [Fix] Antivirus - virus names with 0 were recognized as tables
* [Fix] Disable headernames in bayes temporarily
* [Fix] Do not allow syntax errors in include files...
* [Fix] Do not allow to merge an object with an array (or vice versa)
* [Fix] Don't perform forged recipients check for missing recipients
* [Fix] Fix DKIM based RBLs
* [Fix] Fix actrie implementation (sync from upstream), fixed OOB read
* [Fix] Fix explicit methods call in selectors
* [Fix] Fix extraction of additional parts
* [Fix] Fix finalization for internal plugins
* [Fix] Fix override_defaults function
* [Fix] Fix squeezed symbols when using settings
* [Fix] Fix urls insertion in Clickhouse module
* [Fix] Furhter fixes to ratelimits logic
* [Fix] Ignore signatures when looking for boundaries
* [Fix] Properly set learned count
* [Fix] Really fix ratelimits configuration and work
* [Fix] Remove ambigious format flag from printf
* [Fix] Restore URLs exporting in ClickHouse plugin
* [Fix] Rework bayes calculations...
* [Fix] Switch from chi-square to naive for large Fisher value
* [Fix] Treat normal password as enable password if there is no enable password
* [Fix] Use proper syntax for making DNS requests
* [Fix] Various fixes in embedded plugins
* [Project] Change fuzzy check selection logic to lua_fuzzy library
* [Project] Rework async events and symbols
* [Project] Move all metatokens in Bayes to lua_stat from C
* [WebUI] Add history rows per page control

Signed-off-by: Vsevolod Stakhov <vsevolod@highsecure.ru>

[Minor] Reduce startup noise

[Conf] Fix configuration sample for ratelimit