[Doc] Final changes to writing_rules.md

[Doc] Initial changes to writing_rules.md

[Doc] Update migrate_sa.md

[Doc] Update tutorials index

[Doc] Update Documentation index

Merge remote-tracking branch 'upstream/master'

* upstream/master: (36 commits)
  [Feature] Add versions to fuzzy storage
  [Fix] Another fix for maps scheduling
  [Fix] Fix events handling when scheduling map wacth
  [Fix] Try to fix false positive URL detections in text parts
  [Fix] Include fuzzy key to distinguish storages with different keys
  [Feature] Rework and improve fuzzy storage
  [Test] Add static test for shingles
  [Minor] Adjust hashes
  [Feature] Use metrohash as well
  [Minor] 8 bytes fits perfect for mumhash
  [Fix] Fix handling of the same words
  [Feature] Further micro-optimizations for hashing and shingles
  [Feature] Optimize alignment to speed up hashing
  [Feature] Try to select the optimal possible function for input
  [Feature] Limit logging of elements that could have too many items
  [Feature] Add more algorithms for shingles generation
  [Fix] Fix compilation issue
  [Feature] Use mumhash for words hashing
  [Feature] Add and use mumhash for non-crypto hashing
  [Feature] Add a simple script to evaluate rspamd rules in the logs
  ...

[Feature] Add versions to fuzzy storage

[Fix] Another fix for maps scheduling

[Fix] Fix events handling when scheduling map wacth

[Fix] Try to fix false positive URL detections in text parts

[Fix] Include fuzzy key to distinguish storages with different keys

[Feature] Rework and improve fuzzy storage

- Allow multiple algorithms in fuzzy rules
- Cache fuzzy requests to avoid expensive calculations for multiple
  fuzzy storages
- Simplify request generating procedure

[Test] Add static test for shingles

[Minor] Adjust hashes

[Feature] Use metrohash as well

[Minor] 8 bytes fits perfect for mumhash

[Fix] Fix handling of the same words

[Feature] Further micro-optimizations for hashing and shingles

[Feature] Optimize alignment to speed up hashing

[Feature] Try to select the optimal possible function for input

[Feature] Limit logging of elements that could have too many items

[Feature] Add more algorithms for shingles generation

[Fix] Fix compilation issue

[Feature] Use mumhash for words hashing

[Feature] Add and use mumhash for non-crypto hashing

[Feature] Add a simple script to evaluate rspamd rules in the logs

[Feature] New abstract hashing API in cryptobox

[CritFix] Fix levenshtein distance calculations

[Feature] Adopt plugins for new maps API

[Feature] Use new maps API for local addrs

[Feature] Use extended map types in lua map, unify code

[Feature] Allow to extract ucl_object from lua using common API

[Feature] Implement constructing of map from UCL

[Fix] Further fixes in maps code

[Fix] Fix memory corruption

[Fix] Varioud fixes to the maps code

[Feature] Allow to have specific settings for mirrored traffic

[Rework] Partly fix controller

Issue: #616

[Rework] Adopt new maps code

Issue: #616

[Rework] Fix lua maps API

[Rework] Start the complete maps rework

Issue: #616

Merge remote-tracking branch 'upstream/master'

* upstream/master:
  [Fix] Try to handle multiline history in a more sane way
  [Minor] Some output fixes
  [Feature] Add dot commands for lua REPL:
  [Feature] Fix task functions to work without rspamd_config
  [Fix] Fix REPL output
  [Feature] Add the initial version of LUA repl to rspamadm
  [Feature] Distinguish luajit from lua
  [Rework] Import linenoise for line editing
  [Minor] Use shorter keys for replies module
  [Feature] Add replies plugin

[Feature] Add utility method to convert ftok to C string

[Fix] Try to handle multiline history in a more sane way

[Minor] Some output fixes

[Feature] Add dot commands for lua REPL:

* .help - shows help
* .load - loads lua script
* .message - scans messages using the specified lua callback

[Feature] Fix task functions to work without rspamd_config

[Fix] Fix REPL output

Merge branch 'lua-repl'

[Feature] Add the initial version of LUA repl to rspamadm

[Feature] Distinguish luajit from lua

[Rework] Import linenoise for line editing

[Minor] Use shorter keys for replies module

Merge pull request #625 from fatalbanana/master

[Feature] Add replies plugin

[Feature] Add replies plugin

Merge remote-tracking branch 'upstream/master'

* upstream/master: (37 commits)
  [Fix] Fix build
  [Feature] Propagate HTTP result string when using proxy
  [Feature] Better lua_redis logging
  [Fix] Do not greylist messages if redis has failed somehow
  [Feature] Better deal with backend errors
  [Fix] Fix more issues with scripts processing
  [Fix] Fix lua compare function init
  [Fix] Fix proxying of the encrypted messages
  [Fix] Adjust body/body_buf when stealing encrypted message
  [Fix] Properly init and free session structures
  [Fix] Another try to fix hanged redis sessions
  [Minor] Print task pointer to simplify debug
  [Feature] Implement compare scripts for mirrors results
  [Feature] Implement compare scripts setup
  [Feature] Implement mirroring in rspamd proxy
  [Feature] Add method to copy message from http connection
  [Feature] Add utility function to return random number from 0 to 1
  [Feature] Add results parsing code
  [Rework] Separate method to close backend connections
  [Feature] Split main connection from mirrored connections
  ...

[Fix] Fix build

[Feature] Propagate HTTP result string when using proxy

[Feature] Better lua_redis logging

[Fix] Do not greylist messages if redis has failed somehow

[Feature] Better deal with backend errors

[Fix] Fix more issues with scripts processing

[Fix] Fix lua compare function init

[Fix] Fix proxying of the encrypted messages

[Fix] Adjust body/body_buf when stealing encrypted message

[Fix] Properly init and free session structures

[Fix] Another try to fix hanged redis sessions

[Minor] Print task pointer to simplify debug

Merge branch 'rspamd-test-proxy'

[Feature] Implement compare scripts for mirrors results

[Feature] Implement compare scripts setup

[Feature] Implement mirroring in rspamd proxy

[Feature] Add method to copy message from http connection

[Feature] Add utility function to return random number from 0 to 1

[Feature] Add results parsing code

[Rework] Separate method to close backend connections

[Feature] Split main connection from mirrored connections

[Feature] Add mirrors feature

[Feature] Improve logging in proxy and add refcounts

[Feature] Perform files expansion on proxying

[Rework] Rename http proxy to rspamd proxy

[Fix] Remove event before closing of fd to avoid race conditions

[Fix] Fix max_train setup in ANN module

Merge pull request #622 from moisseev/patch-1

[Minor] Fix percent sign in statistics learning condition

[Fix] Reduce the default thresholds for learning

Issue: #624
Reported by: @moisseev

[Minor] Fix percent sign in statistics learning condition

[Feature] Sort symbols when displaying them in log

[Fix] Another rework for lua_redis events handling

Issue: #609

[Feature] Use rspamd specific type checks for userdata

[Fix] Improve lua redis handling

[CritFix] Fix redis structure by adding {NULL, NULL} member

Issue: #609
Reported by: @moisseev

[Feature] Add better method to check lua userdata types

Merge remote-tracking branch 'upstream/master'

* upstream/master:
  [Fix] Try to fix redis crashes
  [Fix] Cleanup stack from global vars
  [Feature] Improve logging lua types

[Fix] Use custom error function for pre and post filters

[Fix] Initialize vars to avoid warnings

[Fix] Fix order of arguments

[Fix] Try to fix redis crashes

[Fix] Cleanup stack from global vars

[Feature] Improve logging lua types

Merge remote-tracking branch 'upstream/master'

* upstream/master:
  [Feature] Add more domains to redirectors list
  [Doc] Add preliminary FANN documentation
  [Feature] Print userdata using tostring if possible
  [Feature] Improve phishing plugin
  [Feature] Improve levenshtein distance function
  [Fix] Repair optional dependencies
  [Minor] Slighlty reduce PHISHING score
  [Minor] Always return constant number of results from lua redis
  [Minor] Improve string to action function
  [Fix] Do not greylist on rejection
  [Minor] Add whitelist for phishing module
  [Minor fix] Limit PHISHING to one shot
  [Minor] Add redirector's TLD to PHISHING symbol options