[Minor] Allow to log configuration errors from plugins

[Minor] Reformat all Lua code, no functional changes

[Minor] Distinguish failures from unknown errors

[CritFix] Fix leak in `gzip` function

Issue: #4564

Merge pull request #4562 from helsinki-systems/fix/redis_schema_parsing

[Fix] Redis schema parsing

fix: redis schema parsing

Merge pull request #4560 from a16bitsysop/tests

[Fix] CMakeLists.txt remove whitespace added by linter as it makes te…

[Fix] CMakeLists.txt remove whitespace added by linter as it makes tests fail

[Minor] Update version to 3.7

Release 3.6

* [Conf] Add `one_shot` to some specific multimap rules
* [Conf] Add language detection configuration
* [Conf] Add missing attributes for the language detection configuration
* [Conf] Remove outdated composite rules
* [Feature] Add `sentinel_password` option
* [Feature] Add ability to deny specific fuzzy flags by default
* [Feature] Add controller endpoint to get fuzzy hashes from messages
* [Feature] Add extra symbol when URL redirector reaches nested limit
* [Feature] Add function to transliterate utf8 to ascii with some normalisation
* [Feature] Add html parsing limit
* [Feature] Add order to urls structure
* [Feature] Add some missing functions to `lua_rsa` library
* [Feature] Allow fuzzy workers to exchange blocked information
* [Feature] Allow to have weak flags in fuzzy storage
* [Feature] Allow to read options from maps in the multimap plugin
* [Feature] Allow to use other methods when fasttext detection is enabled
* [Feature] Count stats per key per flag
* [Feature] Finish all features of dkim_keygen in Lua
* [Feature] Khash: Allow static initialisation
* [Feature] Maps: Add on_load support
* [Feature] Preliminary implementation of dynamic composites
* [Feature] Process HTML parts before text ones
* [Feature] Reorganise struct rspamd_url to be 64 bytes size
* [Feature] Save fuzzy ratelimit buckets
* [Feature] Use in-place deflation for strings
* [Feature] external_relay: add ip_map strategy
* [Fix] Avoid race between config new/free by using a counter
* [Fix] Do not use `rspamadm.dkim_keygen`
* [Fix] Feed fasttext language model with the pre-tokenized words
* [Fix] Fix `rspamd_has_only_html_part`
* [Fix] Fix an old issue with order of destruction race between redis pool and lua
* [Fix] Fix format string usage
* [Fix] Fix parsing due to old bug revealed
* [Fix] Fix parsing of the mask values that are invalid
* [Fix] Ignore non-unique stop words
* [Fix] Include the last character when parsing the last header with no value
* [Fix] More fixes to fuzzystat
* [Fix] Set proper counter
* [Fix] Try harder to clean pending bucket
* [Fix] Try harder to remove bad hyperscan files
* [Fix] Update stats before encryption...
* [Fix] dmarc gramar - allow spaces before ";"
* [Fix] rbl: fix dependency registration when symbols_prefixes is used
* [Fix] remove obsolete rspamd-redirector files
* [Fix] test external_relay: count should always be the last rule, as it have no matching condition
* [Project] Allow to register multimap symbols dynamically
* [Project] Implement fasttext language detection
* [Rework] Default max shots must not influence options
* [Rework] Write dkim keygen tool in lua
* [Rules] Add thread hijacking composite rule

Merge pull request #4558 from twesterhever/temp-detect-google-amp-urls

[Minor] Tweak HAS_GOOGLE_REDIR to detect Google AMP URLs as well

Merge pull request #4559 from fatalbanana/html_only

[Minor] Test & fix has_only_html_part regression

[Minor] Test & fix has_only_html_part regression

[Fix] Fix `rspamd_has_only_html_part`

[Minor] Tweak HAS_GOOGLE_REDIR to detect Google AMP URLs as well

Rationale: https://cofense.com/blog/google-amp-the-newest-of-evasive-phishing-tactic/

[Minor] Align scores of Spamhaus DBL, SURBL, URIBL DNSBL symbols

Given that they have about the same false positive rate, it makes sense
to treat them equal in terms of scoring:
- Particular threats (phishing, malware) are scored a bit higher than
  mere spam domain listings
- "Abused legitimate" listings are scored lower for some DNSBLs already,
  this has now been aligned.
- For SURBL, cracked and abused sites are treated with the same score.

[Minor] Increase score of URIBL_XBL

This aids with detecting FQDNs hosted on hacked machines, such as used
in Fast Flux-style botnet spam.

[Minor] Reduce score of URIBL_SBL_CSS

Given that CSS is an automated component of SBL, this should not receive
the same scoring as manually conducted SBL listings. Particularly for
shared hosting environments, CSS hits on IP addresses derived from FQDNs
sometimes were found to be scored a bit too high.

[Minor] Allow symbols insertion for skipped tasks

Merge pull request #4556 from twesterhever/temp-improve-freemail-aff

[Minor] Improve catch rates of FREEMAIL_AFF

[Minor] Improve catch rates of FREEMAIL_AFF

[Feature] Add `sentinel_password` option

[Minor] Link with libatomic where possible

Issue: #4552

[Dep] Update fmtlib to 10.0.0

[Minor] Add fmt::format specialisation

[Minor] Add missing include

[Minor] Remove SunPro support as it is not really supported

[Minor] Remove unused var

[Minor] Improve log message

[Fix] Avoid race between config new/free by using a counter

[Minor] Fix pointers operations

[Minor] Remove no longer used files

[Minor] Add .overcommit.yml file so I won't loose my checks

[Minor] Add Lua methods to get urls order

[Rework] Use clang-format to unify formatting in all sources

No meaningful changes.

[Feature] Add order to urls structure

[Minor] Oops: I have written too long in C++

[Feature] Process HTML parts before text ones

[Minor] Slightly change the text processing logic

Merge pull request #4549 from fatalbanana/ratelimit

[Minor] Minor fixes for previous ratelimit changes

[Minor] Minor fixes for previous ratelimit changes

[Minor] Propagate port from url parser

[Minor] Restore old port behaviour

[Feature] Reorganise struct rspamd_url to be 64 bytes size

[Minor] Limit sse41 code to sse41 and x86_64

Merge pull request #4547 from rheoli/dmarc_txt_fix

[Fix] dmarc gramar - allow spaces before ";"

[Minor] Use unique ptr

[Fix] dmarc gramar - allow spaces before ";"

The ABNF in https://www.rfc-editor.org/rfc/rfc7489#section-6.4 define that its allowed to have spaces before ";"

[Minor] Add Lua API for transliterate function

[Feature] Add function to transliterate utf8 to ascii with some normalisation

[Minor] Remove assertion in lieu of a log message

Issue: #4533
Closes: #4533

Another try for RHEL9

[Minor] Another try to use the proper linker

[Minor] Do not use lld when clang is not the compiler...

Merge pull request #4541 from sthen/patch-1

replace ECDSA_sign_setup/ECDSA_sign_ex with ECDSA_sign

replace ECDSA_sign_setup/ECDSA_sign_ex with ECDSA_sign

There's no need to use ECDSA_sign_setup/ECDSA_sign_ex separately, a single call to ECDSA_sign will handle everything that's needed here.

Avoids breakage with a soon-to-be-committed change to LibreSSL to remove ECDSA_sign_setup/ex from libcrypto.

Merge pull request #4539 from dragoangel/patch-3

[Minor] A bit better apple_x_mailer regex

Adjust apple_x_mailer regex

[Minor] A bit better apple_x_mailer regex

Merge pull request #4538 from dragoangel/patch-2

[Feature] Detect Apple Mail and remove scores for their known common behavior

Optimize apple_ios_x_mailer regex

Merge pull request #4537 from moesoha/relay/ip_map

[Feature] external_relay: add ip_map strategy

Add composites exclusions for known Apple Mail bad symbols

Support regex rules to detect Apple Mail

[Feature] external_relay: add ip_map strategy

[Fix] test external_relay: count should always be the last rule,
as it have no matching condition

[Minor] Fix another `enum` usage in fmt

Issue: #4482

Merge pull request #4532 from mrueg/bookworm

Dockerfile: Switch to bookworm

Dockerfile: Switch to bookworm

[Minor] Fix fuzzy_unlearn_handler when a flag is specified

Issue: #4531

[Minor] One more compatibility fix

[Minor] Try to be more compatible

[Minor] Lua_magic: Try to reduce fp rate for html heuristic

[Minor] Fix log message

[Minor] Try to save ratelimits from the proper worker

[Feature] Save fuzzy ratelimit buckets

[Minor] Do not block rate limit elements in fuzzy forever

[Feature] Allow fuzzy workers to exchange blocked information

[Minor] Remove redundant check

[Feature] Preliminary implementation of dynamic composites

[Minor] Missing include?

[Tests] Add unit tests

[Minor] Add utility to split strings on some character

[Minor] Add utility to iterate over a list of newline separated strings

Merge pull request #4519 from twesterhever/temp-html-attachments

[Enhancement] Treat HTML attachments as (slightly) bad

Merge pull request #4520 from mariojansen/master

if elasticsearch_version >= 7 we should not send the _type to elastic…

if elasticsearch_version >= 7 we should not send the _type to elasticsearch, deprecated in es 7, obsolete in es 8

[Minor] Fix missing and superflous comma

Thanks, @moisseev!

Merge pull request #4497 from twesterhever/temp-improve-has-google-redir

[Enhancement] Improve detection of Google redirection URLs

Keep attachment filename suffix lists sorted

Treat HTML attachments as bad

[Minor] Remove superfluous '|' in regular expression

[Minor] Simplify regular expression for HAS_GOOGLE_REDIR

https://github.com/rspamd/rspamd/pull/4497#issuecomment-1586265815

Merge pull request #4518 from twesterhever/temp-chm-suffix

[Minor] Increase score for .chm attachments

[Minor] Increase score for attachment types already blocked by GMail and Outlook

https://github.com/rspamd/rspamd/pull/4518#issuecomment-1598655957

[Minor] Increase score for .chm attachments

Merge pull request #4517 from JasonStephenson/bugfix/7z-cte-fix

Use the correct mime format for 7z

Use the correct mime format for 7z

[Minor] Use 1.0 as static score for dynamic symbols, erm

[Minor] Add fail-safe for composites processing