[Minor] Make fundamental structures less GLib polluted

[Project] Rework tokenizers initialisation

[Minor] Fix issue with scores comparison while I'm here

Issue: #5384

[Project] Create an isolated API for external tokenizers

[Minor] Do not apply snowball to something that has already been stemmed

[Minor] Fix the test case

[Minor] Fix build issues

[Rework] Use GLib agnostic type for words

Merge branch 'master' into vstakhov-flexible-tokenizer

[Minor] Update version

Release 3.12.1

* [Feature] Add /bayes/classifiers HTTP endpoint
* [Feature] Further improvements in scheduling next checks
* [Fix] Another fix for maps concurrent load
* [Fix] Do not add log tag header in milter logic
* [Fix] Do not explicitly add Connection header if it's there
* [Fix] Fix proxy headers duplication
* [Fix] Fix several issues with the lua_logger
* [Fix] Make logger more graceful when dealing with format arguments
* [Fix] Try to avoid incomplete writes
* [Rework] Eliminate maps locking

Merge pull request #5494 from g00g1/feat-hfilter-ovh

[Enhancement] hfilter: Add VPS generic hostname

[Minor] Proper application of the #5509

Merge pull request #5517 from moisseev/classifiers

[Feature] Add /bayes/classifiers HTTP endpoint

[Minor] Try to be consistent in cached flag for maps

Merge pull request #5512 from rspamd/vstakhov-maps-lock

[Fix] Another fix for maps concurrent load

[Minor] Try to be consistent in logging when dealing with Expires

[Test] Add some more tests for AEAD used in Rspamd

[Feature] Add /bayes/classifiers HTTP endpoint

This endpoint returns a JSON array of names of all configured Bayes classifiers
in the same order as they are declared in the configuration.

[Minor] Oops, forgot some code to be added

[Feature] Further improvements in scheduling next checks

[Fix] Try to avoid incomplete writes

[Rework] Eliminate maps locking

Manual revert of 4c98aab6f670c659dff4c7e0cf392576f7850732

The problem is that we are trying to lock maps per backend, but periodics
are scheduled per maps. It means that locks are not consistent with what we
schedule and it really does not match the current maps processing logic.

Hence, we revert that change here.

hfilter: change hostname to a more generic one

[Fix] Another fix for maps concurrent load

Merge pull request #5511 from rspamd/revert-5509-temp-ms-attachments

Revert "[Minor] Treat *.library-ms and *.search-ms attachments as harmful"

Revert "[Minor] Treat *.library-ms and *.search-ms attachments as harmful"

Merge pull request #5509 from twesterhever/temp-ms-attachments

[Minor] Treat *.library-ms and *.search-ms attachments as harmful

Merge pull request #5507 from rspamd/vstakhov-dup-headers

[Fix] Fix proxy headers duplication

[Fix] Do not add log tag header in milter logic

[Fix] Do not explicitly add Connection header if it's there

[Minor] Fix compilation

[Project] Add ability to create custom tokenizers for languages

[Minor] Treat *.library-ms and *.search-ms attachments as harmful

See: https://www.bleepingcomputer.com/news/security/microsoft-outlook-to-block-more-risky-attachments-used-in-attacks/

hfilter: Change score for default OVH VPS hostname

[Fix] Fix proxy headers duplication

Issue: #5505

Merge pull request #5506 from rspamd/vstakhov-idna-tests

[Test] Detect libicu idna behaviour and select the appropriate tests

Merge pull request #5503 from rspamd/vstakhov-lua-logger-fixes

[Fix] Fix several issues with the lua_logger

[Test] Detect libicu idna behaviour and select the appropriate tests

[Test] Add unit tests for the new logger behaviour

[Fix] Make logger more graceful when dealing with format arguments

[Fix] Fix several issues with the lua_logger

[Minor] Update version

Merge pull request #5500 from TaaviE/patch-1

Remove aweber.com from spf_dkim_whitelist.inc

Remove aweber.com from spf_dkim_whitelist.inc

Release 3.12.0

* [CritFix] In lua-ucl disable macros and file variables by default
* [Feature] Add keep-alive support
* [Feature] Add some convenience methods
* [Feature] Add support for separate read and write servers in fuzzy check
* [Feature] Allow CDB files as external maps
* [Feature] Allow to specify Redis version
* [Feature] Allow to specify extra headers in Rspamd proxy
* [Feature] Allow to specify log tag in proxy
* [Feature] Allow to specify max log tag length for all log messages
* [Feature] Allow to use HTTPS when connection to backends in proxy
* [Feature] Output content for all maps
* [Feature] Plugin to integrate with Contextal platform
* [Feature] Show all maps status
* [Fix] Add fail check for cfg transform for some corner cases
* [Fix] Add header with reason everytime (not only for ham) and use correct value for header
* [Fix] Add null check for master_conn->up in proxy backend error handler
* [Fix] Allow 'Hash' in Access-Control-Allow-Headers
* [Fix] Arc: Use tonumber when comparing
* [Fix] As we have replxx library, always use it
* [Fix] Backport some issues from libucl
* [Fix] Filter invalid domains in fuzzy extra data
* [Fix] Fix maps ids
* [Fix] Fix race condition in maps loading by unlocking backend on switch
* [Fix] Fix static maps description passing
* [Fix] Fix variable propagation (no functional change)
* [Fix] Fix various issues
* [Fix] Greylist: Improve body hash calculations
* [Fix] Known senders: More recipients test logic
* [Fix] Known senders: Use the same logic as in the replies module
* [Fix] Prevent crashes when accessing upstream address in self-scan mode
* [Fix] Really fix local objects filtering, sigh...
* [Fix] Update default URL for openphish
* [Fix] Use bundled libfmt everywhere
* [Fix] Use safe parsers everywhere except configuration
* [Fix] correct logic error in milter_headers.lua: skip_wanted()
* [Fix] initialize ollama result table
* [Fix] libmime: declare comparators const for doctest 2.4.12 compatibility
* [Project] Modernize cmake
* [Project] Rework OSDep
* [Rework] Replies: consider all recipients and use smtp ones
* [Rework] Store shared maps data separately
* [Rework] Use locks/loaded per backend for all maps

[Fix] Fix race condition in maps loading by unlocking backend on switch

[Minor] Always disable xxhash inline

[Minor] Fix some compile warnings

[Fix] Fix variable propagation (no functional change)

[Fix] As we have replxx library, always use it

Merge pull request #5496 from drclau/drclau/fix-milter-headers-routines-override

[Fix] Correct logic error in milter_headers.lua: skip_wanted()

Merge pull request #5492 from rspamd/vstakhov-logging-improvements

Logging improvements

Merge pull request #5495 from kevinzb56/kevinzb56-patch-1

[Minor] Correcting the index number for is_spam

Correcting the index number for is_spam

[Fix] correct logic error in milter_headers.lua: skip_wanted()

- fix logic error in skip_wanted()
- add new functional test for this scenario
- add override settings in milter_headers.conf to support the testing
- add supporting functionality in rspamd.robot

hfilter: Add OVH VPS generic hostname

[Feature] Allow to specify max log tag length for all log messages

[Feature] Allow to specify log tag in proxy

Issue: #5194

Merge pull request #5490 from rspamd/vstakhov-ucl-fix

One of the major issues is that we should use safe parser flags for all inputs aside of the real configuration which we should really trust. It means that we need to disable macros, file variables and other UCL features when it is used to parse any potentially unsafe content. I do not treat it as a security vulnerability so far, as Rspamd operates with merely trusted content by HTTP by default, however, it is good to fix to avoid any potential future mususes or even exploits possibilities.

Merge pull request #5489 from heptalium/master

Reputation Plugin: Fix comment to correspond the code above

[Fix] Use safe parsers everywhere except configuration

[Fix] Backport some issues from libucl

[CritFix] In lua-ucl disable macros and file variables by default

Since we use libucl to parse untrusted data in some (actually in many) cases,
we must not enable any dangerous things like macros.

This fix should be treated as a critical one.

Merge pull request #5488 from lucasRolff/add-token-usage-gpt

[Minor] Log the token usage for OpenAI (compatible) plain conversion

Fix comment to correspond the code above

[Minor] Log the token usage for OpenAI (compatible) plain conversion

Merge pull request #5483 from moisseev/selector-file-upload

[WebUI] Add file upload to `Test selectors`

Merge pull request #5486 from fatalbanana/lua_fuzzy

[Minor] Fix fuzzy lua callback when there are no shingles

[Minor] Fix fuzzy lua callback when there are no shingles

[WebUI] Rework file upload JS implementation

Original code, which seems AI-generated, was broken

Closes #5381

Merge pull request #5477 from japc/multimap-type-err

[Minor] Print error on multimap invalid type

Merge pull request #5428 from rspamd/vstakhov-replies-fake-rcpt

[Rework] Replies: consider all recipients and use smtp ones

[Fix] Known senders: More recipients test logic

[Minor] Print error on multimap invalid type

[Fix] Known senders: Use the same logic as in the replies module

Merge pull request #5475 from fatalbanana/deb_fix

[Minor] Fix Debian package build

[Minor] Fix Debian package build

[Minor] Lua_http: Add more examples

[Minor] Revert drag-and-drop setup adjustments

- Restore descriptive variable name `dragoverClassList`
- Re-establish unified event prevention

[WebUI] Add file upload to Test Selectors (#5381)

Squashed and rebased original commits from ShravanAYG’s selector-file-upload branch

Co-authored-by: ShravanAYG <shravanay205@gmail.com>
See: https://github.com/rspamd/rspamd/pull/5381

Merge pull request #5464 from jendis/lua_redis_fix

fix(lua_redis): Improve Redis script loading

Merge pull request #5473 from TwizzyDizzy/master

Modify documentation for rspamc "-P" parameter

Merge pull request #5413 from dragoangel/patch-11

Add FREEMAIL_REPLYTO_NEQ_FROM rule

Merge pull request #5471 from rspamd/vstakhov-heic-magic

[Feature] Magic: Support HEIC files

Modify rspamc doc to clarify that control password can also be passed by path

[Test] Test heic recognition

[Minor] Add HEIC files patterns

[Minor] Restore Vsevolod's changes

[Minor] Fix one more test

Merge pull request #5470 from left-try/master

[Minor] Fix for docs of lua_redis.redis_make_request_taskless

[Minor] Fix for docs of lua_redis.redis_make_request_taskless

[Minor] Fix syntax

[Test] Partially fix tests

Merge pull request #5468 from fatalbanana/lua_http_docs

[Minor] Update API docs RE: multiple HTTP headers

[Minor] Update API docs RE: multiple HTTP headers

Merge pull request #5459 from NameWeb/patch-1

gpt.lua: Remove "thinking" and fix errorlog

[Minor] Fix formatting

[Feature] Add some convenience methods