[Fix] Fix DL lists initialisations

Merge pull request #5540 from 1358/clean-gpt-response-for-openai

Cleanup GPT response for openai-provider, too (<think>)

[Project] Store regexp rules state to avoid incomplete/orphaned rules

clean gpt response for openai, too

[Minor] Use more efficient approach for iterations

[Project] Fix scoped compilation again

[Minor] Another rework of the notifications

[Fix] Fix order of descriptor closing

Merge pull request #5534 from moisseev/webui

[WebUI] Update classifiers on server or tab switch

Merge pull request #5537 from moisseev/test

[Test] Update ESLint and Stylelint linters

[Test] Update ESLint and Stylelint linters

[Minor] Replace legacy rgba() alias

with modern rgb() notation

[Feature] Add a signal from main to workers for workers ready state

[WebUI] Update classifiers on server or tab switch

Ensure the Bayes classifiers dropdown is refreshed whenever the user
changes the selected server or navigates to the Scan/Learn tab, so it
always reflects the selected server’s configuration.

Merge pull request #5524 from moisseev/fuzzy-config

[WebUI] Add fuzzy flag selectors to Scan/Learn tab

[Project] Implement scoped compilation

[Project] Use re_cache scopes for maps

[Project] Implement scoped regexp cache system

Merge pull request #5533 from moisseev/sys-user-h

[Minor] Fix FreeBSD build by including sys/user.h

[Minor] Fix FreeBSD build by including sys/user.h

icap.lua: ipv6 pseudo hostname in GET request

ipv6 addresses need to be changed to a pseudo hostname in GET request who is encapsulated in ICAP.
A change to [::] did not work in SkyHigh Web Gateway (aka McAfee)

Didn't use Lua often maybe the code can be optimized.

[Project] Start implementation of the rules maps

[WebUI] Add fuzzy flag selectors to Scan/Learn tab

- Populate selectors with symbols and flags from writable fuzzy storages.
- Cache each server’s config_id to avoid redundant `/plugins/fuzzy/storages` calls.
- Dynamically show, hide, and disable controls based on fuzzy_check module availability and storage writability.

[Feature] Allow lua callback maps to be filled line by line

[Minor] Improve JSDoc for ui.query()

[Minor] Add /plugins/fuzzy/storages endpoint

Allows retrieving the list of configured fuzzy storages via HTTP API,
including associated flags, read_only status, and server addresses.

[Fix] GPT: fix processing of messages with no subject

Merge pull request #5520 from moisseev/webui

[WebUI] Add Bayes classifier selector to Learn card

Merge pull request #5523 from rspamd/vstakhov-more-utils

[Feature] Add some more OS utility functions

Merge pull request #5510 from rspamd/vstakhov-flexible-tokenizer

[Project] Add ability to create custom tokenizers for languages

[Minor] Make fundamental structures less GLib polluted

[Project] Rework tokenizers initialisation

Merge pull request #5526 from moisseev/group-sorting

[WebUI] Sort symbol groups in filter dropdown

[Minor] Fix issue with scores comparison while I'm here

Issue: #5384

[WebUI] Sort symbol groups in filter dropdown

Sort symbol groups in the Symbols table dropdown filter in a
case-insensitive manner, ensuring alphabetical A–Z ordering
regardless of capitalization.

[Feature] Add some more OS utility functions

[Project] Create an isolated API for external tokenizers

[Minor] Do not apply snowball to something that has already been stemmed

[Minor] Fix the test case

[Minor] Fix build issues

[Rework] Use GLib agnostic type for words

Merge branch 'master' into vstakhov-flexible-tokenizer

[WebUI] Add Bayes classifier selector to Learn card

This enables users to choose a specific Bayes classifier for training from WebUI.

[Minor] Update version

Release 3.12.1

* [Feature] Add /bayes/classifiers HTTP endpoint
* [Feature] Further improvements in scheduling next checks
* [Fix] Another fix for maps concurrent load
* [Fix] Do not add log tag header in milter logic
* [Fix] Do not explicitly add Connection header if it's there
* [Fix] Fix proxy headers duplication
* [Fix] Fix several issues with the lua_logger
* [Fix] Make logger more graceful when dealing with format arguments
* [Fix] Try to avoid incomplete writes
* [Rework] Eliminate maps locking

Merge pull request #5494 from g00g1/feat-hfilter-ovh

[Enhancement] hfilter: Add VPS generic hostname

[Minor] Proper application of the #5509

Merge pull request #5517 from moisseev/classifiers

[Feature] Add /bayes/classifiers HTTP endpoint

[Minor] Try to be consistent in cached flag for maps

Merge pull request #5512 from rspamd/vstakhov-maps-lock

[Fix] Another fix for maps concurrent load

[Minor] Try to be consistent in logging when dealing with Expires

[Test] Add some more tests for AEAD used in Rspamd

[Feature] Add /bayes/classifiers HTTP endpoint

This endpoint returns a JSON array of names of all configured Bayes classifiers
in the same order as they are declared in the configuration.

[Minor] Oops, forgot some code to be added

[Feature] Further improvements in scheduling next checks

[Fix] Try to avoid incomplete writes

[Rework] Eliminate maps locking

Manual revert of 4c98aab6f670c659dff4c7e0cf392576f7850732

The problem is that we are trying to lock maps per backend, but periodics
are scheduled per maps. It means that locks are not consistent with what we
schedule and it really does not match the current maps processing logic.

Hence, we revert that change here.

hfilter: change hostname to a more generic one

[Fix] Another fix for maps concurrent load

Merge pull request #5511 from rspamd/revert-5509-temp-ms-attachments

Revert "[Minor] Treat *.library-ms and *.search-ms attachments as harmful"

Revert "[Minor] Treat *.library-ms and *.search-ms attachments as harmful"

Merge pull request #5509 from twesterhever/temp-ms-attachments

[Minor] Treat *.library-ms and *.search-ms attachments as harmful

Merge pull request #5507 from rspamd/vstakhov-dup-headers

[Fix] Fix proxy headers duplication

[Fix] Do not add log tag header in milter logic

[Fix] Do not explicitly add Connection header if it's there

[Minor] Fix compilation

[Project] Add ability to create custom tokenizers for languages

[Minor] Treat *.library-ms and *.search-ms attachments as harmful

See: https://www.bleepingcomputer.com/news/security/microsoft-outlook-to-block-more-risky-attachments-used-in-attacks/

hfilter: Change score for default OVH VPS hostname

[Fix] Fix proxy headers duplication

Issue: #5505

Merge pull request #5506 from rspamd/vstakhov-idna-tests

[Test] Detect libicu idna behaviour and select the appropriate tests

Merge pull request #5503 from rspamd/vstakhov-lua-logger-fixes

[Fix] Fix several issues with the lua_logger

[Test] Detect libicu idna behaviour and select the appropriate tests

[Test] Add unit tests for the new logger behaviour

[Fix] Make logger more graceful when dealing with format arguments

[Fix] Fix several issues with the lua_logger

[Minor] Update version

Merge pull request #5500 from TaaviE/patch-1

Remove aweber.com from spf_dkim_whitelist.inc

Remove aweber.com from spf_dkim_whitelist.inc

Release 3.12.0

* [CritFix] In lua-ucl disable macros and file variables by default
* [Feature] Add keep-alive support
* [Feature] Add some convenience methods
* [Feature] Add support for separate read and write servers in fuzzy check
* [Feature] Allow CDB files as external maps
* [Feature] Allow to specify Redis version
* [Feature] Allow to specify extra headers in Rspamd proxy
* [Feature] Allow to specify log tag in proxy
* [Feature] Allow to specify max log tag length for all log messages
* [Feature] Allow to use HTTPS when connection to backends in proxy
* [Feature] Output content for all maps
* [Feature] Plugin to integrate with Contextal platform
* [Feature] Show all maps status
* [Fix] Add fail check for cfg transform for some corner cases
* [Fix] Add header with reason everytime (not only for ham) and use correct value for header
* [Fix] Add null check for master_conn->up in proxy backend error handler
* [Fix] Allow 'Hash' in Access-Control-Allow-Headers
* [Fix] Arc: Use tonumber when comparing
* [Fix] As we have replxx library, always use it
* [Fix] Backport some issues from libucl
* [Fix] Filter invalid domains in fuzzy extra data
* [Fix] Fix maps ids
* [Fix] Fix race condition in maps loading by unlocking backend on switch
* [Fix] Fix static maps description passing
* [Fix] Fix variable propagation (no functional change)
* [Fix] Fix various issues
* [Fix] Greylist: Improve body hash calculations
* [Fix] Known senders: More recipients test logic
* [Fix] Known senders: Use the same logic as in the replies module
* [Fix] Prevent crashes when accessing upstream address in self-scan mode
* [Fix] Really fix local objects filtering, sigh...
* [Fix] Update default URL for openphish
* [Fix] Use bundled libfmt everywhere
* [Fix] Use safe parsers everywhere except configuration
* [Fix] correct logic error in milter_headers.lua: skip_wanted()
* [Fix] initialize ollama result table
* [Fix] libmime: declare comparators const for doctest 2.4.12 compatibility
* [Project] Modernize cmake
* [Project] Rework OSDep
* [Rework] Replies: consider all recipients and use smtp ones
* [Rework] Store shared maps data separately
* [Rework] Use locks/loaded per backend for all maps

[Fix] Fix race condition in maps loading by unlocking backend on switch

[Minor] Always disable xxhash inline

[Minor] Fix some compile warnings

[Fix] Fix variable propagation (no functional change)

[Fix] As we have replxx library, always use it

Merge pull request #5496 from drclau/drclau/fix-milter-headers-routines-override

[Fix] Correct logic error in milter_headers.lua: skip_wanted()

Merge pull request #5492 from rspamd/vstakhov-logging-improvements

Logging improvements

Merge pull request #5495 from kevinzb56/kevinzb56-patch-1

[Minor] Correcting the index number for is_spam

Correcting the index number for is_spam

[Fix] correct logic error in milter_headers.lua: skip_wanted()

- fix logic error in skip_wanted()
- add new functional test for this scenario
- add override settings in milter_headers.conf to support the testing
- add supporting functionality in rspamd.robot

hfilter: Add OVH VPS generic hostname

[Feature] Allow to specify max log tag length for all log messages

[Feature] Allow to specify log tag in proxy

Issue: #5194

Merge pull request #5490 from rspamd/vstakhov-ucl-fix

One of the major issues is that we should use safe parser flags for all inputs aside of the real configuration which we should really trust. It means that we need to disable macros, file variables and other UCL features when it is used to parse any potentially unsafe content. I do not treat it as a security vulnerability so far, as Rspamd operates with merely trusted content by HTTP by default, however, it is good to fix to avoid any potential future mususes or even exploits possibilities.

Merge pull request #5489 from heptalium/master

Reputation Plugin: Fix comment to correspond the code above

[Fix] Use safe parsers everywhere except configuration

[Fix] Backport some issues from libucl

[CritFix] In lua-ucl disable macros and file variables by default

Since we use libucl to parse untrusted data in some (actually in many) cases,
we must not enable any dangerous things like macros.

This fix should be treated as a critical one.

Merge pull request #5488 from lucasRolff/add-token-usage-gpt

[Minor] Log the token usage for OpenAI (compatible) plain conversion