[Test] Add tests for CDB maps

[Feature] Allow CDB files as external maps

Merge pull request #5378 from amulet1/lua_logger_log_format

[Minor] Fix and improve format string processing in lua_logger_log_format()

Merge pull request #5380 from rspamd/vstakhov-fmt-embedding

[Fix] Use bundled libfmt everywhere

[Fix] Use bundled libfmt everywhere

Issue: #5258

[Minor] Fix and improve format string processing in lua_logger_log_format()
 * Fix handling of %s after % with numeric argument
 * Fix argument number check
 * Preserve unhandled % in the output
 * Redesign to simplify the code

[Minor] Update version

Release 3.11.1

* [Feature] Add 'noop' redis backend for scripts running
* [Feature] Add Redis caching framework
* [Feature] Add UTF8 `sub` and `len` variants for rspamd_text
* [Feature] Allow adding timers to task (respecting symbols)
* [Feature] Allow additional categories to be defined in GPT
* [Feature] Allow fine-grained control on keys permissions
* [Feature] Allow individual `read_only` flag per key
* [Feature] Allow multiple lua scripts for fuzzy storage
* [Feature] Allow to add periodic functions in Lua API
* [Feature] Allow to disable rbls from map
* [Feature] Allow to hash any Lua types
* [Feature] Allow to store shingles as opaque Lua data
* [Feature] Cache LLM replies
* [Feature] GPT: Add ollama support
* [Feature] GPT: Support reason adding
* [Feature] Improve prompt and use plaintext instead of JSON
* [Feature] Lua_task: Allow to load data into the existing task
* [Feature] More additions
* [Feature] Pass shingles to Lua scripts
* [Feature] Preliminary implementation of LLM based anonymizing
* [Feature] Support LLM models consensus
* [Feature] Try to check maps earlier if their expires is too long
* [Feature] Use debug module name from caller in lua_cache
* [Fix] Add timer update before timer setting
* [Fix] Allow to work with no ratelimits
* [Fix] Always create ratelimit buckets
* [Fix] Avoid collision hacks in mempool variables hash
* [Fix] Expire neural ham and spam sets so they not hangup in redis indefinitely
* [Fix] Fix crash on FreeBSD when Rspamd is built without hyperscan
* [Fix] Make table digests consistent
* [Fix] RBL: fix use of `content_urls` and `images` inside `checks`
* [Fix] Verify key type to match DKIM signature type
* [Fix] connIP is not correctly added to request
* [Fix] properly close multipart/related boundary when adding text footer
* [Rework] GPT: Use cache framework

Merge pull request #5377 from rspamd/vstakhov-maps-caching

[Feature] Try to check maps earlier if their expires is too long

Merge pull request #5376 from dragoangel/patch-10

[Fix] Properly expire neural ham and spam sets

[Feature] Try to check maps earlier if their expires is too long

Issue: #5351

Update neural_save_unlock.lua

Merge pull request #5375 from moisseev/webui

[Test] Update JavaScript linters

[Test] Update JavaScript linters

- @stylistic/eslint-plugin 2.8.0 -> 4.2.0
- eslint 9.10.0 -> 9.21.0
- postcss-html 1.7.0 -> 1.8.0
- stylelint-config-standard 36.0.1 -> 37.0.0
- stylelint 16.9.0 -> 16.15.0

Merge pull request #5374 from rspamd/vstakhov-cache-gpt

Use caching framework in gpt module

Merge pull request #5372 from amulet1/map_improvements

Better support for maps and IP-related fixes/improvements in settings

[Minor] Fix invocation

[Rework] GPT: Use cache framework

[Feature] Use debug module name from caller in lua_cache

Merge branch 'master' into map_improvements

Move an upvalue check out of the closure returned by gen_check_closure()

Improve handling of IP conditions in settings
 * Skip invalid IPs (with appropriate error logging)
   (previously a bad IP would cause the subsequent IPs in a list to be ignored or make the whole IP condition to be ignored)
 * Add validated IPs/maps into a flat table
 * Log complete IP in case of invalid mask

Merge pull request #5373 from dragoangel/patch-8

[Fix] Add expiration for neural ham and spam sets

Fix typo in neural.lua

Update neural_save_unlock.lua

[Fix] Expire neural ham and spam sets so they not hangup in redis indefinitely

Rework IP processing/checking in settings
 * Avoid misleading "cannot parse ip" logging by checking for "map:" prefix early
 * Do not use tables for maps or IPs without mask
 * Normalize IPs by applying mask during processing
 * Add error logging for wrong IP mask
 * Simplify check_ip_settings() based on changes in process_ip_condition()

Fix support for "map://" prefix

Merge pull request #5369 from rspamd/vstakhov-cache-framework

[Feature] Add Redis caching framework

[Feature] More additions

* Hash keys
* Docs
* Example

[Minor] Fix format strings

[Feature] Add Redis caching framework

Merge pull request #5367 from jeromelebleu/fix-spelling

Fix spelling errors in libserver

Merge pull request #5366 from jeromelebleu/regenerate-manpages

Regenerate manpages with recent Pandoc version

Merge pull request #5365 from jeromelebleu/fix-rspamd_stats-getopt

Prevent option duplicates in rspamd_stats.pl

Regenerate manpages with recent Pandoc version

Prevent option duplicates in rspamd_stats.pl

Fix spelling errors in libserver

Merge pull request #5363 from rspamd/vstakhov-ev-base-periodics

Add ability to create timers from Lua

[Feature] Allow adding timers to task (respecting symbols)

[Feature] Allow to add periodic functions in Lua API

Merge pull request #5359 from rspamd/vstakhov-rbl-disable

Allow to disable RBLs via map

[Conf] Add map

[Feature] Allow to disable rbls from map

Merge pull request #5357 from rspamd/vstakhov-collisions-fix

[Fix] Avoid collision hacks in mempool variables hash

[Fix] Avoid collision hacks in mempool variables hash

I don't want to debug that again!

Merge pull request #5356 from rspamd/vstakhov-gpt-tunes2

More features to GPT plugin

[Feature] Allow additional categories to be defined in GPT

[Minor] Tune caching

[Minor] Tune caching

[Feature] Cache LLM replies

[Feature] Improve prompt and use plaintext instead of JSON

[Minor] GPT: Allow to trigger on specific symbols

Merge pull request #5352 from rspamd/vstakhov-dkim-sanitize-keys

[Fix] Verify key type to match DKIM signature type

[Fix] Verify key type to match DKIM signature type

Merge pull request #5335 from japc/statistics_dump

[Minor] Some small fixes to statistics_dump

Merge pull request #5334 from FreddleSpl0it/fix-add-text-footer

[Fix] properly close multipart/related boundary when adding text footer

[Minor] On statistics_dump opts.cdb was doing dump_out and vice-versa

[Minor] Fixed nil batch_size on default dump on statistics_dump

[Fix] properly close multipart/related boundary when adding text footer

Merge pull request #5319 from japc/map-combined-description

[Minor] Pass both the multimap and the rules descriptions for combined multimap on create

[Fix] Allow to work with no ratelimits

[Fix] Always create ratelimit buckets

Merge pull request #5326 from rspamd/vstakhov-gpt-reason

[Feature] GPT: Support reason adding

[Minor] Allow to exclude all symbols

[Feature] GPT: Support reason adding

Merge pull request #5320 from rspamd/vstakhov-gpt-consensus

[Feature] Support LLM models consensus

[Feature] Support LLM models consensus

[Minor] Pass both the multimap and the rules descriptions for combined when creating

Merge pull request #5317 from moisseev/webui

[WebUI] Reset dropdown when clearing filters

[Minor] Fix for old OpenSSL, sigh

[Minor] Add protection against infinite recursion

[Fix] Make table digests consistent

[WebUI] Reset dropdown when clearing filters

Ensure the action dropdown resets to its default value when clearing filters in the history table.

[Minor] Really execute on_terminate scripts for fuzzy worker

[Minor] Run finish scripts for fuzzy workers

[Minor] Deal with packed structure member properly

[Minor] Several fixes for fuzzy scripts

[Minor] Some fixes for noop backend

Merge pull request #5315 from japc/rules-regexp-url

[Minor] Rules regexp url separated and fix no subdomain cases for Google urls

Merge pull request #5314 from japc/checks-bool

[Minor] Set RBL checks to bool true

Merge pull request #5313 from dragoangel/patch-8

fix: use sub_utf8 to strip headers value to not break utf8 strings

[Minor] Assuming that the remaining Google urls can also show esld only

[Minor] HAS_GOOGLE_REDIR was not working with https://google.com

[Minor] Move url regexes to regexp/urls.lua

[Minor] Set RBL checks to bool true

add task digest

fix: use sub_utf8 to strip headers value to not break utf8 strings

[Feature] Add UTF8 `sub` and `len` variants for rspamd_text

Merge pull request #5310 from fatalbanana/rbl_urls

RBL: fix use of `content_urls` and `images` inside `checks`

[Fix] RBL: fix use of `content_urls` and `images` inside `checks`

[Test] RBL: test more URL extraction scenarios

Merge pull request #5305 from japc/rbl-checks-images

[Minor] rbl check_types was missing images

[Minor] rbl check_types was missing images

[Minor] Push flag and value for fuzzy pre scripts

Merge pull request #5300 from crpb/master

remove nixspam

remove nixspam

nixspam has shutdown their service on 2025.01.16

closes #5299

Merge pull request #5292 from japc/resolve_ip-ipv46

[Minor] Respect ipv4 and ipv6 configurations for rbl resolve_ip

[Minor] Don't skip resolve_ip when ignore_defaults is true and ipv4 and ipv6 aren't set

Merge pull request #5294 from fatalbanana/mime_types_ico

[Minor] Add another acceptable mime type for icon