Merge branch 'master' into map_improvements

Move an upvalue check out of the closure returned by gen_check_closure()

Improve handling of IP conditions in settings
 * Skip invalid IPs (with appropriate error logging)
   (previously a bad IP would cause the subsequent IPs in a list to be ignored or make the whole IP condition to be ignored)
 * Add validated IPs/maps into a flat table
 * Log complete IP in case of invalid mask

Merge pull request #5373 from dragoangel/patch-8

[Fix] Add expiration for neural ham and spam sets

Fix typo in neural.lua

Update neural_save_unlock.lua

[Fix] Expire neural ham and spam sets so they not hangup in redis indefinitely

Rework IP processing/checking in settings
 * Avoid misleading "cannot parse ip" logging by checking for "map:" prefix early
 * Do not use tables for maps or IPs without mask
 * Normalize IPs by applying mask during processing
 * Add error logging for wrong IP mask
 * Simplify check_ip_settings() based on changes in process_ip_condition()

Fix support for "map://" prefix

Merge pull request #5369 from rspamd/vstakhov-cache-framework

[Feature] Add Redis caching framework

[Feature] More additions

* Hash keys
* Docs
* Example

[Minor] Fix format strings

[Feature] Add Redis caching framework

Merge pull request #5367 from jeromelebleu/fix-spelling

Fix spelling errors in libserver

Merge pull request #5366 from jeromelebleu/regenerate-manpages

Regenerate manpages with recent Pandoc version

Merge pull request #5365 from jeromelebleu/fix-rspamd_stats-getopt

Prevent option duplicates in rspamd_stats.pl

Regenerate manpages with recent Pandoc version

Prevent option duplicates in rspamd_stats.pl

Fix spelling errors in libserver

Merge pull request #5363 from rspamd/vstakhov-ev-base-periodics

Add ability to create timers from Lua

[Feature] Allow adding timers to task (respecting symbols)

[Feature] Allow to add periodic functions in Lua API

Merge pull request #5359 from rspamd/vstakhov-rbl-disable

Allow to disable RBLs via map

[Conf] Add map

[Feature] Allow to disable rbls from map

Merge pull request #5357 from rspamd/vstakhov-collisions-fix

[Fix] Avoid collision hacks in mempool variables hash

[Fix] Avoid collision hacks in mempool variables hash

I don't want to debug that again!

Merge pull request #5356 from rspamd/vstakhov-gpt-tunes2

More features to GPT plugin

[Feature] Allow additional categories to be defined in GPT

[Minor] Tune caching

[Minor] Tune caching

[Feature] Cache LLM replies

[Feature] Improve prompt and use plaintext instead of JSON

[Minor] GPT: Allow to trigger on specific symbols

Merge pull request #5352 from rspamd/vstakhov-dkim-sanitize-keys

[Fix] Verify key type to match DKIM signature type

[Fix] Verify key type to match DKIM signature type

Merge pull request #5335 from japc/statistics_dump

[Minor] Some small fixes to statistics_dump

Merge pull request #5334 from FreddleSpl0it/fix-add-text-footer

[Fix] properly close multipart/related boundary when adding text footer

[Minor] On statistics_dump opts.cdb was doing dump_out and vice-versa

[Minor] Fixed nil batch_size on default dump on statistics_dump

[Fix] properly close multipart/related boundary when adding text footer

Merge pull request #5319 from japc/map-combined-description

[Minor] Pass both the multimap and the rules descriptions for combined multimap on create

[Fix] Allow to work with no ratelimits

[Fix] Always create ratelimit buckets

Merge pull request #5326 from rspamd/vstakhov-gpt-reason

[Feature] GPT: Support reason adding

[Minor] Allow to exclude all symbols

[Feature] GPT: Support reason adding

Merge pull request #5320 from rspamd/vstakhov-gpt-consensus

[Feature] Support LLM models consensus

[Feature] Support LLM models consensus

[Minor] Pass both the multimap and the rules descriptions for combined when creating

Merge pull request #5317 from moisseev/webui

[WebUI] Reset dropdown when clearing filters

[Minor] Fix for old OpenSSL, sigh

[Minor] Add protection against infinite recursion

[Fix] Make table digests consistent

[WebUI] Reset dropdown when clearing filters

Ensure the action dropdown resets to its default value when clearing filters in the history table.

[Minor] Really execute on_terminate scripts for fuzzy worker

[Minor] Run finish scripts for fuzzy workers

[Minor] Deal with packed structure member properly

[Minor] Several fixes for fuzzy scripts

[Minor] Some fixes for noop backend

Merge pull request #5315 from japc/rules-regexp-url

[Minor] Rules regexp url separated and fix no subdomain cases for Google urls

Merge pull request #5314 from japc/checks-bool

[Minor] Set RBL checks to bool true

Merge pull request #5313 from dragoangel/patch-8

fix: use sub_utf8 to strip headers value to not break utf8 strings

[Minor] Assuming that the remaining Google urls can also show esld only

[Minor] HAS_GOOGLE_REDIR was not working with https://google.com

[Minor] Move url regexes to regexp/urls.lua

[Minor] Set RBL checks to bool true

add task digest

fix: use sub_utf8 to strip headers value to not break utf8 strings

[Feature] Add UTF8 `sub` and `len` variants for rspamd_text

Merge pull request #5310 from fatalbanana/rbl_urls

RBL: fix use of `content_urls` and `images` inside `checks`

[Fix] RBL: fix use of `content_urls` and `images` inside `checks`

[Test] RBL: test more URL extraction scenarios

Merge pull request #5305 from japc/rbl-checks-images

[Minor] rbl check_types was missing images

[Minor] rbl check_types was missing images

[Minor] Push flag and value for fuzzy pre scripts

Merge pull request #5300 from crpb/master

remove nixspam

remove nixspam

nixspam has shutdown their service on 2025.01.16

closes #5299

Merge pull request #5292 from japc/resolve_ip-ipv46

[Minor] Respect ipv4 and ipv6 configurations for rbl resolve_ip

[Minor] Don't skip resolve_ip when ignore_defaults is true and ipv4 and ipv6 aren't set

Merge pull request #5294 from fatalbanana/mime_types_ico

[Minor] Add another acceptable mime type for icon

[Minor] Add another acceptable mime type for icon

Merge pull request #5293 from rspamd/vstakhov-multiple-fuzzy-scripts

[Feature] Allow multiple lua scripts for fuzzy storage

Merge branch 'master' into vstakhov-multiple-fuzzy-scripts

Merge pull request #5288 from D0LLYNH0/master

[Enhancement] Expand Detection of Fake Reply Subjects Across Multiple Languages

[Feature] Allow multiple lua scripts for fuzzy storage

[Minor] Respect ipv4 and ipv6 configurations for rbl resolve_ip

Merge pull request #5290 from rspamd/vstakhov-fuzzy-noop

[Feature] Add 'noop' redis backend for scripts running

[Minor] Add forgotten files

[Feature] Add 'noop' redis backend for scripts running

Dutch

Expand Detection of Fake Reply Subjects Across Multiple Languages

[Minor] Slightly rework lua shingles to simplify storage

Merge pull request #5283 from fatalbanana/fix_broken_links

[Minor] Fix some broken links

[Minor] Fix some broken links

Merge pull request #5281 from rspamd/vstakhov-redis-pool-fixes

Fix issue with synchronous Redis calls

[Minor] Improve some logging stuff

[Fix] Add timer update before timer setting

[Minor] Add some more logs

Merge pull request #5279 from rspamd/vstakhov-lua-shingles

[Feature] Allow to store shingles as opaque Lua data