Add FREEMAIL_REPLYTO_NEQ_FROM rule

Merge pull request #5406 from dragoangel/patch-11

Add R_HTTP_URL_IN_FROM

[Rework] Use locks/loaded per backend for all maps

Merge branch 'master' into patch-11

Merge pull request #5408 from moisseev/maps

[WebUI] Update Maps table

Update rules/regexp/headers.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

[WebUI] Grey out not loaded maps in the Maps table

Merge branch 'master' into patch-11

[WebUI] Update Maps table

- Display new map flags.
- Rename "Lists" heading to "Maps".
- Add table header.

Update headers.lua

Update headers.lua

Merge pull request #5386 from rspamd/vstakhov-maps-stuff

Improve maps status visibility

Update headers.lua

Update headers.lua

[Minor] Set loaded flag when we load map from cache

Merge pull request #5360 from fatalbanana/contextal

[Feature] Plugin to integrate with Contextal platform

Add R_HTTP_URL_IN_FROM

[Minor] Static maps have pre-defined content, so use it to get id

[Minor] Hfilter: add maps with description

[Fix] Fix maps ids

[Minor] Minor changes to contextal plugin

 - Abandon prefilter
 - Abandon postfilter in favour of wait if we have request_ttl
 - Reformat table

[Minor] Add stock config

[Minor] Add config schema

[Minor] Support defering messages if results are unavailable

[Minor] Satisfy luacheck

[Minor] Use lua_cache

[Minor] Deal with unfinished work properly

[Minor] Forgot to use `SETEX`

[Minor] Fix luacheck complaints

[Feature] Plugin to integrate with Contextal platform

[Fix] Fix static maps description passing

Merge pull request #5400 from williamdes/patch-1

Fix typo on "destionation" -> "destination"

[Feature] Output content for all maps

Merge pull request #5383 from amulet1/lua_logger_improvements

[Minor] Lua logging improvements

Merge pull request #5387 from alex081512/master

[Minor] gpt.lua improvements and one fix for reason_header

Merge pull request #5388 from moisseev/webui

[WebUI] Fix map editor modal handling

Fix typo on "destionation" -> "destination"

Merge pull request #5390 from rspamd/vstakhov-cdb-maps

Allow CDB external maps

Add support for complex table keys in logging output

More lua logging improvements
 * Do not skip numeric indexes that are non-integer or outside of ipairs range when logging table contents
 * Simplify the code, drop redundant checks
 * Allow negative stack indexes in lua_logger_out_*() functions

[Minor] Lua logging improvements
 * Simplify lua_logger_out_str(), fix length check when doing hex output
 * Add lua_logger_out() with embedded lua_logger_trace struct
 * Replace high level lua_logger_out_type() calls with lua_logger_out()
 * Remove unused lua_logger_trace struct references
 * Include string terminator into buffer length checks, adjust affected places accordingly

Merge pull request #5389 from fatalbanana/openphish

[Fix] Update default URL for openphish

Merge pull request #5391 from ertyu/patch-1

Update AUTHORS.md

Update AUTHORS.md

[Test] Add tests for CDB maps

[Feature] Allow CDB files as external maps

[Minor] C&P issue in last commit

[Minor] Reverted commit for result history

[Fix] Update default URL for openphish

[WebUI] Fix map editor modal handling

- Prevent WebUI crash on `jar.destroy` when map query fails
- Do not open the map editor when map query fails
- Ensure proper cleanup of the editor modal

[Minor] Remove whitespace for lua check

[Minor] Insert Reason to result to show gpt answer in history

[Fix] Add header with reason everytime (not only for ham) and use correct value for header

[Minor] Improve gpt prompt - Only ask for red flag when it's spam

[Feature] Show all maps status

[Rework] Store shared maps data separately

Merge pull request #5385 from JensErat/fix-ollama-nil

[Fix] initialize ollama result table

[Fix] initialize ollama result table

similar to gpt.lua:704 for the chatgpt code path, the ollama code path needs to initialize the result table. Without, rspamd fails gpt requests with

> lua_http_finish_handler: callback call failed: /usr/share/rspamd/plugins/gpt.lua:740: attempt to index a nil value

Merge pull request #5378 from amulet1/lua_logger_log_format

[Minor] Fix and improve format string processing in lua_logger_log_format()

Merge pull request #5380 from rspamd/vstakhov-fmt-embedding

[Fix] Use bundled libfmt everywhere

[Fix] Use bundled libfmt everywhere

Issue: #5258

[Minor] Fix and improve format string processing in lua_logger_log_format()
 * Fix handling of %s after % with numeric argument
 * Fix argument number check
 * Preserve unhandled % in the output
 * Redesign to simplify the code

[Minor] Update version

Release 3.11.1

* [Feature] Add 'noop' redis backend for scripts running
* [Feature] Add Redis caching framework
* [Feature] Add UTF8 `sub` and `len` variants for rspamd_text
* [Feature] Allow adding timers to task (respecting symbols)
* [Feature] Allow additional categories to be defined in GPT
* [Feature] Allow fine-grained control on keys permissions
* [Feature] Allow individual `read_only` flag per key
* [Feature] Allow multiple lua scripts for fuzzy storage
* [Feature] Allow to add periodic functions in Lua API
* [Feature] Allow to disable rbls from map
* [Feature] Allow to hash any Lua types
* [Feature] Allow to store shingles as opaque Lua data
* [Feature] Cache LLM replies
* [Feature] GPT: Add ollama support
* [Feature] GPT: Support reason adding
* [Feature] Improve prompt and use plaintext instead of JSON
* [Feature] Lua_task: Allow to load data into the existing task
* [Feature] More additions
* [Feature] Pass shingles to Lua scripts
* [Feature] Preliminary implementation of LLM based anonymizing
* [Feature] Support LLM models consensus
* [Feature] Try to check maps earlier if their expires is too long
* [Feature] Use debug module name from caller in lua_cache
* [Fix] Add timer update before timer setting
* [Fix] Allow to work with no ratelimits
* [Fix] Always create ratelimit buckets
* [Fix] Avoid collision hacks in mempool variables hash
* [Fix] Expire neural ham and spam sets so they not hangup in redis indefinitely
* [Fix] Fix crash on FreeBSD when Rspamd is built without hyperscan
* [Fix] Make table digests consistent
* [Fix] RBL: fix use of `content_urls` and `images` inside `checks`
* [Fix] Verify key type to match DKIM signature type
* [Fix] connIP is not correctly added to request
* [Fix] properly close multipart/related boundary when adding text footer
* [Rework] GPT: Use cache framework

Merge pull request #5377 from rspamd/vstakhov-maps-caching

[Feature] Try to check maps earlier if their expires is too long

Merge pull request #5376 from dragoangel/patch-10

[Fix] Properly expire neural ham and spam sets

[Feature] Try to check maps earlier if their expires is too long

Issue: #5351

Update neural_save_unlock.lua

Merge pull request #5375 from moisseev/webui

[Test] Update JavaScript linters

[Test] Update JavaScript linters

- @stylistic/eslint-plugin 2.8.0 -> 4.2.0
- eslint 9.10.0 -> 9.21.0
- postcss-html 1.7.0 -> 1.8.0
- stylelint-config-standard 36.0.1 -> 37.0.0
- stylelint 16.9.0 -> 16.15.0

Merge pull request #5374 from rspamd/vstakhov-cache-gpt

Use caching framework in gpt module

Merge pull request #5372 from amulet1/map_improvements

Better support for maps and IP-related fixes/improvements in settings

[Minor] Fix invocation

[Rework] GPT: Use cache framework

[Feature] Use debug module name from caller in lua_cache

Merge branch 'master' into map_improvements

Move an upvalue check out of the closure returned by gen_check_closure()

Improve handling of IP conditions in settings
 * Skip invalid IPs (with appropriate error logging)
   (previously a bad IP would cause the subsequent IPs in a list to be ignored or make the whole IP condition to be ignored)
 * Add validated IPs/maps into a flat table
 * Log complete IP in case of invalid mask

Merge pull request #5373 from dragoangel/patch-8

[Fix] Add expiration for neural ham and spam sets

Fix typo in neural.lua

Update neural_save_unlock.lua

[Fix] Expire neural ham and spam sets so they not hangup in redis indefinitely

Rework IP processing/checking in settings
 * Avoid misleading "cannot parse ip" logging by checking for "map:" prefix early
 * Do not use tables for maps or IPs without mask
 * Normalize IPs by applying mask during processing
 * Add error logging for wrong IP mask
 * Simplify check_ip_settings() based on changes in process_ip_condition()

Fix support for "map://" prefix

Merge pull request #5369 from rspamd/vstakhov-cache-framework

[Feature] Add Redis caching framework

[Feature] More additions

* Hash keys
* Docs
* Example

[Minor] Fix format strings

[Feature] Add Redis caching framework

Merge pull request #5367 from jeromelebleu/fix-spelling

Fix spelling errors in libserver

Merge pull request #5366 from jeromelebleu/regenerate-manpages

Regenerate manpages with recent Pandoc version

Merge pull request #5365 from jeromelebleu/fix-rspamd_stats-getopt

Prevent option duplicates in rspamd_stats.pl

Regenerate manpages with recent Pandoc version

Prevent option duplicates in rspamd_stats.pl

Fix spelling errors in libserver

Merge pull request #5363 from rspamd/vstakhov-ev-base-periodics

Add ability to create timers from Lua

[Feature] Allow adding timers to task (respecting symbols)

[Feature] Allow to add periodic functions in Lua API

Merge pull request #5359 from rspamd/vstakhov-rbl-disable

Allow to disable RBLs via map

[Conf] Add map

[Feature] Allow to disable rbls from map