[Minor] On statistics_dump opts.cdb was doing dump_out and vice-versa

[Minor] Fixed nil batch_size on default dump on statistics_dump

Merge pull request #5319 from japc/map-combined-description

[Minor] Pass both the multimap and the rules descriptions for combined multimap on create

[Fix] Allow to work with no ratelimits

[Fix] Always create ratelimit buckets

Merge pull request #5326 from rspamd/vstakhov-gpt-reason

[Feature] GPT: Support reason adding

[Minor] Allow to exclude all symbols

[Feature] GPT: Support reason adding

Merge pull request #5320 from rspamd/vstakhov-gpt-consensus

[Feature] Support LLM models consensus

[Feature] Support LLM models consensus

[Minor] Pass both the multimap and the rules descriptions for combined when creating

Merge pull request #5317 from moisseev/webui

[WebUI] Reset dropdown when clearing filters

[Minor] Fix for old OpenSSL, sigh

[Minor] Add protection against infinite recursion

[Fix] Make table digests consistent

[WebUI] Reset dropdown when clearing filters

Ensure the action dropdown resets to its default value when clearing filters in the history table.

[Minor] Really execute on_terminate scripts for fuzzy worker

[Minor] Run finish scripts for fuzzy workers

[Minor] Deal with packed structure member properly

[Minor] Several fixes for fuzzy scripts

[Minor] Some fixes for noop backend

Merge pull request #5315 from japc/rules-regexp-url

[Minor] Rules regexp url separated and fix no subdomain cases for Google urls

Merge pull request #5314 from japc/checks-bool

[Minor] Set RBL checks to bool true

Merge pull request #5313 from dragoangel/patch-8

fix: use sub_utf8 to strip headers value to not break utf8 strings

[Minor] Assuming that the remaining Google urls can also show esld only

[Minor] HAS_GOOGLE_REDIR was not working with https://google.com

[Minor] Move url regexes to regexp/urls.lua

[Minor] Set RBL checks to bool true

add task digest

fix: use sub_utf8 to strip headers value to not break utf8 strings

[Feature] Add UTF8 `sub` and `len` variants for rspamd_text

Merge pull request #5310 from fatalbanana/rbl_urls

RBL: fix use of `content_urls` and `images` inside `checks`

[Fix] RBL: fix use of `content_urls` and `images` inside `checks`

[Test] RBL: test more URL extraction scenarios

Merge pull request #5305 from japc/rbl-checks-images

[Minor] rbl check_types was missing images

[Minor] rbl check_types was missing images

[Minor] Push flag and value for fuzzy pre scripts

Merge pull request #5300 from crpb/master

remove nixspam

remove nixspam

nixspam has shutdown their service on 2025.01.16

closes #5299

Merge pull request #5292 from japc/resolve_ip-ipv46

[Minor] Respect ipv4 and ipv6 configurations for rbl resolve_ip

[Minor] Don't skip resolve_ip when ignore_defaults is true and ipv4 and ipv6 aren't set

Merge pull request #5294 from fatalbanana/mime_types_ico

[Minor] Add another acceptable mime type for icon

[Minor] Add another acceptable mime type for icon

Merge pull request #5293 from rspamd/vstakhov-multiple-fuzzy-scripts

[Feature] Allow multiple lua scripts for fuzzy storage

Merge branch 'master' into vstakhov-multiple-fuzzy-scripts

Merge pull request #5288 from D0LLYNH0/master

[Enhancement] Expand Detection of Fake Reply Subjects Across Multiple Languages

[Feature] Allow multiple lua scripts for fuzzy storage

[Minor] Respect ipv4 and ipv6 configurations for rbl resolve_ip

Merge pull request #5290 from rspamd/vstakhov-fuzzy-noop

[Feature] Add 'noop' redis backend for scripts running

[Minor] Add forgotten files

[Feature] Add 'noop' redis backend for scripts running

Dutch

Expand Detection of Fake Reply Subjects Across Multiple Languages

[Minor] Slightly rework lua shingles to simplify storage

Merge pull request #5283 from fatalbanana/fix_broken_links

[Minor] Fix some broken links

[Minor] Fix some broken links

Merge pull request #5281 from rspamd/vstakhov-redis-pool-fixes

Fix issue with synchronous Redis calls

[Minor] Improve some logging stuff

[Fix] Add timer update before timer setting

[Minor] Add some more logs

Merge pull request #5279 from rspamd/vstakhov-lua-shingles

[Feature] Allow to store shingles as opaque Lua data

Merge branch 'master' into vstakhov-lua-shingles

[Feature] Pass shingles to Lua scripts

[Feature] Allow to store shingles as opaque Lua data

Merge pull request #5275 from b1-systems/fix_thunderbird_for_android_message_id

Fix Thunderbird for Android marked with FORGED_MUA_THUNDERBIRD_MSGID_UNKNOWN

Merge pull request #5276 from JQuags/master

Add ability to not send response_format in gpt plugin in order to support gpt4all

The gpt4all api which is openai compatible does not support response_format and defaults to json_objec. This change adds the ability to add

  include_response_format = false;

In the gpt.conf local.d settings

and exclude sending response_format. No other changes are needed for gpt4all api fixing the error:

 gpt.lua:365: got reply: {"error":{"code":null,"message":"'response_format' is not supported","param":null,"type":"invalid_request_error"}}

[Feature] Allow fine-grained control on keys permissions

Fix issue with Thunderbird for Android being
marked as `FORGED_MUA_THUNDERBIRD_MSGID_UNKNOWN` due to
uppercase UUID format for message IDs.

[Feature] Allow individual `read_only` flag per key

Merge pull request #5269 from corbosman/cloudmark

[minor] log queue id with cloudmark analysis string

Merge pull request #5267 from rspamd/vstakhov-llm-anonymize

Allow to use LLM for anonymize

[minor] log queue id with cloudmark analysis string

Merge pull request #5268 from corbosman/master

[Fix] connIp is not correctly added to request

[Fix] connIP is not correctly added to request

[Minor] Fixes, fixes

[Minor] Oops, fix invocation

[Feature] Preliminary implementation of LLM based anonymizing

[Feature] Lua_task: Allow to load data into the existing task

Merge pull request #5266 from rspamd/vstakhov-universal-hashing-lua

[Feature] Allow to hash any Lua types

[Test] Add some unit tests

[Feature] Allow to hash any Lua types

[Minor] Fix race condition when uploading redis scripts

[Minor] Fix behaviour of EXPLICIT_ENABLE with regard to settings

Merge pull request #5262 from rspamd/vstakhov-gpt-ollama

[Feature] GPT: Add ollama support

[Feature] GPT: Add ollama support

Merge pull request #5260 from fatalbanana/fuzzyping

[Minor] Fix transposed results in `rspamadm fuzzy_ping`

[Minor] Fix transposed results in `rspamadm fuzzy_ping`

[Minor] Limit some flags to C only

[Minor] Fix old compilers FP

[Minor] Make some important compile warnings as compile errors

[Fix] Fix crash on FreeBSD when Rspamd is built without hyperscan

[Minor] Update version

Release 3.11.0

* [Conf] Add lua.local.d folder
* [Conf] Add more ways to extend Rspamd configuration
* [Conf] Allow to install examples conditionally
* [Conf] Fix comments in elastic.conf
* [Conf] Install examples
* [Conf] Use full hostnames for SURBL
* [CritFix] Allow to reupload scripts when Redis is restarted
* [CritFix] Fix ARC-Seal signing
* [CritFix] Properly check dynamic keys in fuzzy storage
* [Feature] Add LRU cache for last filled ratelimit buckets
* [Feature] Add include/exclude logic for headers
* [Feature] Add ratelimit util to manage last filled ratelimit buckets
* [Feature] Dump current ratelimits for fuzzy keys
* [Feature] GPT: Try harder to find JSON in NN reply
* [Feature] Improve address rotation algorithm
* [Feature] Show stats in rspamadm
* [Feature] Unify displayed part selection
* [Fix] Avoid null-bytes in Log-Tag header value.
* [Fix] Another story about char sign
* [Fix] Check DNS limits when resolving MX/PTR records
* [Fix] Dmarc: Properly encode structured headers
* [Fix] Do not abort when OpenSSL is broken, report that to a user
* [Fix] Fix dealing with happy eyeballs in SPF
* [Fix] Fix memory leak in `lua_new_text` invocations
* [Fix] Fix usage of the logging function
* [Fix] Load "default" provider as well as "legacy"
* [Fix] Milter headers: fold before encoding
* [Fix] More fixes to rfc2047 encoding
* [Fix] More things to fix
* [Fix] Phishing: Fix many cases of FP for the same domains
* [Fix] Remove USPOOF_SINGLE_SCRIPT_CONFUSABLE from the checks
* [Fix] Restore propagation of spam/ham learns
* [Fix] Sigh, another fix
* [Fix] Some fixes to `rspamadm ratelimit`
* [Fix] Some more fixes
* [Fix] Use `dkim_signing` for `sign_headers` option
* [Fix] Use correct type for keylen in lua_ucl_newindex
* [Fix] Use cumulative timeout when dealing with TCP connections
* [Fix] Use unsigned char for ragel machines
* [Project] Add routine to strip attachments
* [Project] Add tool to rspamadm
* [Project] Initial stuff to implement messages anonymization
* [Project] Keep Changelog updated
* [Project] Various fixes and `rspamadm mime strip` command
* [Rework] Allow `Content-Encoding` standard header for zstd compression
* [Rework] Breaking: Actualize elastic module, support Elastic 8 & OpenSearch 2, add index policy with logs retention and many more
* [Rework] Multimap should use only distinct text parts for content matching
* [Rework] Replace fastutf with simdutf
* [Rework] Rewrite rfc2047 encoding as it was totally broken
* [Rework] Update hiredis to 1.2.0

Merge pull request #5255 from teplynin/fix-rbl-check_received

[Fix] Skip extra RBL checks when Received IP same as From IP

Merge branch 'rspamd:master' into fix-rbl-check_received

Update src/plugins/lua/rbl.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

[Minor] Slightly improve logging

[CritFix] Allow to reupload scripts when Redis is restarted

Issue: #5256

Skipping check_received function for ip address if RBL use botch checks, 'from' and 'received'