[Minor] rbl check_types was missing images

[Minor] Push flag and value for fuzzy pre scripts

Merge pull request #5300 from crpb/master

remove nixspam

remove nixspam

nixspam has shutdown their service on 2025.01.16

closes #5299

Merge pull request #5292 from japc/resolve_ip-ipv46

[Minor] Respect ipv4 and ipv6 configurations for rbl resolve_ip

[Minor] Don't skip resolve_ip when ignore_defaults is true and ipv4 and ipv6 aren't set

Merge pull request #5294 from fatalbanana/mime_types_ico

[Minor] Add another acceptable mime type for icon

[Minor] Add another acceptable mime type for icon

Merge pull request #5293 from rspamd/vstakhov-multiple-fuzzy-scripts

[Feature] Allow multiple lua scripts for fuzzy storage

Merge branch 'master' into vstakhov-multiple-fuzzy-scripts

Merge pull request #5288 from D0LLYNH0/master

[Enhancement] Expand Detection of Fake Reply Subjects Across Multiple Languages

[Feature] Allow multiple lua scripts for fuzzy storage

[Minor] Respect ipv4 and ipv6 configurations for rbl resolve_ip

Merge pull request #5290 from rspamd/vstakhov-fuzzy-noop

[Feature] Add 'noop' redis backend for scripts running

[Minor] Add forgotten files

[Feature] Add 'noop' redis backend for scripts running

Dutch

Expand Detection of Fake Reply Subjects Across Multiple Languages

[Minor] Slightly rework lua shingles to simplify storage

Merge pull request #5283 from fatalbanana/fix_broken_links

[Minor] Fix some broken links

[Minor] Fix some broken links

Merge pull request #5281 from rspamd/vstakhov-redis-pool-fixes

Fix issue with synchronous Redis calls

[Minor] Improve some logging stuff

[Fix] Add timer update before timer setting

[Minor] Add some more logs

Merge pull request #5279 from rspamd/vstakhov-lua-shingles

[Feature] Allow to store shingles as opaque Lua data

Merge branch 'master' into vstakhov-lua-shingles

[Feature] Pass shingles to Lua scripts

[Feature] Allow to store shingles as opaque Lua data

Merge pull request #5275 from b1-systems/fix_thunderbird_for_android_message_id

Fix Thunderbird for Android marked with FORGED_MUA_THUNDERBIRD_MSGID_UNKNOWN

Merge pull request #5276 from JQuags/master

Add ability to not send response_format in gpt plugin in order to support gpt4all

The gpt4all api which is openai compatible does not support response_format and defaults to json_objec. This change adds the ability to add

  include_response_format = false;

In the gpt.conf local.d settings

and exclude sending response_format. No other changes are needed for gpt4all api fixing the error:

 gpt.lua:365: got reply: {"error":{"code":null,"message":"'response_format' is not supported","param":null,"type":"invalid_request_error"}}

[Feature] Allow fine-grained control on keys permissions

Fix issue with Thunderbird for Android being
marked as `FORGED_MUA_THUNDERBIRD_MSGID_UNKNOWN` due to
uppercase UUID format for message IDs.

[Feature] Allow individual `read_only` flag per key

Merge pull request #5269 from corbosman/cloudmark

[minor] log queue id with cloudmark analysis string

Merge pull request #5267 from rspamd/vstakhov-llm-anonymize

Allow to use LLM for anonymize

[minor] log queue id with cloudmark analysis string

Merge pull request #5268 from corbosman/master

[Fix] connIp is not correctly added to request

[Fix] connIP is not correctly added to request

[Minor] Fixes, fixes

[Minor] Oops, fix invocation

[Feature] Preliminary implementation of LLM based anonymizing

[Feature] Lua_task: Allow to load data into the existing task

Merge pull request #5266 from rspamd/vstakhov-universal-hashing-lua

[Feature] Allow to hash any Lua types

[Test] Add some unit tests

[Feature] Allow to hash any Lua types

[Minor] Fix race condition when uploading redis scripts

[Minor] Fix behaviour of EXPLICIT_ENABLE with regard to settings

Merge pull request #5262 from rspamd/vstakhov-gpt-ollama

[Feature] GPT: Add ollama support

[Feature] GPT: Add ollama support

Merge pull request #5260 from fatalbanana/fuzzyping

[Minor] Fix transposed results in `rspamadm fuzzy_ping`

[Minor] Fix transposed results in `rspamadm fuzzy_ping`

[Minor] Limit some flags to C only

[Minor] Fix old compilers FP

[Minor] Make some important compile warnings as compile errors

[Fix] Fix crash on FreeBSD when Rspamd is built without hyperscan

[Minor] Update version

Release 3.11.0

* [Conf] Add lua.local.d folder
* [Conf] Add more ways to extend Rspamd configuration
* [Conf] Allow to install examples conditionally
* [Conf] Fix comments in elastic.conf
* [Conf] Install examples
* [Conf] Use full hostnames for SURBL
* [CritFix] Allow to reupload scripts when Redis is restarted
* [CritFix] Fix ARC-Seal signing
* [CritFix] Properly check dynamic keys in fuzzy storage
* [Feature] Add LRU cache for last filled ratelimit buckets
* [Feature] Add include/exclude logic for headers
* [Feature] Add ratelimit util to manage last filled ratelimit buckets
* [Feature] Dump current ratelimits for fuzzy keys
* [Feature] GPT: Try harder to find JSON in NN reply
* [Feature] Improve address rotation algorithm
* [Feature] Show stats in rspamadm
* [Feature] Unify displayed part selection
* [Fix] Avoid null-bytes in Log-Tag header value.
* [Fix] Another story about char sign
* [Fix] Check DNS limits when resolving MX/PTR records
* [Fix] Dmarc: Properly encode structured headers
* [Fix] Do not abort when OpenSSL is broken, report that to a user
* [Fix] Fix dealing with happy eyeballs in SPF
* [Fix] Fix memory leak in `lua_new_text` invocations
* [Fix] Fix usage of the logging function
* [Fix] Load "default" provider as well as "legacy"
* [Fix] Milter headers: fold before encoding
* [Fix] More fixes to rfc2047 encoding
* [Fix] More things to fix
* [Fix] Phishing: Fix many cases of FP for the same domains
* [Fix] Remove USPOOF_SINGLE_SCRIPT_CONFUSABLE from the checks
* [Fix] Restore propagation of spam/ham learns
* [Fix] Sigh, another fix
* [Fix] Some fixes to `rspamadm ratelimit`
* [Fix] Some more fixes
* [Fix] Use `dkim_signing` for `sign_headers` option
* [Fix] Use correct type for keylen in lua_ucl_newindex
* [Fix] Use cumulative timeout when dealing with TCP connections
* [Fix] Use unsigned char for ragel machines
* [Project] Add routine to strip attachments
* [Project] Add tool to rspamadm
* [Project] Initial stuff to implement messages anonymization
* [Project] Keep Changelog updated
* [Project] Various fixes and `rspamadm mime strip` command
* [Rework] Allow `Content-Encoding` standard header for zstd compression
* [Rework] Breaking: Actualize elastic module, support Elastic 8 & OpenSearch 2, add index policy with logs retention and many more
* [Rework] Multimap should use only distinct text parts for content matching
* [Rework] Replace fastutf with simdutf
* [Rework] Rewrite rfc2047 encoding as it was totally broken
* [Rework] Update hiredis to 1.2.0

Merge pull request #5255 from teplynin/fix-rbl-check_received

[Fix] Skip extra RBL checks when Received IP same as From IP

Merge branch 'rspamd:master' into fix-rbl-check_received

Update src/plugins/lua/rbl.lua

Co-authored-by: Vsevolod Stakhov <vsevolod@rspamd.com>

[Minor] Slightly improve logging

[CritFix] Allow to reupload scripts when Redis is restarted

Issue: #5256

Skipping check_received function for ip address if RBL use botch checks, 'from' and 'received'

Skip extra RBL checks when Received IP same as From IP

[Fix] Fix usage of the logging function

Merge pull request #5254 from rspamd/vstakhov-phishing-fixes

Fix phishing symbol for the same domains

[Minor] Replace rspamd_logger.debugm with proper lua_util.debugm

[Fix] Phishing: Fix many cases of FP for the same domains

[Fix] Remove USPOOF_SINGLE_SCRIPT_CONFUSABLE from the checks

In fact, it just checks if string1 and string2 intersect or not, and
it is definitely not the check we want there.

[Rework] Multimap should use only distinct text parts for content matching

Issue: #5248

[Feature] GPT: Try harder to find JSON in NN reply

[Minor] GPT: use lua_mime routine to select text part

[Minor] GPT: add `allow_passthrough` and `allow_ham` settings

[Test] Breaking: dynamic symbols also require `score` to be set

Issue: #5247

Merge pull request #5241 from moisseev/webui

[WebUI] Rework symbol description display on hover

Merge pull request #5251 from rspamd/vstakhov-cumulative-tcp-timeout

[Fix] Use cumulative timeout when dealing with TCP connections

Merge pull request #5252 from moisseev/set_pre_result

[Minor] Add missing action descriptions

[Minor] Use `rule.score` when using dynamic symbols

Issue: #5247

[Minor] Add missing action descriptions

Merge pull request #5240 from rspamd/vstakhov-anonymize-mime

Add tool to anonymize messages content

[Minor] Some adjustments

[Minor] Make urls and emails unique

[Minor] Fix urls path issue

[Fix] Some fixes to `rspamadm ratelimit`

[Fix] Use cumulative timeout when dealing with TCP connections

[Feature] Add include/exclude logic for headers

Merge pull request #5249 from rspamd/vstakhov-fix-upstreams-rota

[Feature] Improve address rotation algorithm

[Feature] Improve address rotation algorithm

We apply the following algorithm:
1) Get the current element and it's AF
2) If the next element has the same AF, then we just move to the next element
3) If the next element has different AF, then we should find the next element with the same AF
4) If we cannot find such element, then we return the next element (switching AF)

Merge pull request #5216 from left-try/issue#5148

Add `rspamadm` tool to manage last ratelimit hits

Merge branch 'master' into issue#5148

Merge pull request #5243 from rspamd/vstakhov-spf-eyeballs

[Fix] Fix dealing with happy eyeballs in SPF

Merge pull request #5246 from dragoangel/patch-8

Allow set gzip, keepalive and no_ssl_verify in metadata_exporter module

Allow set gzip, keepalive and no_ssl_verify in metadata_exporter module

[CritFix] Properly check dynamic keys in fuzzy storage

[Minor] Fix misprint

[Minor] Fix jemalloc detection

[Fix] Check DNS limits when resolving MX/PTR records

[Minor] Restore copyright style