[Fix] Refactor multipattern to use per-multipattern TLD flag

This commit fixes the multipattern implementation to properly support
per-multipattern TLD flag instead of per-pattern flags.

Key changes:
- Remove acism_id_offset field - no longer needed since TLD is now
  per-multipattern, not per-pattern
- Fix hyperscan TLD pattern suffix: use (?:[^a-zA-Z0-9]|$) instead
  of (:?\b|$) because \b requires HS_FLAG_UCP which causes issues
- Initialize pats array in create functions when TLD flag is set
- Add TLD patterns to pats array at start of add_pattern_len for
  ACISM fallback during hyperscan compilation
- Simplify ACISM callback - strnum IS the pattern ID for TLD patterns

For TLD multipatterns, the system now builds BOTH:
- ACISM patterns (for fallback during HS compilation or when unavailable)
- Hyperscan patterns (when available)

At lookup time: use Hyperscan if ready, fall back to ACISM otherwise.

[Fix] Fix multipattern cache file cleanup and ACISM fallback

- Register multipattern cache files with rspamd_hyperscan_notice_known()
  to prevent hs_helper from cleaning them up during cache cleanup
- Fix ACISM pattern ID offset for mixed multipatterns (static + TLD):
  when ACISM callback returns strnum, add acism_id_offset to get the
  actual pattern ID that the URL scanner expects

[Feature] Add multipattern state machine for async compilation support

Add state machine (INIT/COMPILING/COMPILED/FALLBACK) to multipattern
for future async hyperscan compilation. Build ACISM fallback for TLD-only
patterns to allow matching while HS compiles. Mixed TLD/non-TLD patterns
use sync compile. Also update cache format to unified .hs extension.

[Fix] Use correct .hs extension in multipattern fpath

Merge pull request #5815 from Premkumar-2004/issue-5670

GPT: Improve prompt to avoid ambiguity

Issue: #5670

added changes

[Feature] Unified hyperscan cache format for multipattern

Add C helper functions for serializing/deserializing hyperscan databases
with the unified format (magic, platform, CRC). Migrate multipattern from
raw .hsmp files to the unified .hs format compatible with re_cache.

- Add rspamd_hyperscan_serialize_with_header() and load_from_header()
- Update multipattern to use unified format with platform validation
- Fix CRC calculation in Lua bindings to match re_cache format

Merge pull request #5817 from Premkumar-2004/issue-5799-clean

Add diacritics flag to Thai language

Issue: #5799

Merge branch 'master' into issue-5799-clean

changes

modified as suggested

modified as suggested

Merge pull request #5818 from moisseev/license

[Minor] Remove MIT license references from WebUI files

[Minor] Remove MIT license references from WebUI files

Co-authored-by: copilot-swe-agent[bot] <198982749+Copilot@users.noreply.github.com>
Co-authored-by: moisseev <2275981+moisseev@users.noreply.github.com>

fixed issue-5799

fixed issue-5670

[Feature] Add Lua hyperscan compilation bindings and orchestration module

- Add rspamd_hyperscan Lua module with compile/serialize/deserialize/validate
- Create lua_hs_compile.lua orchestration module for unified compilation
- Support pluggable cache backends via lua_hs_cache integration
- Use unified file format with magic, platform info, CRC validation

[Feature] Add pluggable hyperscan cache storage infrastructure

This commit adds infrastructure for pluggable hyperscan cache storage
backends and FD-based shared memory distribution:

- Add platform ID function (rspamd_hyperscan_get_platform_id) for
  platform-aware cache keys
- Create lua_hs_cache.lua with file, Redis, and HTTP backends
- Add FD-based loading APIs (rspamd_hyperscan_from_fd,
  rspamd_hyperscan_create_shared_unser)
- Add fd_size field to control messages for FD passing
- Update worker to handle attached FDs in hyperscan notifications
- Add cache_backend configuration option to hs_helper

Merge pull request #5811 from moisseev/webui

[Minor] Add WebUI architecture documentation

[Minor] Add WebUI architecture documentation

Create interface/ARCHITECTURE.md to help developers and AI agents
navigate the codebase.

[Minor] Update public suffix list

Merge pull request #5810 from rspamd/vstakhov-clickhouse-extra-tables

[Feature] Add extra tables API for clickhouse plugin

[Feature] Add extra tables API for clickhouse plugin

Allow other plugins to dynamically register custom Clickhouse tables
via rspamd_plugins['clickhouse'].register_extra_table(). Supports
per-table schemas, row callbacks (single or multiple rows), and
independent retention settings.

Revert "[Fix] Use exact map lookup for DKIM key_table instead of glob"

This reverts commit 0dadf30f5f52b3a89a859dfdc947954bff612e8c.

[Fix] Use exact map lookup for DKIM key_table instead of glob

Fixes #5806 - key_table was using glob matching which caused
prefix collisions (e.g., 'bvv' matching 'bvvvolley')

[Fix] Add Homebrew LLVM libc++ library path on macOS

Merge pull request #5809 from rspamd/revert-5793-lua54

Revert "Use PUC-Rio Lua in packages"

Revert "Use PUC-Rio Lua in packages"

[Fix] Fix replxx build with LLVM 21+

- Simplify CMakeLists.txt to use CMAKE_CXX_STANDARD 20
- Replace std::unordered_map with std::map to avoid libc++ ABI issues
- Add operator< to UnicodeString for std::map compatibility

[Project] Update fmt library to 12.1.0

Also restore doctest/scripts/version.txt removed in previous commit.

[Project] Remove documentation files from contrib dependencies

Keep only essential files: sources, headers, build system, and licenses.

[Fix] Avoid SDK headers in include path when package ROOT is specified

- Add NO_DEFAULT_PATH to FIND_PATH when PKG_ROOT is set to prevent
  macOS SDK C headers from polluting include paths before libc++
- Fix typo: {RSPAMD_DEFAULT_INCLUDE_PATHS} -> ${...}
- Remove obsolete paths (/opt/csw, /sw), add /opt/homebrew for macOS

[Feature] Rename fuzzy_check max_score to hits_limit for clarity

The option name max_score was confusing as it doesn't refer to the
symbol score but rather the number of fuzzy hash hits at which the
normalized score reaches ~1.0 (formula: tanh(e * hits / hits_limit)).

- Rename max_score -> hits_limit in fuzzy_check.c and default config
- Add backward compatibility: max_score is still accepted as an alias
- Add lua_cfg_transform to handle legacy configs (max_score overrides
  hits_limit to ensure local.d overrides work correctly)
- Add explanatory comments in config and documentation

[Fix] Add resilience to lua_cfg_transform

- Check :type() before indexing UCL objects to handle null values
- Wrap transform sections in pcall to prevent one bad config section
  from breaking the entire configuration load
- Log errors with section name for easier debugging

[Fix] Load rbl_common early for confighelp schema registration

Move require of plugins/rbl before confighelp check so the schema
gets registered even in confighelp mode.

[Feature] Add confighelp documentation for RBL module

Add schema documentation for all RBL rule and plugin options.
Register schemas with plugin registry for rspamadm confighelp.

[Fix] Preserve doc from optional wrappers in lua_shape

When a schema field uses :optional():doc(), the documentation was lost
during table field normalization. Now propagates doc to inner schema.

[Fix] Add null checks for task in Redis stat callbacks

Prevent crash when task becomes invalid during async Redis
callbacks by checking lua_check_task return value.

[Fix] More lua_settop fixes in MIME processing

Fix additional lua_settop(L, 0) calls in rspamd_message_from_data
and rspamd_mime_expr_process that could corrupt the Lua stack.

[Fix] Restore Lua stack properly in second-pass MIME detection

Fix lua_settop(L, 0) which cleared the entire Lua stack instead
of restoring to the previous state, causing segfaults when
process_message() was called from Lua unit tests.

Merge pull request #5803 from rspamd/vstakhov-task-registry

[Feature] Add task registry for safe Lua task reference validation

Merge pull request #5804 from fatalbanana/rspamadm_timeouts

[Test] Set timeout for rspamadm functional tests

Merge pull request #5805 from fatalbanana/fix_confighelp

[Minor] confighelp: Lua compatibility, remove bogus elements

[Minor] confighelp: Lua compatibility, remove bogus elements

[Test] Set timeout for rspamadm functional tests

[Fix] Use Fibonacci hashing for task pointer hash

Use golden ratio multiplication for 64-bit to 32-bit pointer hashing.
This provides good distribution with minimal operations (1 multiply +
1 shift) and works well with kh_int_hash_func which is identity.

[Fix] Add logging, preallocation and hash mixing to task registry

- Log error when detecting use-after-free attempt on task pointer
- Preallocate task set to 16 elements to reduce early rehashing
- Mix pointer bits using multiplicative hash for better distribution

[Fix] Use pointer set instead of key map for task validation

Store task pointers in a khash set and validate them on lookup
from Lua. This works with all code paths that create task userdata
directly without going through rspamd_lua_task_push.

[Fix] Use rspamd_lua_task_push in all task creation paths

Fix load_from_file, load_from_string, and create to use
rspamd_lua_task_push instead of directly creating userdata
with raw task pointer.

[Feature] Add task registry for safe Lua task reference validation

Implement a global task registry that maps unique uint64_t keys to task
pointers. This prevents use-after-free bugs when Lua code holds references
to tasks that may have been freed (e.g., in async Redis callbacks).

Key changes:
- Add lua_key field to rspamd_task struct
- Implement task registry using khash (O(1) lookup)
- Store lua_key in Lua userdata instead of raw pointer
- Lookup via registry when extracting task from Lua
- Remove task from registry FIRST in rspamd_task_free()

The counter-based key approach avoids issues with:
- Pointer reuse after free (memory allocator may reuse addresses)
- Lua number precision (52-bit mantissa is sufficient for counter)
- NaN/subnormal float values that could cause issues

This fixes potential use-after-free in Redis script waitq callbacks
when Redis is unavailable longer than task lifetime.

Revert "[Fix] Prevent use-after-free in Redis callbacks after session cleanup"

This reverts commit 99ba65fc30685e613c138dc1f68acdc51732f86f.

Revert "[Fix] Release Redis connection in lua_redis_fin to avoid double-free"

This reverts commit b8de1b2542dedf8ab92a51e74b6f2a27c8d70e7b.

[Minor] Greylist: improve debug logging

[Fix] Release Redis connection in lua_redis_fin to avoid double-free

Also set ud->ctx = NULL so lua_redis_dtor won't try to release again
during Lua GC after the pool may have been destroyed.

[Fix] Prevent use-after-free in Redis callbacks after session cleanup

Set ud->terminated in lua_redis_fin() so async Redis callbacks
don't access task data after the task pool has been freed.

Merge pull request #5762 from rspamd/vstakhov-pdf-text

[Feature] Implement basic PDF text extraction

Merge pull request #5792 from fatalbanana/python_compat

[Test] Add hacks for backwards-compatibility

[Fix] Move safety valve check to collect functions

Check limits when adding new rows, not in periodic sender.

[Fix] Add safety valve to discard data on 10x limit overflow

Prevents unbounded memory growth by discarding buffered data when
limits are exceeded by 10x, logging an error to alert operators.

[Fix] Fix Lua 5.4 compatibility in clickhouse and elastic plugins

- Merge nested settings tables (limits, retention) to preserve defaults
  when user provides partial configuration
- Use %d with math.floor() instead of %.0f for integer formatting

[Fix] Use %.0f format specifier for floats in clickhouse plugin

Lua 5.4 string.format is stricter than LuaJIT and requires %d to receive
actual integers. Use %.0f for timestamp differences which are floats.

Merge pull request #5795 from moisseev/playwright

[Test] Add WebUI symbol ordering tests

Merge pull request #5797 from moisseev/webui

Improve WebUI code quality and async handling

[Fix] Plain lua bails about bad format strings and do abort

[Fix] Fix get_text_quality bugs and clean up verbose comments

Fix two bugs in lua_util_get_text_quality:
- Pass valid UErrorCode pointer to uscript_getScript() (was returning -1)
- Move emoji check after digit check (0-9 have UCHAR_EMOJI property)

Clean up verbose comments in pdf.lua config and ligature handling.

[Minor] Refactor switch statements to object lookups

[Minor] Use expanded.ft.row instead of expand.ft.row

The expanded event fires after row expansion is complete,
eliminating the need for the artificial 5ms delay.

[Fix] Handle connection errors with io_uring backend in HTTP client

When using io_uring, POLLERR is reported as both EV_READ and EV_WRITE.
This caused connection failures (e.g., ECONNREFUSED) to be misinterpreted
as early server responses. Check SO_ERROR before attempting to read when
the connection hasn't been established yet.

[Minor] Return promise from destroyTable

Make destroyTable return FooTable's destruction promise
and use promise chaining instead of arbitrary timeout

[Minor] Refactor retry loop into FooTable event

Use postinit.ft.table event instead of polling

[Minor] Refactor sessionStorage Credentials handling

to use ES2020 optional chaining

[Test] Skip unnecessary waiting in initial scan counter read

Since the test starts already on the Status tab, the gotoTab("status")
doesn't trigger a new request, and we're just waiting for
the autorefresh to happen, causing unnecessary delay.

[Feature] Add text quality analysis for PDF garbage filtering

- Add rspamd_util.get_text_quality() function with comprehensive UTF-8
  text analysis using ICU for proper Unicode classification
- Returns 18 metrics: letters, digits, punctuation, spaces, printable,
  words, word_chars, total, emojis, uppercase, lowercase, ascii_chars,
  non_ascii_chars, latin_vowels, latin_consonants, script_transitions,
  double_spaces, non_printable
- Add confidence scoring to PDF text extraction to filter garbage tokens
  (single characters, encoded data, random sequences)
- Configurable via text_quality_threshold, text_quality_min_length,
  text_quality_enabled options in pdf module config
- Add unit tests for get_text_quality function

[Test] Add WebUI symbol ordering tests

[Test] Add hacks for backwards-compatibility

Merge pull request #5793 from fatalbanana/lua54

Use PUC-Rio Lua in packages

[Minor] Clean up code style and fix Lua portability

[Minor] Unbreak build on focal

Merge branch 'master' into vstakhov-pdf-text

Merge pull request #5791 from moisseev/webui

[Fix] Correct symbols column index in history and scan tables

[Minor] Update version

[Fix] Correct symbols column index in history and scan tables

Fixes regression introduced in 62b136a where sorting fails with
"can't access property 'sortValue', val.options is undefined" on
the History tab, and symbol reordering doesn't work on the Scan tab.

The "file" column addition shifted the symbols column index, but
history.js and upload.js were not updated, causing symbol reordering
to target wrong columns.

Issue: #5789

Release 3.14.2

Features:
- DMARC: Add --recheck-rua option for RUA filtering at send time
- Metadata exporter: Add multipart and msgpack formatters
- Milter headers: Add remove_ar_from option for selective A-R removal

Fixes:
- Security: Backport security fixes from libucl 0.9.3
- HTTP: Handle early server responses during request write
- MIME: Prevent splitting UTF-8 sequences in header encoding
- URL: Normalize URLs with multiple slashes between host and path
- Aliases: Enable plugin by default to restore plus-addressing
- Multiple Lua 5.4 compatibility fixes
- Build: FreeBSD 15 inotify compatibility
- Build: Remove deprecated OpenSSL engine.h include
- Various plugin fixes (DCC, Neural, Reputation, Milter headers)

Merge pull request #5787 from rspamd/vstakhov-meta-exporter-http-rework

[Feature] Add multipart and msgpack formatters to metadata_exporter

[Feature] Add multipart and msgpack formatters to metadata_exporter

- Add multipart formatter for HTTP export using form-data with separate
  metadata (JSON) and message (rfc822) parts
- Add msgpack formatter for efficient binary serialization
- Add json_with_message formatter for JSON with base64-encoded message
- Deprecate meta_headers option (broken by design for complex data)
- HTTP pusher now auto-detects multipart boundary from formatter

[Fix] Backport security fixes from libucl 0.9.3

Backported critical fixes from upstream libucl:
- Fix heap-buffer-overflow in ucl_parse_multiline_string
- Fix heap-buffer-overflow in ucl_maybe_parse_number
- Fix Use-After-Free in ucl_parser_process_object_element
- Fix C-style comment parser bugs
- Fix invalid JSON emission when merging objects
- Add API misuse detection in ucl_object_emit_streamline_start_container

[Fix] Prevent splitting UTF-8 sequences in MIME header encoding

Merge pull request #5785 from rspamd/vstakhov-http-race-fix

[Fix] Handle HTTP early server responses during request write

[Fix] Only apply early response handling for HTTP clients

The early response detection logic should not run for server-side
connections, as it incorrectly modifies wr_pos state when the server
reads incoming requests. This was breaking spamc protocol handling.

[Fix] Handle HTTP early server responses during request write

Fix HTTP client to properly handle early server responses (e.g., 413
Too Large) that arrive before the client has finished sending the
request body. This is allowed by HTTP/1.1 (RFC 7230 Section 6.5).

- Use bitwise AND for event flag checks to handle combined EV_READ|EV_WRITE
- Watch for both READ and WRITE events during write phase
- Check for early response on write errors (EPIPE, ECONNRESET)
- Add RSPAMD_HTTP_CONN_FLAG_EARLY_RESPONSE flag to track state

Merge pull request #5784 from rspamd/vstakhov-ar-removal-improvements

Add remove_ar_from option for selective AR header removal

[Fix] Fix hierarchical domain matching in remove_ar_from map lookups

[Feature] Add remove_ar_from option for selective Authentication-Results header removal

Merge pull request #5783 from moisseev/patch-contrib

[Fix] FreeBSD 15 inotify build compatibility

[Fix] FreeBSD 15 inotify build compatibility

FreeBSD 15.0 introduced native inotify support, which causes
libev to enable EV_USE_INOTIFY. On FreeBSD, struct statfs is
defined in <sys/mount.h> rather than <sys/statfs.h>.

Note: This fix obsoletes the corresponding patch file in the
FreeBSD `mail/rspamd` and `mail/rspamd-devel` ports.

[Fix] Handle nil opts in DCC plugin initialization

Fixes #5751: The plugin crashed when configured with only 'enabled = false'
because get_all_opt returns nil for empty/disabled config sections.

[Fix] Allow default_headers_order to be configured in milter_headers

Fixes #5781: The default_headers_order setting was defined in the plugin
but never read from the configuration file. Add schema validation and
config loading for this option.

[Fix] Fix other places of 5.4 rounding issues

[Fix] Fix Lua 5.4 compatibility issues in neural plugin

This commit addresses several Lua 5.4 compatibility issues that caused
the neural LLM tests to fail:

1. Redis TTL must be integer (lua_cache.lua):
   - Lua 5.4's tostring() produces "4.0" for floats instead of "4"
   - Redis SETEX/EXPIRE commands require integer TTL values
   - Fixed by using math.floor() before tostring()

2. Version number format in ANN keys (lualib/plugins/neural.lua):
   - Changed string format from %s to %d for version numbers
   - Ensures integer format "1" instead of potential "1.0"

3. Iterator vs table handling (src/plugins/lua/neural.lua):
   - fun.map() returns an iterator, not a table
   - In Lua 5.4, # operator on iterators returns 0
   - Fixed by wrapping with fun.totable() to get a proper table

4. Nil values in table arguments (lualib/plugins/neural.lua):
   - Lua 5.4 handles nil values in tables differently
   - Tables like {a, b, nil, nil} have undefined length behavior
   - Fixed by using empty string defaults for optional parameters

5. Redis script nil checks (neural_save_unlock.lua):
   - Added empty string checks alongside nil checks
   - Ensures optional fields are only set when truly provided

6. Test infrastructure improvements:
   - Added logging to dummy_llm.py for debugging
   - Added proper error handling and diagnostics
   - Updated rspamd.robot with better dummy_llm startup logging

[Test] Fix TCP tests for HTTP/1.1 compliance

- Add required Host header to all HTTP/1.1 requests in tcp.lua
- Bind dummy servers to 127.0.0.1 instead of localhost to avoid
  IPv6/IPv4 mismatch on systems where localhost resolves to ::1