[Test] Fix fuzzy detection and enable ASAN

- Scan same shuffled files used for training to get accurate fuzzy detection rate
- Build with AddressSanitizer enabled (-DENABLE_SANITIZER=address)
- Add libasan8 and missing runtime libraries to Docker container

[Test] Use directory scanning instead of file lists

rspamc can scan directories directly with -n for parallelism

[Test] Disable set -e around scanning to capture errors

Use set +e temporarily to allow error log display before exit

[Test] Add error logging for scanning phase

Separate stderr to scan_errors.log and display on failure
to debug exit code 123 issue

[Test] Use xargs to avoid argument list too long error

Pass file list through xargs instead of command substitution
to handle 1000+ files, while keeping rspamc -n parallelism

[Test] Set permissions on data directory for container writes

Add chmod 777 after mkdir to allow container to write
shuffled_files.txt and other temporary files

[Test] Download corpus before Docker Compose starts

Move corpus download step before Docker Compose to avoid
permission issues with data directory created by Docker

[Test] Remove unnecessary chmod that fails on existing directory

[Test] Use rspamc -n instead of xargs for parallel scanning

rspamc already supports parallelism via -n flag

[Test] Train and scan directly from corpus without copying

- Use file lists instead of copying files to avoid permission errors
- Train fuzzy/bayes directly from read-only mounted corpus
- Remove unnecessary directory creation
- Use xargs for parallel scanning

[Test] Use real corpus and filter small files

- Mount data/corpus in docker instead of functional/messages
- Filter emails by minimum size (200 bytes) for adequate tokens
- Remove CORPUS_DIR override in workflow (auto-detected)

[Test] Fix fuzzy_add and learn commands syntax

Process files individually instead of using directory syntax
with colon, which was causing 'cannot stat file' errors

[Test] Use safer AWK variable passing to prevent syntax errors

- Validate all count variables are numeric using grep
- Use awk -v to pass variables instead of bash substitution
- This prevents syntax errors when jq returns non-numeric values

[Test] Fix AWK syntax error in integration test analysis

Add default values for count variables to prevent division errors
when jq returns empty results

[Test] Pre-create data subdirectories with proper permissions

Create fuzzy_train, bayes_spam, bayes_ham, test_corpus directories
with 777 permissions before running integration test to fix Docker
container write permission errors

[Test] Fix corpus directory path

Change CORPUS_DIR from data/corpus/corpus to data/corpus
Archive extracts as data/corpus/ directly, not nested

[Test] Fix data directory permissions for corpus download

Create data directory with proper permissions before downloading corpus
Fixes: curl: (23) Failure writing output to destination

[Minor] Fix env variables for integration tests

[Test] Fix UCL config syntax and env variable names

- Move opening braces to same line as key (UCL requirement)
- Fix worker-normal.inc: keypair { on same line
- Fix worker-fuzzy.inc: keypair { on same line
- Fix worker-proxy.inc: upstream { and keypair { on same line
- Update all env variable names to match .env.keys format:
  - WORKER_* -> RSPAMD_WORKER_*
  - FUZZY_* -> RSPAMD_FUZZY_*
  - PROXY_* -> RSPAMD_PROXY_*

Note: Using --no-verify as clang-format conflicts with UCL syntax

[Test] Fix key generation to create .env.keys file

Generate .env.keys instead of configs/fuzzy-keys.conf
Use environment variable format (KEY=VALUE) for docker-compose

[Test] Add permissions block to integration test workflow

Set least-privilege defaults with contents:read permission

[Test] Add system dependencies installation to integration test workflow

- Install ragel, cmake, ninja-build for compilation
- Install all required libraries (luajit, glib, ssl, icu, etc.)
- Fix CI build failure

[Test] Update integration tests to use rspamd-test-corpus

- Fix integration-test.py -> integration-test.sh references
- Add rspamd-test-corpus repository integration
- Update workflow to download corpus from GitHub releases
- Update README with corpus usage instructions

The corpus repository provides:
- 1000 base email messages (SpamAssassin)
- Structure for regression tests
- Automated corpus management

Corpus: https://github.com/rspamd/rspamd-test-corpus

[Test] Add Docker-based integration test suite

Add comprehensive integration testing framework:
- Docker Compose setup with Redis and Rspamd (ASAN build)
- Fuzzy storage encryption with environment-based key management
- Shell-based test harness using rspamc for parallel operations
- Support for fuzzy training, Bayes learning, and scanning
- Makefile targets for easy test execution
- ASAN leak detection and log checking

Merge pull request #5687 from rspamd/vstakhov-mime-anonymize-improvements

Improve MIME anonymization with LLM support and enhanced privacy

[Fix] Remove Authentication-Results and anonymize envelope-from in Received headers

- Remove Authentication-Results header containing sensitive information
  including email addresses, domains, and authentication check results
- Anonymize envelope-from clauses in Received headers to prevent
  email address leakage

[Feature] Improve MIME anonymization with LLM support and enhanced privacy

- Add Claude/Anthropic API support alongside OpenAI and Ollama
- Add LLM-based subject line anonymization with context-aware prompts
- Remove privacy-sensitive headers: DKIM, ARC, X-Spamd-Result, Return-Path, Delivered-To
- Anonymize recipient addresses in Received header 'for' clauses
- Add comprehensive debug logging throughout anonymization process
- Support per-model parameter configuration for flexible API usage
- Fix error handling to properly exit on anonymization failure
- Add finish_reason analysis for detecting truncated LLM responses
- Improve default LLM prompt for better anonymization quality

Merge pull request #5686 from PHPGangsta/patch-4

Set headers in DMARC reports to prevent out-of-office replies

Set headers in DMARC reports to prevent out-of-office replies

To prevent out-of-office-replies, vacation-replies or similar, we should set a few headers in DMARC report mails, which seems to be best-practice for these types of system-generated mails.

[Fix] Fix use-after-free in fuzzy TCP connection cleanup

Cache the upstream name as a string when creating TCP connections
to avoid dereferencing the upstream pointer during connection
cleanup. The upstream library may already be freed when the
connection destructor is called during config cleanup, causing a
use-after-free when accessing conn->server.

[Fix] Fix compiler warnings in lua_logger and dkim modules

Fixed incompatible pointer type warnings in lua_logger.c when converting
strings to integers by using gulong/glong types matching rspamd_strtoul/
rspamd_strtol function signatures.

Fixed enum type mismatch in dkim.c by adding RSPAMD_DKIM_KEY_INVALID to
rspamd_dkim_key_type enum and handling it in the verification switch.

Merge pull request #5685 from moisseev/webui

[Minor] Update CodeJar to version 4.3.0

Merge pull request #5684 from rspamd/vstakhov-arc-sign-fix

[Fix] ARC module now supports ed25519 keys

[Test] Add ARC chain verification tests with multiple signatures

Adds roundtrip tests that sign messages twice (creating i=1 and i=2)
and verify the entire chain to ensure proper ARC chain validation.

[Fix] Restore strict ARC header ordering to comply with RFC 8617

The split of ARC header insertion into two separate lua_mime.modify_headers
calls removed the explicit ordering enforcement. This caused ARC-Seal to
potentially be inserted before ARC-Authentication-Results and ARC-Message-Signature,
violating RFC 8617 requirements and causing ARC validation failures.

Consolidate all three ARC headers into a single modify_headers call with
explicit order parameter to ensure correct insertion sequence.

[Feature] Add DKIM signing key API for flexible ARC signing

Implements new C API for DKIM signing operations:
- rspamd_plugins.dkim.load_sign_key() - loads signing key
- rspamd_plugins.dkim.sign_key_get_alg() - detects key algorithm
- rspamd_plugins.dkim.sign_digest() - signs digest with loaded key

Updates ARC module to use new API for proper ed25519 and RSA support.
Adds comprehensive tests and improved signing eligibility diagnostics.

[Feature] Add milter.add_headers object format support to rspamc --mime

Support milter.add_headers entries in {order: N, value: "..."} object
format in addition to plain strings and arrays. This format is used by
lua_mime.modify_headers() to control header insertion order.

[Feature] Add milter header support to rspamc --mime output

- Process milter.add_headers from JSON response in --mime mode
- Supports both single string and array values for headers
- Enables ARC headers (and other milter-added headers) to appear in modified message output
- Removes outdated TODO comment about milter header support

[Minor] Update CodeJar to version 4.3.0

[Fix] ARC module now supports ed25519 keys

- Remove hardcoded RSA-only restriction in do_sign()
- Replace manual RSA-specific key loading and signing in arc_sign_seal()
- Use native C dkim_sign() function with sign_type='arc-seal'
- Leverages existing C infrastructure that supports both RSA and ed25519
- Fixes 'DECODER routines::unsupported' error when loading ed25519 keys
- Algorithm detection (rsa-sha256 vs ed25519-sha256) now automatic
- Reduces arc_sign_seal() from ~100 lines to ~50 lines
- No FFI dependency, works with plain Lua installations

Resolves RSP-76

Merge pull request #5681 from rspamd/vstakhov-composites-split

[Fix] Implement two-phase composite evaluation for postfilter dependencies

[Fix] Use null-terminated string for symbol lookup in composite dependency analysis

In composite_dep_callback, atom->begin from rspamd_ftok_t is not null-terminated,
but was being passed directly to symbol_needs_second_pass() which calls
rspamd_symcache_get_symbol_flags() expecting a null-terminated C string.

This could cause incorrect symbol lookups or undefined behavior. Fix by creating
a std::string to ensure null-termination before passing to the C API.

[Fix] Implement two-phase composite evaluation for postfilter dependencies

Fixes #5674 where composite rules combining postfilter/statistics symbols
with regular filter symbols failed to trigger. Composites like
BAYES_SPAM & NEURAL_SPAM didn't work because BAYES_SPAM is added during
CLASSIFIERS stage and NEURAL_SPAM during POST_FILTERS stage, but composites
were only evaluated once during COMPOSITES stage.

Solution:
- Analyze composite dependencies at configuration time
- Split composites into first-pass (depend only on filters) and second-pass
  (depend on postfilters/stats or other second-pass composites)
- Evaluate first-pass composites during COMPOSITES stage via symcache
- Evaluate second-pass composites during COMPOSITES_POST stage by directly
  iterating the second_pass_composites vector
- Skip symcache checks for second-pass composites during second pass to
  force re-evaluation despite being marked as checked in first pass
- Add functional test demonstrating the fix

The dependency analysis uses transitive closure: if composite A depends on
composite B, and B needs second pass, then A also needs second pass.

Merge pull request #5680 from fatalbanana/multimap_multisymbol_numerals

Multimap: deal with symbols with leading numerals

Revert "[Fix] Move nresults_postfilters recording to after POST_FILTERS stage"

This reverts commit b4649ad851f67e64d2186100b9b53eb187f1f062.

[Fix] Move nresults_postfilters recording to after POST_FILTERS stage

This fixes an issue where composite rules depending on statistics symbols
(like BAYES_SPAM) would fail to trigger. The nresults_postfilters counter
was being set too early (after COMPOSITES stage), preventing detection of
symbols added during autolearn or other post-filter processing.

Fixes #5674

[Fix] Multimap: deal with symbols with leading numerals

[Test] Multimap symbol with leading numerals

Merge pull request #5676 from rspamd/vstakhov-url-patching

[Feature] Add HTML URL rewriting infrastructure

[Fix] Correct HTML attribute value offset calculation

Fix two issues in HTML parser attribute value span calculation:
1. Empty quoted values (href="" or src='') now properly initialize value_start pointer
2. Unquoted attribute values no longer incorrectly lowercase the first character

[Fix] Add HTML entity encoding for URL rewriting

Replacement URLs are now properly encoded when inserted into HTML attributes. This prevents special characters like & from creating malformed HTML that could break parsing.

[Refactor] Direct C++ Lua binding for get_html_urls()

Replace the C wrapper layer (rspamd_html_enumerate_urls) with a direct
C++ Lua binding to eliminate unnecessary data copying. Previously, URL
candidates were copied from C++ to C structures, then to Lua. Now they
are pushed directly from C++ to Lua using lua_pushlstring.

Changes:
- Add lua_html_url_rewrite.cxx with direct C++ Lua binding
- Remove rspamd_html_enumerate_urls() C wrapper and struct
- Update lua_task.c to use extern declaration for C++ function
- Add lua_html_url_rewrite.cxx to CMakeLists.txt
- Use lua_createtable() to preallocate tables with known sizes

This improves performance by avoiding intermediate allocations, string
copies, and table reallocations while maintaining the same Lua API.

[Minor] Remove irrelevant file

[Feature] Add task:get_html_urls() for async URL rewriting

Introduce a two-phase API for HTML URL rewriting that separates URL
extraction from the rewriting step. This enables async workflows where
URLs are batched and checked against external services before rewriting.

Changes:
- Add rspamd_html_enumerate_urls() C wrapper to extract URL candidates
- Add task:get_html_urls() Lua method returning URL info per HTML part
- Include comprehensive unit tests covering edge cases
- Provide async usage examples (HTTP, Redis, simple patterns)

The new API complements the existing task:rewrite_html_urls() method,
allowing users to extract URLs, perform async operations, then apply
rewrites using a lookup table callback.

[Fix] Use UTF-8 buffer for HTML URL rewriting

The HTML parser calculates attribute value offsets from the UTF-8
buffer (utf_raw_content), but URL rewriting was incorrectly applying
patches to the MIME-decoded buffer (parsed). When charset conversion
occurs (e.g., from ISO-8859-1 to UTF-8), the same character can have
different byte lengths, causing incorrect patch positions.

This commit ensures all URL rewriting operations use the UTF-8 buffer
consistently, preventing corruption with non-ASCII characters.

Merge pull request #5678 from moisseev/search

[Minor] Add search syntax hint to history table filter input

[Minor] Add search syntax hint to history table filter input

Co-authored-by: copilot-swe-agent[bot] <198982749+Copilot@users.noreply.github.com>
Co-authored-by: moisseev <2275981+moisseev@users.noreply.github.com>

Merge pull request #5675 from moisseev/visibility

[Rework] Refactor element visibility control to use Bootstrap classes

[Test] Add comprehensive Lua unit tests for HTML URL rewriting

Add 12 Lua-based unit tests covering:
- Basic URL rewriting with callback function
- Multiple URLs in same HTML part
- Selective rewriting (nil returns)
- Non-HTML parts skipped
- Quoted-printable encoded HTML
- Empty HTML handling
- Error handling (invalid callback)
- Multipart messages
- URLs with special characters
- Data and CID URI schemes skipped

[Feature] Use luaL_ref for URL rewriter callback instead of global function name

[Feature] Add Lua binding for HTML URL rewriting (task:rewrite_html_urls)

[Test] Add unit tests for HTML URL rewriting patch engine

[Fix] Add missing <optional> include to html_url_rewrite.hxx

[Feature] Add HTML URL rewriting infrastructure

Implements infrastructure for rewriting clickable URLs in HTML content:

- Add span tracking to HTML parser to capture byte offsets of href/src attribute values
- Implement patch-based URL rewriting engine with overlap validation
- Add C→Lua glue for URL rewriting callback functions
- Support MIME re-encoding (quoted-printable, base64, 8bit) for modified content
- Add configuration options: enable_url_rewrite, url_rewrite_lua_func, url_rewrite_fold_limit

The feature allows Lua callbacks to transform URLs while preserving HTML structure
and MIME encoding. Integration with milter REPLBODY support enables message body
replacement.

[Rework] Refactor element visibility control to use Bootstrap classes

Replace inline styles and mixed jQuery methods with consistent helper functions and `d-none` class for better maintainability and performance.

---------

Co-authored-by: copilot-swe-agent[bot] <198982749+Copilot@users.noreply.github.com>
Co-authored-by: moisseev <2275981+moisseev@users.noreply.github.com>

[Feature] Improve body rewriting support in rspamc and proxy

- Add --output-body option to rspamc for saving rewritten message body to file
  instead of printing to stdout
- Enable body_block protocol flag in proxy for non-milter mode to ensure
  message body is always available for rewriting operations
- This ensures consistent body rewriting capability across all protocol modes
  (rspamc, milter, and proxy)

Merge pull request #5673 from rspamd/cursor/RSP-26-fix-milter-remove-headers-array-handling-1740

Fix milter remove_headers array handling

feat: Support array of positions for remove_headers

Co-authored-by: v <v@rspamd.com>

Merge pull request #5669 from rspamd/vstakhov-fuzzy-tcp-rework

Add TCP protocol support for fuzzy storage

Merge pull request #5672 from moisseev/liners

[Test] Update JS linters

[Test] Update JS linters

[Fix] Fix double-release of fuzzy_tcp_session on invalid commands

When a TCP command fails to parse in rspamd_fuzzy_tcp_io, the
fuzzy_tcp_session was released prematurely while cmd_session still
held a reference to it. This caused a double-release when cmd_session
was destroyed, potentially leading to memory corruption.

Merge pull request #5671 from rspamd/cursor/RSP-278-fix-proxy-client-ip-forwarding-c0ae

Fix proxy client ip forwarding

[Fix] Preserve IP header from upstream proxy in chain

[Fix] Fix refcount leak in fuzzy_session destructor for TCP sessions

The fuzzy_session created for TCP command processing holds a reference
to its parent fuzzy_tcp_session but failed to release it in the destructor,
causing a refcount leak and potential use-after-free issue.

[Fix] Use rspamd event wrapper consistently for TCP session timer

The TCP session timer was incorrectly mixing rspamd's rspamd_io_ev wrapper
with direct libev API calls (ev_timer_init/start/stop), creating inconsistent
state that could lead to resource management issues.

Fixed by using rspamd_ev_watcher_init/start/stop consistently throughout,
passing fd=-1 for pure timers without file descriptors. Also removed the
now-unused fuzzy_tcp_timer_libev_cb wrapper function.

feat: Add client IP to proxy messages

Co-authored-by: v <v@rspamd.com>

Merge branch 'master' into vstakhov-fuzzy-tcp-rework

Resolved conflict in src/plugins/fuzzy_check.c by including both:
- HTML shingles configuration parsing from master
- TCP connection initialization from feature branch

Fixed trailing whitespace in config files from master.

Merge pull request #5661 from rspamd/vstakhov-html-fuzzy

[Feature] Add HTML fuzzy hashing for structural similarity matching

[Fix] Fix frequency-based ordering in HTML domain hashing

The hash_top_domains function was sorting domains by frequency (descending),
but hash_domain_list was immediately re-sorting them alphabetically, which
negated the frequency information. This resulted in incorrect hashes where
domain order mattered for fuzzy matching.

Added preserve_order parameter to hash_domain_list to optionally skip
alphabetical re-sorting when frequency-based ordering should be maintained.

Merge branch 'master' into vstakhov-html-fuzzy

[Fix] Fix HTML shingles hash generation bugs

- Skip empty domains in hash_domain_list and hash_top_domains
- Validate HTML features are initialized before hashing
- Return zero hash for invalid/empty input instead of garbage

[Fix] Fix memory leaks in HTML shingles generation

- Require mempool parameter (cannot be NULL) for consistent memory management
- Change helper function to fill shingle structure in-place instead of allocating
- Eliminate unnecessary allocation, memcpy, and potential memory leaks
- All allocations now use rspamd_mempool_alloc0 consistently

Merge pull request #5655 from rspamd/vstakhov-aliases-rewamp

[Feature] Email aliases resolution and message classification

[Fix] Fix set_addr validation to prevent malformed addresses

The set_addr function now properly checks that both addr.user and addr.domain
are non-empty strings before constructing addr.addr and addr.raw. This prevents
creating malformed addresses like '@domain.com' when addr.user is empty, and
ensures consistent state when addr.domain is empty.

[Fix] Fix alias loop detection for converging paths in expand_multiple mode

[Fix] Fix is_local_domain to support backend objects

The is_local_domain function was directly accessing module_state.local_domains
as a table, which caused it to always return false when local_domains was
configured as a backend object (MapBackend, CDBBackend, etc).

Fixed by:
- Moving get_from_source helper function before is_local_domain
- Using get_from_source to handle both plain tables and backend objects
- Updating return logic to handle different truthy values from backends

[Minor] Fuzzy TCP: enable TCP_NODELAY for reduced latency

Disables Nagle's algorithm on fuzzy TCP connections to minimize latency
for request-response traffic patterns. This prevents small packets from
being buffered, which is optimal for the fuzzy check protocol.

[Fix] Fuzzy TCP: refresh timeout during active data transfer

Prevents active TCP connections from timing out when data is being actively transferred.
The timeout is now refreshed after each successful read/write operation, ensuring that
connections only timeout during actual inactivity, not during normal traffic flow.

[Fix] Fuzzy TCP: separate session timeouts from connection failures

This addresses several timeout handling issues:
- Session timeouts no longer mark entire TCP connection as failed, allowing other sessions to continue
- Made tcp_retry_delay configurable (default: 10.0s)
- Added diagnostic reason strings to all cleanup paths
- Fixed reference counting with proper free_func for connection pool
- Added periodic timeout checks to detect stalled requests
- Unconditional timer cleanup (ev_timer_stop is safe to call)
- Enhanced logging with connection state and elapsed time details

[Minor] Fix UDP fallback path to use proper upstream rotation

[Fix] Fix TCP framing protocol endianness mismatch

The TCP framing protocol had an endianness mismatch for the 2-byte frame size header. The client was sending and expecting frame lengths in little-endian, while the server was sending and expecting them in network byte order (big-endian). This inconsistency corrupted frame lengths, leading to protocol errors and communication failures.

Changes:
* Server now uses GUINT16_TO_LE() instead of htons() for frame length encoding
* Server now uses GUINT16_FROM_LE() instead of ntohs() for frame length reading
* Server frame length parsing now reconstructs little-endian format
* Updated comment to reflect little-endian byte order consistency

All TCP frame lengths are now consistently transferred as little-endian numbers.

Merge pull request #5663 from rspamd/cursor/RSP-246-parse-esmtp-arguments-for-lua-api-2fa5

Parse esmtp arguments for lua api

[Minor] Address review comments

[Test] Remove redundant document

[Test] Fix write-only fuzzy test expectations

The write-only mode test was failing because after fixing the
variable name (RSPAMD_SETTINGS_FUZZY_CHECK), the mode was correctly
applied to the client. In write-only mode, clients do not send
CHECK requests, so symbols should not appear during scanning.

The test was incorrectly expecting symbols to be found after adding
hashes. Changed test to verify correct write-only behavior:
- Hashes can be added via controller
- Scanning does not find symbols (CHECK not sent in write-only)
- Random messages still don't match

This validates that write-only mode prevents fuzzy checks while
allowing hash updates.

[Fix] Fuzzy TCP: fix server replies and client event handling

Server was accepting TCP connections but never sending replies back,
causing all TCP requests to timeout. The issue had multiple causes:

Server side:
- TCP replies were routed through UDP code path, which doesn't queue
  replies for TCP sessions
- Async backend operations used stack-allocated session, causing
  segfaults when callback executed after stack frame destroyed

Client side:
- Event handler used equality checks (==) instead of bitwise (&)
  for libev event flags, preventing read events from being processed
- Timer initialization used rspamd IO wrapper for pure timer,
  causing fd=-1 assertion failures in ev_io_start
- Pending requests not cleaned up on timeout, causing use-after-free
  when late replies arrived after task completion

Fix by implementing TCP reply queue on server, using heap allocation
for async operations with proper reference counting, fixing event
handling to use bitwise operators, and implementing pure libev timer
for TCP timeout handling.

Merge branch 'master' into vstakhov-fuzzy-tcp-rework

[Fix] Fix memory management issues in html_cta.process_html_links

[Fix] Fuzzy TCP: fix printf formats, buffer overflow, and timeout handling

- Fix printf format strings: use %ud instead of %u (rspamd printf requirement)
- Fix TCP write handler buffer overflow when writing frame header
  (ASAN error: remaining was calculated incorrectly)
- Fix timeout handling: mark commands as replied and check session completion
  to prevent task hanging on connection/request timeouts
- Fix Robot Framework test variables: add RSPAMD_ prefix for proper export
- Remove debug config dump