lib-storage: Split off lib-storage-lua

doc: solr-config-9.xml - Make it compatible with Solr 9.8.0

Changes:

  * remove `numVersionBuckets` which is obsolete and ignored
  * remove `<lib ..>`, and instead leave a comment for user to enable modules

configure: Fix checking if BUILD_IMAP_HIBERNATE is set

lib-dovecot: Don't build libdovecot-gssapi.la when gssapi is disabled

This leads to linker errors on macOS.

lib: Silencing warnings for 'memcpy' macro redefined on macOS

lib-imap-urlauth: test-imap-urlauth - Remove pointless checks

These tests were just testing "return 0" stubs.

config: default-settings-import - Auto-subscribe to mailbox defaults

auth: db-oauth2 - Fix crash when oauth2:<field> variable doesn't exist

Broken in d0b4a58cb934731e4b64934895a319b16e0d66e8

lib-sasl: sasl-server-mech-otp - Use constant-time hash comparisons

lib-lua: Fix accesing freed memory if Lua script leaks passthrough event

Broken by a487559b11294c1c519a64dd42a970456e1493a0

lib-auth-client: auth-master - Fix panic when reconnecting after handshake timeout

The connection wasn't fully disconnected after handshake timeout. Fix this
by moving connection_disconnect() to auth_master_connection_failure() so it
always gets called.

Fixes:
Panic: file connection.c: line 797 (connection_client_connect_with_retries): assertion failed: (conn->fd_in == -1)

lib-auth-client: auth-master - Remove redundant code

These are cleared by the following auth_master_connection_failure() call.

imap-hibernate: Fix potential crash after fd_send() failure

connection_input_parse_lines() accessed the already freed conn struct
after input_line() destroyed the connection.

lib: Add sentry byte for buffer_t when (fast) devel-checks are enabled

global: Enable some of the existing devel-checks with devel-checks=fast

configure: Add --enable-devel-checks=fast to enable DEBUG_FAST

lib-dict-backend: dict-ldap - Fix accessing parsed_attributes array

There was ever only one value, so it didn't cause problems yet.

acl: Fix array handling when removing ACL rights

The initial array size was large enough that practically this mistake
couldn't have caused wrong behavior.

doveadm: formatted formatter - Fix potential crash

lib-smtp: server - Explicitly NUL-terminate AUTH input line

This wasn't practically an issue, since there was always a NUL at the end,
but it's a bit abusing the API.

lib-oauth2: Fix potential crash or bad handling of JWT array values

If the JWT had an array larger than 8 (fields array's initial size),
the code may have crashed or dropped some of the values in the array.

lib: Use buffer_nul_terminate() for string_t NUL-termination

lib: Add buffer_nul_terminate()

lib-ldap: Create a new TLS context for all LDAP TLS connections

It's required for Bookworm and others to either

- set the global TLS options (by passing a NULL LDAP handle for ldap_set_option)
  and not to create a connection specific TLS context (by setting the
  LDAP_OPT_X_TLS_NEWCTX option)

-or-

- set the connection specific TLS options (by passing a non-NULL LDAP handle for
  ldap_set_option like on RHEL9) and to create a connection specific TLS context
  (by setting the LDAP_OPT_X_TLS_NEWCTX option).

It's better to set set the connection specific TLS options and to create a
connection specific TLS context.

Additionally, do not set the global peer certificate checking strategy
(the global LDAP_OPT_X_TLS_REQUIRE_CERT option). It is not needed and
has no effect after a new TLS context is created.

lib-ldap: Do not override the tls_protocol_min setting with a lower one

lib-ldap: Convert ssl_min_protocol properly to int

lib-ldap: ldap_set_tls_options() - Fix #endif scope

lib-iostream: Disallow empty ssl_min_protocol

lib-mail: Add I/O test for istream-dot/ostream-dot

lib-mail: ostream-dot - Optimize stream writing

Use i_memcspn() to figure out how much we can skip.

lib-mail: ostream-dot - Use unsigned char

lib-mail: Reformat ostream-dot.c

lib-mail: test-ostream-dot - Use test_assert_memcmp()

lib-mail: ostream-dot - Add missing default case

lib-mail: istream-dot - Optimize reading

Use i_memcspn() to figure out how much data we can consume.

lib-program-client: test-program-client - Use test_assert_strcmp()

lib-mail: Add test case for dot i/ostream to test dot before newline

lib-mail: test-istream-dot - Use test_assert_memcmp

lib-mail: ostream-dot.c - Use container_of macro

lib-mail: istream-dot.c - Use container_of macro

lib-test: Require both lengths in test_assert_memcmp()

lib-test: test-common - Fix missing newline in test_assert_failed_memcmp_idx()

stats: Fix panic due to miscalculation of group-by buckets for non-multiple steps

Also add a linear group-by test with a non-multiple step.

Fixes: Panic: failed to find a matching bucket ...

stats: Small cleanup to clarify group-by bucket creation

stats: Add linear group-by test with an exact multiple step

*-login: Reload settings after ID/XCLIENT has changed addresses

lmtp: Support XCLIENT DESTADDR and DESTPORT

submission-login: proxy - Don't try to reconnect and retry XCLIENT command failures

submission-login: proxy - Add support for XCLIENT DESTIP and DESTPORT

lib-smtp: Add support for XCLIENT DESTIP and DESTPORT

lib-smtp, global: smtp_server_connection_create*() - Add local_ip and local_port parameters

lib: Add struct connection.local_port

pop3-login: proxy - Don't try to reconnect and retry XCLIENT command failures

pop3-login: proxy - Add support for XCLIENT DESTIP and DESTPORT

This is for preserving the server/local IP and port.

imap-login: Replace imap_id_param_handler.key_is_prefix with enum flags

imap: Change imap_id_received event to match pre-login event's behavior

Add external=yes field if client sent any ID command parameters.
Send the imap_id_received event even if ID command had no parameters.

imap-login: Add internal, external and trusted fields to imap_id_received event

imap-login: Send imap_id_received event even when ID command had no parameters

It could still be useful to know.

imap-login: Simplify ID command's log_reply handling

It's practically always created, so just do it at initialization.

imap-login: Add comments to internal ID command parameter handling

imap-login: imap-proxy - Handle ID command failures

If it fails with SERVERBUG, abort the login. This is used now by Dovecot
to indicate that the settings reload failed, and the client will be
disconnected next anyway. By aborting earlier, we can log the failure
better.

If the ID command fails in other ways, log it as a debug message.

imap-login: imap-proxy - Parse server responses case insensitively

IMAP protocol is not case sensitive. Luckily this seems to have worked
with current IMAP servers.

lib: test-unicode-nf - Fix accessing string out of bounds

Wrong string length was being used in tests.

lib-imap-urlauth: Add test-imap-urlauth

imap-urlauth: Make sure access_apps array is NULL-terminated

Practically it hasbeen for now, because the array's initial size was larger
than the max number of applications the client would have sent.

lib-imap-urlauth: Fix checking access application string

The string was matched as a prefix instead of a full string. Practically
this made no difference, since there are only a few standard applications
and they share no common prefixes.

imap-login: Don't try to reconnect when remote LOGIN/AUTHENTICATE fails with SERVERBUG imap-resp-code

It got set wrong by 8f371bb423f55f0150348e111172b8b0a7d510dc.

lib-lua: Automatically abort leaked passthrough events

Log an error about the leak.

lib: If passthrough event is leaked, include in the panic message where it was created at

lib: randgen - Don't warn about kiss random source when fuzzing

m4: dovecot.m4 - Enable addresss sanitizer for fuzzer

lib-test: fuzzer - Fully deinitialize lib for each cycle

This will allow running address sanitizer as part of the fuzz.

lib-master: Allow lib_init()/lib_deinit() to be called externally

This is needed for using the master service API inside a fuzzer.

lib: lib - Support re-initialization

lib: lib-event - Support re-initialization

Make sure global state is reset properly through deinit->init cycle.
This is needed for fuzzing with address sanitizer.

lib: process-title - Support re-initialization

Make sure global state is reset properly through deinit->init cycle.
This is needed for fuzzing with address sanitizer.

lib: data-stack - Support re-initialization

Make sure global state is reset properly through deinit->init cycle.
This is needed for fuzzing with address sanitizer.

lib-storage: mailbox_verify_existing_name() - Minor NFC normalization error handling fix

Mainly this fixes dead code complaint from static analyzer, because
practically the error handling ended up being identical anyway.

Broken by d346ca98293747c804276ba7f86245def47a8308

lib-sql/driver-sqlite: Ensure tail is handled correctly in driver_sqlite_statement_init()

This is not likely to happen, but satisfies static analysis.

COPYING: Update unicode license

The license has changed, and so is the location we store it.

lib-storage: revert maildir/mail_attachment_detection_options to "" for CE

as it breaks on maildir new/ because message flags can exist only in cur/

.gitignore: Add /build-aux/test-driver

lib-sql: driver-sqlite - Add sqlite_synchronous setting

Values are explained in https://sqlite.org/pragma.html#pragma_synchronous.

Default is 'FULL'.

lib-sql: driver-sqlite - Implement statement API

lib-sql: driver-sqlite - Use sqlite3_snprintf() to quote values

This does it the sqlite3 way.

lib-sql: sql-api - Make sql_prepared_statement_unref(NULL) no-op

lib-sql: driver-sqlite - Extract result preparation to driver_sqlite_statement_result_prepare()

lib-sql: driver-sqlite - Reorder driver_sqlite_query_s()

lib-sql: driver-sqlite - Use sql_statement for driver_sqlite_query_s()

lib-sql: driver-sqlite - Use ctx->error in driver_sqlite_transaction_commit_s()

Logging error_r too soon will just crash.

lib-sql: driver-sqlite - Log system errno as well

lib-sql: driver-sqlite - Clarify that readonly error is caused by sqlite_readonly=yes

lib-storage: list: mailbox-list-iter - Fix info pool memory leak upon iterator initialization failure

Only initialize the info pool when initialization of the iterator is otherwise
successful and almost complete.

global: Include sys/mkdev.h when needed

This is needed on Solaris to get makedev()

lib-regex: Do not use data stack for replacement string

It will get lost when the data stack frame is dropped at the end,
so use heap memory instead.

imap: Use normalized UTF8 mailbox names when UTF8=ACCEPT is enabled

lib-storage: list: mailbox-list-iter - Add list local variable to mailbox_list_iter_next_call()

lib-storage: mail-storage - Add storage local variable to mailbox_open_full()

imap: Produce UTF8 quoted strings when UTF8=ACCEPT is enabled and where possible

imap: cmd-namespace - Limit scope of ns_sep variable in list_namespaces()