fts: Keep track of every backend mailbox fts index status for virtual folders.

fts: Whitespace cleanup.

lib-storage: Move search matching into mailbox_vfuncs.search_next_match_mail()

lib: Use data stack frame with IO switch and destroy callbacks

lib: Use data stack frame with IO context activate/deactive callbacks

These were running outside the regular ioloop data stack frames, so if the
callback used any data stack it kept increasing memory usage.

This fixes excessive memory usage with old_stats plugin when used with
long-running imap sessions. The memory got filled with UPDATE-SESSION
commands.

lib-storage: When search parses message headers, deinitialize the parsing properly

index_mail_parse_header() was being called only for the actual headers.
This prevented it from being called with hdr=NULL to indicate that the
parsing is finished and should be deinitialized. Move the
index_mail_parse_header() to be called earlier so it's called also with
hdr=NULL.

Not deinitilizing the parsing could have caused assert-crashes later on in
some situations.

Fixes:
Panic: file index-mail-headers.c: line 667 (index_mail_get_raw_headers): assertion failed: (mail->mail.mail.lookup_abort >= MAIL_LOOKUP_ABORT_NOT_IN_CACHE)
Panic: file ../../../src/lib/array.h: line 244 (array_idx_i): assertion failed: (idx < array->buffer->used / array->element_size)
Panic: file index-mail.c: line 1203 (index_mail_parse_body_finish): assertion failed: (!success)

doveadm: Route help/usage messages on stderr rather than stdout.

login-common: Add proxying events

- proxy_session_started: Emitted before connecting to remote
- proxy_session_established: Emitted after connection to remote is established
and user is successfully logged in to the backend.
- proxy_session_finished: Emitted when proxying has ended. Either successfully
or with error.

login-common: Change login proxy message to include IP address

Will be in format "<IP> (<host>)". Host part is optional and not added
if proxy target is an IP address.

login-proxy: Add source_port to proxy event after connection is established

login-common: Add more fields to login proxy event

Adds
- source_ip
- dest_ip
- dest_port
- dest_host
- master_user

login-common: Start proxying after client fields are set

Allows adding more event fields in login_proxy_new().

login-proxy: Add login_proxy_get_ip_str()

Returns proxy IP address as string.

client-common: Add service field to client event

imap: list_send_status() - Fixes LIST-EXTENDED doesn't return STATUS for all folders

Sending LIST .. RETURN (SUBSCRIBED STATUS (...)) did not return STATUS for folders that are not subscribed when they have a child folder that is subscribed as mandated by IMAP RFC

lib-index: Add mail_index_alloc_cache_find()

maildir: Fix crash when closing a mailbox that isn't open

This could have happened at least with virtual plugin.

master: test-auth-client - Check that authorization ID is as expected

master: test-auth-client - Fix authenid check to be assert

It can never be NULL at this point.

lib-dict: dict-lua - Throw Lua error if dict key is invalid or username is missing

This prevents assert-crashes in the C code.

lib-dict: dict_lookup_async() - Add missing assert to check for key prefix and username

lib-master: Prevent read buffer overflow with invalid haproxy header size

This could have happened only for connections from haproxy_trusted_networks,
so it's unlikely to cause any real security issues.

lib-dcrypt: dcrypt_openssl_decrypt_point_password_v1() - Fix crash if pbkdf2 generation fails

imap: Fix handling client initialization error

It should send "OK Logged in" + BYE, not PREAUTH.

Broken by 714ff4342e39e309ff184905cd2f714def6177a3

imap: Move client_add_input() content to calling functions

imap: Move IMAPLOGINTAG environment handling

It can only happen with stdio clients when they don't have CLIENT_INPUT,
so it makes more sense to exist in the calling function.

imap-login: proxy: Don't forward untagged BYE responses to the client

It will just cause confusion, especially when connections are retried.
It could end up looking like:

x login user pass
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
x NO [UNAVAILABLE] Account is temporarily unavailable.

lib-storage: mail_storage_service_lookup() - Fix memory leak when returning -2

This was also visible as event leaks.

lib-index: Fix potential crash with debug logging when looking up cache

lib-index: mail_cache_lookup_iter_next() - Add a warning comment about re-reading fields

mail-crypt: mail_crypt_load_global_private_key() - Drop unnecessary NULL check

lib, global: i_stream_create_chain() - Add max_buffer_size

This makes sure that the istream size can't grow too large and waste memory.

Previously the istream max_buffer_size was dynamically changed to be the
smallest seen max_buffer_size in chained istreams. This mostly worked, but
sometimes the istream-chain's max_buffer_size was requested before even the
first istream was added to it.

Having an explicit max_buffer_size avoids all the problems of it being
dynamic, and there's not really any need for it anyway.

virtual: Fix assert-crash when backend mbox mailbox is deleted while virtual mailbox is open

The code wrongly thought that metadata lookup couldn't fail because it was
already successfully looked up. But the backend storage could still try to
refresh the mailbox to verify whether it still exists or not, and fail if
it was deleted.

This seems to have affected only the mbox mailbox format.

Broken by 710346bcb884b464c8ed128870fdc1999c13dfd3

lib: istream-concat - Add a comment about explicit snapshot function

lib: test-istream-concat - Unref child istreams immediately

This doesn't currently make a difference, since istream-concat keeps them
internally referenced. In case this changes and snapshot handling isn't
fixed similarly to istream-chain, the unit test should now fail.

lib: istream-concat - Fix snapshot handling when combining two istreams

Snapshotting wasn't handled correctly when two (or more) istreams' contents
were combined into the same buffer.

lib: istream-chain - Optimize snapshot handling

lib: istream-chain - Fix snapshot handling when link istream is destroyed

lib: istream-chain - Fix snapshot handling when combining two istreams

Snapshotting wasn't handled correctly when two (or more) istreams' contents
were combined into the same buffer.

lib: Add i_stream_memarea_detach()

lib: test-istream-chain - Use more unique strings for testing

DEBUG checks don't work well if the input repeats the same character.

lib: istream-seekable - Fix crash after write to temp file failed

Fixes:
Panic: file istream-seekable.c: line 230 (read_from_buffer): assertion failed: (*ret_r > 0)

lib: istream-seekable - Don't double-close temp file fd on errors

Closing the fd_input stream already auto-closes the fd.

lib: istream-seekable - Fix crash if writing to temp file fails

lib: i_stream_try_alloc() - Add sanity check asserts

lib-imap-client: test-imapc-client - Increase connect timeout for most tests

The 500ms timeout could have been too short when running with valgrind on an
overloaded system. Increase it to 5 seconds, but keep 500ms for the tests
that expect a timeout.

lib-master: master_login_auth_callback() - Add assert to guard for both errormsg and auth_args being NULL

auth: db-passwd-file - Fix using paths with %% escaped characters but no %variables

full_key might not have been NULL, causing var_expand() to read past the
array and possibly crash.

lib: t_get_bytes_available() - Move code inside DEBUG to avoid dead code warning

lib-index: mail_index_sync_init_expunge_handlers() - Simplify and remove dead code

lib-index: test-mail-index-write - Fix initializing map.hdr_copy_buf

lib-settings: test-settings-parser - Check settings_parser_check() return value

auth: Make sure auth_request_import() doesn't unexpectedly fail

lib: Change i_unreached() to be a function

This allows overriding the function in a Coverity model, so it can
understand that i_unreached() is intended to be unreachable code.

lib: base64 - Add asserts to check max_line_len is in valid range

ipc: Disable connecting to stats

This avoids reconnect errors if stats process crashes.

master: Use relative path for stats_writer_socket_path for chrooted services

This allows login process to reconnect to stats-writer if it gets
disconnected.

stats: Add login/stats-writer socket

lmtp: lmtp-proxy - Use the per-recipient session ID for the "Saved" message.

lmtp: Move session_id field to generic recipient struct.

lmtp: lmtp-proxy - Forward session ID towards backend.

lmtp: lmtp-local - Always add RCPT index to session ID for delivery.

Even when it is 1.

lib-smtp: smtp-server-transaction - Base transaction ID on connection session ID.

Composed as "<connection session ID>:<trasaction sequence>".

lib-smtp: smtp-server-connection - Manage session ID for the connection.

lib-smtp: smtp-server-cmd-xclient - Parse XCLIENT SESSION field.

lib-smtp: smtp-client-connection - Send new SESSION field with XCLIENT command.

lib-smtp: smtp-client - Use smtp_proxy_data_merge() to copy proxy data in smtp_client_init().

lib-smtp: smtp-common - Add SESSION field to proxy data.

lib: connection - Add debug message for when property label (peer address) changes.

lib: connection - Make connection_update_properties() public.

lib: connection - Drop useless newlines.

lib-program-client: test-program-client-local - Use dd instead of head

`head -c n` is only guaranteed to print n bytes, but it may consume more.
FreeBSD's implementation of head(1) uses buffered stdio, which did just that.

`dd` consumes exactly the specified number of bytes.

login-proxy: Fix potential memory leak if backend login fails

It also needs an abnormal way of destroying the client for the leak to
happen. For example if the login process is being killed.

lib-test: fuzzer - Disable error handling for output stream towards program.

Fixes:

Panic: output stream  is missing error handling

lib-test: fuzzer - Provide names for fuzzer streams.

lib-smtp: smtp-server-cmd-helo - Fix crash occurring upon pipelined EHLO with invalid domain.

Failed to check for NULL in domain value for a pipelined EHLO/HELO command.

lib: Fix data_stack_get_alloc_size() and data_stack_get_used_size()

It only worked correctly if data stack hadn't been grown. This resulted
in wrong numbers in the data_stack_grow event.

virtual: Fix leaking mailboxes if virtual mailbox can't be opened

Fixes also a crash at deinit:
Panic: file mail-user.c: line 232 (mail_user_deinit): assertion failed: ((*user)->refcount == 1)

mdbox: Avoid calling container_of() with a NULL pointer

sdbox: Avoid calling container_of() with a NULL pointer

lib: buffer_free() - Check for buf==NULL before using container_of()

Helps with static analyzer complaints.

lib: lib-event - Assert-crash if attempting to use NULL passthrough event

Fixes also complaints from static analyzer.

lib: container_of() - Don't check for NULL after all

Adding the explicit NULL checks for container_of() caused caused static
analyzers to think that NULL could be returned at any time. This caused
unnecessary warnings in various places.

Reverts b178d0792b6335277f7fa831fd7e5403105abd04

lib: macros.h - Fix #endif position

lib-index: Add more mail_index_ext_name_is_valid() asserts

lib-index: Handle invalid extension header names without assert-crashing

Fixes:
Panic: mail_index_ext_register(...): Invalid name

lib-index: Add and use mail_index_ext_name_is_valid()

Use it in mail_index_ext_register() instead of the more relaxed
str_sanitize() check.

lib-index: Remove unused mail_index_sync_ext_init()

It doesn't look like this was ever used for anything. The initial commit
used only mail_index_sync_ext_init_new().

zlib: Handle empty zlib_save_level the same as if it doesn't exist

zlib: Fix crash when zlib_save_level is set, but zlib_save is unset

driver-pgsql: Fix error leak

lib-compression: ostream-zlib - Fix non-blocking gz header write

Broken by 373dc6a93da1f6a0ad0c80dbb72566c2b3a295f2

lib-storage: mailbox_get_expunge*() - Fix assert-crash on index corruption

This happened in the very unlikely situation that indexes became corrupted
between two mail_transaction_log_view_set() calls.

Fixes:
Panic: file mailbox-get.c: line 112 (mailbox_get_expunges_init): assertion failed: (ret != 0)

lib: str_hash() - Ignore integer wrapping with ubsan

ATTR_NO_SANITIZE_INTEGER was already set for other hash functions, but
forgotten for this one.

Fixes e.g.:
Error: hash.c:529:16: runtime error: unsigned integer overflow: 4294967200 + 115 cannot be represented in type ‘unsigned int’

lib: ostream-wrapper - Make sure o_stream_finish() has stream_errno != 0 when -1 is to be returned.

Fixes:

Panic: file ostream.c: line 209 (o_stream_flush): assertion failed: (stream->stream_errno != 0)

driver-cassandra: Fix prepared statement pool leak

stats: Remove metric from stats dump, when removing dynamically.

lib-ssl-iostream: istream-openssl - Remove assert() in i_stream_ssl_read().

lib-ssl-iostream: iostream-openssl - Allow plain_input buffer to remain filled in openssl_iostream_bio_input().

lib-ssl-iostream: iostream-openssl - Use o_stream_uncork_flush() to uncork the plain output.

This flushes the stream after uncorking it, fixing I/O hang with nested SSL
layers.