imap: Move client_add_input() content to calling functions

imap: Move IMAPLOGINTAG environment handling

It can only happen with stdio clients when they don't have CLIENT_INPUT,
so it makes more sense to exist in the calling function.

imap-login: proxy: Don't forward untagged BYE responses to the client

It will just cause confusion, especially when connections are retried.
It could end up looking like:

x login user pass
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
* BYE Internal error occurred. Refer to server log for more information.
x NO [UNAVAILABLE] Account is temporarily unavailable.

lib-storage: mail_storage_service_lookup() - Fix memory leak when returning -2

This was also visible as event leaks.

lib-index: Fix potential crash with debug logging when looking up cache

lib-index: mail_cache_lookup_iter_next() - Add a warning comment about re-reading fields

mail-crypt: mail_crypt_load_global_private_key() - Drop unnecessary NULL check

lib, global: i_stream_create_chain() - Add max_buffer_size

This makes sure that the istream size can't grow too large and waste memory.

Previously the istream max_buffer_size was dynamically changed to be the
smallest seen max_buffer_size in chained istreams. This mostly worked, but
sometimes the istream-chain's max_buffer_size was requested before even the
first istream was added to it.

Having an explicit max_buffer_size avoids all the problems of it being
dynamic, and there's not really any need for it anyway.

virtual: Fix assert-crash when backend mbox mailbox is deleted while virtual mailbox is open

The code wrongly thought that metadata lookup couldn't fail because it was
already successfully looked up. But the backend storage could still try to
refresh the mailbox to verify whether it still exists or not, and fail if
it was deleted.

This seems to have affected only the mbox mailbox format.

Broken by 710346bcb884b464c8ed128870fdc1999c13dfd3

lib: istream-concat - Add a comment about explicit snapshot function

lib: test-istream-concat - Unref child istreams immediately

This doesn't currently make a difference, since istream-concat keeps them
internally referenced. In case this changes and snapshot handling isn't
fixed similarly to istream-chain, the unit test should now fail.

lib: istream-concat - Fix snapshot handling when combining two istreams

Snapshotting wasn't handled correctly when two (or more) istreams' contents
were combined into the same buffer.

lib: istream-chain - Optimize snapshot handling

lib: istream-chain - Fix snapshot handling when link istream is destroyed

lib: istream-chain - Fix snapshot handling when combining two istreams

Snapshotting wasn't handled correctly when two (or more) istreams' contents
were combined into the same buffer.

lib: Add i_stream_memarea_detach()

lib: test-istream-chain - Use more unique strings for testing

DEBUG checks don't work well if the input repeats the same character.

lib: istream-seekable - Fix crash after write to temp file failed

Fixes:
Panic: file istream-seekable.c: line 230 (read_from_buffer): assertion failed: (*ret_r > 0)

lib: istream-seekable - Don't double-close temp file fd on errors

Closing the fd_input stream already auto-closes the fd.

lib: istream-seekable - Fix crash if writing to temp file fails

lib: i_stream_try_alloc() - Add sanity check asserts

lib-imap-client: test-imapc-client - Increase connect timeout for most tests

The 500ms timeout could have been too short when running with valgrind on an
overloaded system. Increase it to 5 seconds, but keep 500ms for the tests
that expect a timeout.

lib-master: master_login_auth_callback() - Add assert to guard for both errormsg and auth_args being NULL

auth: db-passwd-file - Fix using paths with %% escaped characters but no %variables

full_key might not have been NULL, causing var_expand() to read past the
array and possibly crash.

lib: t_get_bytes_available() - Move code inside DEBUG to avoid dead code warning

lib-index: mail_index_sync_init_expunge_handlers() - Simplify and remove dead code

lib-index: test-mail-index-write - Fix initializing map.hdr_copy_buf

lib-settings: test-settings-parser - Check settings_parser_check() return value

auth: Make sure auth_request_import() doesn't unexpectedly fail

lib: Change i_unreached() to be a function

This allows overriding the function in a Coverity model, so it can
understand that i_unreached() is intended to be unreachable code.

lib: base64 - Add asserts to check max_line_len is in valid range

ipc: Disable connecting to stats

This avoids reconnect errors if stats process crashes.

master: Use relative path for stats_writer_socket_path for chrooted services

This allows login process to reconnect to stats-writer if it gets
disconnected.

stats: Add login/stats-writer socket

lmtp: lmtp-proxy - Use the per-recipient session ID for the "Saved" message.

lmtp: Move session_id field to generic recipient struct.

lmtp: lmtp-proxy - Forward session ID towards backend.

lmtp: lmtp-local - Always add RCPT index to session ID for delivery.

Even when it is 1.

lib-smtp: smtp-server-transaction - Base transaction ID on connection session ID.

Composed as "<connection session ID>:<trasaction sequence>".

lib-smtp: smtp-server-connection - Manage session ID for the connection.

lib-smtp: smtp-server-cmd-xclient - Parse XCLIENT SESSION field.

lib-smtp: smtp-client-connection - Send new SESSION field with XCLIENT command.

lib-smtp: smtp-client - Use smtp_proxy_data_merge() to copy proxy data in smtp_client_init().

lib-smtp: smtp-common - Add SESSION field to proxy data.

lib: connection - Add debug message for when property label (peer address) changes.

lib: connection - Make connection_update_properties() public.

lib: connection - Drop useless newlines.

lib-program-client: test-program-client-local - Use dd instead of head

`head -c n` is only guaranteed to print n bytes, but it may consume more.
FreeBSD's implementation of head(1) uses buffered stdio, which did just that.

`dd` consumes exactly the specified number of bytes.

login-proxy: Fix potential memory leak if backend login fails

It also needs an abnormal way of destroying the client for the leak to
happen. For example if the login process is being killed.

lib-test: fuzzer - Disable error handling for output stream towards program.

Fixes:

Panic: output stream  is missing error handling

lib-test: fuzzer - Provide names for fuzzer streams.

lib-smtp: smtp-server-cmd-helo - Fix crash occurring upon pipelined EHLO with invalid domain.

Failed to check for NULL in domain value for a pipelined EHLO/HELO command.

lib: Fix data_stack_get_alloc_size() and data_stack_get_used_size()

It only worked correctly if data stack hadn't been grown. This resulted
in wrong numbers in the data_stack_grow event.

virtual: Fix leaking mailboxes if virtual mailbox can't be opened

Fixes also a crash at deinit:
Panic: file mail-user.c: line 232 (mail_user_deinit): assertion failed: ((*user)->refcount == 1)

mdbox: Avoid calling container_of() with a NULL pointer

sdbox: Avoid calling container_of() with a NULL pointer

lib: buffer_free() - Check for buf==NULL before using container_of()

Helps with static analyzer complaints.

lib: lib-event - Assert-crash if attempting to use NULL passthrough event

Fixes also complaints from static analyzer.

lib: container_of() - Don't check for NULL after all

Adding the explicit NULL checks for container_of() caused caused static
analyzers to think that NULL could be returned at any time. This caused
unnecessary warnings in various places.

Reverts b178d0792b6335277f7fa831fd7e5403105abd04

lib: macros.h - Fix #endif position

lib-index: Add more mail_index_ext_name_is_valid() asserts

lib-index: Handle invalid extension header names without assert-crashing

Fixes:
Panic: mail_index_ext_register(...): Invalid name

lib-index: Add and use mail_index_ext_name_is_valid()

Use it in mail_index_ext_register() instead of the more relaxed
str_sanitize() check.

lib-index: Remove unused mail_index_sync_ext_init()

It doesn't look like this was ever used for anything. The initial commit
used only mail_index_sync_ext_init_new().

zlib: Handle empty zlib_save_level the same as if it doesn't exist

zlib: Fix crash when zlib_save_level is set, but zlib_save is unset

driver-pgsql: Fix error leak

lib-compression: ostream-zlib - Fix non-blocking gz header write

Broken by 373dc6a93da1f6a0ad0c80dbb72566c2b3a295f2

lib-storage: mailbox_get_expunge*() - Fix assert-crash on index corruption

This happened in the very unlikely situation that indexes became corrupted
between two mail_transaction_log_view_set() calls.

Fixes:
Panic: file mailbox-get.c: line 112 (mailbox_get_expunges_init): assertion failed: (ret != 0)

lib: str_hash() - Ignore integer wrapping with ubsan

ATTR_NO_SANITIZE_INTEGER was already set for other hash functions, but
forgotten for this one.

Fixes e.g.:
Error: hash.c:529:16: runtime error: unsigned integer overflow: 4294967200 + 115 cannot be represented in type ‘unsigned int’

lib: ostream-wrapper - Make sure o_stream_finish() has stream_errno != 0 when -1 is to be returned.

Fixes:

Panic: file ostream.c: line 209 (o_stream_flush): assertion failed: (stream->stream_errno != 0)

driver-cassandra: Fix prepared statement pool leak

stats: Remove metric from stats dump, when removing dynamically.

lib-ssl-iostream: istream-openssl - Remove assert() in i_stream_ssl_read().

lib-ssl-iostream: iostream-openssl - Allow plain_input buffer to remain filled in openssl_iostream_bio_input().

lib-ssl-iostream: iostream-openssl - Use o_stream_uncork_flush() to uncork the plain output.

This flushes the stream after uncorking it, fixing I/O hang with nested SSL
layers.

lib-ssl-iostream: iostream-openssl - Return immediately from openssl_iostream_bio_output() upon error.

lib-ssl-iostream: iostream-openssl - Move error handling out of openssl_iostream_bio_output().

Makes the next commit clearer.

lib-ssl-iostream: test-iostream-ssl - Make finishing the ssl streams more robust.

Fixes:

Panic: file ostream.c: line 59 (o_stream_close_full): assertion failed: (stream->real_stream->error_handling_disabled)

lib-ssl-iostream: test-iostream-ssl - Properly mark client endpoints.

lib-ssl-iostream: test-iostream-ssl - Move small_packets_flush_callback().

lib-ssl-iostream: test-iostream-ssl - Move bufsize_flush_callback().

lib-ssl-iostream: ostream-openssl - Call SSL_shutdown() once stream is finished and buffer is empty.

lib: istream - Remove try_alloc_limit.

lib-ssl-iostream - iostream-openssl - Use i_stream_read_limited().

lib: istream - Add i_stream_read_limited().

lib-ssl-iostream: istream-openssl - Simplify i_stream_ssl_read().

Avoid using a stack buffer. Just fill the stream to the maximum buffer size.

lib-ssl-iostream: iostream-openssl - Add OPENSSL_IOSTREAM_SYNC_TYPE_NONE.

This is useful for calling openssl_iostream_handle_error() while avoiding
processing more I/O.

lib-ssl-iostream: Fix error handling if parent iostream fails

Expand out and remove openssl_iostream_more(). It could have returned
errors to two different locations depending on whether the failure came
from SSL handshake or parent iostream.

lib-ssl-iostream: ostream-ssl - Add ssl_io helper variable

lib: o_stream_copy_error_from_parent() - Assert-crash if source stream_errno is 0

This can help debug situations where error is missing.

global: Call o_stream_copy_error_from_parent() only on errors

lib-compression: ostream-zlib - Fix sending partial gz header to parent ostream

This practically wouldn't happen.

lib-http: test-http-client-errors - Revert previous retry changes

The real bug is found now, so the previous fix attempt isn't useful.
Reverts ed1264368a5435c3080871380156978a8951fe26

lib-http: test-http-client-errors - Reset USR1 notification signal between tests

The "connection refused" test already set the signal as being received,
which caused the "connection refused backoff" test to randomly fail since it
thought the signal was immediately received.

lib: istream-concat - Prevent inheriting SIZE_MAX max buffer size from parent streams.

Only when all parent streams have SIZE_MAX for max buffer size, the concat stream will follow suit.

lib-storage: Add mailbox_list.disable_rebuild_on_corruption

If set, don't try to rebuild the mailbox list index even if corruption is
detected.

lib-dcrypt: Fix istream-decrypt snapshotting

This is mostly copy&pasted from istream-header-filter.

lib-storage: hide mail_cache_min_mail_count setting

master: Avoid leaking master client fds to forked processes