lib: connection - only switch created iostreams

Fixes imap-hibernate: Fatal: master: service(imap-hibernate):
child killed with signal 11 (core dumps disabled)

Broken in 086b73efd1a5812a64acc951366a499d325509a6

submission: Properly handle omission of required authentication for relay connection.

Particularly, do not forward the 530 error to the client. Instead, log the
problem and close the client connection with an internal error.

lib-smtp: server: Fix overwriting a previously submitted reply.

The submitted flag was not reset, nor was the replies_submitted counter
decreased. This caused assertion failures.

submission: Limit the set of capabilities to those that are actually supported.

Particularly, the XCLIENT capability was inappropriately enabled when the
backend MTA announced support. XCLIENT is not supported by Dovecot post-login.

lib-smtp: server: Only accept XCLIENT command when the XCLIENT capability is active.

Report "502 Unsupported command" otherwise. Before, it would complain about the
client not being trusted, which is confusing.

lib-smtp: client: Make clear that XCLIENT is not sent if the server has no support.

lib-smtp: client: Add assertion to smtp_client_command_write().

Makes sure it is not used after the command is submitted.

lib-smtp: client: Fix smtp_client_command_name_equals() to work properly after the command is submitted.

At command submission, CRLF is appended to command data. This messed up the name comparison.
This in turn caused a spurious QUIT command to be sent to the server at connection close.

lib-smtp: client: Make smtp_client_connection_commands_abort() more reliable by copying the command lists.

Copy the current lists of queued and waiting commands and reference each command before calling smtp_client_command_abort().
Aborting one command can cause other dependent commands to be aborted (in a transaction or from submission service), which could have caused trouble in this function.

lib-smtp: client: Make smtp_client_connection_commands_fail_reply() more reliable by copying the command lists.

Copy the current lists of queued and waiting commands and reference each command before calling smtp_client_command_fail_reply().
Failing one command can cause other dependent commands to be aborted (in a transaction or from submission service), which could have caused trouble in this function.
Problems would likely occur at connection disconnect.

dsync: Log a warning if copying a mail fails unexpectedly

Don't log a warning if it happens because the source message was expunged.
That's an expected failure.

submission-login: Only send HELO domain to post-login service when it is valid.

lib-smtp: server: Fix application of pre-login HELO domain when no post-login HELO is issued.

The substituted domain was not marked as valid, which caused the HELO field of
the produced received line to be set to 'unknown'.

lib-smtp: server: RCPT command: Make sure conn->state.pending_rcpt_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: MAIL command: Make sure conn->state.pending_mail_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: Fix double decrement of RCPT pending counter upon error.

The pending counter was sometimes decremented twice in specific error
conditions, leading to an assert panic in the DATA command. This was caused by
some dead code. If the MAIL command failed in a pipeline before the RCPT command,
the assert was triggered.

Panic was:

Panic: file smtp-server-cmd-data.c: line 354 (cmd_data_start): assertion failed: (conn->state.pending_mail_cmds == 0 && conn->state.pending_rcpt_cmds == 0)

lib-lda: Parse Return-Path header using RFC5322 (IMF) "path" syntax, rather than RFC5321 (SMTP) "Path" syntax.

SMTP does not allow white space, which causes all kinds of trouble when the
address is parsed from a header field.

lib-mail: message-address: Add support for parsing RFC5322 "path" syntax.

This is either a single angle-addr or just <>. This path syntax differs from the
RFC5321 "Path" syntax in that it allows whitespace, which is very important when
it is parsed from a header.

Fixup "lib-mail: message_address_write() - don't crash with NULL address"

 Remove content that did not belong to 9f2fe2782224266bf2a403f430de011cf3b9da9d

lib-storage: Fix mailbox rename checking child mailbox name lengths

It was supposed to prevent allowing renames that would cause any child
mailbox name to be too long. However, the check wasn't working.

lib-storage: Fix memory leak when search accessed headers but found no mails

For example fetching headers with UID FETCH for a nonexistent UID.

lib-storage: Code cleanup - remove unnecessary temporary variable

global: start relying on file_lock_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-       file_lock_free(&E);
- }
+ file_lock_free(&E);

global: start relying on mailbox_header_lookup_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-       mailbox_header_lookup_unref(&E);
- }
+ mailbox_header_lookup_unref(&E);

lib-storage: mailbox_header_lookup_unref(NULL) should be a no-op

lib-mail: start relying on mail_html2text_deinit(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-       mail_html2text_deinit(&E);
- }
+ mail_html2text_deinit(&E);

lib-mail: mail_html2text_deinit(NULL) should be a no-op

global: start relying on ssl_iostream_destroy(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  ssl_iostream_destroy(&E);
- }
+ ssl_iostream_destroy(&E);

ssl-iostream: ssl_iostream_destroy(NULL) should be a no-op

global: start relying on iostream_proxy_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  iostream_proxy_unref(&E);
- }
+ iostream_proxy_unref(&E);

lib: iostream_proxy_unref(NULL) should be a no-op

global: start relying on str_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  str_free(&E);
- }
+ str_free(&E);

lib: str_free(NULL) should be a no-op

lib-http: client: Add event fields for the number of bytes sent and received for each request in the last attempt.

lib-http: response parser: Record input stream offset for the start of the last parsed response.

lib-http: message parsers: Record beginning of parsed data.

lib-http: client: Trigger special events when a request is finished, retried or redirected.

lib-http: client: Record last status code in the request object.

lib-http: client: Reset redirect counter when the request is retried.

The absence of this reset caused problems when there was a redirect limit and
the request was retried, in which case the limit is reached too soon.

lib-http: client: Add "host" and "port" fields to request event.

lib-http: client: Use the new  http_url_get_port*() functions.

lib-http: url: Add functions that obtain the effective port for the URL.

When no port is set for the URL, it is set to 0. These functions substitute the
applicable default.

lib-http: Create http-common.h, which contains global definitions shared by client and server.

Currently contains only the default HTTP port definitions that used to be
private to the client.

lmtp: proxy: Do not forward 421 reply (server shutdown) from backend.

This closes the LMTP connection implicitly. Instead, translate it into a 451
4.4.0 response, just like all the other connection-related failures.

lib-smtp: client: transaction: Better document the failure handling for incomplete transactions.

lib-smtp: client: transaction: Don't call the DATA callbacks upon failure until the transaction is complete.

The transaction is not complete until smtp_client_transaction_send() is called.

lib-smtp: client: transaction: Properly advance the transaction to the DATA state once the DATA command is to be sent.

lib-smtp: client: transaction: Use the correct callback for finish timeout.

global: Set extra_groups=$default_internal_group for various services

Services with user=$default_internal_user are expected to already set the
group properly. This change is adding the group for mail processes.

lib: restrict_access_by_env() - Preserve RESTRICT_SETEXTRAGROUPS if root isn't dropped

This way service { extra_groups } is preserved for the whole duration of the
process lifetime (e.g. lmtp, doveadm)

imap-hibernate: Change imap-hibernate default socket permissions to allow default_internal_group

It would be enough to allow only imap processes access to it, but it
shouldn't really harm to allow other processes access to it also.

stats: Change stats-writer default socket permissions to allow default_internal_group

It's important that all dovecot processes can send statistics to the stats
process.

dict: Change dict and dict-async default socket permissions to allow default_internal_group

Many mail processes need to talk to dict. This makes it easier to enable
dict without having to configure permissions.

master: Add default_internal_group setting, defaulting to "dovecot"

It's expected that this is the primary group of the default_internal_user.

This group will be used to provide access to sockets that are generally
required by all Dovecot processes, but aren't safe enough to be allowed
completely open access from untrusted processes.

lib-smtp: server: Remove inappropriate assert from MAIL command.

When the MAIL command is next to reply, it is possible to have RCPT commands
that are still pending.

lib-http: client: Simplified return code handling in http_client_request_send_real().

lib-http: client: Make sure output is used only when valid in http_client_request_send_real().

lib-http: client: Uncork and flush the output stream explicitly after continuing request payload.

This allows detecting any output stream errors.

lib-http: client: Hold reference to the connection while continuing request payload.

Subsequent changes may cause the connection to be destroyed while sending.

lib-http: client: Continue sending request payload in a separate function.

lib-http: client: Hold reference to the connection while sending the next request.

Subsequent changes may cause the connection to be destroyed while sending.

lib-http: client: Perform output stream error handling in one place.

lib-http: client: Make http_client_connection_lost() available outside http-client-connection.c.

lib-http: client: Handle output stream errors in a separate function.

lib-http: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Simplified return code handling in http_server_response_send_real().

lib-http: server: Make sure output is used only when valid in http_server_response_send_real().

This avoids the need to hold a reference to it.

lib-http: server: Perform output stream error handling in one place.

lib-http: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Handle output stream errors in a separate function.

lib-smtp: client: Uncork and flush the output stream explicitly after sending commands.

This allows detecting any output stream errors.

lib-smtp: client: Perform output stream error handling in one place.

lib-smtp: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: client: Handle output stream errors in a separate function.

lib-smtp: server: Perform output stream error handling in one place.

lib-smtp: server: Remove undefined smtp_server_reply_send_more() from smtp-server-private.h.

lib-smtp: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: server: STARTTLS command: Properly handle output stream flush error.

lib-smtp: server: Handle output stream errors in a separate function.

lib-smtp: server: Use the stream_errno to evaluate output stream errors.

Code was using global errno.

lib: Add o_stream_uncork_flush() to both uncork and flush

ipc: Change ipc socket's owner to $default_internal_user

This is mainly used by director process, which runs as
$default_internal_user. This setting change is always required for director
installations. Also the ipc process itself is already running as
$default_internal_user so this should be a rather safe change.

lib-mail: message_address_write() - don't crash with NULL address

message_address_parse() can return NULL on empty address, so writing it
should produce empty address as well. Broken by
15581297511b658a29c707c6031a258bab7bf1a5

ostream-zlib: Ignore missing finish if parent stream is ignoring errors

This fixes panic with imap_zlib plugin when client enables the IMAP COMPRESS
extension and disconnects:

Panic: file ostream-zlib.c: line 36 (o_stream_zlib_close): assertion failed: (zstream->ostream.finished || zstream->ostream.ostream.stream_errno != 0)

doveadm dump: Fix imapzlib to handle input traffic

This has been broken with newer Dovecot versions for a while now.

lib-storage: Rename .vsize.lock file to dovecot-vsize.lock

.vsize.lock can break maildir++ because it looks like a maildir folder,
so rename it to dovecot-vsize.lock.

Introduced in 9963bef6

lib: array_idx_modifiable changed not to allocate space.

global: Change calls to array_idx_modifiable to array_idx_get_space.

Only calls that require space allocation are to be changed.

lib: array_idx_get_space is defined as alias to array_idx_modifiable

lib-http: server: Recreate connection IO after streams change.

lib-http: client: Recreate connection IO after streams change.

lib-smtp: server: Recreate connection IO after streams change.

lib-http: server: Use the new connection_input_halt/resume() functions.

lib-http: client: Use the new connection_input_halt/resume() functions.

lib-smtp: server: Use the new connection_input_halt/resume() functions.

lib-smtp: client: Use the new connection_input_halt/resume() functions.

lib-ssl-iostream: ostream-openssl: Fix behavior of o_stream_flush() so that 1 is only returned when buffer is empty.

lib-ssl-iostream: ostream-openssl: Create local variable for sstream->ssl_io->plain_output in o_stream_ssl_flush().

lib: connection: Add connection_input_halt() and connection_input_resume().

These are convenience functions that remove and add conn->io respectively.

lib-smtp: client: Moved smtp_client_init_ssl_ctx() from smtp-client.h to smtp-client-private.h.