lib-http: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Simplified return code handling in http_server_response_send_real().

lib-http: server: Make sure output is used only when valid in http_server_response_send_real().

This avoids the need to hold a reference to it.

lib-http: server: Perform output stream error handling in one place.

lib-http: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Handle output stream errors in a separate function.

lib-smtp: client: Uncork and flush the output stream explicitly after sending commands.

This allows detecting any output stream errors.

lib-smtp: client: Perform output stream error handling in one place.

lib-smtp: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: client: Handle output stream errors in a separate function.

lib-smtp: server: Perform output stream error handling in one place.

lib-smtp: server: Remove undefined smtp_server_reply_send_more() from smtp-server-private.h.

lib-smtp: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: server: STARTTLS command: Properly handle output stream flush error.

lib-smtp: server: Handle output stream errors in a separate function.

lib-smtp: server: Use the stream_errno to evaluate output stream errors.

Code was using global errno.

lib: Add o_stream_uncork_flush() to both uncork and flush

ipc: Change ipc socket's owner to $default_internal_user

This is mainly used by director process, which runs as
$default_internal_user. This setting change is always required for director
installations. Also the ipc process itself is already running as
$default_internal_user so this should be a rather safe change.

lib-mail: message_address_write() - don't crash with NULL address

message_address_parse() can return NULL on empty address, so writing it
should produce empty address as well. Broken by
15581297511b658a29c707c6031a258bab7bf1a5

ostream-zlib: Ignore missing finish if parent stream is ignoring errors

This fixes panic with imap_zlib plugin when client enables the IMAP COMPRESS
extension and disconnects:

Panic: file ostream-zlib.c: line 36 (o_stream_zlib_close): assertion failed: (zstream->ostream.finished || zstream->ostream.ostream.stream_errno != 0)

doveadm dump: Fix imapzlib to handle input traffic

This has been broken with newer Dovecot versions for a while now.

lib-storage: Rename .vsize.lock file to dovecot-vsize.lock

.vsize.lock can break maildir++ because it looks like a maildir folder,
so rename it to dovecot-vsize.lock.

Introduced in 9963bef6

lib: array_idx_modifiable changed not to allocate space.

global: Change calls to array_idx_modifiable to array_idx_get_space.

Only calls that require space allocation are to be changed.

lib: array_idx_get_space is defined as alias to array_idx_modifiable

lib-http: server: Recreate connection IO after streams change.

lib-http: client: Recreate connection IO after streams change.

lib-smtp: server: Recreate connection IO after streams change.

lib-http: server: Use the new connection_input_halt/resume() functions.

lib-http: client: Use the new connection_input_halt/resume() functions.

lib-smtp: server: Use the new connection_input_halt/resume() functions.

lib-smtp: client: Use the new connection_input_halt/resume() functions.

lib-ssl-iostream: ostream-openssl: Fix behavior of o_stream_flush() so that 1 is only returned when buffer is empty.

lib-ssl-iostream: ostream-openssl: Create local variable for sstream->ssl_io->plain_output in o_stream_ssl_flush().

lib: connection: Add connection_input_halt() and connection_input_resume().

These are convenience functions that remove and add conn->io respectively.

lib-smtp: client: Moved smtp_client_init_ssl_ctx() from smtp-client.h to smtp-client-private.h.

lib-http: client: Use conn->conn.ioloop rather than cctx->ioloop in connection.

This leads to somewhat simpler code, and makes having connections on different
ioloops easier in the future.

lib: connection: Record the ioloop the connection was last switched to.

lib-http: client: Move connection to shared context's ioloop, rather than the current_ioloop.

This is an omission.

doveadm: dsync: Switch ioloop for input/output streams while making TCP connection.

This task is performed in a sub-ioloop, and when returning from that ioloop, the
output stream would sometimes still have an object on the sub-ioloop that was
just destroyed.

lib-ssl-iostream: openssl: Make verbose logging robust against i_debug() writing to stream itself.

In dsync, i_debug() is overridden to write to the SSL stream itself through a
multiplexed data stream. So, during the i_debug() call all kinds of things can
happen to the persisted error string in the stream, which caused problems.

lib-http: client: Make sure all ioloop objects are created on the ioloop that the client/context is switched to.

lib-dns: Allow setting the ioloop that the dns_lookup/dns_client is started on.

lib: connection: Allow switching to a specific ioloop.

lib: ostream: Allow switching to a specific ioloop.

lib: istream: Allow switching to a specific ioloop.

lib: iostream: Record the ioloop that the iostream was last switched to.

lib: ioloop: Add functions for adding/moving timeouts and ios to a specific ioloop.

lib-http: test-http-client: Free the ssl_iostream_context cache.

lib-http: test-http-payload: Added test with clients using shared global context.

lib-http: client: Implicitly switch ioloop for global shared client context.

If the new ioloop is NULL, close the shared client context. In that case all
shared hosts, peers and idle connetions are closed and destroyed. The context
just remains as a container for settings and shared context. This is only
allowed when there are no clients left.

lib-http: client: Use merged DNS settings from all clients connected to a shared context for DNS lookups.

lib-http: client: Base forcing shared context debug logging on the settings of the context itself and each associated client.

lib-http: client: Register client objects in the associated client shared context.

lib-http: client: Call switching ioloop for shared peer from shared client context.

Before, it was called from the client peer.

lib-http: client: Set req->client to NULL once the request is destroyed.

The http_client_request_destroy() function does not free the request
immediately, as long as it is still referenced. It can still be referenced by a
connection that has sent it and is waiting for a reply (payload). In the mean
time the actual client can be gone, so we want to make sure nothing is pointing
to that anymore.

This change adds a few extra assertions to make sure nothing tries to use a
NULL client later on. Some direct references to req->client are replaced with a
local client variable if there is one.

lib-http: client: Merge socket buffer size settings with settings from shared context.

While using the default global context, per-client socket buffer size settings were ignored.

lib-http: client: Merge max_idle_time_msecs setting with setting from shared context.

While using the default global context, per-client max_idle_time_msecs setting was ignored.

doveadm: Unref header search context after use

Fixes memory leak, found by valgrind

config: Fix ssl_params.dat conversion warning

The command is dhparam, not dh.

global: Call rfc822_parser_deinit() wherever possible

lib-mail: Refactor code to make the next commit smaller

lib-mail: Add rfc822_parser_deinit()

It's not a strict requirement to call this, but it assert-crashes if the
state isn't valid.

lib-mail: Make sure parsers don't accidentally go much beyond end pointer

lib-mail: Fix out-of-bounds read when parsing an invalid email address

The included unit test doesn't fail, but running it with valgrind shows
"Invalid read of size 1" error.

Broken in d6737a17a27402e7a262f7ba8a2ed588d576f23c

Discovered by Aleksandar Nikolic of Cisco Talos

lib-mail: test-message-address - Add TEST_MESSAGE_ADDRESS_FLAG_SKIP_LIST flag

This commit just adds the flag and sets it to 0 for all existing tests.

lib-mail: rfc822-parser - Add asserts to make sure parser state is correct

lib-dns: Move before lib-master

lib-master: Fix dns_match_wildcard result value check

It returns 0, not TRUE.

lib-master: Check local_name only if both filter and input have it

Broken in cedc777a1acf830af4cf0b6e9b0f343c81e20adc

login-common: Enable config filtering by local name

Prevents servername misuse.

lib-master: Support validating config filters against requests

Validation will sanitize the input request and drop any fields
that have no filter in config. E.g. if you have a local block
with name, and nothing else, then lip/rip will be dropped
from the request.

config: Add command to request all filters

config: Add config_filter_get_all

Returns all filters

charset-alias: Don't return value from void functions

lib-smtp: server: Fix reporting of XCLIENT capability in EHLO response.

The trusted connection check logic was inverted.

lib-smtp: server: Fix segfault occurring when XCLIENT command is handled.

Occurs only when the application (in this case LMTP) has a
conn_proxy_data_updated() callback. The context parameter was the struct
smtp_server_connection object itself, rather than the application context. This
caused the connection object to be overwritten.

lib-smtp: server: Fix segfault occurring during XCLIENT when no extension fields are configured.

lib-imap-storage: imap-msgpart-url: Perform the check for a proper messagepart URL in imap_msgpart_url_create().

Before, this was an assert in imap_msgpart_url_create(). The actual check was
performed only in imap_msgpart_url_parse(), meaning that
imap_msgpart_url_create() would fail with an assertion when provided with an
inappropriate URL.

This surfaced as a problem for the submission BURL command.

m4: Use -U and -D in cc_fortify

Not just -D. This is to test the same thing
that gets used.

m4: Remove pthread from tests

replication: Don't trigger replication on changes not visible to dsync

For example if there's a write to .cache file, it doesn't require
replication.

lib-storage: Replace mail_transaction_commit_changes.changed with changes_mask

This allows better finding out what changed in the transaction.

lib-storage: Include mail-index.h from mail-storage.h

This makes it a bit more acceptable to use mail-index.h API, without having
to go through the lib-storage layer. This is also needed by the next patch
to avoid duplicating the same enum in both lib-index and lib-storage layer.

lib-storage: Remove mailbox_transaction_context.nontransactional_changes

Nothing cares about them. It was only set for POP3 UIDL change with
Maildir. In theory dsync replication would want to replicate such a change,
but it doesn't actually support changing UIDLs for existing mails. Other
mailbox formats don't support it anyway.

lib-index: Add mail_index_transaction_commit_result.changes_mask

This can be used to determine what type of changes were committed in a
transaction.

lib-index: Cleanup - return bool in log_append_keyword_updates()

Simplifies the next commit.

lmtp: local: Don't deliver more than once to the same recipient.

Duplicate RCPT TO commands for local recipients are now mostly ignored,
by repeating the reply for the first instance of that RCPT TO command.

lmtp: Add recipient type to struct lmtp_recipient.

lmtp: Move common recipient handling code to separate file.

lib-smtp: server: Use smtp_server_reply_submit_duplicate() in smtp_server_reply_allv().

This is more efficient, since it doesn't need to compose new content for each
reply.

lib-smtp: server: Add function that allows submitting duplicate replies.

The smtp_server_reply_submit_duplicate() function submits a new reply at the
specified index with content duplicated from an existing earlier reply.

lib-smtp: server: Move allocation of command replies to a separate function.

lib-smtp: server: Put reply content in a separate struct.

This allows duplicate replies to share content for a multi-reply command.

lib-smtp: server: Allow part of the replies to be already sent in smtp_server_reply_allv().

This is not something observed to happen in existing code, but it is best to
deal with this properly, as it could happen in the future.

lib-smtp: server: transaction: Add function that finds duplicate recipients.

Duplicate means that both the path and parameters are equal.

lib-smtp: server: Add RCPT parameters directly in smtp_server_transaction_add_rcpt().

This makes more sense. Before, these were added to the recipient in
smtp-server-cmd-rcpt.c, after the recipient was added.

lib-smtp: params: Add function that allows checking whether RCPT parameters are equal.

lib-smtp: params: Add functions to evaluate any extra (non-standard) MAIL and RCPT parameters.

These allow looking up the parameter based on its name.

lib-smtp: address: Consistently allow address values to be NULL.

If the address pointer is NULL or the localpart field is NULL or empty, it
signifies that it is the NULL address "<>".

In the case of smtp_address_equals(), this also likely fixes crashes at places
where it may be used to compare "<>".