submission: Split off starting the relay connection in a separate function.

submission: Remove client_proxy_is_disconnected().

It is not used anywhere.

submission: Remove client_proxy_is_ready().

It is not used anywhere.

submission: Move relay part of QUIT command to submission-backend-relay.c.

submission: Move generic part of QUIT command to submission-commands.c.

submission: Move relay part of NOOP command to submission-backend-relay.c.

submission: Move generic part of NOOP command to submission-commands.c.

submission: Move relay part of VRFY command to submission-backend-relay.c.

submission: Move generic part of VRFY command to submission-commands.c.

submission: Move BURL command implementation to submission-commands.c.

submission: Move relay part of DATA command to submission-backend-relay.c.

submission: Move generic part of DATA command to submission-commands.c.

submission: Move relay part of RSET command to submission-backend-relay.c.

submission: Move generic part of RSET command to submission-commands.c.

submission: Move relay part of RCPT command to submission-backend-relay.c.

submission: Move generic part of RCPT command to submission-commands.c.

submission: Move relay part of MAIL command to submission-backend-relay.c.

submission: Move generic part of MAIL command to submission-commands.c.

submission: Move relay part of HELO/EHLO command to submission-backend-relay.c.

submission: Move generic part of HELO/EHLO command to submission-commands.c.

submission: Split the QUIT command into a generic part and a part related to relaying to an MTA.

submission: Split the NOOP command into a generic part and a part related to relaying to an MTA.

submission: Split the VRFY command into a generic part and a part related to relaying to an MTA.

submission: Split the DATA command into a generic part and a part related to relaying to an MTA.

submission: Split the RSET command into a generic part and a part related to relaying to an MTA.

submission: Split the RCPT command into a generic part and a part related to relaying to an MTA.

submission: Split the MAIL command into a generic part and a part related to relaying to an MTA.

submission: Split the EHLO command into a generic part and a part related to relaying to an MTA.

submission: Move submission_helo_reply_submit() from cmd-helo.c to submission-commands.c.

submission: Make HELO/EHLO reply submission a separate public function.

submission: Move client_command_handle_proxy_reply() to submission-backend-relay.c.

submission: client: Remove spurious forward declaration of "struct client_command_context".

lib-smtp: client: Add forward declaration for struct smtp_client_settings in smtp-client-connection.h.

lib-smtp: server: Drop pending commands and transaction at disconnect rather than destroy.

This makes sure the conn_trans_free() connection callback is called before
th conn_disconnect() callback. This makes more sense than the other way around,
which instead would be a likely cause for mishaps causing segfaults and the
like.

lib-smtp: server: Add callback for transaction start.

dict-client: Avoid excessive CPU usage while waiting commands to finish

client_dict_add_timeout() adds the timeout thinking that the dict no longer
has any work to do, so it can be freed soon. However, if other work is
added before that, the timeout just keeps getting called over and over
again. This is especially bad with the default idle timeout of 0.

push-notification: Resolve confusion about msg->seq

It's not the same seq what the mail has, but a sequence that
is used to find out UID for saved mails. So rename it to
save_idx and treat it accordingly. Note that save_idx is 0
based, and mail sequence is 1 based.

push-notification-driver-lua: Include date from MessageAppend

push-notification-event-messageappend: Include date information parsed from headers

Consistency with MessageNew

push-notification: Make sure txn messages are unique

save_count is not reliable as it's not incremented for events like
flag changes.

push-notification-driver-lua: Always use DLUA_LOG_LABEL

push-notification-driver-lua: Properly register all events

mail-lua: Fix gc code to push key first then value

Otherwise it uses nil as key, which makes no sense and leads to eventual crash.

push-notification-driver-lua: tx begin pushed mail user not username

push-notification-driver-lua: Do not push user again

User is already pushed in tx begin, and can be stored there into the context.

push-notification-driver-lua: Move event push earlier

Simplifies code

mail-lua: Add deinit_pre function

push-notification-driver-lua: Reference mail user only if initialization is successful

Will cause assert-crash otherwise if initialization fails

push-notification-driver-lua: Fix symbol names

mail-lua: Deinit script after others

Some other plugin might need Lua for deinit

push-notification-driver-lua: Use Lua references for context

mail-lua: Implement mail_lua_plugin_get_script

It was forgotten in 950c7e06dbf7f1cd696653af95b8c0053a9e86da

lib-master: Unit test for sending events to stats.

lib-master: ipc-client: Don't free command too early

When multiple replies were received by IPC only the final reply should free
the command. This may have caused e.g. "doveadm proxy list" to crash.
Broken by 435f0545b200767c25a5daee17cd6b4998d03710

dbox: cache pop3 order and uidl when saving mails

lib-storage/index: Add a helper to cache pop3 order and uidl

global: Use uint32_t for pop3 order

lib-ssl-iostream: If certificate check fails, suggest checking ssl ca settings

lib-ssl-iostream: Always fall back to default CAs for client contexts

When creating a client context, we always try to load the default
CA, if no CA settings have been provided. This makes it also possible
to allow invalid certs without specifying ssl_client_ca settings,
and also makes dovecot trust system store by default for outgoing
connections.

lib-smtp: client: Make the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream. In a similar HTTP client issue, this caused a segfault.

lib-http: client: Fix segfault by making the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream.

doveadm-auth-server: Fix cmd_list output to use JSON

Fixes output for HTTP client

doveadm-auth-server: Do not use i_fatal on user listing error

Breaks error reporting to HTTP client

lib-smtp: reply-parser: Fix closing the text_lines array with NULL sentinel.

For (EHLO) replies with more than 7 lines, the text_lines array of the reply did
not end in NULL, causing a segfault.

lib-storage: Change default postmaster_address setting to "postmaster@<user domain or server hostname>".

The former "postmaster@<user domain>" default would only yield a valid
postmaster address when there is a domain part in the username. The new default
uses a conditional variable expansion choose "%d" when it is not empty and the
new "%{hostname}" otherwise.

lib-storage: mail-user: Add "%{hostname}" variable expansion.

lib-storage: mail-user: Add convenience functions for obtaining postmaster address.

lib-storage: Move postmaster_address setting from mail_storage_settings to mail_user_settings.

imap-login: Remove extra '+' from state strings in log output

If multiple outgoing commands were in progress, the state should have
said e.g. "state=capability+login", not "state=capability+++login".

director: Add assert to make sure doveadm connection's IO isn't added multiple times

doveadm: Make sure to stop running commands requiring synced ring when ring is no longer synced

A command could desync the ring, and no more commands should be run
afterwards.

This also fixes a bug where a command that desyncs the ring is supposed to
wait for the ring being synced before returning OK, but returns it
immediately instead.

global: Don't try to send stats from unit tests

lib: i_zero*() - Give compiler error if it's wrongly used on an array

lib-master, auth: Fix clearing memory

It doesn't look like these being wrong were causing any bugs.

doveadm stats dump: Fix potentially not writing all stats output

It depended on whether uninitialized stack memory was 0 or not.

man, doveadm: Rename "mailbox cache compress" to "mailbox cache purge"

The "compress" word makes it sound like e.g. zlib compression. The "purge"
word is used for a similar behavior with mdbox purging.

lib-http: test-http-client-errors: Address another reliability issue in "peer reuse failure" test.

lib-http: response: Add convenience functions for status evaluation.

lib-sql: Fix wrong sql_query_finished_event() success parameter use

driver-sqlite: Don't give false out of memory errors

Only log error from sqlite3_errmsg() when connected to the db, since
otherwise dovecot logs false "out of memory" errors.

driver-sqlite: Fix crash and event leak in driver_sqlite_query_s()

driver-sqlite: Add error to sql_query_finished event on error

driver-pgsql: Add error to sql_query_finished if it fails

driver-cassandra: Add error to sql_query_finished event on error

util: Fix compile with tcpwrap

lib-smtp: server: Change command hooks API to allow many parallel hooks with individual context.

This e.g. allows many server plugins to hook into command execution without
interfering with eachother.

push-notification: Fix initializing push notification mailbox triggers

None of the mailbox triggers were working, since the transaction was
not being correctly initialized.

driver-sqlite: Assign db in driver_sqlite_exec()

This fixes a crash.

stats: Wait for clients to disconnect at shutdown

global: Replace MASTER_SERVICE_FLAG_SEND_STATS with _DONT_SEND_STATS

Most services want to send statistics, so it's better to reverse the flag
behavior. Mark the few services that don't want stats with
MASTER_SERVICE_FLAG_DONT_SEND_STATS.

master: Start service processes only after adding all service listeners

Otherwise the processes could try to connect to services that aren't being
listened on, causing errors. Especially stats-writer socket needs to be
available early on.

lib-storage: Don't try to deserialize bodystructure if we already have it

Fixes:
Panic: file message-part-data.c: line 37 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Simplify an assertion condition

Since the i_assert() is guarded by a check for save_bodystructure_header
being true, the whole condition can be simplified.

lib-storage: Don't try to process header if we haven't parsed the body structure

Fixes:
Panic: file index-mail-headers.c: line 294 (index_mail_parse_header): assertion failed: (part != NULL)

lib-http: client: peer: Log the number of pending connections consistently in relevant debug messages.

Use the same style everywhere and log it where it makes sense.

lib-http: client: peer: Maintain a list of connections pending on behalf of a peer.

Before, pending connections were only listed in the peer pool.

lib-http: client: connection: Unlist the connection as pending immediately in http_client_connection_failure().

lib-http: client: connection: Remove the connection from the peer pool pending list in a separate function.

lib-http: client: peer: Notify all peers in a peer pool about a successful connection.

This allows peers for which the last connection attempt failed (which was not
the last pending attempt in the pool) to try again. This solves a problem that
could potentially cause a hang with multiple parallel clients creating serveral
new connections at once.

lib-http: client: peer: Add debug message for http_client_peer_connection_failure().