lib-smtp: server: MAIL command: Make sure conn->state.pending_mail_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: Fix double decrement of RCPT pending counter upon error.

The pending counter was sometimes decremented twice in specific error
conditions, leading to an assert panic in the DATA command. This was caused by
some dead code. If the MAIL command failed in a pipeline before the RCPT command,
the assert was triggered.

Panic was:

Panic: file smtp-server-cmd-data.c: line 354 (cmd_data_start): assertion failed: (conn->state.pending_mail_cmds == 0 && conn->state.pending_rcpt_cmds == 0)

lib-storage: Fix memory leak when search accessed headers but found no mails

For example fetching headers with UID FETCH for a nonexistent UID.

lib-storage: Code cleanup - remove unnecessary temporary variable

lib-storage: test-mail-storage - add check for mailbox_create() return value

lib-smtp: server: Only accept XCLIENT command when the XCLIENT capability is active.

Report "502 Unsupported command" otherwise. Before, it would complain about the
client not being trusted, which is confusing.

lib-smtp: client: Make clear that XCLIENT is not sent if the server has no support.

lib-storage: Deduplicate headers in struct mailbox_header_lookup_ctx

This might slightly improve performance.

lib-storage: Add tests for mailbox_verify_name

lib-storage: test-mail-storage - Add framework for doing storage tests

cydir: Fix crash when using mailbox_get_metadata()

mbox: Fix creating mailbox when mailbox_update struct is given without uidvalidity

This especially fixes a crash when creating mboxes with LAYOUT=index:

Panic: file mbox-sync.c: line 1241 (mbox_write_pseudo): assertion failed: (uid_validity != 0)

mbox: Default INBOX=<root path>/inbox only with LAYOUT=fs

It's likely not a valid path with other layouts.

LAYOUT=index: Don't mkdir index root directory at init

It's not really needed, since anything that needs it will automatically
mkdir it later as well. This also breaks using LAYOUT=index with mbox,
because the mbox code hasn't yet had a chance to override the index root
path so it was mkdired without the .imap/ suffix.

mbox: Enable .imap/ index directories with all layouts

LAYOUT=fs isn't any special here. The mboxes are created as files just the same
for LAYOUT=Maildir++ and for LAYOUT=index and it's not possible to create index
files under them.

LAYOUT=index: Don't prevent using internal mailbox names

For example with Maildir it wasn't possible to create mailboxes named "new",
"cur" or "tmp".

lib-storage: Add and use MAILBOX_LIST_PROP_NO_INTERNAL_NAMES

Use it to replace Maildir++ check to see if mailbox_list.is_internal_name()
is wanted to be used.

lib-storage: mailbox_verify_name() - Deduplicate error handling

lib-storage: mailbox_verify_name() - Move prefix check to its own function

No functional changes.

lib-storage: mailbox_verify_name() - Add comments for separator checks

example-config: Add mail_attachment_detection_options

imapc: Fix assert-crash after detecting that multiple expunged mail reappear

The first imapc_mailbox_set_corrupted() call started a reconnect. The second
call crashed with:

Panic: file imapc-client.c: line 414 (imapc_client_mailbox_reconnect): assertion failed: (!box->reconnecting)

m4: Use -U and -D in cc_fortify

Not just -D. This is to test the same thing
that gets used.

m4: Remove pthread from tests

lmtp: proxy: Use source_ip proxy field if it is returned from passdb.

Before, it was ignored. Now, it is used as the source IP for the outgoing LMTP
client connection.

lmtp: proxy: Use per-connection SMTP client settings.

This is needed for setting source IP in later change. The peer_trusted setting
must me moved, since this setting is overriden by per-connection settings,
rather than merged.

lib-smtp: client: Add support for connecting from an explicit source IP.

lib: connection: Added support for connecting from an explicit source IP.

imapc: Fix crash when untagged FETCH reply doesn't have key-value pairs

The last key with the missing value is just silently ignored.

lib-http: client: Fix request statistics text to properly report send attempts.

If the request was first sent in the same ioloop cycle in which the text is
generated, the text would claim it was not sent at all yet.

With this commit the text now explicitly makes the distinction between request
attempts and actual send attempts. The number of attempts is increased at each
retry, while the send attempts are increased each time the request is actually
being sent to a server.

notify: Ignore flag and keywords update during saving

They are part of the saving event

configure: Add spectre variant 2 mitigations

--enable-hardening adds -mfunction-return=thunk and -mindirect-branch=thunk
compiler options if supported.

lib-http: client: Add event fields for the number of bytes sent and received for each request in the last attempt.

lib-http: response parser: Record input stream offset for the start of the last parsed response.

lib-http: message parsers: Record beginning of parsed data.

lib-http: client: Trigger special events when a request is finished, retried or redirected.

lib-http: client: Record last status code in the request object.

lib-http: client: Reset redirect counter when the request is retried.

The absence of this reset caused problems when there was a redirect limit and
the request was retried, in which case the limit is reached too soon.

lib-http: client: Add "host" and "port" fields to request event.

lib-http: client: Use the new  http_url_get_port*() functions.

lib-http: url: Add functions that obtain the effective port for the URL.

When no port is set for the URL, it is set to 0. These functions substitute the
applicable default.

lib-http: Create http-common.h, which contains global definitions shared by client and server.

Currently contains only the default HTTP port definitions that used to be
private to the client.

lmtp: proxy: Do not forward 421 reply (server shutdown) from backend.

This closes the LMTP connection implicitly. Instead, translate it into a 451
4.4.0 response, just like all the other connection-related failures.

lib-smtp: client: transaction: Better document the failure handling for incomplete transactions.

lib-smtp: client: transaction: Don't call the DATA callbacks upon failure until the transaction is complete.

The transaction is not complete until smtp_client_transaction_send() is called.

lib-smtp: client: transaction: Properly advance the transaction to the DATA state once the DATA command is to be sent.

lib-smtp: client: transaction: Use the correct callback for finish timeout.

lib-storage: Add NO-FS-VALIDATION flag

lib-storage: Never prevent using '/' in mailbox names with mail_full_filesystem_access=yes

It was already allowed with LAYOUT=fs, but not with e.g. LAYOUT=Maildir++.
Now it's possible to use e.g. SELECT /home/shareduser/Maildir/test.box

imapc: Avoid duplicate FETCH BODY.PEEK[] when mail is already expunged

When the first FETCH (e.g. as part of mail_prefetch()) indicated that the
mail is already expunged, there's no need to do it again.

lib: Fix buffer code to satisfy static analyzers

lib: randgen - Init seed to 0

Satisfies static analyzer, the seed is guaranteed to get
filled with random data.

trash: Use TRASH_USER_CONTEXT_REQUIRE

Satisfies static analyzer

lib-storage: Assert unique_root_dir is set with MAIL_STORAGE_CLASS_FLAG_UNIQUE_ROOT

lib-storage: shared driver - Remove copying the child storage's class_flags

The shared storage root itself doesn't have any storage, so it shouldn't
need to copy the child storage's class_flags either.

This fixes a crash when shared namespace was created with mdbox storage, and
another mdbox namespace was created afterwards. This had
MAIL_STORAGE_CLASS_FLAG_UNIQUE_ROOT set, but its unique_root_dir is NULL,
which caused a crash in mail_storage_match_class().

global: Use unix_socket capability in connection.c

This is more reliably way to correctly create input stream
with unix socket capability for passing fd's around

lib: connection - only switch created iostreams

Fixes imap-hibernate: Fatal: master: service(imap-hibernate):
child killed with signal 11 (core dumps disabled)

Broken in 086b73efd1a5812a64acc951366a499d325509a6

lib-storage: Unless LAYOUT=index, don't rebuild list index on missing INBOX

lib-storage: mailbox_list_index_handle_corruption() - Lock mailbox list while rebuilding

This guards against simultaneous mailbox create/delete/rename.

lib-storage: mailbox_list_index_handle_corruption() - Move actual handling to its own function

lib-storage: Generate snippet while saving new mails

lib-storage: Make index_mail_want_cache() global

lib-storage: move snippet generation to mail-save-finish

This is necessary because some storage backends (most notably sdbox) do
not allow getting the mail stream before the mail is fully written out.
(See written_to_disk in sdbox-file.h.)

If we could avoid getting the stream to generate a snippet we could
leave this where it is.

doveadm dump: Show body.snippet in human-readable form

lib-ssl-iostream: Use SSL_CTX_set_ecdh_auto macro

This macro is same for 1.0.2 and 1.1.0 and libressl.

imap: If snippet is not available return NIL

imap: Fix FETCH SNIPPET

1) _BUFFERED flag wasn't set, which caused a missing space before the "SNIPPET".
2) It caused \Seen flag to be added to the mail

doveadm sync/backup: Don't override BROKENCHAR if it's already set

This allows migrating invalid mailbox names by specifying BROKENCHAR.
Previously it would always try to use \003 control character, which isn't
valid character in mailbox names so the mailbox creation would fail.

charset-alias: Fix keyvalues iteration

charset-alias-plugin.c:113:27: error: comparison between pointer and zero
character constant [-Werror=pointer-compare]
  for (i = 0; keyvalues[i] != '\0'; i++) {
                           ^~
charset-alias-plugin.c:113:14: note: did you mean to dereference the pointer?
  for (i = 0; keyvalues[i] != '\0'; i++) {

charset-alias: Cleanup whitespace

Remove \r from end of lines and remove trailing whitespace.

lib-http: client: Simplified return code handling in http_client_request_send_real().

lib-http: client: Make sure output is used only when valid in http_client_request_send_real().

lib-http: client: Uncork and flush the output stream explicitly after continuing request payload.

This allows detecting any output stream errors.

lib-http: client: Hold reference to the connection while continuing request payload.

Subsequent changes may cause the connection to be destroyed while sending.

lib-http: client: Continue sending request payload in a separate function.

lib-http: client: Hold reference to the connection while sending the next request.

Subsequent changes may cause the connection to be destroyed while sending.

lib-http: client: Perform output stream error handling in one place.

lib-http: client: Make http_client_connection_lost() available outside http-client-connection.c.

lib-http: client: Handle output stream errors in a separate function.

lib-http: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Simplified return code handling in http_server_response_send_real().

lib-http: server: Make sure output is used only when valid in http_server_response_send_real().

This avoids the need to hold a reference to it.

lib-http: server: Perform output stream error handling in one place.

lib-http: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Handle output stream errors in a separate function.

lib-smtp: client: Uncork and flush the output stream explicitly after sending commands.

This allows detecting any output stream errors.

lib-smtp: client: Perform output stream error handling in one place.

lib-smtp: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: client: Handle output stream errors in a separate function.

lib-smtp: server: Perform output stream error handling in one place.

lib-smtp: server: Remove undefined smtp_server_reply_send_more() from smtp-server-private.h.

lib-smtp: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: server: STARTTLS command: Properly handle output stream flush error.

lib-smtp: server: Handle output stream errors in a separate function.

lib-smtp: server: Use the stream_errno to evaluate output stream errors.

Code was using global errno.

lib-smtp: server: Remove inappropriate assert from MAIL command.

When the MAIL command is next to reply, it is possible to have RCPT commands
that are still pending.

imap: Don't enforce sending SNIPPET reply as literal

Also change it to use "cur_str" since the reply is never very long.

imap: Add parenthesis to FETCH SNIPPET (FUZZY text) response

Otherwise it violates the RFC 3501 text about FETCH responses.

imap: Don't set storage callbacks before namespaces are created

This fixes sending untagged OK/NO notifications from storage (e.g. lock
waits/override notifications). It was broken by
e031d9aaae59a9f79710dc1138b76b69272615a3

imap: Add client_create_finish() to finish namespace creation.