lib: Remove ostream-escaped

It can't implement o_stream_get_buffer_avail_size() correctly with its
current API. Nothing uses it currently, so easier to just remove it
entirely.

lib: Change/clarify o_stream_get_buffer_used/avail_size() APIs

ostream.get_used_size() is deprecated and replaced by get_buffer_used_size()
and get_buffer_avail_size().

lib-mail: message_address_write() - don't crash with NULL address

message_address_parse() can return NULL on empty address, so writing it
should produce empty address as well. Broken by
15581297511b658a29c707c6031a258bab7bf1a5

submission-login: Only send HELO domain to post-login service when it is valid.

lib-smtp: server: Fix application of pre-login HELO domain when no post-login HELO is issued.

The substituted domain was not marked as valid, which caused the HELO field of
the produced received line to be set to 'unknown'.

lda: Fix error message for invalid -r parameter to mention `-r' rather than `-a'.

lda: Add -r parameter to usage help message.

master: Strip '\n' from suid_dumpable read buffer before str_to_uint()

global: Call rfc822_parser_deinit() wherever possible

lib-mail: Refactor code to make the next commit smaller

lib-mail: Add rfc822_parser_deinit()

It's not a strict requirement to call this, but it assert-crashes if the
state isn't valid.

lib-mail: Make sure parsers don't accidentally go much beyond end pointer

lib-mail: Fix out-of-bounds read when parsing an invalid email address

The included unit test doesn't fail, but running it with valgrind shows
"Invalid read of size 1" error.

Broken in d6737a17a27402e7a262f7ba8a2ed588d576f23c

Discovered by Aleksandar Nikolic of Cisco Talos

lib-mail: test-message-address - Add TEST_MESSAGE_ADDRESS_FLAG_SKIP_LIST flag

This commit just adds the flag and sets it to 0 for all existing tests.

lib-mail: rfc822-parser - Add asserts to make sure parser state is correct

lib-dns: Move before lib-master

lib-master: Fix dns_match_wildcard result value check

It returns 0, not TRUE.

lib-master: Check local_name only if both filter and input have it

Broken in cedc777a1acf830af4cf0b6e9b0f343c81e20adc

login-common: Enable config filtering by local name

Prevents servername misuse.

lib-master: Support validating config filters against requests

Validation will sanitize the input request and drop any fields
that have no filter in config. E.g. if you have a local block
with name, and nothing else, then lip/rip will be dropped
from the request.

config: Add command to request all filters

config: Add config_filter_get_all

Returns all filters

sdbox: Delete .temp* files on when save/copy transaction is rolled back

For example when copying was aborted due to user being over quota, temp
files were left behind.

master: Improve "core not dumped" error messages with Linux

Recommend setting /proc/fs/suid_dumpable to 2 and
/proc/sys/kernel/core_pattern to absolute path, if they already aren't.

master: Add explanation URL to "core dumps disabled" and "core not dumped" errors

submission: Limit the set of capabilities to those that are actually supported.

Particularly, the XCLIENT capability was inappropriately enabled when the
backend MTA announced support. XCLIENT is not supported by Dovecot post-login.

charset-alias: Don't return value from void functions

lib-smtp: server: RCPT command: Make sure conn->state.pending_rcpt_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: MAIL command: Make sure conn->state.pending_mail_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: Fix double decrement of RCPT pending counter upon error.

The pending counter was sometimes decremented twice in specific error
conditions, leading to an assert panic in the DATA command. This was caused by
some dead code. If the MAIL command failed in a pipeline before the RCPT command,
the assert was triggered.

Panic was:

Panic: file smtp-server-cmd-data.c: line 354 (cmd_data_start): assertion failed: (conn->state.pending_mail_cmds == 0 && conn->state.pending_rcpt_cmds == 0)

lib-storage: Fix memory leak when search accessed headers but found no mails

For example fetching headers with UID FETCH for a nonexistent UID.

lib-storage: Code cleanup - remove unnecessary temporary variable

lib-storage: test-mail-storage - add check for mailbox_create() return value

lib-smtp: server: Only accept XCLIENT command when the XCLIENT capability is active.

Report "502 Unsupported command" otherwise. Before, it would complain about the
client not being trusted, which is confusing.

lib-smtp: client: Make clear that XCLIENT is not sent if the server has no support.

lib-storage: Deduplicate headers in struct mailbox_header_lookup_ctx

This might slightly improve performance.

lib-storage: Add tests for mailbox_verify_name

lib-storage: test-mail-storage - Add framework for doing storage tests

cydir: Fix crash when using mailbox_get_metadata()

mbox: Fix creating mailbox when mailbox_update struct is given without uidvalidity

This especially fixes a crash when creating mboxes with LAYOUT=index:

Panic: file mbox-sync.c: line 1241 (mbox_write_pseudo): assertion failed: (uid_validity != 0)

mbox: Default INBOX=<root path>/inbox only with LAYOUT=fs

It's likely not a valid path with other layouts.

LAYOUT=index: Don't mkdir index root directory at init

It's not really needed, since anything that needs it will automatically
mkdir it later as well. This also breaks using LAYOUT=index with mbox,
because the mbox code hasn't yet had a chance to override the index root
path so it was mkdired without the .imap/ suffix.

mbox: Enable .imap/ index directories with all layouts

LAYOUT=fs isn't any special here. The mboxes are created as files just the same
for LAYOUT=Maildir++ and for LAYOUT=index and it's not possible to create index
files under them.

LAYOUT=index: Don't prevent using internal mailbox names

For example with Maildir it wasn't possible to create mailboxes named "new",
"cur" or "tmp".

lib-storage: Add and use MAILBOX_LIST_PROP_NO_INTERNAL_NAMES

Use it to replace Maildir++ check to see if mailbox_list.is_internal_name()
is wanted to be used.

lib-storage: mailbox_verify_name() - Deduplicate error handling

lib-storage: mailbox_verify_name() - Move prefix check to its own function

No functional changes.

lib-storage: mailbox_verify_name() - Add comments for separator checks

example-config: Add mail_attachment_detection_options

imapc: Fix assert-crash after detecting that multiple expunged mail reappear

The first imapc_mailbox_set_corrupted() call started a reconnect. The second
call crashed with:

Panic: file imapc-client.c: line 414 (imapc_client_mailbox_reconnect): assertion failed: (!box->reconnecting)

m4: Use -U and -D in cc_fortify

Not just -D. This is to test the same thing
that gets used.

m4: Remove pthread from tests

lmtp: proxy: Use source_ip proxy field if it is returned from passdb.

Before, it was ignored. Now, it is used as the source IP for the outgoing LMTP
client connection.

lmtp: proxy: Use per-connection SMTP client settings.

This is needed for setting source IP in later change. The peer_trusted setting
must me moved, since this setting is overriden by per-connection settings,
rather than merged.

lib-smtp: client: Add support for connecting from an explicit source IP.

lib: connection: Added support for connecting from an explicit source IP.

imapc: Fix crash when untagged FETCH reply doesn't have key-value pairs

The last key with the missing value is just silently ignored.

lib-http: client: Fix request statistics text to properly report send attempts.

If the request was first sent in the same ioloop cycle in which the text is
generated, the text would claim it was not sent at all yet.

With this commit the text now explicitly makes the distinction between request
attempts and actual send attempts. The number of attempts is increased at each
retry, while the send attempts are increased each time the request is actually
being sent to a server.

notify: Ignore flag and keywords update during saving

They are part of the saving event

configure: Add spectre variant 2 mitigations

--enable-hardening adds -mfunction-return=thunk and -mindirect-branch=thunk
compiler options if supported.

lib-http: client: Add event fields for the number of bytes sent and received for each request in the last attempt.

lib-http: response parser: Record input stream offset for the start of the last parsed response.

lib-http: message parsers: Record beginning of parsed data.

lib-http: client: Trigger special events when a request is finished, retried or redirected.

lib-http: client: Record last status code in the request object.

lib-http: client: Reset redirect counter when the request is retried.

The absence of this reset caused problems when there was a redirect limit and
the request was retried, in which case the limit is reached too soon.

lib-http: client: Add "host" and "port" fields to request event.

lib-http: client: Use the new  http_url_get_port*() functions.

lib-http: url: Add functions that obtain the effective port for the URL.

When no port is set for the URL, it is set to 0. These functions substitute the
applicable default.

lib-http: Create http-common.h, which contains global definitions shared by client and server.

Currently contains only the default HTTP port definitions that used to be
private to the client.

lmtp: proxy: Do not forward 421 reply (server shutdown) from backend.

This closes the LMTP connection implicitly. Instead, translate it into a 451
4.4.0 response, just like all the other connection-related failures.

lib-smtp: client: transaction: Better document the failure handling for incomplete transactions.

lib-smtp: client: transaction: Don't call the DATA callbacks upon failure until the transaction is complete.

The transaction is not complete until smtp_client_transaction_send() is called.

lib-smtp: client: transaction: Properly advance the transaction to the DATA state once the DATA command is to be sent.

lib-smtp: client: transaction: Use the correct callback for finish timeout.

lib-storage: Add NO-FS-VALIDATION flag

lib-storage: Never prevent using '/' in mailbox names with mail_full_filesystem_access=yes

It was already allowed with LAYOUT=fs, but not with e.g. LAYOUT=Maildir++.
Now it's possible to use e.g. SELECT /home/shareduser/Maildir/test.box

imapc: Avoid duplicate FETCH BODY.PEEK[] when mail is already expunged

When the first FETCH (e.g. as part of mail_prefetch()) indicated that the
mail is already expunged, there's no need to do it again.

lib: Fix buffer code to satisfy static analyzers

lib: randgen - Init seed to 0

Satisfies static analyzer, the seed is guaranteed to get
filled with random data.

trash: Use TRASH_USER_CONTEXT_REQUIRE

Satisfies static analyzer

lib-storage: Assert unique_root_dir is set with MAIL_STORAGE_CLASS_FLAG_UNIQUE_ROOT

lib-storage: shared driver - Remove copying the child storage's class_flags

The shared storage root itself doesn't have any storage, so it shouldn't
need to copy the child storage's class_flags either.

This fixes a crash when shared namespace was created with mdbox storage, and
another mdbox namespace was created afterwards. This had
MAIL_STORAGE_CLASS_FLAG_UNIQUE_ROOT set, but its unique_root_dir is NULL,
which caused a crash in mail_storage_match_class().

global: Use unix_socket capability in connection.c

This is more reliably way to correctly create input stream
with unix socket capability for passing fd's around

lib: connection - only switch created iostreams

Fixes imap-hibernate: Fatal: master: service(imap-hibernate):
child killed with signal 11 (core dumps disabled)

Broken in 086b73efd1a5812a64acc951366a499d325509a6

lib-storage: Unless LAYOUT=index, don't rebuild list index on missing INBOX

lib-storage: mailbox_list_index_handle_corruption() - Lock mailbox list while rebuilding

This guards against simultaneous mailbox create/delete/rename.

lib-storage: mailbox_list_index_handle_corruption() - Move actual handling to its own function

lib-storage: Generate snippet while saving new mails

lib-storage: Make index_mail_want_cache() global

lib-storage: move snippet generation to mail-save-finish

This is necessary because some storage backends (most notably sdbox) do
not allow getting the mail stream before the mail is fully written out.
(See written_to_disk in sdbox-file.h.)

If we could avoid getting the stream to generate a snippet we could
leave this where it is.

doveadm dump: Show body.snippet in human-readable form

lib-ssl-iostream: Use SSL_CTX_set_ecdh_auto macro

This macro is same for 1.0.2 and 1.1.0 and libressl.

imap: If snippet is not available return NIL

imap: Fix FETCH SNIPPET

1) _BUFFERED flag wasn't set, which caused a missing space before the "SNIPPET".
2) It caused \Seen flag to be added to the mail

doveadm sync/backup: Don't override BROKENCHAR if it's already set

This allows migrating invalid mailbox names by specifying BROKENCHAR.
Previously it would always try to use \003 control character, which isn't
valid character in mailbox names so the mailbox creation would fail.

charset-alias: Fix keyvalues iteration

charset-alias-plugin.c:113:27: error: comparison between pointer and zero
character constant [-Werror=pointer-compare]
  for (i = 0; keyvalues[i] != '\0'; i++) {
                           ^~
charset-alias-plugin.c:113:14: note: did you mean to dereference the pointer?
  for (i = 0; keyvalues[i] != '\0'; i++) {

charset-alias: Cleanup whitespace

Remove \r from end of lines and remove trailing whitespace.

lib-http: client: Simplified return code handling in http_client_request_send_real().

lib-http: client: Make sure output is used only when valid in http_client_request_send_real().