lib-master: Correctly match when local_name has multiple names

Reported by J. Nick Koston <nick@cpanel.net>

lib-master: Reply from config process is tabescaped

Found by J. Nick Koston <nick@cpanel.net>

config: tabescape local name and service

config: Make local_name comparison faster

Based on patch by J. Nick Koston <nick@cpanel.net>

lib-lua: Remove script from linked list on destroy

Otherwise it might cause a crash

lmtp: proxy: Use proxy_not_trusted field if returned from passdb.

Before, this field was ignored. Now, if this field is set, no XCLIENT command is
ever sent to the remote proxy.

lmtp: proxy: Use ssl/starttls fields if returned from passdb.

Before, these fields were ignored. Now, these are used to determine whether the
proxy connection to the backend should be secured by SSL and how.

login-common: Use client SSL certificate and key settings from lib-master.

lib-master: Initialize key and certificate for client SSL settings.

This uses the ssl_client_cert and ssl_client_key settings.

login-common: Remove unused ssl_require_crl setting.

lib-smtp: client: Add smtp_client_connection_create_ip().

This allows making SMTP client connections without performing a DNS lookup. The
optional hostname parameter is used to verify the hostname in the SSL
certificate from the server, if any.

lib-smtp: client: smtp_client_connection_create(): ATTR_NULL() pointed to wrong parameter.

lib-smtp: client: connection: Perform IP lookup in a separate function.

lib: net: Avoid comparing the content of unassigned IPs in net_ip_cmp().

lib-ssl-iostream: Fix potential crash if istream is destroyed before ostream

This happened if o_stream_destroy() triggered flush, which attempted to read
from the ssl_io->ssl_input. If the istream-ssl was already destroyed, it was
NULL and that caused a crash.

imapc: Fix errors when handling UIDVALIDITY change

This mainly happened when imapc was used with index files and the backend
IMAP server recreated the mailbox. This caused errors like:
Expunged message uid=1 reappeared - reconnecting

imapc: Don't try to add mails to index if they already exist there

Broken by 259a4ca5943123915a019799623d2e4a4ef7fd15 when imapc was used
with (not in-memory) index files.

This caused errors like "Append with UID 200, but next_uid = 201"

lib-dcrypt: test-stream - Ensure more is read when buffer becomes empty

lib-dcrypt: istream-decrypt - Read more if buffer is empty

If there is no more buffered data, try to decrypt more.

- Fixes Panic: file istream.c: line 192 (i_stream_read): assertion failed: (!stream->blocking)
- Fixes infinite loop when stream is not blocking

lib-lda: Do not convert "From:" message address to STMP address, just to make a string for logging.

This leads to problems when the message address (RFC5322) has UTF-8 code points
in the local part, which is (currently) allowed for message addresses, but not
for SMTP addresses (RFC5321).

notify: Fix crash if NO_NOTIFY transaction is rolled back during commit

Fixes: Panic: no notify_mail_txn found

lmtp: Provide hidden support for ORCPT RCPT parameter.

This is normally only available with the DSN capability, but we use it to
forward the original recipient in proxy setups.

This feature was available in the original Dovecot v2.2 LMTP, but it got lost in
the new lib-smtp implementation.

lib-smtp: client: Add support for forcibly enabling support for a capability.

Then it is enabled even when the server does not list it in the EHLO response.

lib-smtp: params: Make ORCPT parameter available separately if hidden capability is enabled.

lib-smtp: common: Use the BIT() macro for defining the capability flags.

lib: Remove ostream.get_used_size()

Removes backwards compatibility.

lib-test: test-ostream - Implement the new ostream.get_buffer_used_size() API

It's implemented the same way as the old get_used_size(). The default
implementation for get_buffer_avail_size() also works with this.

lib: ostream-buffer - Implement the new ostream.get_buffer_used_size() API

It's implemented the same way as the old get_used_size(). The default
implementation for get_buffer_avail_size() also works with this.

lib: ostream-file - Implement the new ostream.get_buffer_used_size() API

It's implemented the same way as the old get_used_size(). The default
implementation for get_buffer_avail_size() also works with this.

lib-compression: Implement the new ostream.get_buffer_used/avail_size() APIs

The avail_size() implementation isn't fully correct for bzlib/zlib/lzma.
Fixing it requires larger changes though.

lib-ssl-iostream: Implement the new ostream.get_buffer_used/avail_size() APIs

lib: ostream-multiplex - Implement the new get_buffer_used/avail_size() APIs

lib: Remove ostream-escaped

It can't implement o_stream_get_buffer_avail_size() correctly with its
current API. Nothing uses it currently, so easier to just remove it
entirely.

lib: Change/clarify o_stream_get_buffer_used/avail_size() APIs

ostream.get_used_size() is deprecated and replaced by get_buffer_used_size()
and get_buffer_avail_size().

lib-mail: message_address_write() - don't crash with NULL address

message_address_parse() can return NULL on empty address, so writing it
should produce empty address as well. Broken by
15581297511b658a29c707c6031a258bab7bf1a5

submission-login: Only send HELO domain to post-login service when it is valid.

lib-smtp: server: Fix application of pre-login HELO domain when no post-login HELO is issued.

The substituted domain was not marked as valid, which caused the HELO field of
the produced received line to be set to 'unknown'.

lda: Fix error message for invalid -r parameter to mention `-r' rather than `-a'.

lda: Add -r parameter to usage help message.

master: Strip '\n' from suid_dumpable read buffer before str_to_uint()

global: Call rfc822_parser_deinit() wherever possible

lib-mail: Refactor code to make the next commit smaller

lib-mail: Add rfc822_parser_deinit()

It's not a strict requirement to call this, but it assert-crashes if the
state isn't valid.

lib-mail: Make sure parsers don't accidentally go much beyond end pointer

lib-mail: Fix out-of-bounds read when parsing an invalid email address

The included unit test doesn't fail, but running it with valgrind shows
"Invalid read of size 1" error.

Broken in d6737a17a27402e7a262f7ba8a2ed588d576f23c

Discovered by Aleksandar Nikolic of Cisco Talos

lib-mail: test-message-address - Add TEST_MESSAGE_ADDRESS_FLAG_SKIP_LIST flag

This commit just adds the flag and sets it to 0 for all existing tests.

lib-mail: rfc822-parser - Add asserts to make sure parser state is correct

lib-dns: Move before lib-master

lib-master: Fix dns_match_wildcard result value check

It returns 0, not TRUE.

lib-master: Check local_name only if both filter and input have it

Broken in cedc777a1acf830af4cf0b6e9b0f343c81e20adc

login-common: Enable config filtering by local name

Prevents servername misuse.

lib-master: Support validating config filters against requests

Validation will sanitize the input request and drop any fields
that have no filter in config. E.g. if you have a local block
with name, and nothing else, then lip/rip will be dropped
from the request.

config: Add command to request all filters

config: Add config_filter_get_all

Returns all filters

sdbox: Delete .temp* files on when save/copy transaction is rolled back

For example when copying was aborted due to user being over quota, temp
files were left behind.

master: Improve "core not dumped" error messages with Linux

Recommend setting /proc/fs/suid_dumpable to 2 and
/proc/sys/kernel/core_pattern to absolute path, if they already aren't.

master: Add explanation URL to "core dumps disabled" and "core not dumped" errors

submission: Limit the set of capabilities to those that are actually supported.

Particularly, the XCLIENT capability was inappropriately enabled when the
backend MTA announced support. XCLIENT is not supported by Dovecot post-login.

charset-alias: Don't return value from void functions

lib-smtp: server: RCPT command: Make sure conn->state.pending_rcpt_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: MAIL command: Make sure conn->state.pending_mail_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: Fix double decrement of RCPT pending counter upon error.

The pending counter was sometimes decremented twice in specific error
conditions, leading to an assert panic in the DATA command. This was caused by
some dead code. If the MAIL command failed in a pipeline before the RCPT command,
the assert was triggered.

Panic was:

Panic: file smtp-server-cmd-data.c: line 354 (cmd_data_start): assertion failed: (conn->state.pending_mail_cmds == 0 && conn->state.pending_rcpt_cmds == 0)

lib-storage: Fix memory leak when search accessed headers but found no mails

For example fetching headers with UID FETCH for a nonexistent UID.

lib-storage: Code cleanup - remove unnecessary temporary variable

lib-storage: test-mail-storage - add check for mailbox_create() return value

lib-smtp: server: Only accept XCLIENT command when the XCLIENT capability is active.

Report "502 Unsupported command" otherwise. Before, it would complain about the
client not being trusted, which is confusing.

lib-smtp: client: Make clear that XCLIENT is not sent if the server has no support.

lib-storage: Deduplicate headers in struct mailbox_header_lookup_ctx

This might slightly improve performance.

lib-storage: Add tests for mailbox_verify_name

lib-storage: test-mail-storage - Add framework for doing storage tests

cydir: Fix crash when using mailbox_get_metadata()

mbox: Fix creating mailbox when mailbox_update struct is given without uidvalidity

This especially fixes a crash when creating mboxes with LAYOUT=index:

Panic: file mbox-sync.c: line 1241 (mbox_write_pseudo): assertion failed: (uid_validity != 0)

mbox: Default INBOX=<root path>/inbox only with LAYOUT=fs

It's likely not a valid path with other layouts.

LAYOUT=index: Don't mkdir index root directory at init

It's not really needed, since anything that needs it will automatically
mkdir it later as well. This also breaks using LAYOUT=index with mbox,
because the mbox code hasn't yet had a chance to override the index root
path so it was mkdired without the .imap/ suffix.

mbox: Enable .imap/ index directories with all layouts

LAYOUT=fs isn't any special here. The mboxes are created as files just the same
for LAYOUT=Maildir++ and for LAYOUT=index and it's not possible to create index
files under them.

LAYOUT=index: Don't prevent using internal mailbox names

For example with Maildir it wasn't possible to create mailboxes named "new",
"cur" or "tmp".

lib-storage: Add and use MAILBOX_LIST_PROP_NO_INTERNAL_NAMES

Use it to replace Maildir++ check to see if mailbox_list.is_internal_name()
is wanted to be used.

lib-storage: mailbox_verify_name() - Deduplicate error handling

lib-storage: mailbox_verify_name() - Move prefix check to its own function

No functional changes.

lib-storage: mailbox_verify_name() - Add comments for separator checks

example-config: Add mail_attachment_detection_options

imapc: Fix assert-crash after detecting that multiple expunged mail reappear

The first imapc_mailbox_set_corrupted() call started a reconnect. The second
call crashed with:

Panic: file imapc-client.c: line 414 (imapc_client_mailbox_reconnect): assertion failed: (!box->reconnecting)

m4: Use -U and -D in cc_fortify

Not just -D. This is to test the same thing
that gets used.

m4: Remove pthread from tests

lmtp: proxy: Use source_ip proxy field if it is returned from passdb.

Before, it was ignored. Now, it is used as the source IP for the outgoing LMTP
client connection.

lmtp: proxy: Use per-connection SMTP client settings.

This is needed for setting source IP in later change. The peer_trusted setting
must me moved, since this setting is overriden by per-connection settings,
rather than merged.

lib-smtp: client: Add support for connecting from an explicit source IP.

lib: connection: Added support for connecting from an explicit source IP.

imapc: Fix crash when untagged FETCH reply doesn't have key-value pairs

The last key with the missing value is just silently ignored.

lib-http: client: Fix request statistics text to properly report send attempts.

If the request was first sent in the same ioloop cycle in which the text is
generated, the text would claim it was not sent at all yet.

With this commit the text now explicitly makes the distinction between request
attempts and actual send attempts. The number of attempts is increased at each
retry, while the send attempts are increased each time the request is actually
being sent to a server.

notify: Ignore flag and keywords update during saving

They are part of the saving event

configure: Add spectre variant 2 mitigations

--enable-hardening adds -mfunction-return=thunk and -mindirect-branch=thunk
compiler options if supported.

lib-http: client: Add event fields for the number of bytes sent and received for each request in the last attempt.

lib-http: response parser: Record input stream offset for the start of the last parsed response.

lib-http: message parsers: Record beginning of parsed data.

lib-http: client: Trigger special events when a request is finished, retried or redirected.

lib-http: client: Record last status code in the request object.

lib-http: client: Reset redirect counter when the request is retried.

The absence of this reset caused problems when there was a redirect limit and
the request was retried, in which case the limit is reached too soon.

lib-http: client: Add "host" and "port" fields to request event.

lib-http: client: Use the new  http_url_get_port*() functions.