Release 2.3.1

NEWS: Add v2.3.1

NEWS: Update to 2.3.0.1

lib-smtp: test-smtp-server-errors: Add test for DATA command erroneously used with BODY=BINARYMIME.

lib-smtp: test-smtp-server-errors: Add tests for missing MAIL and RCPT commands before DATA command.

lib-smtp: server: Check that BINARYMIME is not used without CHUNKING.

submission: Add 8BITMIME and BINARYMIME back to supported capabilities.

These are supported when the backend provides support. These were erroneously
disabled earlier by 3bf0c0e211ba1e4ee9977a9dfea32e14ebc50aab.

lib-master: Fix dns_wildcard_match usage

Broken by 446c0b02a7802b676e893ccc4934fc7318d950ea

lib-dcrypt: test-stream - Ensure more is read when buffer becomes empty

lib-dcrypt: istream-decrypt - Read more if buffer is empty

If there is no more buffered data, try to decrypt more.

- Fixes Panic: file istream.c: line 192 (i_stream_read): assertion failed: (!stream->blocking)
- Fixes infinite loop when stream is not blocking

imapc: Update mail size also when RFC822.SIZE is smaller than fetched header size

If this isn't done, istream-mail will detect that the fetched header is
larger than RFC822.SIZE and fail with "Cached message size smaller than
expected"

imapc: Update mail size also when istream_opened() hook is called

When fetching a message body the cached message size was set. However,
if istream_opened() hook was used this wasn't done. If a client had
fetched both (RFC822.SIZE BODY.PEEK[]) and the server sent a wrong
RFC822.SIZE, that size was used for the message body size, which resulted
in "Cached message size larger than expected" errors.

sdbox: Delete .temp* files on when save/copy transaction is rolled back

For example when copying was aborted due to user being over quota, temp
files were left behind.

notify: Fix crash if NO_NOTIFY transaction is rolled back during commit

Fixes: Panic: no notify_mail_txn found

lib-master: Correctly match when local_name has multiple names

Reported by J. Nick Koston <nick@cpanel.net>

lib-master: Reply from config process is tabescaped

Found by J. Nick Koston <nick@cpanel.net>

config: tabescape local name and service

config: Make local_name comparison faster

Based on patch by J. Nick Koston <nick@cpanel.net>

imapc: Don't try to add mails to index if they already exist there

Broken by 259a4ca5943123915a019799623d2e4a4ef7fd15 when imapc was used
with (not in-memory) index files.

This caused errors like "Append with UID 200, but next_uid = 201"

lmtp: Provide hidden support for ORCPT RCPT parameter.

This is normally only available with the DSN capability, but we use it to
forward the original recipient in proxy setups.

This feature was available in the original Dovecot v2.2 LMTP, but it got lost in
the new lib-smtp implementation.

lmtp: proxy: Use per-connection SMTP client settings.

This is needed for setting source IP in later change. The peer_trusted setting
must me moved, since this setting is overriden by per-connection settings,
rather than merged.

lib-smtp: client: Add support for forcibly enabling support for a capability.

Then it is enabled even when the server does not list it in the EHLO response.

lib-smtp: params: Make ORCPT parameter available separately if hidden capability is enabled.

lib-smtp: common: Use the BIT() macro for defining the capability flags.

lib-smtp: client: Fix rawlog input stream inconsistency by updating streams right after initializing TLS.

Restructured the code to call a new function called smtp_client_connection_streams_changed() which performs all the necessary updates.
Before, enabling rawlog could break the TLS handshake.

auth: Include tls=true/false in policy server request

auth: Support secured=tls

login-common: Pass SSL protocol details to auth

login-common: Indicate TLS encryption if haproxy says it was

lib-auth: Include ssl protocol details in request when present

lib-auth: Add AUTH_REQUEST_FLAG_TLS

Indicates whether connection is over TLS encryption.

lib-ssl-iostream: Add accessors for additional SSL protocol details

This is needed in order to send these details as fields to auth process

m4: Check for SSL_CIPHER_get_kx_nid

auth: Ensure crypt schemes match with samples

auth: Fix crypt scheme detection

Broken by 1ebb6094e5105ba7ef521a0177c42d3ea81243f0

auth: Support standard auth variables in LDAP subqueries

lib-http: client: Assert that req->client != NULL in http_client_request_send_error().

Applies when blocking payload output API is being used.
Addresses a report by scan-build.

lib-http: test-http-payload: Initialize http_context in test_client_create_clients().

Fixes complaint from scan-build.

lib-smtp: address: Remove useless local variable initialization in smtp_address_clone().

Fixes complaint from scan-build.

lib-http: client: Fix using non-context SSL settings

The SSL settings were used for the SSL context, but they weren't used for
individual SSL streams. This broke stream-only settings, like
allow_invalid_cert=TRUE.

lib: Remove ostream.get_used_size()

Removes backwards compatibility.

lib-test: test-ostream - Implement the new ostream.get_buffer_used_size() API

It's implemented the same way as the old get_used_size(). The default
implementation for get_buffer_avail_size() also works with this.

lib: ostream-buffer - Implement the new ostream.get_buffer_used_size() API

It's implemented the same way as the old get_used_size(). The default
implementation for get_buffer_avail_size() also works with this.

lib: ostream-file - Implement the new ostream.get_buffer_used_size() API

It's implemented the same way as the old get_used_size(). The default
implementation for get_buffer_avail_size() also works with this.

lib-compression: Implement the new ostream.get_buffer_used/avail_size() APIs

The avail_size() implementation isn't fully correct for bzlib/zlib/lzma.
Fixing it requires larger changes though.

lib-ssl-iostream: Implement the new ostream.get_buffer_used/avail_size() APIs

lib: ostream-multiplex - Implement the new get_buffer_used/avail_size() APIs

lib: Remove ostream-escaped

It can't implement o_stream_get_buffer_avail_size() correctly with its
current API. Nothing uses it currently, so easier to just remove it
entirely.

lib: Change/clarify o_stream_get_buffer_used/avail_size() APIs

ostream.get_used_size() is deprecated and replaced by get_buffer_used_size()
and get_buffer_avail_size().

auth: db-lua - Do not assert-crash if given parameter was not auth_request

Use luaL_error instead that will back out more gracefully.

Fixes Panic: file db-lua.c: line 279 (auth_lua_check_auth_request): assertion failed: (lua_istable(script->L, arg))

auth: db-lua - Use luaL_error correctly

lib-auth: Require being connected before adding requests

lib-auth: Prevent double-disconnect

When disconnecting, it's possible that
disconnect gets called twice by some callback,
so protect it with a boolean.

Fixes Panic: file hash.c: line 152 (hash_table_clear): assertion failed: (table->frozen == 0)

lib-lda: Do not convert "From:" message address to STMP address, just to make a string for logging.

This leads to problems when the message address (RFC5322) has UTF-8 code points
in the local part, which is (currently) allowed for message addresses, but not
for SMTP addresses (RFC5321).

master: Strip '\n' from suid_dumpable read buffer before str_to_uint()

master: Improve "core not dumped" error messages with Linux

Recommend setting /proc/fs/suid_dumpable to 2 and
/proc/sys/kernel/core_pattern to absolute path, if they already aren't.

master: Add explanation URL to "core dumps disabled" and "core not dumped" errors

global: Use unix_socket capability in connection.c

This is more reliably way to correctly create input stream
with unix socket capability for passing fd's around

lib: connection - only switch created iostreams

Fixes imap-hibernate: Fatal: master: service(imap-hibernate):
child killed with signal 11 (core dumps disabled)

Broken in 086b73efd1a5812a64acc951366a499d325509a6

submission: Properly handle omission of required authentication for relay connection.

Particularly, do not forward the 530 error to the client. Instead, log the
problem and close the client connection with an internal error.

lib-smtp: server: Fix overwriting a previously submitted reply.

The submitted flag was not reset, nor was the replies_submitted counter
decreased. This caused assertion failures.

submission: Limit the set of capabilities to those that are actually supported.

Particularly, the XCLIENT capability was inappropriately enabled when the
backend MTA announced support. XCLIENT is not supported by Dovecot post-login.

lib-smtp: server: Only accept XCLIENT command when the XCLIENT capability is active.

Report "502 Unsupported command" otherwise. Before, it would complain about the
client not being trusted, which is confusing.

lib-smtp: client: Make clear that XCLIENT is not sent if the server has no support.

lib-smtp: client: Add assertion to smtp_client_command_write().

Makes sure it is not used after the command is submitted.

lib-smtp: client: Fix smtp_client_command_name_equals() to work properly after the command is submitted.

At command submission, CRLF is appended to command data. This messed up the name comparison.
This in turn caused a spurious QUIT command to be sent to the server at connection close.

lib-smtp: client: Make smtp_client_connection_commands_abort() more reliable by copying the command lists.

Copy the current lists of queued and waiting commands and reference each command before calling smtp_client_command_abort().
Aborting one command can cause other dependent commands to be aborted (in a transaction or from submission service), which could have caused trouble in this function.

lib-smtp: client: Make smtp_client_connection_commands_fail_reply() more reliable by copying the command lists.

Copy the current lists of queued and waiting commands and reference each command before calling smtp_client_command_fail_reply().
Failing one command can cause other dependent commands to be aborted (in a transaction or from submission service), which could have caused trouble in this function.
Problems would likely occur at connection disconnect.

dsync: Log a warning if copying a mail fails unexpectedly

Don't log a warning if it happens because the source message was expunged.
That's an expected failure.

submission-login: Only send HELO domain to post-login service when it is valid.

lib-smtp: server: Fix application of pre-login HELO domain when no post-login HELO is issued.

The substituted domain was not marked as valid, which caused the HELO field of
the produced received line to be set to 'unknown'.

lib-smtp: server: RCPT command: Make sure conn->state.pending_rcpt_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: MAIL command: Make sure conn->state.pending_mail_cmds cannot decrement through zero.

Added assertion.

lib-smtp: server: Fix double decrement of RCPT pending counter upon error.

The pending counter was sometimes decremented twice in specific error
conditions, leading to an assert panic in the DATA command. This was caused by
some dead code. If the MAIL command failed in a pipeline before the RCPT command,
the assert was triggered.

Panic was:

Panic: file smtp-server-cmd-data.c: line 354 (cmd_data_start): assertion failed: (conn->state.pending_mail_cmds == 0 && conn->state.pending_rcpt_cmds == 0)

lib-lda: Parse Return-Path header using RFC5322 (IMF) "path" syntax, rather than RFC5321 (SMTP) "Path" syntax.

SMTP does not allow white space, which causes all kinds of trouble when the
address is parsed from a header field.

lib-mail: message-address: Add support for parsing RFC5322 "path" syntax.

This is either a single angle-addr or just <>. This path syntax differs from the
RFC5321 "Path" syntax in that it allows whitespace, which is very important when
it is parsed from a header.

Fixup "lib-mail: message_address_write() - don't crash with NULL address"

 Remove content that did not belong to 9f2fe2782224266bf2a403f430de011cf3b9da9d

lib-storage: Fix mailbox rename checking child mailbox name lengths

It was supposed to prevent allowing renames that would cause any child
mailbox name to be too long. However, the check wasn't working.

lib-storage: Fix memory leak when search accessed headers but found no mails

For example fetching headers with UID FETCH for a nonexistent UID.

lib-storage: Code cleanup - remove unnecessary temporary variable

global: start relying on file_lock_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-       file_lock_free(&E);
- }
+ file_lock_free(&E);

global: start relying on mailbox_header_lookup_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-       mailbox_header_lookup_unref(&E);
- }
+ mailbox_header_lookup_unref(&E);

lib-storage: mailbox_header_lookup_unref(NULL) should be a no-op

lib-mail: start relying on mail_html2text_deinit(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-       mail_html2text_deinit(&E);
- }
+ mail_html2text_deinit(&E);

lib-mail: mail_html2text_deinit(NULL) should be a no-op

global: start relying on ssl_iostream_destroy(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  ssl_iostream_destroy(&E);
- }
+ ssl_iostream_destroy(&E);

ssl-iostream: ssl_iostream_destroy(NULL) should be a no-op

global: start relying on iostream_proxy_unref(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  iostream_proxy_unref(&E);
- }
+ iostream_proxy_unref(&E);

lib: iostream_proxy_unref(NULL) should be a no-op

global: start relying on str_free(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  str_free(&E);
- }
+ str_free(&E);

lib: str_free(NULL) should be a no-op

lib-http: client: Add event fields for the number of bytes sent and received for each request in the last attempt.

lib-http: response parser: Record input stream offset for the start of the last parsed response.

lib-http: message parsers: Record beginning of parsed data.

lib-http: client: Trigger special events when a request is finished, retried or redirected.

lib-http: client: Record last status code in the request object.

lib-http: client: Reset redirect counter when the request is retried.

The absence of this reset caused problems when there was a redirect limit and
the request was retried, in which case the limit is reached too soon.

lib-http: client: Add "host" and "port" fields to request event.

lib-http: client: Use the new  http_url_get_port*() functions.

lib-http: url: Add functions that obtain the effective port for the URL.

When no port is set for the URL, it is set to 0. These functions substitute the
applicable default.