Release 2.3.7.2

lib-imap: Make sure str_unescape() won't be writing past allocated memory

The previous commit should already prevent this, but this makes sure it
can't become broken in the future either. It makes the performance a tiny
bit worse, but that's not practically noticeable.

lib-imap: Don't accept strings with NULs

IMAP doesn't allow NULs except in binary literals. We'll still allow them
in regular literals as well, but just not in strings.

This fixes a bug with unescaping a string with NULs: str_unescape() could
have been called for memory that points outside the allocated string,
causing heap corruption. This could cause crashes or theoretically even
result in remote code execution exploit.

Found by Nick Roessler and Rafi Rubin

Released 2.3.7.1

NEWS: Add release notes for 2.3.7.1

lib-storage: Namespace prefix shouldn't be included in all mailbox name validity checks

Broken by 90c2995737cc1f3fe042993beb7b0b32e5375795

lib: ostream-file: Don't log any errors when setting TCP_NODELAY

It's likely never useful to log the error, and it seems more and more
unexpected errors just keep popping up.

lib-smtp: smtp-params - Assume all capabilities are supported when adding parameter event fields.

The actual capabilities are not really needed, since any assigned field is
relevent for event processing, whether the remote end will accept it or not.

This also fixes an assert failure occuring for proxied connections. Since the
server and client (proxy) connections can have different capabilities and since
the client connection does not have a proper capability list available in the
beginning of the handshake, the event created for a client transaction would
cause an assert failure when parameters were assigned that did not match the
capabilities (none).

configure: Update ABI version, too

Was forgotten from dc7c9463386fd2a822a79218e8b846bd8c57c648

Released 2.3.7

NEWS: Add release notes for 2.3.7

NEWS: Add missing 2.3.6 news

config: Cache converted ssl-parameters.dat result

This way the ssl-parameters.dat is read only once by the config process
instead of for every config request.

config: Fix memory leaks when failing to convert ssl-parameters.dat

If ssl_dh setting isn't set and ssl-parameters.dat isn't found or there's
some error reading it, memory is leaked for every config request. This
eventually results in config process dying due to reaching vsz_limit.

lib-storage: Fix setting \Noinferiors flag for detached INBOX

The "" namespace is nowadays automatically created, so we can't just check
if mail_namespace_find_prefix() returns NULL.

I left the NULL check there for now at least, just in case there's some
reason I couldn't think of when it could be NULL.

dict: Exit early to work around various errors and crashes at shutdown

This is just a kludge until the dict process cleanup can be done cleanly.

lib: connection - Make sure the connection name is always available.

lib-dns: Log "Disconnect" event before calling DNS callbacks and freeing lookups

dns_lookup_free() could be freeing the dns_client, which causes a segfault
in the e_debug() log call.

Broken by fc8c54c48fec6a89d9cda755756c233191c62af1

lib-http: guard against hshared use-after-free

This fixes a race condition where the http_client_host_shared_idle_timeout()
function would get called with an already freed hshared argument.

Specifically, the situation arises from the hshared idle timeout calling
http_client_host_shared_free(), which removes the timeout and then proceeds to
free the client queue.  The client queue freeing code indirectly calls
http_client_host_shared_check_idle(), which notices that there is no idle
timeout and allocates one.

The backtrace at the point of this new timeout allocation:

    frame #3: 0x00007f0c775897f0 libdovecot.so.0`timeout_add_to(...) ioloop.c:280
    frame #4: 0x00007f0c7751a45f libdovecot.so.0`http_client_host_shared_check_idle(hshared=<unavailable>) at http-client-host.c:69
    frame #5: 0x00007f0c7750de89 libdovecot.so.0`http_client_request_error(_req=<unavailable>, status=9000, error="") at http-client-request.c:1525
    frame #6: 0x00007f0c77517f38 libdovecot.so.0`http_client_queue_fail_full(queue=0x000055e13cff0e10, status=9000, error="", all=<unavailable>) at http-client-queue.c:183
    frame #7: 0x00007f0c77518baa libdovecot.so.0`http_client_queue_free(queue=0x000055e13cff0e10) at http-client-queue.c:141
    frame #8: 0x00007f0c7751a8bc libdovecot.so.0`http_client_host_free_shared(_host=<unavailable>) at http-client-host.c:391
    frame #9: 0x00007f0c7751ab4c libdovecot.so.0`http_client_host_shared_free(_hshared=0x00007ffdac109e48) at http-client-host.c:294
    frame #10: 0x00007f0c7751ace8 libdovecot.so.0`http_client_host_shared_idle_timeout(hshared=<unavailable>) at http-client-host.c:40
    frame #11: 0x00007f0c7758a1a4 libdovecot.so.0`io_loop_handle_timeouts at ioloop.c:682
    frame #12: 0x00007f0c7758a089 libdovecot.so.0`io_loop_handle_timeouts(ioloop=0x000055e13cfc8d80) at ioloop.c:696
    frame #13: 0x00007f0c7758befc libdovecot.so.0`io_loop_handler_run_internal(ioloop=0x000055e13cfc8d80) at ioloop-select.c:126
    frame #14: 0x00007f0c7758a56d libdovecot.so.0`io_loop_handler_run(ioloop=<unavailable>) at ioloop.c:767
    frame #15: 0x00007f0c7758a798 libdovecot.so.0`io_loop_run(ioloop=0x000055e13cfc8d80) at ioloop.c:740
    frame #16: 0x00007f0c774f61eb libdovecot.so.0`master_service_run(service=0x000055e13cfc8c10, callback=<unavailable>) at master-service.c:782
    frame #17: 0x000055e13b48e3a5 stats`main(argc=<unavailable>, argv=<unavailable>) at main.c:99
    frame #18: 0x00007f0c771092e1 libc.so.6`__libc_start_main + 241
    frame #19: 0x000055e13b48e41a stats`_start + 42

lib-storage: test-mail-storage - Use array_push_back() and array_front()

These were dropped due to changes being merged in different order than in
master.

lib-storage: test-mail-storage - Add missing MASTER_SERVICE_FLAG_DONT_SEND_STATS

This was dropped due to changes being merged in different order than in
master.

lib-storage: test-mail-storage - add check for mailbox_create() return value

lib-smtp: smtp-server-cmd-helo - Fix segfault occurring when domain argument is invalid in a second EHLO command.

lib-index: After recreating cache, make sure offsets are immediately updated to map

They were most likely refreshed anyway before the next cache usage, but this
caused an assert-crash if the dovecot.index was also recreated in the same
sync.

Broken by e31b0637d8788885a71db2def5743ebf14c698f3

Fixes:
Panic: file mail-index-write.c: line 138 (mail_index_write): assertion failed: (file->hdr.prev_file_offset == hdr->log_file_head_offset)

lib-index: Fix using old map when checking for unexpected changes during log rotate

This shouldn't normally be possible. The log is locked, so other processes
shouldn't be able to write anything to it. This was mainly found by the
earlier bug.

lib-index: Compress cache immediately after enough mails have been expunged

This fixes a bug where cache may never become compressed in certain mailbox
access patterns. Especially for autoexpunging in lazy_expunge mailboxes.
The cache compression happened only when:

a) After the mailbox_sync() that finishes expunging there was another
mailbox_sync(). If mailbox was immediately closed after expunging, this
didn't happen.

b) Fields are fetched from cache

If neither of these happened, the cache just kept growing. This happened
especially with lazy_expunge mailboxes.

sdbox format was always doing b) during expunging, because it looked up
GUIDs from cache. However, this helped only with regular expunges, not
with autoexpunges, because autoexpunging didn't finish with any
mailbox_sync() (which is a bug on its own).

mdbox also did GUID lookups from cache, but it wasn't doing cache
compressions due the bug fixed by the previous commit.

lib-index: Fix calling expunge handlers with mdbox

This fixes updating deleted_record_count in dovecot.index.cache files.
Because they were wrong, the cache wasn't always compressed as early as
it should have been.

mdbox uses a separate transaction to commit expunges while mailbox is being
synced. When syncing was finished, tail_offset was updated too early so
mail_index_map(MAIL_INDEX_SYNC_HANDLER_FILE) was always a no-op and expunge
handlers were never called.

There doesn't seem to be any downside to not updating tail_offset early.
sdbox saving also uses such a transaction, but there is no difference in
the resulting dovecot.index.log file. The main worry I had was that
tail_offset wouldn't be updated to point to the end of the log file.
However, this doesn't happen with the old code either. This is because the
extra transaction is external, and tail_offset updating skips over all
external transactions anyway.

mdbox: Always sync dovecot.map.index with MAIL_INDEX_SYNC_FLAG_UPDATE_TAIL_OFFSET

This avoids errors after the next commit.

lib-index: mail_index_sync_update_mailbox_offset() - Remove unnecessary code

The function call has no side effects, and the return values aren't used.

lib-storage: Sync mailbox after autoexpunging

This actually finishes expunging the mails. Previously the mails were
just marked to be expunged in the transaction log, and the next session
that opened the mailbox finished the expunging.

lmtp: Replace i_info() with e_info().

lmtp: Replace i_error() with e_error().

lmtp: proxy: Use client.event for SMTP client connection.

lmtp: local: Use rcpt.event as mail_*user's parent event.

lmtp: Add username to recipient event.

lmtp: Add client.event.

lib-smtp: smtp-submit - Rename event setting to event_parent.

lib-smtp: smtp-server - Rename event setting to event_parent.

lib-smtp: smtp-client - Rename event setting to event_parent.

lib-http: http-client - Rename event setting to event_parent.

lib: connection - Turn connection_init_client_ip*() name parameter into an explicit hostname.

This way, the default connection name will be hostname:ip when hostname is not
NULL. This will be helpful once the connection API has TLS support.

lib-smtp: smtp-client-command - Emit smtp_client_command_finished event for replied commands.

This was an omission.

lib-smtp: smtp-client-command - Make sure command event is finished just once.

lib-smtp: smtp-submit - Emit named events.

These have some overlap with the smtp-client events, but for the sendmail binary
submission method those are not produced.

lib-smtp: smtp-submit - Add support for event API.

lib-smtp: smtp-submit - Collect optional inputs to smtp_submit_session_init() into a struct.

lib-smtp: smtp-server-transaction - Record the size of the message data in the event at the end of the transaction.

lib-smtp: smtp-server-recipient - Emit named events.

lib-smtp: smtp-server-transaction - Emit named events.

lib-smtp: smtp-server - Record the number of denied recipients.

lib-smtp: smtp-server-recipient - Manage "finished" status of the recipient.

lib-smtp: smtp-server-transaction - Manage "finished" status of the transaction.

lib-smtp: smtp-server: Set pointer parameter of smtp_server_transaction_free() to NULL immediately.

lib-smtp: smtp-server - Call transaction callbacks from transaction object functions.

lib-smtp: smtp-server-command - Emit named events.

lib-smtp: smtp-server-reply - Add smtp_server_reply_add_to_event().

lib-smtp: smtp-server - Record the enhanced code in the reply content.

lib-smtp: smtp-server-reply - Add smtp_server_reply_is_success() and use it.

lib-smtp: smtp-server-reply - Add smtp_server_reply_get_message().

lib-smtp: smtp-server-reply - Make smtp_server_reply_get_one_line() reply parameter const.

lib-smtp: smtp-server.h - Move server functions to a single place.

Corrects position of smtp_server_switch_ioloop() in the header file.

lib-smtp: smtp-server - Replace smtp_*_debug() with e_debug().

lib-smtp: smtp-server - Replace smtp_*_error() with e_error().

lib-smtp: smtp-server-connection - Replace i_error() with e_error().

lib-smtp: smtp-server - Remove redundant debug logging checks.

lib-smtp: smtp-server - Add support for event API.

lib-smtp: smtp-server - Provide RCPT parameters as parameter to smtp_server_recipient_create().

Needed for event API, but also fixes a memory leak occurring upon parameter
parse error.

lib-smtp: smtp-server - Add smtp_server_command_new_invalid().

Creates an empty command for sending an error reply for an invalid command.

lib-smtp: smtp-server - Remove unused server->ioloop field.

lib-smtp: smtp-server - Properly document all settings.

lib: connection - Add generic event fields for local and remote addresses.

lib: connection - Use the connection event for all connection types directly.

This way, the common event fields for the connection are available to each
connection type and its descendant events for objects like commands, requests,
and transactions.

This also creates a standard log prefix used by all connection types.

lib-smtp: smtp-client-connection - Create separate parent event to add the smtp-client log prefix.

This is needed for a later commit that moves the addition of the connection log
prefix to the connection API.

lib-smtp: smtp-client-connection - Retain the host name in the connection label after DNS lookup.

lib-smtp: smtp-client-connection - Remember whether the hostname is actually an IP address.

This is needed to prevent connection log prefix from containing an IP twice.

lib-dns: dns-lookup - Perform connection-related logging using the connection event.

lib: connection - Add socket_path event field for unix connections.

lib-http: http-client-connection - Drop the connection ID.

This is now unused.

lib-http: http-client-connection - Use the default connection label.

lib-smtp: smtp-client-connection - Drop the connection ID.

This is now unused.

lib-smtp: smtp-client-connection - Use the default connection label.

lib-http: http-server-connection - Drop the connection ID.

This is now unused.

lib-http: http-server-connection - Drop the connection properties.

These are now unused.

lib-http: http-server-connection - Use the default connection label.

lib-smtp: smtp-server-connection - Drop the connection ID.

This is now unused.

lib-smtp: smtp-server-connection - Drop the connection properties.

These are now unused.

lib-smtp: smtp-server-connection - Use the default connection label.

lib: connection - Remove existing log prefix.

It is often redundant to the parent event's log prefix. Subsequent commits will
yield a better and more generic solution.

lib: connection - Move creation of passthrough event in connection_client_connected().

Moved close to where it is used, which is more common in event code elsewhere.

lib: connection - Make providing a name for the connection optional.

lib-smtp: smtp-server-connection - Use connection properties for remote ip:port.

lib-http: http-server-connection - Use connection->label instead of connection->name.

lib-smtp: smtp-server-connection - Use connection->label instead of connection->name.

lib-http: http-client-connection - Use connection_init() immediately upon creation.

This avoids the need to remember whether the connection was initialized.

lib: connection - Compose standard names for the input/output streams.

lib: connection - Add a unique numeric ID to the connection.

It is incremented for each created connection. The IDs are specific to the
connection list.

lib: connection - Compose a standard label for logging.

lib: connection - Add connection_init_server_ip().

lib: connection - Record and update connection properties.

lib-dns: dns-lookup - Initialize the connection immediately.