Released v2.3.8

Update NEWS for 2.3.8

lib-index: Fix checking if log file can be rotated

This fixes a bug caused by 883a3022992d0f832f0aff21572caeb7c63b7668 where
dovecot.index.log file wasn't rotated as often as it was supposed to be. It
also could have caused dovecot.index to be rewritten much more often than
it was supposed to be.

The buggy commit was correct that the tail_offset wasn't updated previously
to the dovecot.index.log file after changes. However, I didn't realize that
the tail_offset was internally still updated and required by this rotation
check to work correctly.

The fix works by relaxing the tail_offset==head_offset requirement for
rotation. It's enough that all the changes are synced, which can be checked
from mail_index_sync_ctx.fully_synced. Any changes after tail_offset are
then supposed to be external transactions, which aren't synced anyway, so
rotation is allowed.

lib-storage: Simplify mail_save_context.keywords reference counting

This change also makes it possible for plugins to change the keywords
without leaking memory.

push-notification: Add accessor functions to global variables

These are enough for the current plugin. Maybe others will be needed in the
future.

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_get_reply() and use it.

lib-smtp: smtp-server-recipient - Add hook for the submission of a DATA/BDAT/BURL command reply.

lib-smtp: smtp-server-cmd-data - Call smtp_server_transaction_last_data() earlier for the DATA command.

Makes sure rcpt->cmd is set before replies are being submitted.

lib-mstp: smtp-server-recipient - Make smtp_server_recipient_call_hooks() private rather than static.

lib-smtp: smtp-server-transaction - Allow calling smtp_server_transaction_last_data() more than once.

lib-smtp: smtp-server-transaction - Allow calling smtp_server_transaction_last_data() when all recipients failed.

lib-smtp: smtp-server-command - Add hook for the submission of individual replies.

lib-smtp: smtp-server-command - Make removal of hook optional for smtp_server_command_call_hooks().

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_reply_forward().

This acts as a wrapper around smtp_server_reply_index_forward().

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_is_replied().

This is a convenience wrapper around smtp_server_command_is_replied().

lib-smtp: smtp-server-recipient - Add smtp_server_recipient_reply().

This is a convenience wrapper around smtp_server_reply_index(). This implicitly
adds the <path> prefix to the reply (when it is not an RCPT success reply).

lib-smtp: smtp-server-cmd-rcpt - Add smtp_server_cmd_is_rcpt().

lmtp: Add mail_user_settings to struct client

lib-storage: Add mailbox_keywords_merge()

lib-storage: Add mailbox_search_mail_detach()

This allows keeping the struct mail open even after the mail_search_context
that created it is freed.

lib-storage: Move tracking mails to mail_search_context from index-specific code

This makes the next commit much easier to implement.

lib-storage: Move index_mail.search_mail to mail_private struct

lib-mail: istream-header-filter: Fix HEADER_FILTER_ADD_MISSING_EOH with callback

If mail already had EOH and callback returned matched=TRUE in the EOH
callback (e.g. adding more headers), the callback was called a second
time for the EOH.

Currently there doesn't seem to be any existing code that was affected by
this bug.

index: Pass index sync flags to index view sync for pvt

When recovering from inconsistent view, this needs to
passed for pvt indexes too. Fixes

Error: dovecot.index.pvt reset, view is now inconsistent

lib-index: Add index alloc cache timeout to root ioloop

The cache is a global one and the timeout shouldn't trigger until the global
root ioloop is reached.

This fixes a timeout leak / crash when index was opened in an inner ioloop.

lib: Add io_loop_get_root()

lib-auth: Fix auth_client_is_connected() to work after disconnection

lib-dcrypt: Add static keyword to ECDSA_SIG_get0

Otherwise compilers complain as it's not declared anywhere.

lib-dcrypt: Free EVP_MD_CTX in dcrypt_openssl_digest

lib-dcrypt: Free existing BIGNUMs in setters

lib-dcrypt: Add ECDSA_SIG_set0 and ECDSA_SIG_get0 when missing

These are needed for low-level operations

m4: Check for ECDSA_SIG_set0 and ECDSA_SIG_get0

These are not present in older libssl

lib-dcrypt: Ignore padding when decoding base64url

dcrypt: Add signature format

Needed to implement RFC7515

lib-dcrypt: Only use compressed points with dovecot internal formats

lib-dcrypt: Implement dcrypt_ecdh_derive_secret for OpenSSL

lib-dcrypt: Move shared secret derivation to dcrypt_openssl_echd_derive_secret

Makes it possible to expose it on next commit.

lib-dcrypt: Add API for dcrypt_ecdh_derive_secret

lib-dcrypt: Return value from RSA_set0_crt_params

lib-dcrypt: Fix key format in raw & jwk keys

It needs to be point compressed with named curve

lib-dcrypt: Use correct variables names in RSA_set0_key

Broken in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Use ERR_R_PASSED_NULL_PARAMETER

It's the correct error and exists for older OpenSSL

Added in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Fix memory leak in raw key test

lib-dcrypt: Add unit tests for changes

dcrypt-openssl: Implement signature API for OpenSSL

lib-dcrypt: Add padding parameter for RSA encrypt/decrypt

lib-dcrypt: Add signature API

lib-dcrypt: Unit test for JWK keys

lib-dcrypt: Add JWK key format support

lib-dcrypt: Implement usage and key ID accessors for openssl

lib-dcrypt: Add key usage and id

These can be used for e.g. JWK keys.

lib-dcrypt: Add key id and usage fields to dcrypt keys

Simplifies next change

lib-dcrypt: Make key unref with NULL no-op

doveadm: Do not call dcrypt_deinitialize

It can break openssl

lib-dcrypt: Clarify when dcrypt_deinitialize is to be used

It should never be called if it's going to be used later on.

m4: Check if some RSA key manipulators are present

Needed for JWK

lib: hmac - Add hkdf for key derivation

lib-dcrypt: Use BN_secure_new when available for secrets

m4: Check for BN_secure_new

lib-dcrypt: Implement dcrypt_key_get_curve_public using openssl

lib-dcrypt: Add dcrypt_key_get_curve_public

Returns name of the curve of public key

lib-dcrypt: Add tests for raw keys

lib-dcrypt: Implement raw key API using OpenSSL

lib-dcrypt: Add API for dealing with raw keys

lib-dcrypt: Fix i2d_ASN1_OBJECT usage

i2d_ASN1_OBJECT tells how much memory we need.

lib-dcrypt: Symbolize maximum OID length

lib-dcrypt: Use len instead of ln

lib-http: Make http_client_request_delay_from_response() public

push-notification: Allow easy access to Message-ID header

lib-lda: mail-deliver - Emit events at start and finish of delivery.

lib-lda: Replace i_warning() with e_warning().

lib-lda: Replace i_info() with e_info().

lib-lda: Replace i_error() with e_error().

lib-lda: mail-deliver - Add message fields to the deliver event.

lib-lda: mail-deliver - Rename mail_deliver_cache to mail_deliver_fields.

Also make the fields public.

lda: Use LDA event as mail_*user's parent event.

lda: Add support for event API.

lda: Assign envelope fields in mail deliver context right away.

lmtp: lmtp-local - Use recipient event for mail delivery.

lib-lda: mail-deliver - Add support for event API.

lib-lda: Initialize/deinitialize mail_deliver_context in separate functions.

This changes the allocation of parsed SMTP addresses to initially use a
datastack pool rather than the mail_deliver context pool. This is necessary
because the context is created a bit later. Upon mail_deliver_init(), the
addresses are moved to the context pool.

lda: Move mail_deliver() invocation to a separate function.

lib-lda: mail-deliver - Split the mail_deliver() function to perform post-delivery cleanup in one place.

lib: str - Add str_replace().

lib: buffer - Add buffer_replace().

lib: buffer - Improve header comment for buffer_insert() and buffer_delete().

lib: test-istream-base64-decoder - Make random test also test CRLF vs LF line endings at random.

lib: test-istream-base64-decoder - Add explicit test cases for decoding the empty string.

lib: test-base64 - Add explicit test cases for encoding/decoding the empty string.

lib: base64 - Add assertion preventing calling base64_encode_more() after base64_encode_finish().

lib: test-istream-base64-decoder - Reduce minimum random stream buffer size to 1.

lib: test-istream-base64-decoder - Abort random test at first error and print parameters.

lib: test-istream-base64-encoder - Fix test names.

lib: test-base64 - Abort random test at first error and print parameters.

lib: test-base64 - Test Base64 encoding with maximum line length of 1.

This corner case is a useful test for problems in the line encoding.

lib: test-base64 - Better check output of incrementally encoded random Base64.

Check whether it is equal to the same data encoded as a single block and whether
the length matches the base64_get_full_encoded_size() output.

lib: base64 - Fix incremental/streaming Base64 encoding with CRLF line endings.

Line lengths became inconsistent due to a design error. The encoding itself
remained valid. The linefeed is no longer appended to the write buffer when the
destination buffer is full. Rather, a flag is set that makes the encoder emit
the linefeed immediately next time the encoder is called with more buffer
space. Appending it to the write buffer was wrong; it in fact needs to be
prepended and in that case a flag is more efficient.

lib: base64 - Restructure base64_encode_get_size().

lib: base64 - Use unsigned size type for base64_get_full_encoded_size().

Makes more sense.

lib: base64 - Truly fix dest buffer assertion in base64_decode_more().

Previous fix was inadequate in the presence of padding at the end of input.