lib-storage: Add mailbox_keywords_merge()

lib-storage: Add mailbox_search_mail_detach()

This allows keeping the struct mail open even after the mail_search_context
that created it is freed.

lib-storage: Move tracking mails to mail_search_context from index-specific code

This makes the next commit much easier to implement.

lib-storage: Move index_mail.search_mail to mail_private struct

lib-mail: istream-header-filter: Fix HEADER_FILTER_ADD_MISSING_EOH with callback

If mail already had EOH and callback returned matched=TRUE in the EOH
callback (e.g. adding more headers), the callback was called a second
time for the EOH.

Currently there doesn't seem to be any existing code that was affected by
this bug.

index: Pass index sync flags to index view sync for pvt

When recovering from inconsistent view, this needs to
passed for pvt indexes too. Fixes

Error: dovecot.index.pvt reset, view is now inconsistent

lib-index: Add index alloc cache timeout to root ioloop

The cache is a global one and the timeout shouldn't trigger until the global
root ioloop is reached.

This fixes a timeout leak / crash when index was opened in an inner ioloop.

lib: Add io_loop_get_root()

lib-auth: Fix auth_client_is_connected() to work after disconnection

lib-dcrypt: Add static keyword to ECDSA_SIG_get0

Otherwise compilers complain as it's not declared anywhere.

lib-dcrypt: Free EVP_MD_CTX in dcrypt_openssl_digest

lib-dcrypt: Free existing BIGNUMs in setters

lib-dcrypt: Add ECDSA_SIG_set0 and ECDSA_SIG_get0 when missing

These are needed for low-level operations

m4: Check for ECDSA_SIG_set0 and ECDSA_SIG_get0

These are not present in older libssl

lib-dcrypt: Ignore padding when decoding base64url

dcrypt: Add signature format

Needed to implement RFC7515

lib-dcrypt: Only use compressed points with dovecot internal formats

lib-dcrypt: Implement dcrypt_ecdh_derive_secret for OpenSSL

lib-dcrypt: Move shared secret derivation to dcrypt_openssl_echd_derive_secret

Makes it possible to expose it on next commit.

lib-dcrypt: Add API for dcrypt_ecdh_derive_secret

lib-dcrypt: Return value from RSA_set0_crt_params

lib-dcrypt: Fix key format in raw & jwk keys

It needs to be point compressed with named curve

lib-dcrypt: Use correct variables names in RSA_set0_key

Broken in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Use ERR_R_PASSED_NULL_PARAMETER

It's the correct error and exists for older OpenSSL

Added in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Fix memory leak in raw key test

lib-dcrypt: Add unit tests for changes

dcrypt-openssl: Implement signature API for OpenSSL

lib-dcrypt: Add padding parameter for RSA encrypt/decrypt

lib-dcrypt: Add signature API

lib-dcrypt: Unit test for JWK keys

lib-dcrypt: Add JWK key format support

lib-dcrypt: Implement usage and key ID accessors for openssl

lib-dcrypt: Add key usage and id

These can be used for e.g. JWK keys.

lib-dcrypt: Add key id and usage fields to dcrypt keys

Simplifies next change

lib-dcrypt: Make key unref with NULL no-op

doveadm: Do not call dcrypt_deinitialize

It can break openssl

lib-dcrypt: Clarify when dcrypt_deinitialize is to be used

It should never be called if it's going to be used later on.

m4: Check if some RSA key manipulators are present

Needed for JWK

lib: hmac - Add hkdf for key derivation

lib-dcrypt: Use BN_secure_new when available for secrets

m4: Check for BN_secure_new

lib-dcrypt: Implement dcrypt_key_get_curve_public using openssl

lib-dcrypt: Add dcrypt_key_get_curve_public

Returns name of the curve of public key

lib-dcrypt: Add tests for raw keys

lib-dcrypt: Implement raw key API using OpenSSL

lib-dcrypt: Add API for dealing with raw keys

lib-dcrypt: Fix i2d_ASN1_OBJECT usage

i2d_ASN1_OBJECT tells how much memory we need.

lib-dcrypt: Symbolize maximum OID length

lib-dcrypt: Use len instead of ln

lib-http: Make http_client_request_delay_from_response() public

push-notification: Allow easy access to Message-ID header

lib-lda: mail-deliver - Emit events at start and finish of delivery.

lib-lda: Replace i_warning() with e_warning().

lib-lda: Replace i_info() with e_info().

lib-lda: Replace i_error() with e_error().

lib-lda: mail-deliver - Add message fields to the deliver event.

lib-lda: mail-deliver - Rename mail_deliver_cache to mail_deliver_fields.

Also make the fields public.

lda: Use LDA event as mail_*user's parent event.

lda: Add support for event API.

lda: Assign envelope fields in mail deliver context right away.

lmtp: lmtp-local - Use recipient event for mail delivery.

lib-lda: mail-deliver - Add support for event API.

lib-lda: Initialize/deinitialize mail_deliver_context in separate functions.

This changes the allocation of parsed SMTP addresses to initially use a
datastack pool rather than the mail_deliver context pool. This is necessary
because the context is created a bit later. Upon mail_deliver_init(), the
addresses are moved to the context pool.

lda: Move mail_deliver() invocation to a separate function.

lib-lda: mail-deliver - Split the mail_deliver() function to perform post-delivery cleanup in one place.

lib: str - Add str_replace().

lib: buffer - Add buffer_replace().

lib: buffer - Improve header comment for buffer_insert() and buffer_delete().

lib: test-istream-base64-decoder - Make random test also test CRLF vs LF line endings at random.

lib: test-istream-base64-decoder - Add explicit test cases for decoding the empty string.

lib: test-base64 - Add explicit test cases for encoding/decoding the empty string.

lib: base64 - Add assertion preventing calling base64_encode_more() after base64_encode_finish().

lib: test-istream-base64-decoder - Reduce minimum random stream buffer size to 1.

lib: test-istream-base64-decoder - Abort random test at first error and print parameters.

lib: test-istream-base64-encoder - Fix test names.

lib: test-base64 - Abort random test at first error and print parameters.

lib: test-base64 - Test Base64 encoding with maximum line length of 1.

This corner case is a useful test for problems in the line encoding.

lib: test-base64 - Better check output of incrementally encoded random Base64.

Check whether it is equal to the same data encoded as a single block and whether
the length matches the base64_get_full_encoded_size() output.

lib: base64 - Fix incremental/streaming Base64 encoding with CRLF line endings.

Line lengths became inconsistent due to a design error. The encoding itself
remained valid. The linefeed is no longer appended to the write buffer when the
destination buffer is full. Rather, a flag is set that makes the encoder emit
the linefeed immediately next time the encoder is called with more buffer
space. Appending it to the write buffer was wrong; it in fact needs to be
prepended and in that case a flag is more efficient.

lib: base64 - Restructure base64_encode_get_size().

lib: base64 - Use unsigned size type for base64_get_full_encoded_size().

Makes more sense.

lib: base64 - Truly fix dest buffer assertion in base64_decode_more().

Previous fix was inadequate in the presence of padding at the end of input.

lib: test-istream-base64-decoder - Use unsigned int for bit field in random test.

lib: base64 - Fix dest buffer assertion in base64_decode_more().

The assertion is supposed to trigger when the encoder hits the buffer size limit
unexpectedly (src_pos_r==NULL means that all should be encoded at once). It
triggered erroneously when the destination buffer had the exact size needed
for the encoded data.

lib: test-istream-base64-decoder - Add extensive random base64 stream I/O unit test.

lib: istream-base64-encoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: istream-base64-decoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: base64 - Restructure encoder to always fill the output buffer as much as possible.

This is not strictly required, but makes the encoder easier to use in streams
and less bug-prone in incremental encoding applications in general.

lib: base64 - Allow encoding line endings one octet at a time.

lib: base64 - Add more w_buf_len assertions to encoder.

lib: base64 - Use sizeof() for determining the size of the encoder w_buf.

lib: base64 - Fix base64_get_full_encoded_size() for size 0.

lib: istream-base64-decoder - Use i_stream_try_alloc() properly.

lib: istream-base64-encoder - Use i_stream_try_alloc() properly.

imap: previews/snippets requested with lazy update the caching decision

If lazy is true set the lookup_abort to NOT_IN_CACHE_START_CACHING
which results in the snippet field becoming wanted for caching.

lib-storage: change caching decision for lazy requests in cache lookup

In case  lookup_abort is set to NOT_IN_CACHE_START_CACHING update the
cacheing decision for the requested field.

lib-storage: introduce MAIL_LOOKUP_ABORT_NOT_IN_CACHE_START_CACHING

In some cases we would like to mark an field as to be cached but still
don't fetch it now. For this occasions this change introduces a new enum
value for mail_lookup_abort which allows to implement such a behaviour.

lib-index: move mail_cache_decision_add to public header

To allow other components to mark fields as to be cached move the
declaration from mail-cache-private.h to mail-cache.h.

lib-ssl-iostream: Remove problematic unit tests

These unit tests are unreliable with new versions of openssl
present in ubuntu 18 and debian buster.

auth: winbind - Make static analyzer happier