imap-hibernate: Fix crash if unhibernation fd_send() fails

The imap-master connection needs to be freed when the client is freed.
Otherwise it attempts to free the client again.

lib: i_stream_get_data() - Mark invalid buffer code path unlikely

This really isn't expected to happen, so marking it unlikely optimizes
slightly callers that cause i_stream_get_data() to be called a huge number
of times.

doveadm fs: Use mail_temp_dir as temp_dir for fs operations' temp_dir

doveadm: Expand variables in doveadm_settings

Required by the next commit.

doveadm: Use a memory pool for duplicating settings

Required by the next commit.

auth: If user is already authenticated, passdb result shouldn't be password_mismatch

This caused confusion in the auth_request_passdb_finished event's result
parameter. Otherwise it shouldn't have caused any bugs.

auth: Add and use auth_request_password_missing() where possible

auth: Add passdb_id and userdb_id to auth_request_passdb/userdb_* events

lib-auth: Fix auth_client_is_connected() to work after disconnection

lib-http: test-http-client should use PKG_RUNDIR/dns-client

Instead of hardcoded /var/run/dovecot/dns-client

lib, lib-program-client: Fix i_stream_read_memarea() usage

Calling it may change the stream's buffer and free the old buffer. However,
some istreams didn't change the buffer if i_stream_read_memarea() returned
-2. The old buffer was kept referenced, which could have caused the istream
to read garbage or crash due to accessing freed memory.

This fixes:
 * istream-limit
 * istream-sized
 * istream-rawlog
 * program-client-istream
 * Anything using i_stream_read_copy_from_parent(), which includes:
   * istream-fs-file
   * istream-fs-stats
   * istream-metawrap
   * http-server-istream
   * istream-header-filter
   * istream-mail
   * istream-failure-at
   * istream-hash
   * istream-timeout
   * istream-try

lib-master: Event filter parsing - Accept "service:<name>"

This is short for "category:service:<name>"

lib-master: Code cleanup for handling event filter category parsing

lib, lib-master: Add service:<name> category for all events

lib: Add EVENT_CALLBACK_TYPE_CREATE to call a callback on event creation

It's not called for event_dup() or event_flatten(), because those are based
on events that were already created.

lib: Add and use event_create_internal() wrapper

This avoids p_strdup()ing the source_filename twice. Also it'll be extended
by the following commit.

lib: event_set_source() - Avoid p_strdup() if source filename doesn't change

lib: event_import_unescaped() - Use event_set_source() to set the source

lib: Add and use event_call_callbacks_noargs() helper

lib, lib-master: Remove event.call_free

Just call the EVENT_CALLBACK_TYPE_FREE always. Having this flag isn't
really going to affect the performance, and it might be useful in the
future to work this way.

Only the unit test was relying on call_free to be different from
id_sent_to_stats. This commit changes the unit test to check for the
END strings where necessary.

lib: Rename event_send_callbacks() to event_call_callbacks()

lib: Move event_send_callbacks() and event_send_free() earlier in the file

lib, lib-master: Rename EVENT_CALLBACK_TYPE_EVENT to _SEND

This describes the functionality better.

lib: test-istream-base64-decoder - Make random test also test CRLF vs LF line endings at random.

lib: test-istream-base64-decoder - Add explicit test cases for decoding the empty string.

lib: test-base64 - Add explicit test cases for encoding/decoding the empty string.

lib: base64 - Add assertion preventing calling base64_encode_more() after base64_encode_finish().

lib: test-istream-base64-decoder - Reduce minimum random stream buffer size to 1.

lib: test-istream-base64-decoder - Abort random test at first error and print parameters.

lib: test-istream-base64-encoder - Fix test names.

lib: test-base64 - Abort random test at first error and print parameters.

lib: test-base64 - Test Base64 encoding with maximum line length of 1.

This corner case is a useful test for problems in the line encoding.

lib: test-base64 - Better check output of incrementally encoded random Base64.

Check whether it is equal to the same data encoded as a single block and whether
the length matches the base64_get_full_encoded_size() output.

lib: base64 - Fix incremental/streaming Base64 encoding with CRLF line endings.

Line lengths became inconsistent due to a design error. The encoding itself
remained valid. The linefeed is no longer appended to the write buffer when the
destination buffer is full. Rather, a flag is set that makes the encoder emit
the linefeed immediately next time the encoder is called with more buffer
space. Appending it to the write buffer was wrong; it in fact needs to be
prepended and in that case a flag is more efficient.

lib: base64 - Restructure base64_encode_get_size().

lib: base64 - Use unsigned size type for base64_get_full_encoded_size().

Makes more sense.

lib: base64 - Truly fix dest buffer assertion in base64_decode_more().

Previous fix was inadequate in the presence of padding at the end of input.

lib: test-istream-base64-decoder - Use unsigned int for bit field in random test.

global: Clean up MAX_INT_STRLEN usage

A number of MAX_INT_STRLEN consumers did not realize that it already
includes space for the trailing nul.

lib: Add comment to MAX_INT_STRLEN macro

auth: Set auth_request successful before auth_request_finished event

Otherwise the event never has success=yes parameter.

doveadm fs iter[-dirs]: Add --object-ids and --no-cache parameters

imap-old-stats: Fix plugin dependency variable names

master: Don't log "Sent SIGKILL to .. processes" when actually sending SIGUSR1

The SIGUSR1 is sent when all login processes are full and can't accept any
more connections. This should be handled silently by the master.

lib-auth: Remove "BUG:" prefix from "Authentication server sent unknown id" error

It's not necessarily a bug.

lib-auth: Don't disconnect from auth server when receiving "unknown id"

It doesn't mean that the state between auth client and server is broken.
Just that the client had already forgotten about some of the IDs.

This also means that the "unknown id" lines aren't treated as invalid lines.
Previously the whole OK/FAIL line may have been logged, which could have
included e.g. passwords.

push-notification-lua: Use the new accessor functions instead of variables directly

This fixes plugin dependency checking. Instead of:

Fatal: Couldn't load required plugin .../lib22_push_notification_lua_plugin.so: dlopen() failed: /usr/local/lib/dovecot/lib22_push_notification_lua_plugin.so: undefined symbol: event_category_push_notification

The error is now clearer:

Fatal: Couldn't load required plugin .../lib22_push_notification_lua_plugin.so: Plugin push_notification must be loaded also

push-notification: Add accessor functions to global variables

These are enough for the current plugin. Maybe others will be needed in the
future.

lib: base64 - Fix dest buffer assertion in base64_decode_more().

The assertion is supposed to trigger when the encoder hits the buffer size limit
unexpectedly (src_pos_r==NULL means that all should be encoded at once). It
triggered erroneously when the destination buffer had the exact size needed
for the encoded data.

lib: test-istream-base64-decoder - Add extensive random base64 stream I/O unit test.

lib: istream-base64-encoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: istream-base64-decoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: base64 - Restructure encoder to always fill the output buffer as much as possible.

This is not strictly required, but makes the encoder easier to use in streams
and less bug-prone in incremental encoding applications in general.

lib: base64 - Allow encoding line endings one octet at a time.

lib: base64 - Add more w_buf_len assertions to encoder.

lib: base64 - Use sizeof() for determining the size of the encoder w_buf.

lib: base64 - Fix base64_get_full_encoded_size() for size 0.

lib: istream-base64-decoder - Use i_stream_try_alloc() properly.

lib: istream-base64-encoder - Use i_stream_try_alloc() properly.

imap: previews/snippets requested with lazy update the caching decision

If lazy is true set the lookup_abort to NOT_IN_CACHE_START_CACHING
which results in the snippet field becoming wanted for caching.

lib-storage: change caching decision for lazy requests in cache lookup

In case  lookup_abort is set to NOT_IN_CACHE_START_CACHING update the
cacheing decision for the requested field.

lib-storage: introduce MAIL_LOOKUP_ABORT_NOT_IN_CACHE_START_CACHING

In some cases we would like to mark an field as to be cached but still
don't fetch it now. For this occasions this change introduces a new enum
value for mail_lookup_abort which allows to implement such a behaviour.

lib-index: move mail_cache_decision_add to public header

To allow other components to mark fields as to be cached move the
declaration from mail-cache-private.h to mail-cache.h.

virtual: Free mail event when virtual mail is free'd

Forgotten on c499c40caf37f766968a551909190c5b009a9b15

lib: test-event-flatten - Fix compiler warnings

For example:

test-event-flatten.c:170:18: warning: missing field 'tv_usec' initializer
      [-Wmissing-field-initializers]

global: Replace timeout_add_short(0) calls with io_set_pending() where possible

These timeouts were added before io_set_pending() existed. This won't fix
anything, but makes the code cleaner.

login-common: Don't call client_input() directly in clients_notify_auth_connected()

This probably won't fix anything, but it's cleaner to get to client_input()
always from IO loop directly. Although it might shrink data stack's memory
usage.

login-common: Don't call client_input() directly in client_auth_failed()

Fixes a new assert-crash caused by
9aaf0554aeae4f8056eeef56cfd99bf386f4c009:

Panic: file sasl-server.c: line 357 (authenticate_callback): assertion failed: (!client->authenticating)

This was caused by a code path:
 - sasl_server_check_login()
 - sasl_server_auth_failed()
 - sasl_server_auth_cancel()
 - call_client_callback()
 - sasl_callback()
 - client_auth_failed()
 - client_input()
 - another AUTHENTICATE/LOGIN was read

The solution is then to not call client_input() directly. It would have
also worked to just remove the assert though, but this fix is cleaner.

lib-dcrypt: Add static keyword to ECDSA_SIG_get0

Otherwise compilers complain as it's not declared anywhere.

lib-dcrypt: Free EVP_MD_CTX in dcrypt_openssl_digest

lib-dcrypt: Free existing BIGNUMs in setters

lib-dcrypt: Add ECDSA_SIG_set0 and ECDSA_SIG_get0 when missing

These are needed for low-level operations

m4: Check for ECDSA_SIG_set0 and ECDSA_SIG_get0

These are not present in older libssl

lib-ssl-iostream: Remove problematic unit tests

These unit tests are unreliable with new versions of openssl
present in ubuntu 18 and debian buster.

auth: winbind - Make static analyzer happier

lib-dcrypt: Ignore padding when decoding base64url

dcrypt: Add signature format

Needed to implement RFC7515

global: Use mail_user_deinit() wherever possible

This makes sure that the user is fully deinitialized in the places where we
expect it to be.

This mainly makes sure that lmtp won't continue running code for the user
after lmtp has already switched to running as root. That could then end up
reading/writing files as root. This can happen only if there are bugs in
the code that leaks user references. Normally user is supposed to be fully
unreferenced before switching to root, so this change just adds an assert
to make sure it is.

lib-storage: Add mail_user_deinit()

man: Update "doveadm fts rescan" to say it usually just deletes FTS indexes

lib-dcrypt: Only use compressed points with dovecot internal formats

lib-dcrypt: Implement dcrypt_ecdh_derive_secret for OpenSSL

lib-dcrypt: Move shared secret derivation to dcrypt_openssl_echd_derive_secret

Makes it possible to expose it on next commit.

lib-dcrypt: Add API for dcrypt_ecdh_derive_secret

lib-dcrypt: Return value from RSA_set0_crt_params

lib-dcrypt: Fix key format in raw & jwk keys

It needs to be point compressed with named curve

lib-dcrypt: Use correct variables names in RSA_set0_key

Broken in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Use ERR_R_PASSED_NULL_PARAMETER

It's the correct error and exists for older OpenSSL

Added in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Fix memory leak in raw key test

lib-dcrypt: Add unit tests for changes

dcrypt-openssl: Implement signature API for OpenSSL

lib-dcrypt: Add padding parameter for RSA encrypt/decrypt

lib-dcrypt: Add signature API

lib-dcrypt: Unit test for JWK keys

lib-dcrypt: Add JWK key format support

lib-dcrypt: Implement usage and key ID accessors for openssl

lib-dcrypt: Add key usage and id

These can be used for e.g. JWK keys.

lib-dcrypt: Add key id and usage fields to dcrypt keys

Simplifies next change

lib-dcrypt: Make key unref with NULL no-op

doveadm: Do not call dcrypt_deinitialize

It can break openssl