lib: base64 - Truly fix dest buffer assertion in base64_decode_more().

Previous fix was inadequate in the presence of padding at the end of input.

lib: test-istream-base64-decoder - Use unsigned int for bit field in random test.

global: Clean up MAX_INT_STRLEN usage

A number of MAX_INT_STRLEN consumers did not realize that it already
includes space for the trailing nul.

lib: Add comment to MAX_INT_STRLEN macro

auth: Set auth_request successful before auth_request_finished event

Otherwise the event never has success=yes parameter.

doveadm fs iter[-dirs]: Add --object-ids and --no-cache parameters

imap-old-stats: Fix plugin dependency variable names

master: Don't log "Sent SIGKILL to .. processes" when actually sending SIGUSR1

The SIGUSR1 is sent when all login processes are full and can't accept any
more connections. This should be handled silently by the master.

lib-auth: Remove "BUG:" prefix from "Authentication server sent unknown id" error

It's not necessarily a bug.

lib-auth: Don't disconnect from auth server when receiving "unknown id"

It doesn't mean that the state between auth client and server is broken.
Just that the client had already forgotten about some of the IDs.

This also means that the "unknown id" lines aren't treated as invalid lines.
Previously the whole OK/FAIL line may have been logged, which could have
included e.g. passwords.

push-notification-lua: Use the new accessor functions instead of variables directly

This fixes plugin dependency checking. Instead of:

Fatal: Couldn't load required plugin .../lib22_push_notification_lua_plugin.so: dlopen() failed: /usr/local/lib/dovecot/lib22_push_notification_lua_plugin.so: undefined symbol: event_category_push_notification

The error is now clearer:

Fatal: Couldn't load required plugin .../lib22_push_notification_lua_plugin.so: Plugin push_notification must be loaded also

push-notification: Add accessor functions to global variables

These are enough for the current plugin. Maybe others will be needed in the
future.

lib: base64 - Fix dest buffer assertion in base64_decode_more().

The assertion is supposed to trigger when the encoder hits the buffer size limit
unexpectedly (src_pos_r==NULL means that all should be encoded at once). It
triggered erroneously when the destination buffer had the exact size needed
for the encoded data.

lib: test-istream-base64-decoder - Add extensive random base64 stream I/O unit test.

lib: istream-base64-encoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: istream-base64-decoder - Fix handling of error, EOF and stream buffer overflow conditions.

lib: base64 - Restructure encoder to always fill the output buffer as much as possible.

This is not strictly required, but makes the encoder easier to use in streams
and less bug-prone in incremental encoding applications in general.

lib: base64 - Allow encoding line endings one octet at a time.

lib: base64 - Add more w_buf_len assertions to encoder.

lib: base64 - Use sizeof() for determining the size of the encoder w_buf.

lib: base64 - Fix base64_get_full_encoded_size() for size 0.

lib: istream-base64-decoder - Use i_stream_try_alloc() properly.

lib: istream-base64-encoder - Use i_stream_try_alloc() properly.

imap: previews/snippets requested with lazy update the caching decision

If lazy is true set the lookup_abort to NOT_IN_CACHE_START_CACHING
which results in the snippet field becoming wanted for caching.

lib-storage: change caching decision for lazy requests in cache lookup

In case  lookup_abort is set to NOT_IN_CACHE_START_CACHING update the
cacheing decision for the requested field.

lib-storage: introduce MAIL_LOOKUP_ABORT_NOT_IN_CACHE_START_CACHING

In some cases we would like to mark an field as to be cached but still
don't fetch it now. For this occasions this change introduces a new enum
value for mail_lookup_abort which allows to implement such a behaviour.

lib-index: move mail_cache_decision_add to public header

To allow other components to mark fields as to be cached move the
declaration from mail-cache-private.h to mail-cache.h.

virtual: Free mail event when virtual mail is free'd

Forgotten on c499c40caf37f766968a551909190c5b009a9b15

lib: test-event-flatten - Fix compiler warnings

For example:

test-event-flatten.c:170:18: warning: missing field 'tv_usec' initializer
      [-Wmissing-field-initializers]

global: Replace timeout_add_short(0) calls with io_set_pending() where possible

These timeouts were added before io_set_pending() existed. This won't fix
anything, but makes the code cleaner.

login-common: Don't call client_input() directly in clients_notify_auth_connected()

This probably won't fix anything, but it's cleaner to get to client_input()
always from IO loop directly. Although it might shrink data stack's memory
usage.

login-common: Don't call client_input() directly in client_auth_failed()

Fixes a new assert-crash caused by
9aaf0554aeae4f8056eeef56cfd99bf386f4c009:

Panic: file sasl-server.c: line 357 (authenticate_callback): assertion failed: (!client->authenticating)

This was caused by a code path:
 - sasl_server_check_login()
 - sasl_server_auth_failed()
 - sasl_server_auth_cancel()
 - call_client_callback()
 - sasl_callback()
 - client_auth_failed()
 - client_input()
 - another AUTHENTICATE/LOGIN was read

The solution is then to not call client_input() directly. It would have
also worked to just remove the assert though, but this fix is cleaner.

lib-dcrypt: Add static keyword to ECDSA_SIG_get0

Otherwise compilers complain as it's not declared anywhere.

lib-dcrypt: Free EVP_MD_CTX in dcrypt_openssl_digest

lib-dcrypt: Free existing BIGNUMs in setters

lib-dcrypt: Add ECDSA_SIG_set0 and ECDSA_SIG_get0 when missing

These are needed for low-level operations

m4: Check for ECDSA_SIG_set0 and ECDSA_SIG_get0

These are not present in older libssl

lib-ssl-iostream: Remove problematic unit tests

These unit tests are unreliable with new versions of openssl
present in ubuntu 18 and debian buster.

auth: winbind - Make static analyzer happier

lib-dcrypt: Ignore padding when decoding base64url

dcrypt: Add signature format

Needed to implement RFC7515

global: Use mail_user_deinit() wherever possible

This makes sure that the user is fully deinitialized in the places where we
expect it to be.

This mainly makes sure that lmtp won't continue running code for the user
after lmtp has already switched to running as root. That could then end up
reading/writing files as root. This can happen only if there are bugs in
the code that leaks user references. Normally user is supposed to be fully
unreferenced before switching to root, so this change just adds an assert
to make sure it is.

lib-storage: Add mail_user_deinit()

man: Update "doveadm fts rescan" to say it usually just deletes FTS indexes

lib-dcrypt: Only use compressed points with dovecot internal formats

lib-dcrypt: Implement dcrypt_ecdh_derive_secret for OpenSSL

lib-dcrypt: Move shared secret derivation to dcrypt_openssl_echd_derive_secret

Makes it possible to expose it on next commit.

lib-dcrypt: Add API for dcrypt_ecdh_derive_secret

lib-dcrypt: Return value from RSA_set0_crt_params

lib-dcrypt: Fix key format in raw & jwk keys

It needs to be point compressed with named curve

lib-dcrypt: Use correct variables names in RSA_set0_key

Broken in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Use ERR_R_PASSED_NULL_PARAMETER

It's the correct error and exists for older OpenSSL

Added in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Fix memory leak in raw key test

lib-dcrypt: Add unit tests for changes

dcrypt-openssl: Implement signature API for OpenSSL

lib-dcrypt: Add padding parameter for RSA encrypt/decrypt

lib-dcrypt: Add signature API

lib-dcrypt: Unit test for JWK keys

lib-dcrypt: Add JWK key format support

lib-dcrypt: Implement usage and key ID accessors for openssl

lib-dcrypt: Add key usage and id

These can be used for e.g. JWK keys.

lib-dcrypt: Add key id and usage fields to dcrypt keys

Simplifies next change

lib-dcrypt: Make key unref with NULL no-op

doveadm: Do not call dcrypt_deinitialize

It can break openssl

lib-dcrypt: Clarify when dcrypt_deinitialize is to be used

It should never be called if it's going to be used later on.

m4: Check if some RSA key manipulators are present

Needed for JWK

lib: hmac - Add hkdf for key derivation

lib-dcrypt: Use BN_secure_new when available for secrets

m4: Check for BN_secure_new

lib: base64 - Add high-level data and string encode functions with data stack buffer output.

lib: base64 - Add flags and max_line_size parameters to the new high-level encode functions.

Cannot change the API of existing functions.

lib: base64 - Add high-level data decode functions with data stack buffer output.

Similar functions accepting C string input already exist.

lib: base64 - Add flags parameters to the new high-level decode functions.

Cannot change the API of existing functions.

lib: base64 - Add BASE64_DECODE_FLAG_IGNORE_PADDING.

Makes padding optional rather than either disallowed or required.

lib: base64 - Reformat flag handling in base64_decode_more().

lib: base64 - Remove unused assignment.

Found by Clang scan-build.

lib-imap: Make sure str_unescape() won't be writing past allocated memory

The previous commit should already prevent this, but this makes sure it
can't become broken in the future either. It makes the performance a tiny
bit worse, but that's not practically noticeable.

lib-imap: Don't accept strings with NULs

IMAP doesn't allow NULs except in binary literals. We'll still allow them
in regular literals as well, but just not in strings.

This fixes a bug with unescaping a string with NULs: str_unescape() could
have been called for memory that points outside the allocated string,
causing heap corruption. This could cause crashes or theoretically even
result in remote code execution exploit.

Found by Nick Roessler and Rafi Rubin

lib: base64 - Add support for decoding without padding.

lib: base64 - Add support for encoding without padding.

lib: istream-base64-encoder - Use the new low-level incremental Base64 encoding API.

lib: base64 - Add support for adding line breaks to encoded output.

lib: base64 - Add base64_get_full_encoded_size().

lib: base64 - Add decode flag for prohibiting whitespace.

lib: base64 - Deprecate src_pos_r parameter of base64_decode().

Only NULL pointer is allowed. This allows using the new incremental API
internally, thereby dropping the old decoder implementation.

lib: istream-base64-decoder - Use the new low-level incremental Base64 decoding API.

lib: base64 - Properly implemenent incremental decoding.

lib: base64 - Properly implemenent incremental encoding.

lib: buffer - Add buffer_get_avail_size().

This determines how much data can be added to buffer.

lib: istream-base64 - Add support for base64url encoding.

lib: base64 - Add support for base64url encoding.

lib: base64 - Make code suitable for encoding/decoding different Base64 variants.

lib: base64 - Add structural comments.

lib: base64.h - Move size macros.

lib: base64 - Make encoding table an explicit array.

Before, it was a string constant.

lib: base64.c - Move mapping tables.

lib: test-base64 - Make sure base64_decode() won't allocate any extra space

I was just considering an optimization where it would, until I realized it
could break some existing code.

lib: test-base64 - Cleanup: Use more exact test_asserts

This way it's easier to see why tests are failing.

lib: test-base64 - Cleanup: Use the same struct for test input and output

lib: test-base64 - Test MAX_BASE64_{EN,DE}CODED_SIZE() with existing tests