lib-dcrypt: Add API for dcrypt_ecdh_derive_secret

lib-dcrypt: Return value from RSA_set0_crt_params

lib-dcrypt: Fix key format in raw & jwk keys

It needs to be point compressed with named curve

lib-dcrypt: Use correct variables names in RSA_set0_key

Broken in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Use ERR_R_PASSED_NULL_PARAMETER

It's the correct error and exists for older OpenSSL

Added in 79e9ccdc4a536f3881ec2b9304020514d1f92590

lib-dcrypt: Fix memory leak in raw key test

lib-dcrypt: Add unit tests for changes

dcrypt-openssl: Implement signature API for OpenSSL

lib-dcrypt: Add padding parameter for RSA encrypt/decrypt

lib-dcrypt: Add signature API

lib-dcrypt: Unit test for JWK keys

lib-dcrypt: Add JWK key format support

lib-dcrypt: Implement usage and key ID accessors for openssl

lib-dcrypt: Add key usage and id

These can be used for e.g. JWK keys.

lib-dcrypt: Add key id and usage fields to dcrypt keys

Simplifies next change

lib-dcrypt: Make key unref with NULL no-op

doveadm: Do not call dcrypt_deinitialize

It can break openssl

lib-dcrypt: Clarify when dcrypt_deinitialize is to be used

It should never be called if it's going to be used later on.

m4: Check if some RSA key manipulators are present

Needed for JWK

lib: hmac - Add hkdf for key derivation

lib-dcrypt: Use BN_secure_new when available for secrets

m4: Check for BN_secure_new

lib: base64 - Add high-level data and string encode functions with data stack buffer output.

lib: base64 - Add flags and max_line_size parameters to the new high-level encode functions.

Cannot change the API of existing functions.

lib: base64 - Add high-level data decode functions with data stack buffer output.

Similar functions accepting C string input already exist.

lib: base64 - Add flags parameters to the new high-level decode functions.

Cannot change the API of existing functions.

lib: base64 - Add BASE64_DECODE_FLAG_IGNORE_PADDING.

Makes padding optional rather than either disallowed or required.

lib: base64 - Reformat flag handling in base64_decode_more().

lib: base64 - Remove unused assignment.

Found by Clang scan-build.

lib-imap: Make sure str_unescape() won't be writing past allocated memory

The previous commit should already prevent this, but this makes sure it
can't become broken in the future either. It makes the performance a tiny
bit worse, but that's not practically noticeable.

lib-imap: Don't accept strings with NULs

IMAP doesn't allow NULs except in binary literals. We'll still allow them
in regular literals as well, but just not in strings.

This fixes a bug with unescaping a string with NULs: str_unescape() could
have been called for memory that points outside the allocated string,
causing heap corruption. This could cause crashes or theoretically even
result in remote code execution exploit.

Found by Nick Roessler and Rafi Rubin

lib: base64 - Add support for decoding without padding.

lib: base64 - Add support for encoding without padding.

lib: istream-base64-encoder - Use the new low-level incremental Base64 encoding API.

lib: base64 - Add support for adding line breaks to encoded output.

lib: base64 - Add base64_get_full_encoded_size().

lib: base64 - Add decode flag for prohibiting whitespace.

lib: base64 - Deprecate src_pos_r parameter of base64_decode().

Only NULL pointer is allowed. This allows using the new incremental API
internally, thereby dropping the old decoder implementation.

lib: istream-base64-decoder - Use the new low-level incremental Base64 decoding API.

lib: base64 - Properly implemenent incremental decoding.

lib: base64 - Properly implemenent incremental encoding.

lib: buffer - Add buffer_get_avail_size().

This determines how much data can be added to buffer.

lib: istream-base64 - Add support for base64url encoding.

lib: base64 - Add support for base64url encoding.

lib: base64 - Make code suitable for encoding/decoding different Base64 variants.

lib: base64 - Add structural comments.

lib: base64.h - Move size macros.

lib: base64 - Make encoding table an explicit array.

Before, it was a string constant.

lib: base64.c - Move mapping tables.

lib: test-base64 - Make sure base64_decode() won't allocate any extra space

I was just considering an optimization where it would, until I realized it
could break some existing code.

lib: test-base64 - Cleanup: Use more exact test_asserts

This way it's easier to see why tests are failing.

lib: test-base64 - Cleanup: Use the same struct for test input and output

lib: test-base64 - Test MAX_BASE64_{EN,DE}CODED_SIZE() with existing tests

lib: base64 - Change MAX_BASE64_DECODED_SIZE() to be more exact

If the input has only full base64 blocks (is divisible by 4), there's no
need to add the extra +3.

lib: base64 - Simplify MAX_BASE64_ENCODED_SIZE() calculation

Rely on (X + (Y - 1)) / Y being the same as ceil(X / Y) when operating on
integers.

This has a couple of benefits over the previous expression:

 1) the size argument is evaluated only once
 2) the generated code is simpler (no conditional instructions)
 3) the generated code is smaller

The generated code shrinks in terms of both bytes and instruction count.
The following table lists the number of bytes (B) and instructions (I) used
by the code before and after this change on an assortment of architectures
when the input is not known at compile time.  Unless otherwise noted, the
results are based clang 6.0.1 output.

         | before  | after  |    delta
---------+---------+--------+-------------
aarch64  | 32B  8I | 24B 6I | -25%B -25%I
amd64    | 38B 10I | 25B 5I | -34%B -50%I
amd64 [1]| 43B 10I | 31B 6I | -28%B -40%I
armv7    | 36B  9I | 24B 6I | -33%B -33%I
i386     | 32B 12I | 20B 6I | -38%B -50%I
i386 [1] | 35B 11I | 25B 7I | -29%B -36%I
ppc32    | 44B 11I | 20B 5I | -55%B -55%I
ppc64    | 52B 13I | 32B 8I | -38%B -38%I
s390x    | 74B 16I | 26B 5I | -65%B -69%I
sparcv9  | 36B  9I | 12B 3I | -66%B -66%I

[1] gcc 8.2.0

lib-dcrypt: Implement dcrypt_key_get_curve_public using openssl

lib-dcrypt: Add dcrypt_key_get_curve_public

Returns name of the curve of public key

lib-dcrypt: Add tests for raw keys

lib-dcrypt: Implement raw key API using OpenSSL

lib-dcrypt: Add API for dealing with raw keys

lib-dcrypt: Fix i2d_ASN1_OBJECT usage

i2d_ASN1_OBJECT tells how much memory we need.

lib-dcrypt: Symbolize maximum OID length

lib-dcrypt: Use len instead of ln

lib-http: Make http_client_request_delay_from_response() public

lib: Fix updating timeouts after time moves backwards

Broken by b258137d0e0618ae792e3606071a1715d26f107b

Fixes:
Panic: file ioloop.c: line 479 (timeout_get_wait_time): assertion failed: (ret > 0 && tv_r->tv_sec >= 0 && tv_r->tv_usec >= 0)

lib: timeval_add/sub_usecs() - Add assert to make sure negative values aren't used

The current code doesn't work correctly if negative values are used.
The code could of course be changed to handle them, but maybe assert is
better to catch bugs.

lib, lib-dcrypt: Fix unit tests to check i_stream_read() return value

index: Pass index sync flags to index view sync for pvt

When recovering from inconsistent view, this needs to
passed for pvt indexes too. Fixes

Error: dovecot.index.pvt reset, view is now inconsistent

push-notification: Allow easy access to Message-ID header

cassandra: Fix crash due to race condition with threads

Broken by changes in 0a5a2b81c266c11c34ab36b20816909dc3e715ac

The crash could happen because driver_cassandra_future_callback() can be
called any time, even before returning from driver_cassandra_set_callback().
This could result in both cb->id and cb->to being set and using the cb
after it's already freed.

cassandra: Cleanup - Move code to cassandra_callback_detach()

auth: Drop postfix socketmap support

It no longer works with recent postfix versions, and it's too much work to fix
it.

lib-storage: Add mailbox_attribute_internal.iter()

This mainly allows internal attributes with children to actually be able to
list the childrens' keys.

submission: Deny anonymous access to significant commands by default.

The transaction and individual recipients can be opened for allowed anonymous
access by flagging these as such.

submission: submission-client - Immediately terminate connection when it is an anonymous login.

Unless a plugin flags the client for allowed anonymous login.

lib-smtp: smtp-server-connection: Add smtp_server_connection_abort().

Provides a clean method to abort the connection before it is even started.

login-common: Deny anonymous login by default.

Only services that explicitly enable anonymous logins will permit them. Plugins
can also mask anonymous logins by dropping the anonymous reply flag in the
sasl_check_login() client vfunc.

login-common: sasl-server - Make sasl_server_auth_cancel() suitable for cancelling requests in login phase.

login-common: client-common - Add sasl_check_login() vfunc.

This allows checking the auth service success reply before commencing the actual
login.

login-common: sasl-server - Make private authentication mechanisms unavailable for normal authentication.

These mechanisms can only be used when the authentication is explicitly marked
as private.

login-common: sasl-server - Add means to filter the available SASL mechanisms.

This is accessible as a new client vfunc, so it can be used by protocol login
services and their plugins.

pop3-login: client - Use sasl_server_find_available_mech() instead of auth_client_find_mech().

imap-login: imap-login-client - Use sasl_server_find_available_mech() instead of auth_client_find_mech().

login-common: sasl-server - Add sasl_server_find_available_mech().

This is a wrapper for auth_client_find_mech(). This will be extended with
filtering in next commits.

submission-login: client.c - Use designated initializer for struct client_vfuncs.

pop3-login: client.c - Use designated initializer for struct client_vfuncs.

imap-urlauth: imap-urlauth-login.c - Use designated initializer for struct client_vfuncs.

imap-login: imap-login-client.c - Use designated initializer for struct client_vfuncs.

lib-storage: mail-user - Add auth_mech field to struct mail_user.

lib-storage: mail-storage-service - Parse "auth_mech" field from userdb extra fields.

login-common: sasl-server - Parse "anonymous" field in AUTH reply.

auth: auth-request-handler - Return "auth_mech" field in master REQUEST reply.

It contains the name of the mechanism used in the authentication.

auth: auth-request-handler - Return "anonymous" field for AUTH command that yields anonymous user.

login-common: Fix sending locally-generated authentication error reason to client.

This is about authentication errors that emerge at the login service rather than
the auth service. The error reason was always substituted with an unhelpful
"Authentication failed", while e.g. an error like "Unsupported authentication
mechanism" was supposed to be sent instead.

imap: Only send NIL on GETMETADATA when query depth is 0

imap: GETMETADATA: Ignore MAIL_ERROR_NOTPOSSIBLE errors when using DEPTH parameter

This most likely means that imap_metadata=no, but the client still wants to
fetch recursively validated metadata entries. This should return in OK
instead of NO reply.

auth: Do not unref policy payload too early

This can cause the context to be free'd too early leading
to crashes.

lib-imap-metadata: setting metadata literal value does not delete it

Only if value and value_stream are NULL the metadata can be unset.

run-test-valgrind.supp: Add libunwind supression

lib-smtp: Fix encoding quoted localparts that end with "."

For example "user..@example.com" or "user..test.@example.com" resulted
in an extra '"' prefix.