lib: base64 - Simplify MAX_BASE64_ENCODED_SIZE() calculation

Rely on (X + (Y - 1)) / Y being the same as ceil(X / Y) when operating on
integers.

This has a couple of benefits over the previous expression:

 1) the size argument is evaluated only once
 2) the generated code is simpler (no conditional instructions)
 3) the generated code is smaller

The generated code shrinks in terms of both bytes and instruction count.
The following table lists the number of bytes (B) and instructions (I) used
by the code before and after this change on an assortment of architectures
when the input is not known at compile time.  Unless otherwise noted, the
results are based clang 6.0.1 output.

         | before  | after  |    delta
---------+---------+--------+-------------
aarch64  | 32B  8I | 24B 6I | -25%B -25%I
amd64    | 38B 10I | 25B 5I | -34%B -50%I
amd64 [1]| 43B 10I | 31B 6I | -28%B -40%I
armv7    | 36B  9I | 24B 6I | -33%B -33%I
i386     | 32B 12I | 20B 6I | -38%B -50%I
i386 [1] | 35B 11I | 25B 7I | -29%B -36%I
ppc32    | 44B 11I | 20B 5I | -55%B -55%I
ppc64    | 52B 13I | 32B 8I | -38%B -38%I
s390x    | 74B 16I | 26B 5I | -65%B -69%I
sparcv9  | 36B  9I | 12B 3I | -66%B -66%I

[1] gcc 8.2.0

lib-dcrypt: Implement dcrypt_key_get_curve_public using openssl

lib-dcrypt: Add dcrypt_key_get_curve_public

Returns name of the curve of public key

lib-dcrypt: Add tests for raw keys

lib-dcrypt: Implement raw key API using OpenSSL

lib-dcrypt: Add API for dealing with raw keys

lib-dcrypt: Fix i2d_ASN1_OBJECT usage

i2d_ASN1_OBJECT tells how much memory we need.

lib-dcrypt: Symbolize maximum OID length

lib-dcrypt: Use len instead of ln

lib-http: Make http_client_request_delay_from_response() public

lib: Fix updating timeouts after time moves backwards

Broken by b258137d0e0618ae792e3606071a1715d26f107b

Fixes:
Panic: file ioloop.c: line 479 (timeout_get_wait_time): assertion failed: (ret > 0 && tv_r->tv_sec >= 0 && tv_r->tv_usec >= 0)

lib: timeval_add/sub_usecs() - Add assert to make sure negative values aren't used

The current code doesn't work correctly if negative values are used.
The code could of course be changed to handle them, but maybe assert is
better to catch bugs.

lib, lib-dcrypt: Fix unit tests to check i_stream_read() return value

index: Pass index sync flags to index view sync for pvt

When recovering from inconsistent view, this needs to
passed for pvt indexes too. Fixes

Error: dovecot.index.pvt reset, view is now inconsistent

push-notification: Allow easy access to Message-ID header

cassandra: Fix crash due to race condition with threads

Broken by changes in 0a5a2b81c266c11c34ab36b20816909dc3e715ac

The crash could happen because driver_cassandra_future_callback() can be
called any time, even before returning from driver_cassandra_set_callback().
This could result in both cb->id and cb->to being set and using the cb
after it's already freed.

cassandra: Cleanup - Move code to cassandra_callback_detach()

auth: Drop postfix socketmap support

It no longer works with recent postfix versions, and it's too much work to fix
it.

lib-storage: Add mailbox_attribute_internal.iter()

This mainly allows internal attributes with children to actually be able to
list the childrens' keys.

submission: Deny anonymous access to significant commands by default.

The transaction and individual recipients can be opened for allowed anonymous
access by flagging these as such.

submission: submission-client - Immediately terminate connection when it is an anonymous login.

Unless a plugin flags the client for allowed anonymous login.

lib-smtp: smtp-server-connection: Add smtp_server_connection_abort().

Provides a clean method to abort the connection before it is even started.

login-common: Deny anonymous login by default.

Only services that explicitly enable anonymous logins will permit them. Plugins
can also mask anonymous logins by dropping the anonymous reply flag in the
sasl_check_login() client vfunc.

login-common: sasl-server - Make sasl_server_auth_cancel() suitable for cancelling requests in login phase.

login-common: client-common - Add sasl_check_login() vfunc.

This allows checking the auth service success reply before commencing the actual
login.

login-common: sasl-server - Make private authentication mechanisms unavailable for normal authentication.

These mechanisms can only be used when the authentication is explicitly marked
as private.

login-common: sasl-server - Add means to filter the available SASL mechanisms.

This is accessible as a new client vfunc, so it can be used by protocol login
services and their plugins.

pop3-login: client - Use sasl_server_find_available_mech() instead of auth_client_find_mech().

imap-login: imap-login-client - Use sasl_server_find_available_mech() instead of auth_client_find_mech().

login-common: sasl-server - Add sasl_server_find_available_mech().

This is a wrapper for auth_client_find_mech(). This will be extended with
filtering in next commits.

submission-login: client.c - Use designated initializer for struct client_vfuncs.

pop3-login: client.c - Use designated initializer for struct client_vfuncs.

imap-urlauth: imap-urlauth-login.c - Use designated initializer for struct client_vfuncs.

imap-login: imap-login-client.c - Use designated initializer for struct client_vfuncs.

lib-storage: mail-user - Add auth_mech field to struct mail_user.

lib-storage: mail-storage-service - Parse "auth_mech" field from userdb extra fields.

login-common: sasl-server - Parse "anonymous" field in AUTH reply.

auth: auth-request-handler - Return "auth_mech" field in master REQUEST reply.

It contains the name of the mechanism used in the authentication.

auth: auth-request-handler - Return "anonymous" field for AUTH command that yields anonymous user.

login-common: Fix sending locally-generated authentication error reason to client.

This is about authentication errors that emerge at the login service rather than
the auth service. The error reason was always substituted with an unhelpful
"Authentication failed", while e.g. an error like "Unsupported authentication
mechanism" was supposed to be sent instead.

imap: Only send NIL on GETMETADATA when query depth is 0

imap: GETMETADATA: Ignore MAIL_ERROR_NOTPOSSIBLE errors when using DEPTH parameter

This most likely means that imap_metadata=no, but the client still wants to
fetch recursively validated metadata entries. This should return in OK
instead of NO reply.

auth: Do not unref policy payload too early

This can cause the context to be free'd too early leading
to crashes.

lib-imap-metadata: setting metadata literal value does not delete it

Only if value and value_stream are NULL the metadata can be unset.

run-test-valgrind.supp: Add libunwind supression

lib-smtp: Fix encoding quoted localparts that end with "."

For example "user..@example.com" or "user..test.@example.com" resulted
in an extra '"' prefix.

doc: example-config: Add lmtp_add_received_header

lib-storage: Mark /private/specialuse attribute to be validated

imap: GETMETADATA: Send the last error as tagged reply

This way if there's only a single error, the error is in the tagged reply
with the [resp-code]. Clients can handle this better than untagged NO
replies.

imap: GETMETADATA: If i_stream_get_size() fails, send client an internal error line

Previously the client didn't get any kind of an explanation why the
GETMETADATA failed.

imap: GETMETADATA: Move error handling to a common function

imap: GETMETADATA: Replace failed boolean with last_error code

imap: Allow SET/GETMETADATA to access validated attributes with imap_metadata=no

Some IMAP extensions use these commands to set/get their internal state.
This should be allowed even if full METADATA isn't enabled.

The initial plan was to restrict this in the lib-imap-storage layer, so it
would apply to everything using the imap-metadata API. This would have
affected for example accessing metadata in Sieve scripts, which could be
either good or bad. It might not be wanted to give users read access to
some metadata either, but admins really should be given the ability to
write Sieve scripts that access the metadata. However there's just no good
way to differentiate between admin-written (or tool-written) Sieve script
and user-written Sieve script.

Another issue is using metadata to configure virtual mailboxes. Currently
they're all admin-written and should be allowed to access metadata, but in
the future we might want to allow user-written virtual mailbox rules as
well.

So the end result at least for now is to just prevent IMAP GETMETADATA and
SETMETADATA specifically from accessing the non-validated attributes. Most
of the time there aren't any secrets in the metadata. In case there is,
users need to be prevented from accessing metadata via Sieve, and in such
systems users rarely have direct Sieve access anyway.

lib-imap-metadata: Add imap_metadata_transaction_validated_only()

lib-storage: Add support for "validated attributes"

If an attribute is marked with MAIL_ATTRIBUTE_INTERNAL_FLAG_VALIDATED, it's
assumed to be "validated". This means that it has a set() callback that
validates the value, which at minimum means that its size isn't excessively
large.

MAIL_ATTRIBUTE_TYPE_FLAG_VALIDATED can be used with set/get/iterate to allow
access only to these validated attributes. Trying to access non-validated
attributes will result in error.

lib-storage: Prepare attribute API for having flags in the type

lib-ssl-iostream: Support TLSv1.3 ciphersuites

lib-ssl-iostream: test-iostream-ssl - Wait until both sides have handshaked

Produces consistent result with different TLS flavors

lib-ssl-iostream: test-iostream-ssl - Plug memory leak

If either endpoint fails to initialize it needs to be deinitialized too.

lib-ssl-iostream: test-iostream-ssl - Always fail on error

Consistently fail the real function if something goes wrong.
Needed for TLSv1.3 support.

lib-ssl-iostream: test-iostream-ssl - Explicitly increment idx

The test_assert macro does not evaluate the idx increment
if the test succeeds.

stats: event exporters - Support https

stats: event-exporter - Use DNS for http

stats: Disable chroot to make event exporters work

This is mostly needed for dns-client unix socket and
accessing ssl CA certificates.

dns-client: Make dns client available in login chroot

Otherwise it's not possible to use it for login processes.

lmtp: lmtp-local - Drop LMTP server log prefixes for event used for mail delivery.

lib: lib-event - Add support for dropping log prefixes introduced by parent events.

This allows dropping a specific number prefixes from parents when this event is
used for logging. This does not affect the parent events. This only counts
actual prefixes and not  parents. If the count is higher than the actual number
of prefixes added by parents, all will be dropped.

mail-crypt: test-mail-key - Skip test before allocating test_pool

Fixes a memory leak if test is skipped.

lib-smtp: test-smtp-payload - exclude ssl cases if ssl not supported

lib-http: test-http-payload - Include test_echo_ssl only if ssl is supported

lib: Allow event filtering with wildcarded integers

lib-ssl-iostream: Don't build test-iostream-ssl if building without ssl

Fixes compiling when building without ssl.

lib-storage: Namespace prefix shouldn't be included in all mailbox name validity checks

Broken by 90c2995737cc1f3fe042993beb7b0b32e5375795

lib: Correct comment typo (UIID -> UUID)

lib-smtp: smtp-params - Assume all capabilities are supported when adding parameter event fields.

The actual capabilities are not really needed, since any assigned field is
relevent for event processing, whether the remote end will accept it or not.

This also fixes an assert failure occuring for proxied connections. Since the
server and client (proxy) connections can have different capabilities and since
the client connection does not have a proper capability list available in the
beginning of the handshake, the event created for a client transaction would
cause an assert failure when parameters were assigned that did not match the
capabilities (none).

lib: ostream-file: Don't log any errors when setting TCP_NODELAY

It's likely never useful to log the error, and it seems more and more
unexpected errors just keep popping up.

lib: test-ostream-multiplex - Check flush return value

Fixes coverity nit

config: Cache converted ssl-parameters.dat result

This way the ssl-parameters.dat is read only once by the config process
instead of for every config request.

config: Fix memory leaks when failing to convert ssl-parameters.dat

If ssl_dh setting isn't set and ssl-parameters.dat isn't found or there's
some error reading it, memory is leaked for every config request. This
eventually results in config process dying due to reaching vsz_limit.

lib-storage: Fix setting \Noinferiors flag for detached INBOX

The "" namespace is nowadays automatically created, so we can't just check
if mail_namespace_find_prefix() returns NULL.

I left the NULL check there for now at least, just in case there's some
reason I couldn't think of when it could be NULL.

dict: Exit early to work around various errors and crashes at shutdown

This is just a kludge until the dict process cleanup can be done cleanly.

lib: test-ostream-multiplex - Test corking

lib: ostream-multiplex - Fix last_sent

The intention was to choose oldest channel. The old code however
always chose last channel to send, which was not really the point.

Using unix timestamp is also problematic due to sub-second granularity.

lib: ostream-multiplex - Optimize writing

lib: ostream-multiplex - Implement cork support

Support corking for multiplex channels

lib: ostream-multiplex - Fix code format issue

lib-ssl-iostream: Add unit test

lib-ssl-iostream: ostream-openssl - Prevent segfault o_stream_get_buffer_*_size() when buffer is not allocated yet.

m4: Substitute variables in modules.m4

Otherwise they do not work in Makefiles

lib-storage: Add mailbox_list_index_get_index()

lib-storage: mailbox_list_index_view_open() - Don't crash if list indexes are disabled

This allows callers to call it without knowing if mailbox_list_index=yes

lib-storage: Move mailbox_list_index_view_open() to mailbox-list-index.c

It's a bit more appropriate location for it now that it's not strictly used
by only the STATUS caching code.

lib-storage: Make mailbox_list_index_view_open() public

lib-storage: Rename index_list_open_view() to mailbox_list_index_view_open()

In preparation for making the function public.

lib-storage: index_list_open_view() - Rename status_check to require_refreshed

This describes the parameter's behavior better.

lib-storage: Move MAILBOX_IS_NEVER_IN_INDEX() to mailbox-list-index.h

userdb-passwd: Fix getpwent errno handling

In https://bugs.gentoo.org/667118 Reuben Farrelly
noticed that running
    # doveadm user '*'
causes auth daemon to generate errors like:
    auth-worker(3585): Error: getpwent() failed: Invalid argument

This happens because on successful call getpwent()
now sets errno=EINVAL starting from glibc-2.28.
See https://sourceware.org/PR16004 for details.

The fix is to reset 'errno' before 'getpwent()' is called.

Reported-by: Reuben Farrelly
Bug: https://bugs.gentoo.org/667118
Bug: https://sourceware.org/PR16004
Original-Author: Sergei Trofimovich <slyfox@gentoo.org>

lib-dns: Log "Disconnect" event before calling DNS callbacks and freeing lookups

dns_lookup_free() could be freeing the dns_client, which causes a segfault
in the e_debug() log call.

Broken by fc8c54c48fec6a89d9cda755756c233191c62af1

lib: test-event-log - Add unit tests for calling event_log*() with params->base_*_prefix assigned.

lib: test-event-log - Add unit tests for calling event_log*() with params->no_send = TRUE.