lib-dict: Ensure all iterations and transactions are done in deinit

lib-dict: Track transaction counts

lib-dict: Fix test-dict linkage

lib-dict: Use dict-fail iterator and transaction when missing from dict driver

dict: Update correct counter in dict_iterate_init

lib-dict: Add dict-fail driver

It can be used for providing various failures

global: Log mailbox_list internal errors

lib-storage: Add mailbox_list_get_last_internal_error()

This returns the error given to mailbox_list_set_critical().

lib: Download unicode.org files from dovecot.org

lib-http: client: Implemented http_client_request_url_str() function that accepts an URL string rather than a pre-parsed URL object.

If the provided HTTP URL is invalid, the callback with the error is called some time later from the ioloop.
This change also amends the test-http-client-errors test suite with a new test for this new feature.

lib-http: client: Make sure a request's log label never gets a duplicate request target part.

Make sure the URL part of the label always only consists of a http://host:port part and nothing more.

lib-http: client: Restructured the handling of delayed errors.

The req->delayed_error* fields are cleared before the callback is called and before the request is dereferenced.
This way, freeing the request never removes it from the delayed request list when the list is being processed.
It also makes it possible to resubmit the request from the callback (mainly for future use).

lib-http: client: Clear request pointer immediately in http_client_request_error().

lib-http: test-http-client-errors: Added test for using https:// while SSL is not configured.

global: Use http_response_get_message() to log HTTP responses.

lib-http: Added a function to obtain a message suitable for logging from a response object.

This prevents logging internal error codes (>= 9000).

lib-http: Explicitly define the start of the range of internal response status codes.

lib-http: test-http-client-errors: Always use the proper error status code definitions rather than an integer literal.

doveadm: Send and receive exit codes correctly

The old code would assume TEMPFAIL for almost everything.

doveadm: Add exit code/string conversion functions

lib-lda: smtp-client: Fixed memory leak of the error message string.

lib-lda: smtp-client: Fixed cleanup of LMTP client at end of transaction.

It was not deinitialized, causing a memory leak.

lib-smtp: lmtp-client: Fixed bug in timeout handling.

The timeout was erroneously stopped when lmtp_client_send() was invoked before a connection was established.
Once the connection finally got established, the timeout was removed.
This would cause the client to wait indefinitely.

lib-lda: smtp-client: Make sure only the first error determines the tempfail status.

The client is supposed to stop running the moment the first error occurs. However, there is a (very unlikely) possiblity that the encapsulated LMTP client issues both an RCPT and DATA error callback in sequence.
In that case, the second callback should not override the tempfail status of the first (the second likely is a tempfail).
If the server disconnects right after failing the last of at least two recipients, the lmtp-client would issue a DATA callback with a disconnection error.
The disconnect error would set the client->tempfail flag, which caused smtp_client_deinit*() to always return -1 in this scenario.

lib-lda: smtp-client: Renamed "smtp_client" parameters to "client" for consistency.

lib: Add missing error handling to o_stream_cork()

With ostream-file the corking could have called buffer_flush(), which could
have failed and set stream_errno, but nothing would set last_failed_errno.

Fixes:
Panic: file ostream.c: line 59 (o_stream_close_full): assertion failed: (stream->last_failed_errno != 0)

lib-dict: Ensure init returns dict

pop3-login: Add FORWARD for XCLIENT

This allows passing passdb variables. They are prefixed
with forward_ when imported to extra fields.

pop3-login: Pass forward_ passdb args using XCLIENT command

imap-login: Allow x-forward- to specify forward fields from trusted networks

auth: Accept forward_fields from auth client

auth: Add auth_fields_import_prefixed

auth: Support client_id variable

When imap_id_retain is turned on, contains
the client ID request content with dovecot
special vars removed.

imap-login: Forward original client ID to next hop

This will be done if ID is present.

imap-login: Retain ID request without dovecot specials

imap-login: Add option to retain client id

This should be enabled if client_id is wanted for auth policy

auth: Accept client_id from auth client

Client ID contains the ID client request string
for IMAP.

login-common: Add preproxy pool

preproxy pool can be used to do allocations that are released
once proxying starts.

imapc: Use LOGOUT to cleanly disconnect from server.

This makes it clearer in the remote server's logs whether the disconnection
was intentional or not.

Use a hardcoded 5 second timeout for LOGOUT. It should be enough time for
the server to finish sending the tagged reply.

lib-storage: Don't reset \Recent flags when rebuilding index

The recent flags are tracked with first_recent_uid in the header. If the
first_recent_uid is valid in the old index, preserve it. This way all
mails don't show as having \Recent flag.

This was used by sdbox and mdbox code.

trash: Move config file to trash user

Makes static analyser happy

lib-http: test-http-server-errors: Fixed logically dead code.

Problem reported by Coverity.

example-config: Update deliver_log_format comment

lib-ssl-iostream: Ensure verify_remote_cert is true

Forgotten in 38424b8081a75be3ef93729fed4d30dbafca5885

lib-ssl-iostream: Fix ambiguity with SSL settings

 - lib-ssl-iostream as client: Use only allow_invalid_cert. If it's not set, verify the server cert.
 - lib-ssl-iostream as server: If verify_client_cert=FALSE, don't ask for the client cert. Otherwise, ask for client cert but still allow it if allow_invalid_cert=TRUE.

imap-hibernate: Avoid using casts

trash: Read settings after namespaces are loaded

Fixes Panic: file mail-namespace.c: line 709 (mail_namespace_find): assertion failed: (ns != NULL)

master: Try to listen on master socket even if all services couldn't be listened to.

This could happen during a settings reload.

master: Add missing error logging for master socket listening failure.

master: Don't crash if master socket couldn't be re-opened after settings reload.

imap-hibernate: Support userdb in var_expand

lib-index: Fix test-mail-index-transaction-update

It was broken with TZ=Australia/ACT. Fixing it seems too troublesome, so
just use TZ=UTC during the test.

lib-index: Minor fix to day_first_uid updating

mktime() was getting a bit confused around day changes. Giving it only
year/month/day makes it less confused.

doveadm: Do not crash doveadm-server if input file missing

save commands expects valid input file for it to work,
if we are not running for cli, and input file is not
provided, provide EINVAL error to caller via i_stream_error.

lib-dcrypt: Add asserts

Fixes several static analysis reports

lib-storage & imap: add MAIL_ERROR_UNAVAILABLE as [UNAVAILABLE]

[UNAVAILABLE] is defined in RFC 5530 and we were just missing a MAIL_ERROR_*
constant to make use of it.

imap, pop3, indexer-worker: Add (deinit) to process title before autoexpunging runs.

lmtp should also do this, but it needs a bit larger changes.

pop3: Add client.destroyed boolean

auth: Auth workers shouldn't return username if it wasn't changed

This continues the previous fix where username was always added to
passdb/userdb cache, even if the username wasn't changed. That could have
resulted in wrongly changing usernames if the cache key didn't uniquely
identify the user.

auth: passdb/userdb lookups via auth-worker cached too much of the replies

Only the fields returned by the lookup itself were supposed to be cached.
This was especially problematic if the lookup via auth-worker didn't
uniquely identify the user. For example doing a passdb lookup for an
attribute shared by multiple users could have caused the reply to contain
the previous cached user's all extra fields.

auth: Properly hide all fields with passwords

client reply line wasn't hiding all items
which contain 'pass' substring. This was
inconsistent behaviour since elsewhere this was done.

*-login: Change API for how login_plugins hook into client allocation.

The previous API worked badly when there were more than one plugin.
The current behavior works similarly to how mail_plugins work.

cassandra: Treat CASS_ERROR_SERVER_UNAVAILABLE as "write success is uncertain"

Looks like the write could still have actually gone through.

lib-oauth2: Don't free oauth2_request too early.

Move the freeing explicitly to only after calling the callback. The
previous method of freeing it on when http_request was destroyed could
have happened too early when oauth2_parse_json() called i_stream_unref(),
which released the last reference to the http_request.

lib-oauth2: Fix memory leak if HTTP URL parsing fails.

Also delay calling the callback. The callers don't necessarily expect an
immediate callback (auth/db-oauth2.c doesn't).

auth: oauth2 - cleanup db_oauth2_lookup_callback_t

db parameter isn't needed, because request->db already contains it.
Also moved request parameter to be the first.

auth: oauth2 - make it easier to see where db_oauth2_callback() is called

Doesn't fix anything, but places the db_oauth2_callback() calls into the end
of _continue() calls so it's clearer that they're always being called
exactly once.

auth: oauth2 - Clarify token validation success/valid error handling

result->error is NULL only if result->success && !result->valid.
Also !result->success is the more important error handling case.
Write out these cases explicitly so it's easier to understand.

auth: oauth2 - remove db_oauth2_request.failed

It is an unnecessary duplication of passdb_result.

auth: oauth2 - remove db_oauth2_request.result

It's not a persistent state. When it's set, the callback needs to be called.
This way it's more difficult to forget to set it.

auth: oauth2 - Template expand failure should be an internal error

Not the default "password mismatch". Also changed the API to be closer to
the other nearby functions.

auth: oauth2 - make db_oauth2_template_export() static

It's not used outside db-oauth2.c

auth: oauth2 - introspection lookup error should be internal failure

Not the default, which is "password mismatch".

auth: oauth2 - Make sure db_oauth2_request.req is set to NULL when it gets freed.

Doesn't fix anything, but makes it clearer that req->req must not be
aborted anymore after this stage, because it gets freed anyway.

auth: oauth2 - Fix aborting auth requests on deinit.

The auth_request needs to be finished by calling the callback.

auth: Do not double-expand key in passdb dict when authenticating

Broken by 79042f8c

*-login: Remove unused client.proxy_state

pop3-login: Remove usage of client.common.proxy_state

pop3-login: Log proxy state as human-readable string.

imap-login: Log proxy state as human-readable string.

Separate sent/received state and log them as strings.

*-login: Add client.proxy_get_state() for providing human-readable proxy state

If not implemented, it defaults to the old method of returning proxy_state
number.

pop3: Set process title before syncing mailbox.

The syncing could be taking a long time, so it's useful to have the username
in the process title during that.

imap: If unhibernation fails due to a mailbox error, log the mailbox name.

imap: When disconnecting due to FETCH failure, include "FETCH" in the log message.

lib-sasl: Fix xoauth2 data format

Authentication data was missing user=

db-oauth2: Make sure request is removed only once

Callback might be called twice.

lib-oauth2: Use http client destroy callback

Avoids freeing memory early.

Fixes signal 11 crash in auth

auth: Apply skips to first passdb

This is required to apply filters to first
passdb, so that mechanism filters can be
applied.

lib-oauth2: Add missing content-type header

lib: Added i_strchr_to_next()

fts: Don't add NULL content disposition or type to HTTP header

doveadm: Add missing newline to proxy kick output

doveadm: Ensure -- is added to command line before positional arguments for non-mails commands as well

Was forgotten from 967efe37d1f10a28c0a086cc5919d4ce8917bed8

doveadm: Ensure -- is added to command line before positional arguments

This prevents parser from choking on dash.

doveadm: Fix allow-empty-mailbox-name handling

It was supposed to be handled for metadata commands only.

Broken in 26c41874cf6019c3e39f0ed630b2a07a92b2635f

doveadm move: Use mailbox_move() instead of copy+expunge

This allows for some optimizations to be done.

master: add cassandra to printed build options

lib-dcrypt: Replace #if OPENSSL_VERSION_NUMBER with more explicit checks

lib-dcrypt: Move most of the OpenSSL #if handling to macros

This avoids #if calls being littered all over the file.

This change can cause HMAC_CTX_free(NULL) to be called, but that seems to
work fine without crashing.

lib: Fix t_strf*time() unit tests

Timezone isn't part of the standard struct tm, so %z doesn't necessarily
expand as expected outside Linux.