auth: Auth workers shouldn't return username if it wasn't changed

This continues the previous fix where username was always added to
passdb/userdb cache, even if the username wasn't changed. That could have
resulted in wrongly changing usernames if the cache key didn't uniquely
identify the user.

auth: passdb/userdb lookups via auth-worker cached too much of the replies

Only the fields returned by the lookup itself were supposed to be cached.
This was especially problematic if the lookup via auth-worker didn't
uniquely identify the user. For example doing a passdb lookup for an
attribute shared by multiple users could have caused the reply to contain
the previous cached user's all extra fields.

auth: Properly hide all fields with passwords

client reply line wasn't hiding all items
which contain 'pass' substring. This was
inconsistent behaviour since elsewhere this was done.

*-login: Change API for how login_plugins hook into client allocation.

The previous API worked badly when there were more than one plugin.
The current behavior works similarly to how mail_plugins work.

cassandra: Treat CASS_ERROR_SERVER_UNAVAILABLE as "write success is uncertain"

Looks like the write could still have actually gone through.

lib-oauth2: Don't free oauth2_request too early.

Move the freeing explicitly to only after calling the callback. The
previous method of freeing it on when http_request was destroyed could
have happened too early when oauth2_parse_json() called i_stream_unref(),
which released the last reference to the http_request.

lib-oauth2: Fix memory leak if HTTP URL parsing fails.

Also delay calling the callback. The callers don't necessarily expect an
immediate callback (auth/db-oauth2.c doesn't).

auth: oauth2 - cleanup db_oauth2_lookup_callback_t

db parameter isn't needed, because request->db already contains it.
Also moved request parameter to be the first.

auth: oauth2 - make it easier to see where db_oauth2_callback() is called

Doesn't fix anything, but places the db_oauth2_callback() calls into the end
of _continue() calls so it's clearer that they're always being called
exactly once.

auth: oauth2 - Clarify token validation success/valid error handling

result->error is NULL only if result->success && !result->valid.
Also !result->success is the more important error handling case.
Write out these cases explicitly so it's easier to understand.

auth: oauth2 - remove db_oauth2_request.failed

It is an unnecessary duplication of passdb_result.

auth: oauth2 - remove db_oauth2_request.result

It's not a persistent state. When it's set, the callback needs to be called.
This way it's more difficult to forget to set it.

auth: oauth2 - Template expand failure should be an internal error

Not the default "password mismatch". Also changed the API to be closer to
the other nearby functions.

auth: oauth2 - make db_oauth2_template_export() static

It's not used outside db-oauth2.c

auth: oauth2 - introspection lookup error should be internal failure

Not the default, which is "password mismatch".

auth: oauth2 - Make sure db_oauth2_request.req is set to NULL when it gets freed.

Doesn't fix anything, but makes it clearer that req->req must not be
aborted anymore after this stage, because it gets freed anyway.

auth: oauth2 - Fix aborting auth requests on deinit.

The auth_request needs to be finished by calling the callback.

auth: Do not double-expand key in passdb dict when authenticating

Broken by 79042f8c

*-login: Remove unused client.proxy_state

pop3-login: Remove usage of client.common.proxy_state

pop3-login: Log proxy state as human-readable string.

imap-login: Log proxy state as human-readable string.

Separate sent/received state and log them as strings.

*-login: Add client.proxy_get_state() for providing human-readable proxy state

If not implemented, it defaults to the old method of returning proxy_state
number.

pop3: Set process title before syncing mailbox.

The syncing could be taking a long time, so it's useful to have the username
in the process title during that.

imap: If unhibernation fails due to a mailbox error, log the mailbox name.

imap: When disconnecting due to FETCH failure, include "FETCH" in the log message.

lib-sasl: Fix xoauth2 data format

Authentication data was missing user=

db-oauth2: Make sure request is removed only once

Callback might be called twice.

lib-oauth2: Use http client destroy callback

Avoids freeing memory early.

Fixes signal 11 crash in auth

auth: Apply skips to first passdb

This is required to apply filters to first
passdb, so that mechanism filters can be
applied.

lib-http: test-http-server-errors: Fixed logically dead code.

Problem reported by Coverity.

lib-lda: smtp-client: Fixed memory leak of the error message string.

lib-lda: smtp-client: Fixed cleanup of LMTP client at end of transaction.

It was not deinitialized, causing a memory leak.

lib-smtp: lmtp-client: Fixed bug in timeout handling.

The timeout was erroneously stopped when lmtp_client_send() was invoked before a connection was established.
Once the connection finally got established, the timeout was removed.
This would cause the client to wait indefinitely.

lib-lda: smtp-client: Make sure only the first error determines the tempfail status.

The client is supposed to stop running the moment the first error occurs. However, there is a (very unlikely) possiblity that the encapsulated LMTP client issues both an RCPT and DATA error callback in sequence.
In that case, the second callback should not override the tempfail status of the first (the second likely is a tempfail).
If the server disconnects right after failing the last of at least two recipients, the lmtp-client would issue a DATA callback with a disconnection error.
The disconnect error would set the client->tempfail flag, which caused smtp_client_deinit*() to always return -1 in this scenario.

lib-oauth2: Add missing content-type header

example-config: Update deliver_log_format comment

lib-ssl-iostream: Ensure verify_remote_cert is true

Forgotten in 38424b8081a75be3ef93729fed4d30dbafca5885

imap-hibernate: Avoid using casts

fts: Don't add NULL content disposition or type to HTTP header

trash: Read settings after namespaces are loaded

Fixes Panic: file mail-namespace.c: line 709 (mail_namespace_find): assertion failed: (ns != NULL)

master: Try to listen on master socket even if all services couldn't be listened to.

This could happen during a settings reload.

master: Add missing error logging for master socket listening failure.

master: Don't crash if master socket couldn't be re-opened after settings reload.

imap-hibernate: Support userdb in var_expand

doveadm: Add missing newline to proxy kick output

doveadm: Ensure -- is added to command line before positional arguments for non-mails commands as well

Was forgotten from 967efe37d1f10a28c0a086cc5919d4ce8917bed8

doveadm: Ensure -- is added to command line before positional arguments

This prevents parser from choking on dash.

doveadm: Fix allow-empty-mailbox-name handling

It was supposed to be handled for metadata commands only.

Broken in 26c41874cf6019c3e39f0ed630b2a07a92b2635f

doveadm move: Use mailbox_move() instead of copy+expunge

This allows for some optimizations to be done.

master: add cassandra to printed build options

lib: Fix t_strf*time() unit tests

Timezone isn't part of the standard struct tm, so %z doesn't necessarily
expand as expected outside Linux.

dsync: Fix syncing attributes with large values.

This mainly meant that large Sieve scripts weren't synced properly, because
their last_change field was never deserialized, so it was set to 0.

lazy-expunge: Use mailbox_move() instead of mailbox_copy()

This allows some optimizations to be performed that are only possible when
moving messages.

It's slightly strange now that mail_expunge() is triggered twice for the
same source mail, but lazy_expunge plugin is called very early so most
plugins won't see it called twice. Currently only acl plugin sees it, and
it doesn't care.

lib-dcrypt: Replace #if OPENSSL_VERSION_NUMBER with more explicit checks

lib-dcrypt: Move most of the OpenSSL #if handling to macros

This avoids #if calls being littered all over the file.

This change can cause HMAC_CTX_free(NULL) to be called, but that seems to
work fine without crashing.

mail-filter: Add missing error handling in ostream-ext-filter

auth: Removed dead code from oauth2 mechanism

acl plugin: Fix Coverity warning

Just switch the MALLOC_ADD() parameters, so that arithmetic doesn't get
inside a sizeof().

lib-http: client: Fixed i_unreached() failure occurring when a host's list of IPs changes while a connection is still pending.

In that case, the IP of the pending connection may no longer be associated with that host.
If the IP was not found anymore, the i_unreached() error occurred.

auth: Export oauth2 pass_attrs to passdb reply

pop3c: Fix compiling due to typo in previous commit

global: Fix ssl_set usage

Remove verify_remote_cert, as it's always TRUE now.
Set allow_invalid_cert to TRUE if verification is
not required.

lib-ssl-iostream: Fix ambiguity with SSL settings

 - lib-ssl-iostream as client: Use only allow_invalid_cert. If it's not set, verify the server cert.
 - lib-ssl-iostream as server: If verify_client_cert=FALSE, don't ask for the client cert. Otherwise, ask for client cert but still allow it if allow_invalid_cert=TRUE.

virtual: Include virtual mailbox name in "Mailbox ID unexpectedly lost" error

lib-storage: Allow mail_storage_set_error() to use existing error_string

Fixes some code that may be attempting to copy an error from one storage to
another, but actually ends up trying to copy within the same storage.

maildir: Fix checking vsize caching decision in "is this pop3 user?"

If vsize extension is used, it's practically the same as if vsize's caching
decision was YES.

pop3c: Remove unnecessarily duplicated code setting vsize to cache

This is important now that the vsize can be added also to index's vsize
extension.

pop3c: Prefetched streams didn't call istream_opened() or set virtual_size

lib-mail: istream-attachment-connector now allows msg_size=-1 for "unknown".

lib-mail: Make sure istream-attachment-connector detects wrong mail size.

lib: Added i_stream_create_min_sized*()

lib: Added i_stream_create_sized_range()

This is just a small wrapper to i_stream_create_sized() to specify stream's
start offset.

trash plugin: Use correct hook for overriding mail_user vfuncs

This was always wrong to do, and it crashes after
f32382d2da479a4371e08c443679528db37ea988

expire plugin: Use correct hook for overriding mail_user vfuncs

This was always wrong to do, and it crashes after
f32382d2da479a4371e08c443679528db37ea988

lazy-expunge: Fix error handling for GUID lookups

If the mail is already expunged, the error should be ignored.
In other situations the original error string should be preserved as
part of the logged error message.

lib-storage: Add missing service_user ref when creating shared mailbox's user.

Was forgotten from d1bf4ae66b8bf3b9e28df1823d6d4adda2b923b6

Fixes:
Panic: file mail-storage-service.c: line 1513 (mail_storage_service_user_unref): assertion failed: (user->refcount > 0)

lib-storage: Removed mail_storage_service_user_free() backwards compatibility

Used a separate commit so the macro can be left for v2.2 tree.

global: Replace mail_storage_service_user_free() with _unref()

lib-storage: Use refcounting for mail_storage_service_user

doveadm import was freeing the user too early, which resulted
mail_user._service_user pointing to freed memory. More importantly,
after 34512eaad8b1b2f929e6d6e3a2f7252c29fba97b user->set was pointing
to already freed memory.

quota: Don't log "Internal quota calculation error"

It's not very informative and we can't give a better error message without
changing the APIs. The real error should have been logged already anyway,
so this is just duplication of an error. I think originally this was added
because some backend forgot to log an error.

lib-lda: Fix pigeonhole testsuite to not crash

lib: Fix again test-utc-mktime with 32bit time_t

lib-lda: Fix delivery logging when Sieve performs multiple actions

Previous code assumed that it would work like:
 - save/copy
 - transaction commit
 - mail_deliver_ctx_get_log_var_expand_table()
 - repeat for transaction 2

While it really works:
 - transaction 1: save/copy
 - transaction 2: save/copy
 - transaction 1: commit
 - mail_deliver_ctx_get_log_var_expand_table()
 - transaction 2: commit
 - mail_deliver_ctx_get_log_var_expand_table()

So the cache needs to be stored per transaction. This code still wouldn't
work correctly if Sieve saved mails multiple times within the same
transaction, but that doesn't happen (at least currently).

lib-lda: Refactor - mail_deliver_log_update_cache() doesn't need entire deliver_ctx

lib-lda: Refactor - Add struct mail_deliver_mailbox

lib: Fix test-utc-mktime with 32bit time_t

lib-mail: Place input/output of message-date tests in one struct

Define both input and output of a message date test case in a single
struct so it is easier to follow and less error prone. Also add some
leap second tests.

lib: Place input/output of utc_mktime tests in one struct

Define both input and output of a utc_mktime test case in a single
struct so it is easier to follow and less error prone.

lib: Accept leap second in utc_mktime

Accept leap second at any time in utc_mktime since utc_mktime is being
used before applying the timezone offset everywhere.

imap: Fix error message in failed FETCH's NO reply.

This was broken only with the new imap_fetch_failure = no-after setting.

imapc: Error handling wasn't setting storage error everywhere.

This would have used the previous error, which might not have been correct.

lib-storage: Fix mail.access_type for search prefetches

lmtp: Fix lmtp_user_concurrency_limit when userdb changes the username

Anvil LOOKUP was done with the original username, while CONNECT/DISCONNECT
was done with the changed username. So LOOKUP always thought that there
were zero concurrent sessions for the user.

cassandra: Don't use i_error() from non-main thread

It will only cause crashes. This was done only if the internal
communication pipe couldn't be written to, which was pretty unlikely
to happen.

lib-storage: Fix assert-crash on corrupted dovecot.list.index with name_id==0

Fixes:
Panic: file hash.c: line 213 (hash_table_insert_node): assertion failed: (key != NULL)

lib-storage: Add asserts to make sure lookup_abort is being used correctly.

lib-storage, pop3-migration: Reset lookup_abort before continuing to search

This doesn't really fix anything right now, but it'll allow adding the
asserts in the following commit.

auth: Make sure tokeninfo or introspection URL is given

auth: Make tokeninfo optional

It is not supported by all OAuth2 solutions