auth: Add mechanism filter for passdbs

auth: Add accessor for passdb template arguments

lib-oauth2: Add support library for OAUTH2

lib-storage: Update vsize header after sync only if sizes are cached.

The result isn't needed yet in that case, so if it's slow to get the sizes
it might as well be delayd until later. This is especially useful when
indexer-worker triggers FTS indexing. The vsizes can be added to index
after the mail is already read for FTS. Without this change the vsize
update would first open all the mails and then the FTS indexing would
open all the mails a second time.

lib-storage: Add mail_vsize_bg_after_count setting.

If folder vsize calculation requires opening more than this many mails from
disk (i.e. mail sizes aren't in cache already), return failure and finish
the calculation via indexer process.

This should be used like:

protocol !indexer-worker {
  mail_vsize_bg_after_count = 10
}

lib-storage: Don't stop vsize calculation on expunged mails.

I don't know why I added such logic there in the first place. If we just
skip the expunged mails, the end result should still be correct and
usable when cached.

lib-index: Fix updating mail_index_header.day_first_uid

If user received a mail every day, the day_first_uid wasn't being updated.
This caused wrong caching decisions to be made in dovecot.index.cache:

 - Accessing >1 week old emails should have changed caching decision from
"tmp" to "yes". This might not have happened, although as long as
day_first_uid[7] pointed to an existing mail and email client accessed
all the mails, this wouldn't have changed anything.

 - Cache compression is supposed to drop >1 week old mails when caching
decision is "tmp". Not enough mails were being dropped because
day_first_uid[7] pointed to a much older than 1 week old mails.

Also added a unit test to make sure this works.

Broken by d9ee2f9fb3ef7b9391bfeeff1b374aead51667aa

lib-index: Add day_stamp parameter to mail_index_update_day_headers()

This will help creating a unit test.

lib-storage: Re-open mailbox after it's undeleted.

This is needed with mailbox formats that didn't fully open the mailbox while
it was undeleted.

lib-storage: Don't sync mailbox after undeleting it.

This is useful only when deleting it. With undeletion the syncing isn't
useful and might actually be harmful with mailbox formats that didn't
fully open the mailbox while it was undeleted.

lib-storage: Make sure mailbox undeletion won't go to infinite loop

mail-log: Add mail_log_cached_only setting.

If enabled, everything except "save" event will log only the fields that can
be looked up from cache. This improves performance if some of the fields
aren't cached and it's not a strict requirement to log them.

lib-imap-client: pass the reply text to the auth-failed state change callback

lib-imap-client: invoke state change callback on "authentication success"

lib-imap-client: add callback to notify consumers about state changes

Add a callback to notify imapc users about failures.  Currently, the only
failure defined is "authentication failed".

lib-imap-client: centralize authentication failed error logging

lib-http: response parser: Drop previous response's pool immediately when parsing continues.

Prevously, it would only do that when the first byte of the next response was received.
This prevents wasting memory when no response is being parsed.

lib-http: response parser: Always clear response to prevent referring to stale data.

lib-http: message parser: Don't allocate a pool for the next message until it is needed.

This prevents wasting memory when no message is being parsed.

lib-http: message parser: Delay allocation of message header.

lib-http: message parser: Don't create the connection_options array, unless it is actually used.

lib-mail: Fix duplicate HEADER_FILTER_ADD_MISSING_EOH callback call

If headers weren't modified, the second reading of the istream shouldn't
call any callbacks.

doveadm: Added "mailbox path" command

This allows easily printing a path for a mailbox, index, control dir, etc.

lib-lda: Code cleanup - remove unnecessary dest_mail check

lib-lda: Don't set mail_deliver_context.dest_mail too early.

It must be NULL for the caller, unless save_dest_mail==TRUE

lib-lda: Implement %{storage_id} correctly

lib-lda: Fix deliver_log_format variables with Sieve

With Sieve it was using src_mail for getting the values, which weren't
correct especially if Sieve had modified the mail.

lib-lda: Code cleanup - mail_deliver_open_mail() now uses uid parameter

lib-lda: Remove %{storage_id} setting for now.

It doesn't work with Sieve. The following patches add it back properly.

lib-lda: Redesign mail_deliver_context.var_expand_table cache

lib-lda: remove forced logging of session_id

lib-lda: Remove unused mail_deliver_get_log_var_expand_table()

lib-lda: Initialize var_expand_tab[] directly.

This is a partially pick from acfda38b75d0f0e899ef692fef01593bd56ed85e
to be able to cherry-pick the following patches more easily.

lib-lda: Avoid using mailbox_save_set_dest_mail()

lib-storage: Add mailbox_save_get_dest_mail()

This marks mailbox_save_set_dest_mail deprecated. It's not efficient to use
since it frees the already-created dest_mail.

virtual: Fix saving to a virtual mailbox to work again

Previous changes broke it.

plugins: Remove unnecessary mail_save_context.dest_mail==NULL checks

It can never be NULL after the previous change: "lib-storage: Always create
mail_save_context.dest_mail".

lib-storage: Remove unnecessary mail_save_context.dest_mail==NULL checks

It can never be NULL after the previous change: "lib-storage: Always create
mail_save_context.dest_mail".

The code removal in maildir_transaction_save_commit_pre() seemed
potentially dangerous, but I don't think such code path is possible
anymore. Also even if it is, it's probably fine since the mail_free()
is called even earlier than before (although that itself might have
been a problem).

This also removes last traces of code that made it possible to save mails to
mbox without assigning UID to the mail. The previous commit already caused
this, so this is just removing dead code.

lib-storage: Always create mail_save_context.dest_mail

This allows removing similar mail_alloc() from storage backends and plugins
that need it.

As a side effect, this changes mbox code to always assign UIDs to saved
mails. This shouldn't be much of a problem, since it happened practically
always already.

lib-storage: Fix mailbox list index hook usage

The previous method appeared to work, but not if the internal hooks were
used more than once.

lib-index: zero mmap_length after logging error

Logging that mmap(size=0) failed looks suspicious.

mail-crypt: Do not restrict access in unit test

This works around problem with docker

lib: Clarify *_strsplit_spaces() and add unit test

lib: Add pool_alloconly_create_clean()

This partially reverts 2a2beae3a4c1e75b3aeff996781503138e6f24bc

LAYOUT=index: Fix duplicate mailbox name renaming to actually work

LAYOUT=index: Rename mailbox_list_index_node.corrupted_parent to corrupted_ext

The code will be useful for other purposes also besides updating corrupted
parents.

driver-cassandra: Add support for speculative execution

lib-index: Add MAIL_INDEX_OPEN_FLAG_NO_DIRTY

This way mailbox format backends that don't need dirty flags can use them
for other purposes.

cassandra: Track query counts internally and include them in metrics

lib-compress: Fix missing .gz header error message

lib-compress: Fix assert-crash when .gz header size exceeds buffer max length

Instead treat the stream as corrupted and return EINVAL.

Fixes:
Panic: file istream.c: line 182 (i_stream_read): assertion failed: (_stream->skip != _stream->pos)

lib-http: http_client_request_add_header() - Add key/value asserts

These don't check that they're entirely correct as required by HTTP
specifications. They're mainly there as a quick check that if the caller
didn't validate the key/value in any way, we'll crash instead of creating
a potential security hole. (Because with line feeds the attacker could
add extra headers or even entirely new HTTP requests.)

lib-index: clear file->mmap_size only after logging it

Logging the error with size=0 loses information.

lib-index: don't reset ioloop_time on mmap error

The variables seems to have been in the wrong order.

quota: Log why quota_over_flag check is skipped if mail_debug=yes

quota: If quota_over_script is unset, skip the quota_over check.

quota: If quota_over_flag_value is unset, skip the quota_over check.

quota: Remove quota_over_flag_* from quota_root.

They are used only in one specific location and don't need to be stored
permanently.

global: Add asserts to make static analyzer happier.

pop3-login: Code cleanup - Make sure destroying client stops processing.

It would currently do it in any case, but this makes it clearer.

global: Ignore unnecessary return values.

mail-filter: Handle handshake write() failure

fts: Fix crash using fts_autoexpunge_exclude = \Special-use crash

It crashed whenever seeing a mailbox that didn't have any special-use flags.

doveadm mailbox metadata list: Fix listing all metadata.

It was listing only private attributes, because key_type=0 happens to be
MAIL_ATTRIBUTE_TYPE_PRIVATE and key was never NULL.

mail-crypt-acl: Fix error handling

Don't crash if mail_user creation failed.

doveadm mailbox cryptokey generate: Fix error handling

Don't crash if mail_user creation failed.

doveadm mailbox cryptokey generate: Fix memory leak

dest_user was set to NULL, but never freed.

doveadm director map: Fix checking if host parameter is required

lib: Avoid unnecessary Coverity warnings in MALLOC_*()

There doesn't seem to be any other nice way of avoiding these without
separately marking every instance.

TODO: Remove some of the implemented features

sdbox: Fix assert-crash on mailbox create race

If another process created the mailbox at the same time, the mailbox_guid
wasn't set and opening the mailbox assert-crashed:

Panic: file mail-storage.c: line 1744 (mailbox_get_metadata): assertion failed: ((items & MAILBOX_METADATA_GUID) == 0 || !guid_128_is_empty(metadata_r->guid))

quota: Clarify quota_count() return value.

quota: Make sure quota_warning doesn't wrap "quota before" value.

This could happen in some race conditions (and with bugs).

quota: When executing quota_warning/over_flag script, log the reason why.

lib: Check that output max size is non-zero when version specified

Otherwise we try to send version to non-existent output
stream.

lib-storage: Added mail_user_init_ssl_client_settings().

lib-ldap: Remove extra return

The ldap_connection_queue_request() function returns void. Trying to
"return" something from a void function caused compiling issues on
Solaris (Oracle Developer Studio 12.5).

fts-solr: Allow username/password for solr connction

Solr comes open to the world by default. For better
security, we protect our solr installs with a user
and password.  This change allows dovecot to connect
to these instances.

Example usage in a fts.conf (permissions 0600)
 fts_solr = url=http://nick:pass@127.0.0.1:8983/solr/dovecot/

pop3c: Increase timeout for PASS to 5 minutes.

indexer: Don't send more requests directly from worker status callback

This causes assert-crashes when workers disconnect while having multiple
requests:

indexer: Error: Indexer worker disconnected, discarding 2 requests for user@domain
indexer: Panic: file indexer.c: line 69 (queue_try_send_more): assertion failed: (worker_connection_is_connected(conn))

imap: Add imap_fetch_failure setting

This controls what happens when FETCH fails for some mails. The possible
values are:

disconnect-immediately: This is the original behavior. Whenever FETCH
fails for a mail, the FETCH is aborted and client is disconnected.

disconnect-after: The FETCH runs for all the requested mails, skipping
any mails that returned failures, but at the end the client is still
disconnected.

no-after: The FETCH runs for all the requested mails, skipping any mails
that returned failures. At the end tagged NO reply is returned. If the
client attempts to FETCH the same failed mail more than once, the client
is disconnected. This is to avoid clients from going into infinite loops
trying to FETCH a broken mail.

lib-imap, imap: BINARY [UNKNOWNCTE] to [PARSE]

imap: Share mailbox closing code in SELECT/UNSELECT/CLOSE/LOGOUT/deinit

imap: Free search updates on CLOSE

imap: Don't send empty FETCH () on failure

It violates IMAP RFC. Send FETCH (UID n) instead.

lib-ssl-iostream: Fix memory leak in RSA_generate_key_ex() usage

auth: Handle delayed credentials identically in auth-workers

lib: Make sure NULL is defined to be ((void *)0)

This avoids us having to do explicit (void *)NULL casts in e.g.
io_add(..., NULL) context parameter.

lib-storage: Don't duplicate service user's settings into mail_user

The mail_storage_service_user.user_set isn't used afterwards, so it can be
directly used to avoid wasting memory.

lib-storage: Don't unnecessarily duplicate user's all setting strings

user->unexpanded_set and user->set have the same life-time, so they can
point to same strings.

lib-ssl-iostream: Remove libdovecot_openssl_common.la

Using such a library results in the same code being duplicated (in OSX) in
both libssl_iostream_openssl.so and libdcrypt_openssl.so.  This breaks the
idea of openssl_init_refcount, because each one will have their own one.

libdcrypt_openssl.so now links to libssl_iostream_openssl.so, which
shouldn't really be a problem, because lib-ssl-iostream is part of the core
libdovecot.so already. It would have been possible to also install
libdovecot_openssl_common.so and link it to both libssl_iostream_openssl.so
and libdcrypt_openssl.so, but that seems unnecessarily complicated.

lib-ssl-iostream: Remove empty $(ssl_sources) from Makefile

lib-dcrypt: Link unit tests with libssl_iostream.la

libssl_iostream_openssl.so requires this, and it doesn't get added from
anywhere automatically.

lib-dcrypt: Remove unnecessary -shared link flag

Not sure if this is harmful, but since no other plugin uses this it's not
needed either.

lib-dcrypt: Don't link liblib.la to libdcrypt_openssl.so

At best this does nothing, at worst (like with OSX) it duplicates the
entire liblib and creates split state between the two instances.

lib-dcrypt: If dcrypt can't be initialized, log also the reason.

This is very helpful when debugging linking issues.

lib-ssl-iostream: Detect whether to call ERR_remove_[thread_]state() via configure

lib-ssl-iostream: Call OBJ_cleanup() for all OpenSSL versions

Just to reduce the #if checks that uglify the code.

lib-ssl-iostream: Detect OPENSSL_cleanup() via configure

It's ugly to have both OpenSSL version number check and a special LibreSSL
check.

lib-ssl-iostream: Detect OpenSSL memory functions' parameters via configure

The version number check doesn't work correctly for LibreSSL.