lib-storage: Fix mailbox list index hook usage

The previous method appeared to work, but not if the internal hooks were
used more than once.

lib-index: zero mmap_length after logging error

Logging that mmap(size=0) failed looks suspicious.

mail-crypt: Do not restrict access in unit test

This works around problem with docker

lib: Clarify *_strsplit_spaces() and add unit test

lib: Add pool_alloconly_create_clean()

This partially reverts 2a2beae3a4c1e75b3aeff996781503138e6f24bc

LAYOUT=index: Fix duplicate mailbox name renaming to actually work

LAYOUT=index: Rename mailbox_list_index_node.corrupted_parent to corrupted_ext

The code will be useful for other purposes also besides updating corrupted
parents.

driver-cassandra: Add support for speculative execution

lib-index: Add MAIL_INDEX_OPEN_FLAG_NO_DIRTY

This way mailbox format backends that don't need dirty flags can use them
for other purposes.

cassandra: Track query counts internally and include them in metrics

lib-compress: Fix missing .gz header error message

lib-compress: Fix assert-crash when .gz header size exceeds buffer max length

Instead treat the stream as corrupted and return EINVAL.

Fixes:
Panic: file istream.c: line 182 (i_stream_read): assertion failed: (_stream->skip != _stream->pos)

lib-http: http_client_request_add_header() - Add key/value asserts

These don't check that they're entirely correct as required by HTTP
specifications. They're mainly there as a quick check that if the caller
didn't validate the key/value in any way, we'll crash instead of creating
a potential security hole. (Because with line feeds the attacker could
add extra headers or even entirely new HTTP requests.)

lib-index: clear file->mmap_size only after logging it

Logging the error with size=0 loses information.

lib-index: don't reset ioloop_time on mmap error

The variables seems to have been in the wrong order.

quota: Log why quota_over_flag check is skipped if mail_debug=yes

quota: If quota_over_script is unset, skip the quota_over check.

quota: If quota_over_flag_value is unset, skip the quota_over check.

quota: Remove quota_over_flag_* from quota_root.

They are used only in one specific location and don't need to be stored
permanently.

global: Add asserts to make static analyzer happier.

pop3-login: Code cleanup - Make sure destroying client stops processing.

It would currently do it in any case, but this makes it clearer.

global: Ignore unnecessary return values.

mail-filter: Handle handshake write() failure

fts: Fix crash using fts_autoexpunge_exclude = \Special-use crash

It crashed whenever seeing a mailbox that didn't have any special-use flags.

doveadm mailbox metadata list: Fix listing all metadata.

It was listing only private attributes, because key_type=0 happens to be
MAIL_ATTRIBUTE_TYPE_PRIVATE and key was never NULL.

mail-crypt-acl: Fix error handling

Don't crash if mail_user creation failed.

doveadm mailbox cryptokey generate: Fix error handling

Don't crash if mail_user creation failed.

doveadm mailbox cryptokey generate: Fix memory leak

dest_user was set to NULL, but never freed.

doveadm director map: Fix checking if host parameter is required

lib: Avoid unnecessary Coverity warnings in MALLOC_*()

There doesn't seem to be any other nice way of avoiding these without
separately marking every instance.

TODO: Remove some of the implemented features

sdbox: Fix assert-crash on mailbox create race

If another process created the mailbox at the same time, the mailbox_guid
wasn't set and opening the mailbox assert-crashed:

Panic: file mail-storage.c: line 1744 (mailbox_get_metadata): assertion failed: ((items & MAILBOX_METADATA_GUID) == 0 || !guid_128_is_empty(metadata_r->guid))

quota: Clarify quota_count() return value.

quota: Make sure quota_warning doesn't wrap "quota before" value.

This could happen in some race conditions (and with bugs).

quota: When executing quota_warning/over_flag script, log the reason why.

lib: Check that output max size is non-zero when version specified

Otherwise we try to send version to non-existent output
stream.

lib-storage: Added mail_user_init_ssl_client_settings().

lib-ldap: Remove extra return

The ldap_connection_queue_request() function returns void. Trying to
"return" something from a void function caused compiling issues on
Solaris (Oracle Developer Studio 12.5).

fts-solr: Allow username/password for solr connction

Solr comes open to the world by default. For better
security, we protect our solr installs with a user
and password.  This change allows dovecot to connect
to these instances.

Example usage in a fts.conf (permissions 0600)
 fts_solr = url=http://nick:pass@127.0.0.1:8983/solr/dovecot/

pop3c: Increase timeout for PASS to 5 minutes.

indexer: Don't send more requests directly from worker status callback

This causes assert-crashes when workers disconnect while having multiple
requests:

indexer: Error: Indexer worker disconnected, discarding 2 requests for user@domain
indexer: Panic: file indexer.c: line 69 (queue_try_send_more): assertion failed: (worker_connection_is_connected(conn))

imap: Add imap_fetch_failure setting

This controls what happens when FETCH fails for some mails. The possible
values are:

disconnect-immediately: This is the original behavior. Whenever FETCH
fails for a mail, the FETCH is aborted and client is disconnected.

disconnect-after: The FETCH runs for all the requested mails, skipping
any mails that returned failures, but at the end the client is still
disconnected.

no-after: The FETCH runs for all the requested mails, skipping any mails
that returned failures. At the end tagged NO reply is returned. If the
client attempts to FETCH the same failed mail more than once, the client
is disconnected. This is to avoid clients from going into infinite loops
trying to FETCH a broken mail.

lib-imap, imap: BINARY [UNKNOWNCTE] to [PARSE]

imap: Share mailbox closing code in SELECT/UNSELECT/CLOSE/LOGOUT/deinit

imap: Free search updates on CLOSE

imap: Don't send empty FETCH () on failure

It violates IMAP RFC. Send FETCH (UID n) instead.

lib-ssl-iostream: Fix memory leak in RSA_generate_key_ex() usage

auth: Handle delayed credentials identically in auth-workers

lib: Make sure NULL is defined to be ((void *)0)

This avoids us having to do explicit (void *)NULL casts in e.g.
io_add(..., NULL) context parameter.

lib-storage: Don't duplicate service user's settings into mail_user

The mail_storage_service_user.user_set isn't used afterwards, so it can be
directly used to avoid wasting memory.

lib-storage: Don't unnecessarily duplicate user's all setting strings

user->unexpanded_set and user->set have the same life-time, so they can
point to same strings.

lib-ssl-iostream: Remove libdovecot_openssl_common.la

Using such a library results in the same code being duplicated (in OSX) in
both libssl_iostream_openssl.so and libdcrypt_openssl.so.  This breaks the
idea of openssl_init_refcount, because each one will have their own one.

libdcrypt_openssl.so now links to libssl_iostream_openssl.so, which
shouldn't really be a problem, because lib-ssl-iostream is part of the core
libdovecot.so already. It would have been possible to also install
libdovecot_openssl_common.so and link it to both libssl_iostream_openssl.so
and libdcrypt_openssl.so, but that seems unnecessarily complicated.

lib-ssl-iostream: Remove empty $(ssl_sources) from Makefile

lib-dcrypt: Link unit tests with libssl_iostream.la

libssl_iostream_openssl.so requires this, and it doesn't get added from
anywhere automatically.

lib-dcrypt: Remove unnecessary -shared link flag

Not sure if this is harmful, but since no other plugin uses this it's not
needed either.

lib-dcrypt: Don't link liblib.la to libdcrypt_openssl.so

At best this does nothing, at worst (like with OSX) it duplicates the
entire liblib and creates split state between the two instances.

lib-dcrypt: If dcrypt can't be initialized, log also the reason.

This is very helpful when debugging linking issues.

lib-ssl-iostream: Detect whether to call ERR_remove_[thread_]state() via configure

lib-ssl-iostream: Call OBJ_cleanup() for all OpenSSL versions

Just to reduce the #if checks that uglify the code.

lib-ssl-iostream: Detect OPENSSL_cleanup() via configure

It's ugly to have both OpenSSL version number check and a special LibreSSL
check.

lib-ssl-iostream: Detect OpenSSL memory functions' parameters via configure

The version number check doesn't work correctly for LibreSSL.

lib-ssl-iostream: Use ASN1_STRING_get0_data() if it exists

This avoids deprecation warnings about ASN1_STRING_data() in OpenSSL v1.1.

lib-ssl-iostream: Use RSA_generate_key_ex() if it exists

This avoids deprecation warnings about RSA_generate_key() in OpenSSL v1.1.

dict-sql: Move USING TIMESTAMP to correct location for INSERTs

auth: Pass through passdb extra fields to auth-worker requests

auth: Code cleanup - Move userdb extra fields exporting to its own function

lib-storage: Expunging now uses GUID only if it's in cache.

Otherwise the GUID lookup may be expensive, which is especially bad when
deleting a large number of mails.

lib-storage: Fix autoexpunge locking to actually work correctly.

It wasn't actually skipping the autoexpunging if the lock already existed.
It autoexpunged anyway.

fts: Use mailbox_list_created hook

Otherwise the deinit hook might get lost and fts would not be deinitialized.

Reverts 11f12ca1c97583b551a4286fa6cd1ab33aa67680 which seems to have been unnecessary

Fixes indexer-worker signal 11 crash

lib-storage: Once hooks have run, set vlast to NULL to make sure it's not used

The functions can't be correctly overridden outside their own specific
hooks. It would work only if hook_build_update() is called afterwards and
currently there's no public API for that.

lib-storage: Put vsize in index only if it's not there

lib-storage: Add assert to make sure header parsing isn't recursed

lib-http: client: Fixed peer reconnection failure handling.

The addressed problem occurs in a very specific situation in which the original successful connection is dropped, yet a new connection fails.
It manifests as an assertion failure or panic:

Panic: file ioloop-epoll.c: line 189 (io_loop_handler_run_internal): assertion failed: (msecs >= 0)
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

The timing is very critical. However, this doesn't mean that the occurrence of this problem is very unlikely; it can happen frequently under high load.

lib-http: client: Respect the connection idle timeout, even when all queues have unlinked from a peer.

Otherwise, the DNS TTL timeout dictates the connection idle timeout in some situations.

dict: Fix error logging if TIMESTAMP parameters are wrong.

dict-sql: Add missing USING TIMESTAMP for DELETE queries

imap: Fix panic on FETCH X-MAILBOX in virtual mailbox when mail is expunged

lib-http: server: Fix premature connection destroy in http_server_connection_output().

Added a reference to the connection object while it is sending the remainder of a response's payload.
This is necessary, since http_server_response_send_more() can destroy the connection, for example when the request has a "Connection: close" header.
This will only occur for responses with a very large payload, because otherwise the payload is fully sent in in the initial pass.

lib-storage: When logging corrupted mail size, disable logging Message-ID for now

This was causing crashes in some situations. It was originally added to
figure out if there were problems with dovecot.index.cache containing
data for wrong messages. This was never found to happen, although now
thinking about it, the problem may have been
741287129c22cadc14c05584704685b31169dbce. So perhaps this code could be
removed permanently as well.

6b44fc75c0039d1006ce4d543544552449b8e229 also attempted to fix this, but it
wasn't enough. There was still some code path that lead to recursive header
parsing.

lib-storage: Set vsize extension when copying mails.

lib-storage: Add index_mail_get_vsize_extension()

lib-storage: Move index_mail.vsize_ext_id to mailbox.mail_vsize_ext_id

It's mailbox-specific, so it doesn't have to be looked up every time.
Also this is needed for the following fix.

imapc: Allow using LAYOUT=none without crashing.

imap: Don't unregister internal commands at deinit.

This allows plugins to unregister commands without errors being logged.

lib-storage: Lock autoexpunging so only a single process does it.

This hopefully helps to avoid duplicates with lazy_expunge plugin.

imap: Use struct mailbox_status.flags for FLAGS reply

lib-storage: Add struct mailbox_status.flags

This is similar to permanent_flags, except it tells which flags can be
changed at all in the session. Mainly it allows plugins to make changes to
IMAP's untagged FLAGS reply.

lib: io_loop_set_current() - do nothing if ioloop doesn't change

There's no need to call the switch callbacks if the ioloop doesn't change.

doveadm: add doveadm_http_rawlog_dir setting

lib-fts: Fix assert-crash in fts_icu_lcase()

Fixes:
Panic: file fts-icu.c: line 152 (fts_icu_lcase): assertion failed: (err != U_BUFFER_OVERFLOW_ERROR)

lib-storage: Fix comparison to use virtual size instead of body virtual size

Was forgotten on 7f1ecb14

lib-index: Don't log error on dovecot.index.cache delete if it doesn't exist

For example if a cache is marked as corrupted and there is no cache, it's
not really an error that it doesn't exist.

Fixes:
Error: unlink(.../dovecot.index.cache) failed: No such file or directory (in mail-cache.c:29)

lib-storage: Filling vsize to index on read used wrong size

lib-storage: Clear virtual size from index if size is corrupted

fts: Fix search query generation when tokens are filtered out.

For example with English stopwords when searching "foo and bar" it should
be equilevant to "foo bar", since "and" is filtered out.

director: "doveadm director move" to same host now refreshes user's timeout

This allows keeping user constantly in the same backend by just periodically
moving the user there.

dict-sql: Do not increment on set

When merging sets do not use increment mode in builder.

dict-sql: Fix iterator to not fail

When iterating a prefix without exact key flag,
do not fail when no more maps are matched if at least
one map has already matched.

Fixes
Error: dict_iterate_deinit failed: sql dict iterate failed for ...: Invalid/unmapped path

dict-sql: Error handling fix & code cleanup

Only the first sql_dict_iterate_next_query() error was handled correctly.

lib-sasl: Fix oauthbearer compatibility with 2.2