auth: Fixed caching to support %{passdb} and %{userdb}

auth: Set userdb_lookup flag correctly for blocking userdb lookups.

This caused at least userdb-related logging to log the passdb instead.

auth: Code cleanup - use const for struct auth_request.

lazy-expunge: If lazy-expunge transaction failed already, stop further expunges.

Most importantly if the lazy-expunge mailbox opening fails, we don't now
retry opening the mailbox for each expunged mail.

lib: Potential compiling fix.

STATIC_ARRAY apparently requires that the parameter is named in some gcc
versions? In any case doesn't hurt.

Calling i_stream_next_line() on a chain stream would sometimes erroneously use the stream->w_buffer.

It used the wrong check to assess whether the w_buffer is usable.
The chain stream only uses the w_buffer when partial stream data needs to be merged. Otherwise, a parent stream's buffer is used directly. However, this does not mean that w_buffer will be NULL in that case, which is what i_stream_next_line() assumed.

lib-dcrypt: Allow flushing ostream multiple times.

The first time flushes the encryption and the following times just flush the
parent stream.

lib-dcrypt: Improved error message when istream isn't encrypted.

master: Don't leak master socket to child processes.

fts: Fixed fts_autoindex when no fts_autoindex_exclude settings existed.

lib-dict: Added DICT_COMMIT_RET_WRITE_UNCERTAIN

lib-dict: Added enum dict_commit_ret.

lib-sql: Added error_type to commit callback.

cassandra: Support returning SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN

lib-sql: Added sql_result_get_error_type().

For now the only special error type is SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN.

auth: Remove i_assert for credentials scheme

Added LIBDOVECOT_PUSH_NOTIFICATION_INCLUDE to dovecot.m4.

dict: Fixed crash on iteration handling.

dict-client: Improved logging for slow queries.

Especially commits now say what the first query within the commit was.

doveadm fetch: Fixed body.snippet.

dbox: Initialize pop3-uidl header on INBOX creation.

This way we don't add any UIDLs to dovecot.index.cache on the first POP3
UIDL access. We'll assume that pop3-uidl header is updated whenever any
backend UIDLs are added, which should happen nowadays.

lib-storage: Initialize pop3-uidl header also when no backend UIDLs exist.

The first time POP3 UIDL command is used, set the header even when there are
no backend UIDLs to prevent any further UIDL caching.

auth: Fail request if last passdb is noauthenticate

gssapi: Add missing PASSDB_RESULT_NEXT clause

lib-fs: Added fs_metadata_init_or_clear() helper

passdb: Skip credentials handling for noauthenticate

lib-dovecot: Turn on RELRO

lib-storage: Fixed crash on subscription listing if subscription refresh fails.

auth: Skip authentication with noauthenticate

mdbox: Fixed crash when saving POP3 UIDLs to a non-empty mailbox.

Fixes assert:

Panic: file mdbox-save.c: line 337: unreached

pop3c: Fixed crash in syncing when local indexes existed but UIDL wasn't cached.

lmtp: Don't send double-DISCONNECT to anvil.

Happened with lmtp_user_concurrency_limit > 0. Fixes errors like:

Error: connect limit: disconnection for unknown pid 123 + ident lmtp/username

Compiler warning fix

m4: Include BINARY_*

Add PIE and RELRO to binaries

configure: Check for hardening flags

global: Removed redundant corking in ostream flush callbacks.

lib: ostream-file now automatically corks during flush callback.

fs-sis*: Use fs_wrapper_*() wherever possible

fs-sis*: Minor error handling function cleanups.

We don't really need to go to the parent fs, so just use what is easiest.

fs-sis*: Removed unnecessary error copying.

It was probably needed in the beginning, but nowadays the parent-most fs
keeps the error. There's no need to copy it around.

fs-metawrap: Use fs_wrapper_*() wherever possible

fs-compress: Use fs_wrapper_*() wherever possible

lib-fs: Implement all lib-fs functions as wrappers to parent stream.

lib-dcrypt: istream-decrypt now differentiates between temporary errors and corruption.

lib-dcrypt: Set stream_errno on istream-decrypt read failures.

Fixes assert-crashes that would happen otherwise.

lib: Updated istream's stream_errno comments.

lib-compression: istream-zlib/lzma now differentiates between temporary errors and corruption.

lib-storage: Clarify that mail_namespace_find_inbox() never returns NULL.

If namespaces==NULL, this function isn't even supposed to be called.

passdb-static: Support password scheme

This allows password argument to provide scheme instead of
defaulting to plain. If no scheme is provided, plain is
defaulted.

doveadm-pw: Use debug value when loading modules

configure: Fix static array check

lib-dcrypt: tell in error_r that RSA key has to be converted to pkey

master: Add master socket's io listener later.

Most importantly this fixes startup failure with kqueue:

Panic: kevent(EV_ADD, READ, 56) failed: Bad file descriptor

kqueue doesn't survive a fork(), so this change delays its creation until
after fork().

master: Make sure stdout isn't closed on startup failures.

closing master_fd might have tried to close(0) since it wasn't initialized
to -1.

dict-client: Attempt to connect to dict socket for 1 second before failing.

lib-http: Clarify response message when retries have happened.

"1 attempts" sounds like 1 attempt in total, while this was actually the
second attempt.

dict-client: Make sure query's start_time is up-to-date.

dict-client: Don't log slow background async commit/iteration replies.

If a caller has already finished iteration, or does async commit without a
callback, it means that it started the query without caring when it
finishes. The caller may already have been doing blocking work while
waiting for the dict reply. We don't want to log a warning, because it
could be completely wrong.

cassandra: Added debug_queries connect setting.

This logs all the queries and how long they took, without having to log all
the other Cassandra library debug messages.

cassandra: If query fails, include how long the reply took in the error message.

cassandra: Warn if queries take too long (default 5 secs)

Can be changed with e.g. "connect = ... warn_timeout=30s"

LAYOUT=index: Make sure error is preserved if created mailbox can't be added to list index.

mailbox_delete() could overwrite the error.

man: Provide usage for doveadm mailbox update

lib-storage: Fixed mailbox_delete_empty() error message when mails exist

dict-client: When skipping connect() due to earlier failure, preserve the original error.

dict-client: If commit fails to send BEGIN, don't try sending anything else.

Fixes memory leak and also fixes overwriting the original error message.

lib-storage: Autoexpunging should ignore nonexistent mailboxes.

The check was done too late after recent changes.

doveadm mailbox update: Avoid assert-crash on errors.

login-proxy: cork+uncork in flush callbacks

Potentially reduces latency at the end of a larger data transfer.

lib-dcrypt: Removed dead code.

lib: Fix to compiling STATIC_ARRAY in C++ code

configure: Check if C99 "static" keyword is supported for array sizes.

lib-http: client: Fixed potential segfault problem in http_client_connection_server_close().

Used wrong variable: it is set to NULL by http_client_request_unref() before it is used.
Problem found by Coverity.

lib-dcrypt: Compiling fix

imap: Fixed reading LDA settings from config.

master: Stopping didn't close dead-pipes early enough.

This caused stopping to be too slow. Broken by 0153cf542.

lmtp: Removed assert, which triggers if anvil connect fails.

lmtp: Fixed pipelining of commands after RCPT TO

We should stop while waiting for anvil reply. Broken by ced943b0a.

auth-request: Whitespace fix

auth-request: Correctly allocate mech_password and credentials_scheme

dcrypt: Free keys in test-stream

dcrypt: Add tests for 0 and 1 byte data

dcrypt: Fix bugs in 0 and 1 byte payload files

lib-ssl-iostream: Compiler fix to previous commit

lib-ssl-iostream: Disable "CRYPTO_set_mem_functions() was called too late" for now

It always happens at least with Ubuntu 16.04.

auth: delay_until can optionally now have +<max random secs> suffix.

auth: Fixed checking if delay_until is too large

dsync: When full resync is wanted in a stateful sync, output empty state.

This continues 3d49dc64d, which didn't actually work because
brain->require_full_resync was either cleared earlier or it was never
even set in this brain.

doveadm: Read settings with service=doveadm

This was done for mail commands while initializing the mail user, but
other commands weren't using it. This meant that doveadm was using only
global settings instead of protocol doveadm { .. } settings for everything
except mail commands.

doveadm user: Avoid potential crashes when running via doveadm-server

dict-sql: Treat NULL value the same as "key not found"

doveadm: Added "service stop" command to stop specific services.

master: Allow stopping specific services via master socket.

master: Added service_monitor_stop_close() to stops service and close its listeners.

master: Added support for stopping specific services.

We need to have a per-service fd for detecting a dead master.

lib-storage: Fixed search arg initialization tracking for INTHREAD

virtual: Fixed error handling when matching mailboxes by metadata.

maildir: Improved "Filename keeps changing" error handling/logging

maildir: Code comment update