lmtp: Use port 24 if no port has been provided

This allows using the LMTP, IMAP and POP3 proxy on the same
Dovecot installation without the userdb providing the port
to connect to.

TCP port 24 is registered at IANA as: "any private mail system"

LMTP being the Local Mail Transfer Protocol classifies as a private
mail system and thus justifies the usage of port 24.

Prior to this patch the LTMP client would connect to TCP port 0 by
default if the userdb did not provide a port to connect to.

istream-base64-encoder: Implemented proper stat function that returns the encoded size of the stream.

For Base64 encoding, the size of the encoded data can be determined from the input data size exactly.

lib: ostream-temp didn't update offset when dup()ing fd.

dict-client: Fixed error message for failed synchronous dict_lookup()

The error message was allocated from data stack, but freed too early.

lib-dcrypt: Added unit tests to nonblocking istream-decrypt

lib-dcrypt: test-stream writes now to buffer, not to temp-iostream

This simplifies the following change.

lib-dcrypt: Support nonblocking istreams.

lib-dcrypt: add 0 to 400 byte stream test

Remove 8 byte speacial case also.

lib-dcrypt: error message on missing decrypt key or password

Return a sensible error message when loading an encrypted private key is
attempted but the decrypt key or password is missing.

lib-http: Support per-request timeout and max_attempts

director: Throttle user move/kill failure errors after 100/sec.

If it happened to a lot of users, they can take a lot of space in logs.

lib: Added log throttling API.

lib-dcrypt: don't give strstr NULL in test-crypto

Fixed searching multiple mailboxes

When searching multiple mailboxes, a condition to search these mailboxes is added to the query string. However, this condition has to be separated from the preceding condition by a space (a '+' in this case, as it's encoded); otherwise, Solr considers it to be part of the previous condition, in which case it will fail to parse it properly. Therefore, this patch adds that one missing character so it works again.

lib-dcrypt: Fixed test-stream unit test not to leak memory

Broken by previous change.

lib-auth: Unescape passdb/userdb extra fields.

This only affected \001, \t, \r and \n characters which were left
tab-escaped (e.g. \t as "\001t").

istream-decrypt: Fix error handling in stream header

lib-dcrypt: Skip checks if no backend found

director: Added more debug information to "Ping timed out" error

lib-dcrypt: drop format from key_load_public

lib-dcrypt: drop format from key_load_private

lib-dcrypt: get_info in openssl_load_private_key

Use dcrypt_openssl_key_string_get_info to determine the key format
instead of taking it as a parameter.

lib-dcrypt: get_info in openssl_load_public_key

Use dcrypt_openssl_key_string_get_info to determine the key format
instead of taking it as a parameter.

lib-dcrypt: change v2 key field separator to ':'

lib-dcrypt: Do not unref key twice

lib-dcrypt: Handle short reads in header correctly

lib-dcrypt: add crashing 8 byte garbage read test

dcrypt: Update API for testing

dcrypt-iostream: Ref/unref keys

dcrypt: Use refcounting on keys

last-login: Add error handling for commit

lib-index: Fixed debug logging.

lib-index: If mail_debug=yes, log cache compressions.

Use mail_get_*stream_because() wherever possible.

lib-index: Added mail_cache_get_missing_reason()

lib-storage: Added mail_get_stream_because() and mail_get_hdr_stream_because()

With mail_debug=yes each mail access is now logged with a reason. This can
be helpful when figuring out why something isn't in dovecot.index.cache.

doveadm proxy kick: Fixed output message.

lib-lda: Support %{storage_id} in deliver_log_format

lib-lda: Code cleanup - move code to mail_deliver_open_mail()

No functional changes. On its own this is a rather useless cleanup, but
simplifies the next patch.

imap: When un-hibernating, send notification to imap-hibernate process earlier.

The initialization shouldn't take a long time, but there's really no need to
keep imap-hibernate itself waiting (and maybe timing out) if it does.

imap-hibernate: If un-hibernation failed due to timeout, log whether we saw version line.

Could help with debugging.

imap-hibernate: If imap-master socket is busy, retry un-hibernation later.

lib: var_has_key() properly ignores key=='\0' now.

lib: var_get_key() didn't handle %{long_variables} correctly

This also fixes var_has_key()'s long_key handling.

--without-shared-libs was linking libdovecot.so to mail binaries.

Broken by e42dd7149.

lib-fs: Added fs_get_nlinks()

Although fs_stat() could return this, its caller can't indicate whether
it actually wants the link count. Usually fs_stat() is used only to get
the file's size. In some backends it's not cheap to get the link count,
so adding this function allows the caller to explicitly ask for it.

dict-client: Don't keep a request timeout when there are only background commands.

dict-client: When we get disconnected, reconnect and re-send commands.

dict-client: Improved timeout error message

dict-client: Fixed hang in async iteration if it failed.

quota: Log an error if mail's size can't be read.

We were still logging "Internal quota calculation error" but not necessarily
any other reason.

lib-storage: mbox_min_index_size setting didn't work correctly.

lib-storage: Don't crash fetching body.snippet when multipart/alternative part has no Content-Type

auth: Fixed caching to support %{passdb} and %{userdb}

auth: Set userdb_lookup flag correctly for blocking userdb lookups.

This caused at least userdb-related logging to log the passdb instead.

auth: Code cleanup - use const for struct auth_request.

lazy-expunge: If lazy-expunge transaction failed already, stop further expunges.

Most importantly if the lazy-expunge mailbox opening fails, we don't now
retry opening the mailbox for each expunged mail.

lib: Potential compiling fix.

STATIC_ARRAY apparently requires that the parameter is named in some gcc
versions? In any case doesn't hurt.

Calling i_stream_next_line() on a chain stream would sometimes erroneously use the stream->w_buffer.

It used the wrong check to assess whether the w_buffer is usable.
The chain stream only uses the w_buffer when partial stream data needs to be merged. Otherwise, a parent stream's buffer is used directly. However, this does not mean that w_buffer will be NULL in that case, which is what i_stream_next_line() assumed.

lib-dcrypt: Allow flushing ostream multiple times.

The first time flushes the encryption and the following times just flush the
parent stream.

lib-dcrypt: Improved error message when istream isn't encrypted.

master: Don't leak master socket to child processes.

fts: Fixed fts_autoindex when no fts_autoindex_exclude settings existed.

lib-dict: Added DICT_COMMIT_RET_WRITE_UNCERTAIN

cassandra: Support commit2 API

lib-sql: Added sql_transaction_commit2()

In v2.3 the sql_transaction_commit() API was just modified, but for now
we'll add this _commit2() to preserve API compatibility.

cassandra: Support returning SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN

lib-sql: Added sql_result_get_error_type().

For now the only special error type is SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN.

dict: Fixed crash on iteration handling.

dict-client: Improved logging for slow queries.

Especially commits now say what the first query within the commit was.

doveadm fetch: Fixed body.snippet.

dbox: Initialize pop3-uidl header on INBOX creation.

This way we don't add any UIDLs to dovecot.index.cache on the first POP3
UIDL access. We'll assume that pop3-uidl header is updated whenever any
backend UIDLs are added, which should happen nowadays.

lib-storage: Initialize pop3-uidl header also when no backend UIDLs exist.

The first time POP3 UIDL command is used, set the header even when there are
no backend UIDLs to prevent any further UIDL caching.

auth: Fail request if last passdb is noauthenticate

gssapi: Add missing PASSDB_RESULT_NEXT clause

lib-fs: Added fs_metadata_init_or_clear() helper

passdb: Skip credentials handling for noauthenticate

lib-storage: Fixed crash on subscription listing if subscription refresh fails.

auth: Skip authentication with noauthenticate

mdbox: Fixed crash when saving POP3 UIDLs to a non-empty mailbox.

Fixes assert:

Panic: file mdbox-save.c: line 337: unreached

pop3c: Fixed crash in syncing when local indexes existed but UIDL wasn't cached.

lmtp: Don't send double-DISCONNECT to anvil.

Happened with lmtp_user_concurrency_limit > 0. Fixes errors like:

Error: connect limit: disconnection for unknown pid 123 + ident lmtp/username

Compiler warning fix

fs-sis*: Use fs_wrapper_*() wherever possible

fs-sis*: Minor error handling function cleanups.

We don't really need to go to the parent fs, so just use what is easiest.

fs-sis*: Removed unnecessary error copying.

It was probably needed in the beginning, but nowadays the parent-most fs
keeps the error. There's no need to copy it around.

fs-metawrap: Use fs_wrapper_*() wherever possible

fs-compress: Use fs_wrapper_*() wherever possible

lib-fs: Implement all lib-fs functions as wrappers to parent stream.

lib-dcrypt: istream-decrypt now differentiates between temporary errors and corruption.

lib-dcrypt: Set stream_errno on istream-decrypt read failures.

Fixes assert-crashes that would happen otherwise.

lib: Updated istream's stream_errno comments.

lib-compression: istream-zlib/lzma now differentiates between temporary errors and corruption.

lib-storage: Clarify that mail_namespace_find_inbox() never returns NULL.

If namespaces==NULL, this function isn't even supposed to be called.

passdb-static: Support password scheme

This allows password argument to provide scheme instead of
defaulting to plain. If no scheme is provided, plain is
defaulted.

lib-dcrypt: tell in error_r that RSA key has to be converted to pkey

doveadm-pw: Use debug value when loading modules

dcrypt: Fix linkage into libdovecot.so

master: Add master socket's io listener later.

Most importantly this fixes startup failure with kqueue:

Panic: kevent(EV_ADD, READ, 56) failed: Bad file descriptor

kqueue doesn't survive a fork(), so this change delays its creation until
after fork().

master: Make sure stdout isn't closed on startup failures.

closing master_fd might have tried to close(0) since it wasn't initialized
to -1.