login-proxy: Fixed assert-crash/hang on connect errors.

The internal BUG would have left the host hanging. "Host is down" or any
immediate connect() error would have assert-crashed with:

Panic: file login-proxy.c: line 470 (login_proxy_disconnect): assertion failed: (proxy->state_rec->num_waiting_connections > 0)

lmtp: Fixed using default port 24

Broken by dfe53c824.

doveadm: Fixed -A and -u wildcard handling with server connections.

doveadm: Fixed hanging when printing output from different server connections.

doveadm: Avoid recursively calling server input callback

Probably doesn't fix anything, but it could cause confusing backtraces at
least.

doveadm-server: Fixed potential hang when reading replies to multiple commands

doveadm: Revert earlier NUL-printing change 793b024bf.

It changes the output in ways that are a bit difficult to fix. Also the
the important part where NULs printing is useful is in a message body,
which should work even without this change. So for now just revert it.

lib-auth: Avoid crash after user iteration if connection failed.

doveadm: Removed unused code.

dsync: Fixed empty-header-workaround

dsync_features: For consistency use '-' and not '_'

Other _features and _workarounds settings use also '-'.

lib: Small improvements to iostream-temp unit test.

doveadm: When printing input from doveadm-server, don't truncate at NUL.

doveadm: Pass connection to mail context

doveadm: Use str_append_tabescaped_n

lib: Add binary-safe tabescape

doveadm: Streamline tabunescape

doveadm: Extra safety - initialize cmd_input_fd to -1

Just to be sure it's never attempted to be accessed as 0 (stdin) before
being initialized. (It didn't happen with current code as far as I know.)

lib: tests - give the tests names, using the new macros

The lists of test function declarations and of test functions to call was
basically the same list. Use the new test macros to squash them into one
list, and then chose to name all the tests, so that you can select which
ones to run. This can simplify the debug cycle when some of the tests are
lengthy.

e.g.:
  phil@phil:~/repos/dovecot-core$ src/lib/test-lib --match crc
  crc32 ................................................................ : ok
  0 / 1 tests failed

src/lib is clearly the most complicated case, conversions of others where
filtering would be useful should be trivial following this example.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: enable naming of tests, such that only a subset is run

How to use these will become clear in a subsequent patch. Even if you
don't want to name tests, the macros can reduce redundancy in the code,
as the list of test function prototypes and the list of test functions
to call become the same lists, expanded through 2 different macros.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: improve expected error handling

If we expect a specific error string, then when we see it, suppress it.

We do not suppress errors expected by count, because if we get unexpected
errors, then we do not want them suppressed, and we have no way of
distinguishing between the expected and unexpected errors.

This of course favours the use of the expected string version of the helper,
but alas that's not always usable, as you can only expect one at a time.

Additionally, if we failed to see an expected message, then when we no longer
expect to see it, reset the expected message state to not cascade further
test assertion failures.

Signed-off-by: Phil Carmody <phil@dovecot.fi>
Conflicts:
src/lib-test/test-common.c

doveadm: add doveadm dump dcrypt-file

lib-dcrypt: make decrypt_istream format and flags visible

lib-dcrypt: add dcrypt-iostream.h

Move everything from dcrypt-iostream-private.h and enum
io_stream_encrypt_flags to the new dcrypt-iostream.h file.

dsync: Add support for features

Add empty_header_workaround as first feature

quota_clone plugin: quota_clone_mail_user_created warned without debug

"The quota_clone_dict setting is missing from configuration" warning
would be thrown when debug mode was not enabled.  This warning
happens under normal circumstances when prefix="" namespace is not
defined (usually when set to INBOX.)

See http://dovecot.org/list/dovecot-cvs/2012-October/021981.html for
more details on the automagic prefix="" namespace.

This change suppresses the spurious warning.

lmtp: Use port 24 if no port has been provided

This allows using the LMTP, IMAP and POP3 proxy on the same
Dovecot installation without the userdb providing the port
to connect to.

TCP port 24 is registered at IANA as: "any private mail system"

LMTP being the Local Mail Transfer Protocol classifies as a private
mail system and thus justifies the usage of port 24.

Prior to this patch the LTMP client would connect to TCP port 0 by
default if the userdb did not provide a port to connect to.

istream-base64-encoder: Implemented proper stat function that returns the encoded size of the stream.

For Base64 encoding, the size of the encoded data can be determined from the input data size exactly.

dict-client: Fixed error message for failed synchronous dict_lookup()

The error message was allocated from data stack, but freed too early.

lib-dcrypt: Fixed test-stream unit test not to leak memory

Broken by previous change.

lib-auth: Unescape passdb/userdb extra fields.

This only affected \001, \t, \r and \n characters which were left
tab-escaped (e.g. \t as "\001t").

lib-dcrypt: Added unit tests to nonblocking istream-decrypt

lib-dcrypt: test-stream writes now to buffer, not to temp-iostream

This simplifies the following change.

lib-dcrypt: Support nonblocking istreams.

lib-dcrypt: add 0 to 400 byte stream test

Remove 8 byte speacial case also.

lib-dcrypt: error message on missing decrypt key or password

Return a sensible error message when loading an encrypted private key is
attempted but the decrypt key or password is missing.

lib-http: Support per-request timeout and max_attempts

director: Throttle user move/kill failure errors after 100/sec.

If it happened to a lot of users, they can take a lot of space in logs.

lib: Added log throttling API.

lib-dcrypt: don't give strstr NULL in test-crypto

Fixed searching multiple mailboxes

When searching multiple mailboxes, a condition to search these mailboxes is added to the query string. However, this condition has to be separated from the preceding condition by a space (a '+' in this case, as it's encoded); otherwise, Solr considers it to be part of the previous condition, in which case it will fail to parse it properly. Therefore, this patch adds that one missing character so it works again.

director: Added more debug information to "Ping timed out" error

istream-decrypt: Fix error handling in stream header

lib-dcrypt: Skip checks if no backend found

lib-dcrypt: drop format from key_load_public

lib-dcrypt: drop format from key_load_private

lib-dcrypt: get_info in openssl_load_private_key

Use dcrypt_openssl_key_string_get_info to determine the key format
instead of taking it as a parameter.

lib-dcrypt: get_info in openssl_load_public_key

Use dcrypt_openssl_key_string_get_info to determine the key format
instead of taking it as a parameter.

lib-dcrypt: change v2 key field separator to ':'

lib-dcrypt: Do not unref key twice

lib-dcrypt: Handle short reads in header correctly

lib-dcrypt: add crashing 8 byte garbage read test

dcrypt: Update API for testing

dcrypt-iostream: Ref/unref keys

dcrypt: Use refcounting on keys

last-login: Add error handling for commit

lib-index: Fixed debug logging.

lib-index: If mail_debug=yes, log cache compressions.

Use mail_get_*stream_because() wherever possible.

lib-index: Added mail_cache_get_missing_reason()

lib-storage: Added mail_get_stream_because() and mail_get_hdr_stream_because()

With mail_debug=yes each mail access is now logged with a reason. This can
be helpful when figuring out why something isn't in dovecot.index.cache.

doveadm proxy kick: Fixed output message.

lib-lda: Support %{storage_id} in deliver_log_format

lib-lda: Code cleanup - move code to mail_deliver_open_mail()

No functional changes. On its own this is a rather useless cleanup, but
simplifies the next patch.

imap: When un-hibernating, send notification to imap-hibernate process earlier.

The initialization shouldn't take a long time, but there's really no need to
keep imap-hibernate itself waiting (and maybe timing out) if it does.

imap-hibernate: If un-hibernation failed due to timeout, log whether we saw version line.

Could help with debugging.

imap-hibernate: If imap-master socket is busy, retry un-hibernation later.

lib: var_has_key() properly ignores key=='\0' now.

lib: var_get_key() didn't handle %{long_variables} correctly

This also fixes var_has_key()'s long_key handling.

--without-shared-libs was linking libdovecot.so to mail binaries.

Broken by e42dd7149.

lib-fs: Added fs_get_nlinks()

Although fs_stat() could return this, its caller can't indicate whether
it actually wants the link count. Usually fs_stat() is used only to get
the file's size. In some backends it's not cheap to get the link count,
so adding this function allows the caller to explicitly ask for it.

lib: return non-NULL pointer in i_stream_get_data when size is 0

dict-client: Don't keep a request timeout when there are only background commands.

dict-client: When we get disconnected, reconnect and re-send commands.

dict-client: Improved timeout error message

dict-client: Fixed hang in async iteration if it failed.

quota: Log an error if mail's size can't be read.

We were still logging "Internal quota calculation error" but not necessarily
any other reason.

lib,lib-test: i_warning to i_debug on alloc growing messages

lib-storage: mbox_min_index_size setting didn't work correctly.

lib-storage: Don't crash fetching body.snippet when multipart/alternative part has no Content-Type

imap: Fixed assert-crash when detecting if client IO is hanging.

This was broken by 89d88a5bc.

auth: Fixed caching to support %{passdb} and %{userdb}

auth: Set userdb_lookup flag correctly for blocking userdb lookups.

This caused at least userdb-related logging to log the passdb instead.

auth: Code cleanup - use const for struct auth_request.

lazy-expunge: If lazy-expunge transaction failed already, stop further expunges.

Most importantly if the lazy-expunge mailbox opening fails, we don't now
retry opening the mailbox for each expunged mail.

lib: Potential compiling fix.

STATIC_ARRAY apparently requires that the parameter is named in some gcc
versions? In any case doesn't hurt.

Calling i_stream_next_line() on a chain stream would sometimes erroneously use the stream->w_buffer.

It used the wrong check to assess whether the w_buffer is usable.
The chain stream only uses the w_buffer when partial stream data needs to be merged. Otherwise, a parent stream's buffer is used directly. However, this does not mean that w_buffer will be NULL in that case, which is what i_stream_next_line() assumed.

lib-dcrypt: Allow flushing ostream multiple times.

The first time flushes the encryption and the following times just flush the
parent stream.

lib-dcrypt: Improved error message when istream isn't encrypted.

master: Don't leak master socket to child processes.

fts: Fixed fts_autoindex when no fts_autoindex_exclude settings existed.

lib-dict: Added DICT_COMMIT_RET_WRITE_UNCERTAIN

lib-dict: Added enum dict_commit_ret.

lib-sql: Added error_type to commit callback.

cassandra: Support returning SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN

lib-sql: Added sql_result_get_error_type().

For now the only special error type is SQL_RESULT_ERROR_TYPE_WRITE_UNCERTAIN.

auth: Remove i_assert for credentials scheme

Added LIBDOVECOT_PUSH_NOTIFICATION_INCLUDE to dovecot.m4.

dict: Fixed crash on iteration handling.

dict-client: Improved logging for slow queries.

Especially commits now say what the first query within the commit was.