lib-fs: fs_class_register() can now be called externally.

doveadm mailbox metadata: The keys must always be lowercased.
The keys need to be case-insensitive in IMAP, so the IMAP code always also
lowercases them.

stats: Fixed compiling with some OSes.
struct timeval wasn't necessarily already defined by existing includes.

lib: test-array build warnings on Solaris 10
Solaris cc doesn't think I've read N1570 6.7.9p11, 6.5.16.1p2, and 6.3.1.3p2,
and wants to save me from myself.

Reported-by: Juergen Obermann <http://www.dovecot.org/list/dovecot/2015-April/100427.html>
Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Added imapc_features=zimbra-workarounds
Zimbra (at least v5.0.18_GA_3011.RHEL4_64) can return different headers
depending on whether the whole message body was fetched or only (partial)
headers. This probably happens only for invalid characters that are
translated into '?'. With this workaround enabled we don't use FETCH
BODY.PEEK[], but we do FETCH (BODY.PEEK[HEADER] BODY.PEEK[TEXT]) and merge
the results together. This way the results are always consistent and headers
don't suddenly change.

dict-file: Use tabescaping for keys and values to allow LFs in them.
Although this makes the format slightly incompatible, it's doubtful anybody
is using dict values containing \001 characters.

auth: If passdb/userdb changes the username, add the changed username also to the cache.

auth: Setting userdb fields from cache didn't set handle any special fields.
The special fields were relatively rarely used though.

replication plugin: Don't crash for users who don't have replication enabled.

lib: Added json-tree API for parsing JSON input into a tree structure.
This makes it easier to access complicated JSON structs that can fit into
memory.

lib-index: Added reason_r parameter to mail_transaction_log_view_set()
This is used to improve some of the error messages about index corruption.

rawlog: Flush output to disk every second instead of only when buffer is full.

configure: Added --with-textcat parameter

dsync: Improved error message when remote dsync-server couldn't be started.

dsync: Don't try to use the new "finish" state with old dsync versions.

Makefile: Build lib-dovecot before lib-compression
Because lib-compression depends on it.

quota: Added debug information for quota_over_flag handling.

configure: Add missing (auto) to autodetected options.

lib-compression: Use libdovecot.so as dependency. Don't include liblib.a itself!

imapc: Don't assert-crash when trying to sync a mailbox with MAILBOX_FLAG_SAVEONLY.
We can just skip the sync, because we don't do anything except save mails.

quota: When reporting quota value/limit in kilobytes, round the value upwards.
Most importantly this doesn't truncate <1024 values to 0, which also in
quota limit means unlimited.

auth: Don't add original_user or auth_user to passdb reply if they already exist.
This allows passdb to override their values cleanly.

imapc: Fix to previous change - labels are strings and not atoms.
Allow also atoms just in case

imapc: Ignore \Muted GMail label

lib-storage: Added mailbox_list_fs_get_list()
Using mailbox_list_init_fs() now sets the mailbox_list pointer to root fs,
which allows the fs backends to lookup the list. Although this can't be done
in the init() function since the list is set only afterwards.

lib-fs: Added support for module_contexts in fs.
They could also be added to fs_file if needed, but for now I didn't bother
adding it.

lib-fs: When autoloading fs plugins with '-' in the name, translate them to '_'
It's not possible for the function names to contain '-' in any case. Also
Dovecot in general uses '-' instead of '_' in the configuration names. This
change actually allows using either of them.

Cleanup for libcharset's iconv linking.
Linking libcharset.la now automatically links with the necessary iconv
libraries.

lib: Fixed potential build error when building without modules.

lib-dict: Fixed crash when transaction failed due to dict server disconnection.

lib: o_stream_create_rawlog_from_stream() should preserve the output stream fd.
ostream-rawlog is just a passthrough stream after all.

doveadm: Added -h parameter to hide header line from tab and table formatter output.

Removed mountpoint checking and updating code.
After a few years it seems like it has just caused more problems than it has
actually fixed. The only thing it's been used for is to make sure that
Dovecot can't create empty user directories when the user's mail filesystem
isn't mounted. But that's supposed to be normally prevented already if the
mount root directory permissions are only writable by root.

For now the mountpoint listing code and doveadm mount code still exists just
in case people have some scripts using those. Those could be removed in v2.3.

If we somehow figured out which mountpoints existed (not so easy because
they could be only visible in userdb lookups for different users), we could
maybe create some kind of a script that checks the permissions at startup.
This would work with Linux at least:

mkdir test
mount / -o bind test
ls -ld test/var/mail # assuming /var/mail mountpoint
umount test

dsync: Fixed returning wrong mail_error in some remote dsync.

imapc: Don't wait for login to succeed at mailbox list creation.
The failure will be visible in the next command. This wait was here mainly
for imap, but cbdfca7d24a6 implements the wait in imap process directly.
Other (current) protocols don't need such wait at all.

Most importantly this change allows doveadm to handle imapc login failures
by seeing them as MAIL_ERROR_PERM errors when listing mailboxes or opening a
mailbox. This allows it to return a different exit code from temporary
failure (which it is not).

imapc: Don't crash in mailbox_is_inconsistent() with unopened mailbox.

imap: If mailbox list is unusable at startup, return failure immediately.
This is currently used only by imapc when login fails.

dsync: Use storage's mail_error to choose the doveadm exit code.
Instead of always assuming that all errors are EX_TEMPFAIL.

imapc: If authentication fails, preserve the error message as storage/list error.
This isn't very helpful yet, because the mailbox list creation itself fails.

lib-storage: mailbox_list_mailbox() now copies the mailbox_exists() error.
Instead of assuming it has to be an internal error.

lib: buffer - paranoid compile-time check for struct sizes
At the moment, nothing guarantees that the public struct is big
enough to contain the private struct.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: bits - improve bits_required to recurse downwards, not sideways
Ooops.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: bits - Add macro for '1 << i'
It's used all over the place. It feels weird not having access to such a macro.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fts: Fixed assert-crash if fts-parser was created for a body part that backend didn't want to index.

auth ldap: Crashfixes for earlier changes.
Hopefully works correctly now

auth ldap: Fixed crash when handling invalid SSL option.

auth ldap: Fixed assert-crash when both passdb ldap and userdb ldap was used

auth ldap: Start LDAP connection only after auth process initialization is finished.
This way even if connecting to LDAP takes a while it won't cause the master
process to kill the auth process due to it not sending the startup "I'm ok"
notification early enough.

auth ldap: Make sure config file path is included in all fatal error messages.

auth ldap: If any tls_* settings are given when they're not supported, fail with fatal instead of just warning.
These may be important for intended security, especially tls_cipher_suite.
We shouldn't allow setting them and then somewhat silently just ignore them.

auth ldap: Call ldap_init*() already at db_ldap_init().
ldap_init*() doesn't start connecting yet, but this way we can verify that
all the settings are correct.

auth ldap: More concentration of i_fatal() calls to db_ldap_init()

auth ldap: Moved more LDAP fatal checks to db_ldap_init()

auth ldap: Improved ldap_initialize() failure's error logging.

auth ldap: Include LDAP config path in all fatal errors.
Also moved all such error checks to db_ldap_init().

stats: Don't allow stats_refresh setting to be set too large.

stats: Initial stats refresh timeout callback wasn't set.
This broke after the ioloop change that caused stats_io_deactivate() not to
be called immediately anymore.

dsync: Added an extra "finish" state to allow slave-dsync to report error to master-dsync.
I'm not sure if that's actually necessary, but just trying to follow the
different possibilities on how dsync run can finish made me unsure about it.
This should make it at least clear that if a slave-dsync has a failure flag
set at deinit master-dsync will know about it before it returns success.

dsync: Added an extra assert.

imapc: If reconnect fails during syncing, don't treat all mails as expunged in error handling code.

lib-imap-client: If we get disconnected and reconnect, log it as warning instead of as error.

fts: fts-parser doesn't need to be asked about all the known-plaintext content-types.

fts-tika, fts-solr: Added timeouts to requests so they aren't attempted infinitely.

fts: If fts-parser fails, stop indexing instead of ignoring the error and continuing.
This is especially important in case there's just some temporary error.

Makefile: Avoid make race conditions when generating files that are used as dependencies.
The file creation needs to be atomic, otherwise another process can start
trying to use an unfinished file. So we first create .tmp file and then mv
it into the final one.

lib-mail: Added HEADER_FILTER_CRLF_PRESERVE flag to istream-header-filter.

Added signature for changeset 0f8f0d8ee607

Added tag 2.2.16 for changeset 0f8f0d8ee607

Released v2.2.16.

rawlog: Updated -i -> -I also in usage string.

rawlog: Changed -i to -I parameter
We can't use -i, because it's handled by lib-master for instance selection.

dict: cdb support should be available only to dict process.
Because otherwise we need to link libcdb into pretty much all Dovecot
binaries, which is part of what having the dict proxy tries to avoid.

We could implement the direct linking optionally as well, but that would
need to be done in a bit more generic way rather than just hardcoding it only
to cdb support.

doveadm: Fixed table formatter for UTF-8 output.
Based on patch by Hardy Flor

fts: Added missing error logging/setting.

doveadm: Added several missing error logging calls.

imapc: Prefetching wasn't done for headers if there weren't also other fields.

lib-master: Crashfix to earlier anvil query timeout change.

imapc: Added throttling settings to imapc_features=throttle:a:b:c
This change could be reverted once good settings are found.

lib-imap-client: Implemented a bit more complicated [THROTTLING] behavior.
The throttling is now more continuous and decreases more slowly.

imapc: If imapc_features has gmail-migration, fetch X-GM-MSGID at startup and cache it.
This works only if index files haven't been disabled.

imapc: Use GUIDs from cache.

imapc: Add prefetched GUIDs to cache.

imapc: Removed Exchange-workaround for ignoring missing BODY[] replies.
This causes data loss if server was actually returning a NO temporary error
that would have succeeded later on.

lib-master: Timeout anvil queries after 5 seconds.

lib-master: If write() to anvil fails, reconnect to it.

imapc: Don't flush prefetch FETCH command before it has mail_prefetch_count number of mails.

imapc: Make sure we don't flush prefetch FETCH command unneededly.

doveadm: Initialize logging.
Most importantly so that LOG_STDERR_TIMESTAMP can be used to prefix each
line with a timestamp.

lib-master: Get log timestamp prefix from LOG_STDERR_TIMESTAMP environment.

lib-fs: Optimized fs_stat() for fs-metawrap after writing a file.

fs-posix: Don't close fd after successful write.
5bd6e2eee650 should have been done only on failures.

fs-posix: Implement fs_stat() with fstat() if fd is already open.

fs-posix: Don't try to unlink() the temp file twice after failure.

lib: And another module_dir_load() bugfix..

lib: Small error logging improvements for module_dir_load()

lib: Recent module_dir_load() changes broke error logging.
If there was a required list of modules, the error was properly returned.
But when loading all plugins, the errors weren't logged.

indexer-worker: Added missing error logging.

lib-imap-client: Fixed GMail [THROTTLED] detection.
It's not a resp-text-code, but appended at the end of line.

fs-posix: Don't close file fd after its writing is finished.
This allows reading the file after writing without having to re-open the
file (which in turn might fail in some situations).

fs-posix: Make sure the file isn't attempted to be opened for reading while it's being written.
Also if the write failed, the read should fail.