lib-imap: Added imap_to_date()

lib-storage: Fixed assert-crash with mailbox_list_index=yes if root mailbox name was empty.
This happened if the index was used for a non-listable namespace whose
prefix started with the namespace separator (e.g. prefix="/expunged/")

imapc: After auth failed, return failure immediately when opening a mailbox.
Instead of trying to re-authenticate which again will most likely fail.
Based on patch by Michael M Slusarz

lib-storage: Small code cleanup for index_mail_get_binary_stream()
stream_r is always non-NULL here. Also move unreferencing cache istream to
be last in case it might fix data.stream=NULL being here in some situations.

lib: Fixed reference counting in iostream-rawlog if either i/ostream wasn't used.

lib: iostream_rawlog_create_from_stream() now allows input or output to be NULL.

lib-storage: Fixed subscription file reading when file was (nearly) empty.
Broken by the earlier changes.

lib-storage: Added support for subscriptions file version 2 format.
The v2 format's main benefit is that it doesn't write the hierarchy
separator to the subscriptions file, which allows the separator to be
changed without breaking subscriptions. This mainly affects LAYOUT=INDEX,
which doesn't have a native hardcoded separator.

The plan is to start writing v2 subscription files in Dovecot v2.3. So for
now we simply read such files and if we find v2 file we also modify it in v2
format, but we never create new v2 format files or convert v0 to v2.

fts-lucene: Fix to earlier commit: Header names must be indexed without libfts, not with.

fts-lucene: Optionally use lib-fts instead of CLucene's own analyzers.
fts_lucene = use_libfts enables this.

fts: If backend has FTS_BACKEND_FLAG_TOKENIZED_INPUT set, index also the header name.
We were sending the hdr_name to the backend without tokenizing it or
filtering it, so the backend couldn't have done anything useful about it.

lib-fs: Fixed fs-posix to work with fs_iter_init(path="") when fs prefix wasn't set.

lib-fts: Added normalizer-simple for doing normalization without libicu.

lib-fts: Fixed test-fts-filter to work again after previous normalizer changes.

lib-fts: Renamed normalizer to icu-normalizer, including the source code.

configure: s/normalizer/libicu/ since we it could be used for something else as well.

lmtp proxy: Include in log messages how long it took to deliver the mail.
In multi-RCPT TO sessions it's a bit unreliable to split the single DATA
reply's times to multiple lines, so instead each line just says
"(2/3 at 123 ms)" meaning that the second mail was delivered at the time
when 123 milliseconds had elapsed since the delivery was started.

lib-lda: Assume that the caller sets delivery_time_started
This is required because parts of the delivery time may be done at the time
the user is being initialized, so it needs to be set before the user init is
done.

lib-lda: mail_deliver_log() now updates the %{delivery_time} instead of using the first cached value.
The first time the cached values are set the transaction isn't committed and
the mailbox isn't synced.

lib-lda: Added lmtp-client to track timestamps when various events happen.

imap: Finishing previous commit by removing now-unnecessary code.

imap: Removed separate time counting from SELECT and SEARCH commands.

imap: Include in tagged reply how much running time each IMAP command takes.
The running time doesn't include time spent waiting for the client on
ioloop.

imap: Small code cleanup.
Removed all the checks of CLIENT_COMMAND_STATE_DONE to command_exec()
itself.

lda, lmtp: Added delivery_time and session_time variables to deliver_log_format
session_time is meaningful only with LMTP. The delivery_time is separate for
each mail delivery. The results are in milliseconds now. If needed we could
add a new %modifier that converts it into secs.millisecs.

stats: num_cmds was always 0 in global stats

lib-fts: Added udhr_fra.txt to EXTRA_DIST

lib-fts: Added PropList.txt to EXTRA_DIST

lib-fts requires libexttextcat actually - don't even try to use textcat for it.
I'm also not sure yet if some libexttextcats are too old for it.

lib-fts: Updated Finnish/French stopword lists from Lucene code.
Most importantly they added the licensing info to the files.

lib-fts: Fixed using FTS_NORMALIZER_CFLAGS/LIBS.

lib-fts: Don't crash in test-fts-filter if libstemmer support isn't built in

lib-fts: Fixed some wrong macro name checks.
Forgot to change these ones while renaming them..

lib-fts: Added missing stopwords_fi.txt

lib-fts: Fixed test-fts-language to use TEXTCAT_DATADIR
This may still make too many assumptions about what data exists where.. So
we may need to remove this test from "make check". But for now leave it
there.

configure: Fixed building without textcat.

configure: Added Debian Wheezy workaround for finding textcat.h

lib-fts: Fixed default textcat datadir paths.

configure: Fixed linking with libexttextcat when it was found via pkg-config

fts: Added FTS_BACKEND_FLAG_TOKENIZED_INPUT, which is implemented via lib-fts.

Initial import for lib-fts.
Parts of what this code does was already implemented internally by
fts-lucene. lib-fts is intended to be usable for all the FTS backends. The
APIs are still going to change a bit, but hopefully not after v2.2.17
release.

Mostly written by Teemu Huovila.

configure: Fixed/improved finding and using libexttextcat.
libexttextcat wasn't actually being used at all by fts-lucene. Now we'll
first prefer finding it via pkg-config, next finding exttextcat and only
last look up textcat.

configure: Stemmer and textcat checks are now done even if CLucene isn't used.
They'll be useful for other FTS backends as well. This patch doesn't change
any actual functionality.

fts: Code cleanup to do all index updates via fts_build_data()
This doesn't actually change the behavior.

doveadm fs delete -R: Don't add extra '/' chars in the middle of paths

dovecot-config: Added lib-stats to LIBDOVECOT_INCLUDE

lib-fs: fs_class_register() can now be called externally.

doveadm mailbox metadata: The keys must always be lowercased.
The keys need to be case-insensitive in IMAP, so the IMAP code always also
lowercases them.

stats: Fixed compiling with some OSes.
struct timeval wasn't necessarily already defined by existing includes.

lib: test-array build warnings on Solaris 10
Solaris cc doesn't think I've read N1570 6.7.9p11, 6.5.16.1p2, and 6.3.1.3p2,
and wants to save me from myself.

Reported-by: Juergen Obermann <http://www.dovecot.org/list/dovecot/2015-April/100427.html>
Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Added imapc_features=zimbra-workarounds
Zimbra (at least v5.0.18_GA_3011.RHEL4_64) can return different headers
depending on whether the whole message body was fetched or only (partial)
headers. This probably happens only for invalid characters that are
translated into '?'. With this workaround enabled we don't use FETCH
BODY.PEEK[], but we do FETCH (BODY.PEEK[HEADER] BODY.PEEK[TEXT]) and merge
the results together. This way the results are always consistent and headers
don't suddenly change.

dict-file: Use tabescaping for keys and values to allow LFs in them.
Although this makes the format slightly incompatible, it's doubtful anybody
is using dict values containing \001 characters.

auth: If passdb/userdb changes the username, add the changed username also to the cache.

auth: Setting userdb fields from cache didn't set handle any special fields.
The special fields were relatively rarely used though.

replication plugin: Don't crash for users who don't have replication enabled.

lib: Added json-tree API for parsing JSON input into a tree structure.
This makes it easier to access complicated JSON structs that can fit into
memory.

lib-index: Added reason_r parameter to mail_transaction_log_view_set()
This is used to improve some of the error messages about index corruption.

rawlog: Flush output to disk every second instead of only when buffer is full.

configure: Added --with-textcat parameter

dsync: Improved error message when remote dsync-server couldn't be started.

dsync: Don't try to use the new "finish" state with old dsync versions.

Makefile: Build lib-dovecot before lib-compression
Because lib-compression depends on it.

quota: Added debug information for quota_over_flag handling.

configure: Add missing (auto) to autodetected options.

lib-compression: Use libdovecot.so as dependency. Don't include liblib.a itself!

imapc: Don't assert-crash when trying to sync a mailbox with MAILBOX_FLAG_SAVEONLY.
We can just skip the sync, because we don't do anything except save mails.

quota: When reporting quota value/limit in kilobytes, round the value upwards.
Most importantly this doesn't truncate <1024 values to 0, which also in
quota limit means unlimited.

auth: Don't add original_user or auth_user to passdb reply if they already exist.
This allows passdb to override their values cleanly.

imapc: Fix to previous change - labels are strings and not atoms.
Allow also atoms just in case

imapc: Ignore \Muted GMail label

lib-storage: Added mailbox_list_fs_get_list()
Using mailbox_list_init_fs() now sets the mailbox_list pointer to root fs,
which allows the fs backends to lookup the list. Although this can't be done
in the init() function since the list is set only afterwards.

lib-fs: Added support for module_contexts in fs.
They could also be added to fs_file if needed, but for now I didn't bother
adding it.

lib-fs: When autoloading fs plugins with '-' in the name, translate them to '_'
It's not possible for the function names to contain '-' in any case. Also
Dovecot in general uses '-' instead of '_' in the configuration names. This
change actually allows using either of them.

Cleanup for libcharset's iconv linking.
Linking libcharset.la now automatically links with the necessary iconv
libraries.

lib: Fixed potential build error when building without modules.

lib-dict: Fixed crash when transaction failed due to dict server disconnection.

lib: o_stream_create_rawlog_from_stream() should preserve the output stream fd.
ostream-rawlog is just a passthrough stream after all.

doveadm: Added -h parameter to hide header line from tab and table formatter output.

Removed mountpoint checking and updating code.
After a few years it seems like it has just caused more problems than it has
actually fixed. The only thing it's been used for is to make sure that
Dovecot can't create empty user directories when the user's mail filesystem
isn't mounted. But that's supposed to be normally prevented already if the
mount root directory permissions are only writable by root.

For now the mountpoint listing code and doveadm mount code still exists just
in case people have some scripts using those. Those could be removed in v2.3.

If we somehow figured out which mountpoints existed (not so easy because
they could be only visible in userdb lookups for different users), we could
maybe create some kind of a script that checks the permissions at startup.
This would work with Linux at least:

mkdir test
mount / -o bind test
ls -ld test/var/mail # assuming /var/mail mountpoint
umount test

dsync: Fixed returning wrong mail_error in some remote dsync.

imapc: Don't wait for login to succeed at mailbox list creation.
The failure will be visible in the next command. This wait was here mainly
for imap, but cbdfca7d24a6 implements the wait in imap process directly.
Other (current) protocols don't need such wait at all.

Most importantly this change allows doveadm to handle imapc login failures
by seeing them as MAIL_ERROR_PERM errors when listing mailboxes or opening a
mailbox. This allows it to return a different exit code from temporary
failure (which it is not).

imapc: Don't crash in mailbox_is_inconsistent() with unopened mailbox.

imap: If mailbox list is unusable at startup, return failure immediately.
This is currently used only by imapc when login fails.

dsync: Use storage's mail_error to choose the doveadm exit code.
Instead of always assuming that all errors are EX_TEMPFAIL.

imapc: If authentication fails, preserve the error message as storage/list error.
This isn't very helpful yet, because the mailbox list creation itself fails.

lib-storage: mailbox_list_mailbox() now copies the mailbox_exists() error.
Instead of assuming it has to be an internal error.

lib: buffer - paranoid compile-time check for struct sizes
At the moment, nothing guarantees that the public struct is big
enough to contain the private struct.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: bits - improve bits_required to recurse downwards, not sideways
Ooops.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: bits - Add macro for '1 << i'
It's used all over the place. It feels weird not having access to such a macro.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fts: Fixed assert-crash if fts-parser was created for a body part that backend didn't want to index.

auth ldap: Crashfixes for earlier changes.
Hopefully works correctly now

auth ldap: Fixed crash when handling invalid SSL option.

auth ldap: Fixed assert-crash when both passdb ldap and userdb ldap was used

auth ldap: Start LDAP connection only after auth process initialization is finished.
This way even if connecting to LDAP takes a while it won't cause the master
process to kill the auth process due to it not sending the startup "I'm ok"
notification early enough.

auth ldap: Make sure config file path is included in all fatal error messages.

auth ldap: If any tls_* settings are given when they're not supported, fail with fatal instead of just warning.
These may be important for intended security, especially tls_cipher_suite.
We shouldn't allow setting them and then somewhat silently just ignore them.

auth ldap: Call ldap_init*() already at db_ldap_init().
ldap_init*() doesn't start connecting yet, but this way we can verify that
all the settings are correct.

auth ldap: More concentration of i_fatal() calls to db_ldap_init()

auth ldap: Moved more LDAP fatal checks to db_ldap_init()

auth ldap: Improved ldap_initialize() failure's error logging.