lib: Fixed compiling unit test in systems where NULL isn't of type void*
For example Solaris.

auth: Fixed test-auth-request-var-expand unit test on big endian CPUs

Compiler warning fix for 32bit systems

lib-storage: Don't add first_saved to mailbox list index unless autoexpunge is set.

imap: Free mail_user only after client is disconnected.

Added mailbox { autoexpunge } setting.
This can be used to automatically expunge mails from specified mailboxes
after they're old enough. The expunges are done when the user is being
deinitialized. mailbox_list_index=yes should be enabled to have the best
performance with this setting.

Example:

namespace inbox {
  mailbox Spam {
    auto = create
    special_use = \Junk
    autoexpunge = 30d
  }
}

imap: SETMETADATA didn't set ostream output handler back
This caused hangs afterwards when receiving long replies (e.g. FETCH).

quota-clone: Avoid assert-crash when quota recalculation is triggered.
Quota recalculation opened all mailboxes and got us back to
quota_clone_flush(), which caused another dict transaction to be opened,
which caused a crash with some dict backends.

lib-fts: Move ICU transliterator creation to fts-icu.h
This allows others to use transliterators without so much code duplication.
The transliterator still has to be destroyed by the user, with utrans_close().

lib-fts: Fix compilation for systems without libicu.
The earlier patch, 194e3622d5e6, did not consider both library dependencies.

imap: When logging command disconnection info, log the oldest command's info (not newest)

imap: Added extra assert checks to make sure command states are consistent.

imap: IDLE may have called client_continue_pending_input() unnecessarily.

imap: Fixed crash at FETCH deinit caused by b638e19d3bd4
imap_fetch_free() would have been called twice, which caused problems.

imap: Fixed hanging if a pipelined IMAP command was waiting for previous command to sync.
..And the previous command was waiting for the next command to finish before
it would start syncing. For example FETCH+LOGOUT pipelined.

director: Fixed backend selection when multiple tags were used.
The previous algorithm was causing an uneven load for backends.

This change breaks compatibility with older director servers that were using
tags because of the different selection algorithm. The new director code
refuses to run within a cluster with old directors if tags are used.

director: Code cleanup - renamed hosts_unsorted to vhosts_unsorted

director: Code cleanup - rename tag to tag_name in mail_host_*() parameters.
In preparation for the following changes.

director: Code cleanup - access host->tag via mail_host_get_tag()
In preparation for the following changes.

director: Code cleanup - make most mail_host_*() list parameters unnecessary.

director: With director_consistent_hashing=yes hosts_hash wasn't always calculated right.
If different servers had added hosts in different order, the hosts_hash
would have become different, which caused errors and resyncs.

lib-fts: Fix compilation for systems without libstemmer.

fts: Remove default filters and tokenizers.
There aren't any specially good defaults that work for all the languages,
so it's better to just enforce explicit settings.

fs-posix: Added mode=auto parameter to copy mode from parent directory if setgid-bit is set

fs-posix: Code cleanup - don't store dir_mode permanently.
Cleanup in preparation for mode=auto.

lib-fts: Silence clang warnings.

fts plugin: Install fts-storage.h

lib-fs: Added fs_stats_get_read/write_usecs()
These can be easily used to sum up all the timings for read and write
categories.

indexer-worker: Use provided session-id only as a prefix for a unique session ID.
Fixes stats process's "Duplicate session ID" errors when LMTP delivers to
multiple recipients.

lib-storage: Added mail_storage_service_input.session_id_prefix
This should make it easier to pass through the original session_id to worker
process sessions. Especially if these sessions are somewhat short-lived it
can be useful to assign them a unique session ID while still being able to
match it to the parent's session ID.

stats: Improved logging on invalid CONNECT input.

stats: Forced sending of UPDATE-SESSION every 5 minutes wasn't working.
This caused stats process to forget about idling (imap) sessions if they
didn't do anything for over 15 minutes.

stats: When logging UPDATE-SESSION stats, log also the session ID.

lib-storage: Create ioloop context for users even if log prefix changing is disabled.
This fixes stats plugin to work with lmtp, imap-urlauth and doveadm-server.

lib-master: master_service_is_master_stopped() now returns FALSE if running standalone.
The only caller of this function was stats plugin to see if it should send
stats updates. So this fixes dovecot-lda, doveadm and other standalone tools
to send stats updates.

lib-master: Fixed timeout leak at deinit when we couldn't connect to ipc-server

pop3: When creating session lock file, prefer to write it to the index root dir.
This is especially important for mail storage backends that don't have a mail
root directory.

pop3: Send "OK Logged in" before reading mailbox.
This way if the reading takes a long time, the client still sees that the
login itself was successful. This is especially useful to avoid unnecessary
errors logged by proxies.

imap: Disconnection log message incorrectly logged "input/output" even if only "input" was set.

imap: When disconnected during FETCH, include the last byte counts in disconnection log message.

lib-fs: Improved fs-metawrap's fs_stat() error message.

lib-fs: Fixed fs_stat() for fs-metawrap

*-login: Added postlogin_socket=path passdb extra field.
By default e.g. "imap" or "pop3" is the post-login socket, but this can
override it. This could be used for example for per-user debugging (e.g.
setting executable to be run via strace or valgrind).

lib-master: master_auth_request_full() now supports per-request path.

lib-master: Added extensible master_auth_request_full() call.
Only the API was changed, no changes to functionality.

lib-fs: Added asserts to fs_set_metadata() to make sure key and value are non-NULL
Otherwise the bug would be noticed only much later when trying to
dereference NULL pointer.

fts: Added fts_library_init() and _deinit()
Replaces calling three different functions on init and deinit.

lib-fts: Added fts_language_register() to register more languages in plugins.

dovecot-config: Added LIBFTS.

lib-fts: Explicitly state encoding used for stemming.

lib-fts: Removed TODO comment.
The call to uni_utf8_get_char_n() already does easy cases first.
Adding more special code paths is not necessary.

lib-fts: Minor code cleanup - Rename some internal functions.
Maybe the names are more logical this way.

lib-fts: Add Norwegian.
Norwegian has two main dialects, Bokmal(nb) and Nynorsk(nn). They
are detected separately by libexttextcat, but the stemmer only
knows Norwegian. Thus they are treated as a single language,
Norwegian (no). This might also make more sense in everyday
use of mixed writing style Norwegian.

Caveat: The default normalizer filter does not modify U+00F8
(Latin Small Letter O with Stroke). In some configurations it
might be desirable to rewrite it to e.g. o. Same goes for the
upper case version. This can be done by passing a modified "id"
setting to the normalizer filter.

lib-fts: Add comment to language names.
Languages are defined by their ISO 639-1 code, which is a two letters.
It is possible, that some languages with only a three letter code, ie.
a ISO 639-2 code, could be added in the future.

lib-fts: Add Swedish (sv) to supported languages.

lib-fts: Add l' contraction to French unit test.

pop3-migration: Fixed memory leak in unit test.

lib-mail: Fixed istream-header-filter when callback excluded multiple headers.
This only affected pop3-migration plugin.

dovecot.m4: Run valgrind with --trace-children=yes
Some of the unit tests are run via shell and we want to check the unit tests
instead of just the shell.

Added Valgrind suppressions file for ignoring any bash memory leaks.
Some of the unit tests are run via shell.

dovecot.m4: Added --leak-check=full to valgrind

various - remove 8-bit characters from literal strings in test cases
C has a portable way of expressing characters not in the basic character
set, namely \xNN escaping. Otherwise, the interpretation of the raw utf-8
is implentation dependent. This has the benefit of making some tests'
expected output more obvious, such as "=c3=a4" matching "\xC3\xA4", even
if it hinders the readability of some natural-language-based tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: fix memory leak of iterator in str_table_deinit()
The deinit function uses an iterator, but never cleared it up. Found by
Valgrind.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: make test-istream-failure-at not leak memory
This permits Valgrind to run without complaint.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: fix memory leaks in failure-at streams
The parent wasn't getting unref'ed, and would hang around for ever.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-master: stop tests from leaking memory
This permits Valgrind to run without complaint.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: free resources used in the tests
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: ref/unref input stream in http message parser
To prevent assidental disappearance of the stream while it's in use.
Also, the caller can create and forget - we'll do the cleanup later.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Treat literal8 input the same as regular literal.
This is mainly for migrating away from broken servers (a patched Cyrus) that
send literal8 if a (corrupted) message contains NULs.

imap: When client disconnects during a running command, log the command wait state.

imap: If IDLE or FETCH notices a disconnection, log the running command statistics.

imap: When client disconnects during a running command, log the IO input/output wait status.
This is mainly useful for debugging to make sure that the hang isn't
happening because of a bug (missing io) in Dovecot.

lib: Added io_loop_find_fd_conditions()

quota: When recalculating quota, don't try to access nonexistent autocreate-mailboxes.
There's no need to physically create them, since they're empty anyway.

login proxy: If writing to ostream fails, log the ostream's error string.
Although for now it's always just based on the errno anyway.

login proxy: Include some extra information in disconnect log lines.

auth: Added hardcoded 5 second timeout to LDAP connect()
Although it doesn't look like the timeout is exactly 5 seconds always due to
OpenSSL's internal workings, but this should be good enough.

push-notification: Removed unused code.

virtual: Include mailbox name in "Backend mailbox added by another session." error.

auth: Don't crash when trying to use CRYPT scheme when crypt() doesn't support DES

lib-storage: Support %{userdb:*} variables in mail_home and mail_chroot settings.

lib: Removed unnecessary includes from bits.h
All of them are already in lib.h, and bits.h gets included from lib.h.
This also solves a compiling problem for systems where stdint.h doesn't
exist.

replicator: Send initial status notification to master before listing all users
To avoid master process from killing us after 30 seconds if the user listing
takes longer than that.

auth: Fixed crash when using %{passdb:} or %{userdb:} functions when escape_func was NULL
Patch by Michael Slusarz.

lib: test-istream-crlf - fix expected output strings, add more coverage
Fix an out-by-one which was missing trailing carriage returns in _lf mode.

Debug: input = [19]:``...........N.N....R''
Debug: output= [19]:``...........N.N....R''
Debug: data  = [18]:``...........N.N....''
test-istream-crlf.c:78: Assert(#20) failed: size == str_len(output)

Add some randomised tests to get better coverage of all possibilities.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

push-notification: Fix linking against notify plugin

imap: Fixed crash in NOTIFY when there were watched namespaces that didn't support NOTIFY.

dsync: Fixed handling of deleted directories.
We may still know about the directory node even if it doesn't exist, and we
still want to delete it.

auth: Avoid a crash by not trying to save empty delayed credentials.

acl: acl_object_list_*() now duplicates rights at init to avoid them changing during listing.
Depending on the calling code the acl_object could have been refreshed
during the listing and caused bugs/crashes.

This fixes a crash at least in mailbox deletion during attribute deletion
where iter->idx was higher (2) than the number of rights at the time (0).

auth: Typofix for error message.

auth: nopassword field is specific to a single passdb, remove before next passdb is processed

lib-mail, fts: Put application/xhtml+xml MIME parts through html parser as well.

acl: If mailbox is autocreated, assume it already exists and don't require "create" ACL

acl: Fixed handling mailbox deletion when only "delete" right was available.
So especially when there were no "lookup" or "read" rights.

auth: Fixed userdb changing username via auth-worker

notify plugin: Don't access already freed memory.
In the same changeset I even added a comment just above that it shouldn't be
accessed..

quota-dict: Added "no-unset" parameter.

LAYOUT=index: Fixed error handling in mailbox creation race condition.
If two processes create the same mailbox, the other one ends up being
deleted on failure. However, if the deletion itself also failed the state
becomes a big ambiguous. We don't want to return MAIL_ERROR_EXISTS in that
case, because the caller may try to open the mailbox with the inconsistent
state and fail. So we'll instead return the original mailbox_delete() error
to the caller.

login proxy: Separate admin kicks, director kicks and shutdowns in log messages.