stats: When logging UPDATE-SESSION stats, log also the session ID.

lib-storage: Create ioloop context for users even if log prefix changing is disabled.
This fixes stats plugin to work with lmtp, imap-urlauth and doveadm-server.

lib-master: master_service_is_master_stopped() now returns FALSE if running standalone.
The only caller of this function was stats plugin to see if it should send
stats updates. So this fixes dovecot-lda, doveadm and other standalone tools
to send stats updates.

lib-master: Fixed timeout leak at deinit when we couldn't connect to ipc-server

pop3: When creating session lock file, prefer to write it to the index root dir.
This is especially important for mail storage backends that don't have a mail
root directory.

pop3: Send "OK Logged in" before reading mailbox.
This way if the reading takes a long time, the client still sees that the
login itself was successful. This is especially useful to avoid unnecessary
errors logged by proxies.

imap: Disconnection log message incorrectly logged "input/output" even if only "input" was set.

imap: When disconnected during FETCH, include the last byte counts in disconnection log message.

lib-fs: Improved fs-metawrap's fs_stat() error message.

lib-fs: Fixed fs_stat() for fs-metawrap

*-login: Added postlogin_socket=path passdb extra field.
By default e.g. "imap" or "pop3" is the post-login socket, but this can
override it. This could be used for example for per-user debugging (e.g.
setting executable to be run via strace or valgrind).

lib-master: master_auth_request_full() now supports per-request path.

lib-master: Added extensible master_auth_request_full() call.
Only the API was changed, no changes to functionality.

lib-fs: Added asserts to fs_set_metadata() to make sure key and value are non-NULL
Otherwise the bug would be noticed only much later when trying to
dereference NULL pointer.

fts: Added fts_library_init() and _deinit()
Replaces calling three different functions on init and deinit.

lib-fts: Added fts_language_register() to register more languages in plugins.

dovecot-config: Added LIBFTS.

lib-fts: Explicitly state encoding used for stemming.

lib-fts: Removed TODO comment.
The call to uni_utf8_get_char_n() already does easy cases first.
Adding more special code paths is not necessary.

lib-fts: Minor code cleanup - Rename some internal functions.
Maybe the names are more logical this way.

lib-fts: Add Norwegian.
Norwegian has two main dialects, Bokmal(nb) and Nynorsk(nn). They
are detected separately by libexttextcat, but the stemmer only
knows Norwegian. Thus they are treated as a single language,
Norwegian (no). This might also make more sense in everyday
use of mixed writing style Norwegian.

Caveat: The default normalizer filter does not modify U+00F8
(Latin Small Letter O with Stroke). In some configurations it
might be desirable to rewrite it to e.g. o. Same goes for the
upper case version. This can be done by passing a modified "id"
setting to the normalizer filter.

lib-fts: Add comment to language names.
Languages are defined by their ISO 639-1 code, which is a two letters.
It is possible, that some languages with only a three letter code, ie.
a ISO 639-2 code, could be added in the future.

lib-fts: Add Swedish (sv) to supported languages.

lib-fts: Add l' contraction to French unit test.

pop3-migration: Fixed memory leak in unit test.

lib-mail: Fixed istream-header-filter when callback excluded multiple headers.
This only affected pop3-migration plugin.

dovecot.m4: Run valgrind with --trace-children=yes
Some of the unit tests are run via shell and we want to check the unit tests
instead of just the shell.

Added Valgrind suppressions file for ignoring any bash memory leaks.
Some of the unit tests are run via shell.

dovecot.m4: Added --leak-check=full to valgrind

various - remove 8-bit characters from literal strings in test cases
C has a portable way of expressing characters not in the basic character
set, namely \xNN escaping. Otherwise, the interpretation of the raw utf-8
is implentation dependent. This has the benefit of making some tests'
expected output more obvious, such as "=c3=a4" matching "\xC3\xA4", even
if it hinders the readability of some natural-language-based tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: fix memory leak of iterator in str_table_deinit()
The deinit function uses an iterator, but never cleared it up. Found by
Valgrind.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: make test-istream-failure-at not leak memory
This permits Valgrind to run without complaint.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: fix memory leaks in failure-at streams
The parent wasn't getting unref'ed, and would hang around for ever.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-master: stop tests from leaking memory
This permits Valgrind to run without complaint.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: free resources used in the tests
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: ref/unref input stream in http message parser
To prevent assidental disappearance of the stream while it's in use.
Also, the caller can create and forget - we'll do the cleanup later.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Treat literal8 input the same as regular literal.
This is mainly for migrating away from broken servers (a patched Cyrus) that
send literal8 if a (corrupted) message contains NULs.

imap: When client disconnects during a running command, log the command wait state.

imap: If IDLE or FETCH notices a disconnection, log the running command statistics.

imap: When client disconnects during a running command, log the IO input/output wait status.
This is mainly useful for debugging to make sure that the hang isn't
happening because of a bug (missing io) in Dovecot.

lib: Added io_loop_find_fd_conditions()

quota: When recalculating quota, don't try to access nonexistent autocreate-mailboxes.
There's no need to physically create them, since they're empty anyway.

login proxy: If writing to ostream fails, log the ostream's error string.
Although for now it's always just based on the errno anyway.

login proxy: Include some extra information in disconnect log lines.

auth: Added hardcoded 5 second timeout to LDAP connect()
Although it doesn't look like the timeout is exactly 5 seconds always due to
OpenSSL's internal workings, but this should be good enough.

push-notification: Removed unused code.

virtual: Include mailbox name in "Backend mailbox added by another session." error.

auth: Don't crash when trying to use CRYPT scheme when crypt() doesn't support DES

lib-storage: Support %{userdb:*} variables in mail_home and mail_chroot settings.

lib: Removed unnecessary includes from bits.h
All of them are already in lib.h, and bits.h gets included from lib.h.
This also solves a compiling problem for systems where stdint.h doesn't
exist.

replicator: Send initial status notification to master before listing all users
To avoid master process from killing us after 30 seconds if the user listing
takes longer than that.

auth: Fixed crash when using %{passdb:} or %{userdb:} functions when escape_func was NULL
Patch by Michael Slusarz.

lib: test-istream-crlf - fix expected output strings, add more coverage
Fix an out-by-one which was missing trailing carriage returns in _lf mode.

Debug: input = [19]:``...........N.N....R''
Debug: output= [19]:``...........N.N....R''
Debug: data  = [18]:``...........N.N....''
test-istream-crlf.c:78: Assert(#20) failed: size == str_len(output)

Add some randomised tests to get better coverage of all possibilities.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

push-notification: Fix linking against notify plugin

imap: Fixed crash in NOTIFY when there were watched namespaces that didn't support NOTIFY.

dsync: Fixed handling of deleted directories.
We may still know about the directory node even if it doesn't exist, and we
still want to delete it.

auth: Avoid a crash by not trying to save empty delayed credentials.

acl: acl_object_list_*() now duplicates rights at init to avoid them changing during listing.
Depending on the calling code the acl_object could have been refreshed
during the listing and caused bugs/crashes.

This fixes a crash at least in mailbox deletion during attribute deletion
where iter->idx was higher (2) than the number of rights at the time (0).

auth: Typofix for error message.

auth: nopassword field is specific to a single passdb, remove before next passdb is processed

lib-mail, fts: Put application/xhtml+xml MIME parts through html parser as well.

acl: If mailbox is autocreated, assume it already exists and don't require "create" ACL

acl: Fixed handling mailbox deletion when only "delete" right was available.
So especially when there were no "lookup" or "read" rights.

auth: Fixed userdb changing username via auth-worker

notify plugin: Don't access already freed memory.
In the same changeset I even added a comment just above that it shouldn't be
accessed..

quota-dict: Added "no-unset" parameter.

LAYOUT=index: Fixed error handling in mailbox creation race condition.
If two processes create the same mailbox, the other one ends up being
deleted on failure. However, if the deletion itself also failed the state
becomes a big ambiguous. We don't want to return MAIL_ERROR_EXISTS in that
case, because the caller may try to open the mailbox with the inconsistent
state and fail. So we'll instead return the original mailbox_delete() error
to the caller.

login proxy: Separate admin kicks, director kicks and shutdowns in log messages.

ssl_options: Added support for no_ticket

doveadm fs: Log also the exact reason for "file doesn't exist"

dict: Show number of clients in process title

lib-index: tail_offset wasn't updated as often as it should have been.
ctx->last_tail_offset was being increased for every non-external transaction
and at the end we checked if head was larger than it. This logic didn't
really make any sense, since non-external transactions specifically were
supposed to update the tail_offset.

lib-imap-storage: Mark METADATA transactions as external.
We never write the metadata values to any storage backend, so they also
don't need to be explicitly synced.

mysql: Added connect/read/write_timeout settings. Default to 30s read/write_timeout.

mysql: Fixed client_flags parameter

mysql: Use the correct way of setting a connect timeout.
I'm not sure if this didn't exist earlier, or if I just somehow missed it.

dsync: Added DSYNC_BRAIN_FLAG_NO_NOTIFY to enable MAILBOX_TRANSACTION_FLAG_NO_NOTIFY
It's arguable that this should be enabled by default, but people might like
to keep mail_log notifications for dsync.

lib-storage/notify: Added MAILBOX_TRANSACTION_FLAG_NO_NOTIFY
This flag could potentially apply for other things as well, not just notify
plugin. In general anything that could do external notifications shouldn't
do anything for transactions with this flag.

dict-sql: Fixed async iteration with MySQL and SQLite

lib-charset: Added UTF-7 iconv() unit test
Possibly crashes on FreeBSD? Not verified yet. But a good test in any case.

lib-charset: Run iconv unit tests by giving iconv() new data 1 byte at a time.

imapc: Set storage's error to "internal error" if we detect mailbox state corruption.
This fixes "unknown internal error" in at least syncing code when an
expunged message reappears.

lib: net_gethostbyname() now supports [ipv6] style bracketed addresses.

director: Fix to previous change - mail_host_dup() wasn't strdup()ing hostname.
This could have caused a crash at deinit.

director: Remember backends' hostnames and send them in login reply.
This allows login processes to verify the remote server's hostname in SSL
certificate.

director: Small code cleanup - make it easier to add parameters to HOST

man: Changed "pattern" to "string" in doveamd-search-query(7)

lib-mail: fix html2text parser
Silly typo. Fixes bug reported on dovecot list by Akash on Oct 14.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: If rename algorithm seems go to an infinite loop, log an error and stop.
Ideally we would of course fix the algorithm (especially to not require this
kind of looping).

imap/pop3-login: If LOGIN/USER is used with plaintext auth disabled, remember the username for logging.
It's still useful to see the username that was sent in the logout message.
This won't work for AUTHENTICATE PLAIN, but hopefully the clients that use
it understand the LOGINDISABLED capability better.

cassandra: Added read/write/delete_fallback_consistency settings.
The fallback is attempted if the primary consistency can't be satisfied.
One useful use case for this is to have:

write_consistency=each-quorum
write_fallback_consistency=local-quorum

Which means that during regular operation all writes go to all data centers
before they are finished, but if one of the data centers go down we'll
switch to just waiting for local data center writes to finish.

dict-sql: dict_lookup_async() didn't call callback on query build failures.

lib-storage: Support latest cache fields in struct mailbox_metadata.precache_fields

imap: APPEND crashed if invalid keyword was given as parameter.

auth ldap: If tls_* settings are used, pass them to LDAP library even if tls=no
Most importantly this allows using the settings for ldaps URLs. And they
hopefully won't hurt anything if neither STARTTLS nor ldaps are used.

lib: uri_parser_init() wasn't using pool parameter for anything.
Now everything is allocated from it instead of from data stack.

dict-sql: Added support for value_type field, which deprecates value_hexblob.
value_type=string|hexblob|uint are supported now.

cassandra: Added support for returning "int" type values.
It looks like we need to explicitly convert all types to strings.

auth: passwd-file now stat()s the file max once per second.
It's quite unnecessary to do it more often.

fs-dict: Implemented hex-encoding for values.