lib-sasl: Added reference counting to lib-sasl initialization.

lib: Improved istream-file's failing read()/pread() error message.

lib: If i_stream_default_seek_nonseekable() can't seek, set a more readable error message.

lib-lda: smtp_client_deinit() may have returned NULL error strings.

lib-http: Fixed assert-crash when http_client_connection_disconnect() is called multiple times.

dsync: Added DSYNC_BRAIN_FLAG_NO_MAIL_PREFETCH to avoid opening mails unnecessarily.

lib-storage: Don't assume that we must read the whole message to get its virtual size.
This is true only with mbox format. All the other formats have various
metadata available where it's stored.

imap: die-callback didn't set log prefixes correctly for client handlers
Calling mail_storage_service_io_activate_user() unfortunately doesn't set
the ioloop context itself, so timeouts weren't inheriting it. It seemed a
bit difficult to change this, so for now I just moved the call to the
timeout handler.

lib: If file_wait_lock*() fails, try to include the current pid holding the lock in error message.
This is currently supported via fcntl(F_GETLK) and also via Linux
/proc/locks.

imap, pop3: Show user's proper log prefix when deinitializing users at exit.

lib-storage: Allow calling storage service's ioloop activate/deactivate functions manually.

lib: Code cleanup - check io_loop_context_add/remove_callbacks() callback parameters.

Mark more memory pools as growing

auth: Mark memory pools as growing and use the same sizes for all mechanisms.
Mainly to have DEBUG log fewer warnings.

Avoid logging warnings about increasing memory pool/data stack with DEBUG on.
These could have a minor effect on memory usage, but shouldn't be much.

lib: Added file_wait_lock_error() and file_try_lock_error()

fs-posix: fs_read_stream() now returns an istream that can live even after the fs_file is closed.

lib-storage: Added mailbox_get_index_path() and caching of the index path.
This solves some potential assert-crashes on race conditions when opening a
mailbox while it's being deleted.

lib-storage: Headers were sometimes added to dovecot.index.cache with wrong line number value.
This happened if the header parsing was done multiple times for the same
mail. The end result being that when fetching multiple headers as a stream,
the headers could have been returned in the wrong order. This messed up at
least dsync's header hash comparisons.

imapc: Fixed potential crash when trying to send NOOP before mailbox was fully opened.

imapc: If connection isn't in selected state when deleting mailbox, don't try to UNSELECT it.

man: Added doveadm-fts.1.

man: Added doveadm-acl.1.

imap: Don't send MODSEQ in untagged FETCH reply if IMAP client didn't enable CONDSTORE/QRESYNC.
We should have been checking client->enabled_features, not
mailbox_get_enabled_features(). The former contains the features enabled by
the IMAP client, while the latter contains also some automatically added
features.

lib-master: Increased instances file's dotlock timeout to 2 seconds.
The 1 second would have been enough, except the current dotlocking code
uses second-level precision in checking timeouts, so it could end up trying
the lock only once.

A better fix would be to fix the dotlocking code to use millisecond-level
precision (internally), but since this is the only user so far where it
would have mattered, it's not really worth the effort (yet).

lib: bsearch - make BINARY_NUMBER_SEARCH more widely usable
This template is more widely usable if we do not hard-code into it the
method of accessing the value being compared. For the default case
we already use, this accessor is just a simple array dereferencing
macro.

As rewriting with the array access happens in the preprocessor, the
code generated is completely unchanged.

Expected future use:

:  #define MY_GETTER(array, index) ((array)[(index)].index_field)
:  #define MY_BINARY_SEARCH(data, count, value, idx_r)                  \
:          BINARY_NUMERIC_SEARCH(MY_GETTER, data, count, value, idx_r);

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-dict: dict-fs implements now minimal iteration support.

doveadm dict iter: Use recursion flag only if -R parameter is specified.

fs-posix: When deleting a directory, automatically fallback to rmdir()ing it

virtual: Using modseq-based syncing while mailbox was open didn't handle expunges correctly.
The expunges were handled only after EXPUNGE command was given, which should
have been done only for mails that no longer matched the search query but
still existed.

quota: Quota recalculation didn't include INBOX in some configurations.
If one inbox=yes and another inbox=no namespace shared the same mail
location, and the inbox=no namespace was first, only it was used to list all
mailboxes.

lib: test-var-expand - disambiguate tests
Two test cases had the same name.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: hash-format - fix leak on _init() failure path
If any of the analysis/parse helpers return failure, then the whole pool
will leak.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: SEARCH_MAILBOX* value is now also compared to to the (virtual) mailbox name.
This fixes for example "doveadm fetch uid mailbox virtual/all"

doveadm fts rescan: For virtual namespaces just mark the last indexed UID to 0.

fts: dovecot-expunges.log wasn't closed at deinit

lib: test-strnum - fix format size mismatch
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-strnum - add size-oblivious str_to/parse_uintmax tests
Test a value of every bit-length. Also test the 10/9*MAX corner case.
And due to crappy helper functions, test lots of leading zeroes too!

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: remove uintmax tests from uint64 tests
These log a warning on OSX with clang.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: strnum - ensure str_to_uintmax doesn't return a value on error
It was clobbering the _r parameter even though the spec says it shouldn't.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: Moved doveadm-specific code to doveadm directory.

fs-metawrap: Fixed iteration wrapping, broken by earlier changes.

Makefile: Fixed linking libdovecot-dsync

Compiler warning fix

lib-fs: fs-metawrap now fully wraps fs_iter_* to fix tracking struct fs.iters

lib-storage: Added mail_namespaces_init_add/finish() to manually initializing namespaces.

lib-storage: Added mail_user_dup()

lib-fs: Keep track of all fs_iters in fs.

lib-fs: Added wait_ioloop/prev_ioloop helpers to struct fs.

Install libdovecot-dsync.so library, which can be used separately.

dsync: Moved all doveadm-specific code to doveadm-dsync.c

lib-http: server: Fixed connection reference counting.
Connection often still got destroyed too early. Particularly submitting
responses would potentially destroy the connection, which is often
unexpected. Sending responses is now postponed until handled by the stream
output handler, which is explicitly triggered when necessary.

fs-posix: Fixed fs_iter_deinit() when opendir() had failed.

lib-http server: Keep output stream referenced to avoid accessing it after destroy.

fs-metawrap: Add FS_PROPERTY_COPY_METADATA property for wrapped fs backends.
This is because if we simply use the parent copy the metadata gets copied
as well.

fs-posix: Fixed memory leak in fs_iter_deinit()

lib-master: Earlier config file path fix broke reusing existing config socket lookups.

virtual: Recent optimizations had broken fast mailbox syncing.
We wrongly assumed that all_mails array could have been accessed using vseqs.
Broken by 8abf7eea2966

lib-mail: Message decoder now runs normalizer also for unknown charsets.

fts-lucene: No .. the rebuilding warning was still in the wrong place.

fts-lucene: Include the mailbox name also in the rebuilding warning.

fts-lucene: Log a warning when rebuilding index because of settings changes

man: Forgot to remove XXX prefixes from doveadm-director.1.in

replication plugin: Actually, use empty mail_replica as "replication is disabled".

replication plugin: Added replication_disabled setting.

man: doveadm-director man page updated

man: doveadm-auth man page updated

man: doveadm-dump man page updated

lib-test: don't use 0 for old size in realloc call
We have the real size, use it.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-index: test suite memory leak cleanup
So that memory leak checkers can be active while running the test
suites, ensure that the suite itself doesn't leak.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-seq-range-array - clean up array after use
Removes noise when memory-leak debugging during unit tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-aqueue - clean up the test queue each time round the loop
Helps keep noise out of memory leak debugging during unit tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - clean up our test-istreams
This reduces noise when memory leak debugging the unit tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: Reset I/O timeout every time when receiving input.
This could have caused unwanted I/O timeouts when receiving large mails.

pop3: Optimize POP3 UIDL processing when duplicate renaming is not active.

lib-http: client: Implemented support for connection failure backoff.

lib-http: client: Added support for attempting a single IP several times.
Also limits the number of attempts when there are many IPs.

lib-http: client: Tunnel connection failure would cause segfault.
That happened because it tried to retry waiting requests, which makes no sense for a CONNECT tunnel.

lib-http: server: Added support for authentication.

lib-http: Implemented HTTP auth (RFC 7235).

lib-http: server: Added assert to connect callback which makes sure request is either responded to or referenced.
Earlier change added this only to callback for normal requests, but CONNECT should be handled the same in this respect.

lib-http: server: Fixed delayed request destruction.
Destruction was actually delayed indefinitely, because the delay flag was not reset.
Obviously, this caused a memory leak.

lib-http: server: Made sure destroy callback is called only once.

lib-http: server: Fixed segfault occurring in connection input handler.
Request handlers could close and destroy the connection early.
Fixed by holding a reference in the input handler.

lib-http: server: Fixed handling of disconnection while request is being handled.
This would cause an assert failure.

lib-master: Fixed -c & -i command line parameters when config socket was readable.
The config socket was always being read, even if another config file was
attempted to be used.

pop3c: Added missing support for pop3c_ssl=starttls

COPYING.LGPL: Updated FSF mailing address.
Also some whitespace and line wrapping changes. Used the same file as
http://www.gnu.org/licenses/lgpl-2.1.txt

pop3c: If base_dir isn't set, lookup pop3c_host with regular blocking DNS lookup.

lib-storage: Compile fix to previous change
The original patch was correct, my copy&pasting by hand just sucked. :)

lib-storage: Fixed off-by-one memory allocation in dynamic settings allocation code.
This didn't actually affect normal Dovecot builds, because there were always
some storages with get_setting_parser_info=NULL that added the necessary
padding.

Patch by Michael M Slusarz

fs layout: Absolute paths as mailbox names shouldn't return index with INDEX=MEMORY

lib-index, lib-storage: Fixed race conditions with deleting mailbox.
Now only one process can successfully finish mailbox_mark_index_deleted().

lib-fs: Keep a linked list of all files within fs to help debugging.

Added UNLINK_EISDIR() helper macro.

maildir: Handle unlink()=EPERM failure the same as EISDIR.
EPERM is POSIX, while EISDIR is Linux-specific.

lib-fs: Fixed metawrap_fs.copy() to work with FS_PROPERTY_COPY_METADATA backends.
This is done by simply copying the entire file with the metadata included
instead of rewriting it.

Replaced dict_init() with dict_init_full() in various places.

lib-dict: file backend now expands ~/ paths if home_dir setting is set.

lib-dict: Changed dict.init() API to take struct dict_settings and added dict_init_full().
This allows giving more settings to dict in future as needed. Unfortunately
it also breaks the internal dict API, but there aren't really any plugins
widely using it, so it's not a big problem.