sdbox: Fixed race condition when two processes mkdir() the same directory

Minor code cleanup to previous change.
No need to have a data stack frame here.

log_timestamp setting supports now %{usecs}
This is mainly useful for debugging.

man: Added doveadm-replicator.1.

man: Forgot to update doveadm.1 in previous commit (fec91a386bb0).

man: Reworked dsync.1 and renamed it to doveadm-sync.1.

dsync: Debug logging improvements and comment clarifications.

dsync: Fixed potential crash when deleting mailbox.

doveadm backup: Don't unnecessarily delete mailbox when handling expunges

doveadm backup: Local mailbox was deleted also when there were just new messages.

doveadm backup: When deleting a mailbox, log a warning, not just a debug message.
Because we're also returning temporary failure in any case, so there needs
to be some kind of a warning/error logged.

dsync: Fixed linking with some systems.

doveadm sync/backup: Updated usage string

lib: Added support for connecting UDP sockets.

lib-http: Fixed detecting disconnection when ioloop is running only intermittently.
This fix only applies to ioloops created and run by lib-http itself.

lib-http: client: Added support for absolute request timeout.
Requests cannot survive beyond this deadline.

lib-http: client: Added support for delaying requests in milliseconds.

lib-http: client queue: Start using new timeval_cmp_margin function for delay handling.

lib: Fixed io_loop_move_timeout() to retain the next_run time, so that the timeout is not implicitly reset.
This problem became with timeout_add_absolute(), since resetting an
absolute timeout causes it to fire immediately (msecs == 0).

lib: ioloop: Fixed absolute timeout removal.
Absolute timeouts fire only once, so the timeout should be removed from the
priority queue once it fires.

lib-http: client: Fixed problem occuring when a nested ioloop was run inside a request callback using the same client.
If requests in the nested ioloop would use the same connection as the one
that called the callback, the requests would (in the best scenario) all be
doomed to time out.

fs-posix: Compile fix for systems without flock()

Make static analyzer happier

lib-lda: smtp client may have crashed if remote returned a permanent error.

Added signature for changeset 34e52cbeb837

Added tag 2.2.14.rc1 for changeset 34e52cbeb837

Released v2.2.14.rc1.

example-config: Added ssl_options setting.

imap: GETMETADATA was returning mailbox name as UTF-8 instead of mUTF-7

fs-posix: Added prefix parameter that is prefixed to all paths.

lib-lda, lmtp: Separate internal errors from remote errors.
LMTP proxy shouldn't log remote errors with error level, because the proxy
itself didn't have any failure.

This is an API change, but I'm not aware of any plugins actually using the
lmtp-client.h directly.

master: If log process crashes, restart it immediately.
The regular service_monitor_listen_start() doesn't work for it, because the
log fds aren't in the listeners.

dsync: Debug message fix

lib-storage: Added %{session} to mail_user_var_expand_table()

dsync: Improved debug logging.

dsync: Added more debug logging.

doveadm backup: Fix to earlier commit - don't try to delete an already empty mailbox.

doveadm backup: Locally expunged mails weren't always added back.

lib-http: client: Fixed recovery after connection failure.
If a parallel already connected connection was active, the queue wasn't notified of the failure.
Only pending connections should be considered in this case and not established ones.

lib-http: client: Fixed aborting request in the middle of sending payload.
If the request payload is so big that it cannot be sent all at once, the
caller may at some point abort the request when it is still being sent. The
bug occurred when the request finally finished sending. It erroneously
advanced the state to WAITING rather than remaining ABORTED, thus
'reviving' the request unexpectedly.

lib: Fixed earlier timeout_add_absolute() commit.
I removed too much from Stephan's patch.

lib: Created timeval_cmp_margin().
It's identical to timeval_cmp(), except that it ignores tv_usec differences
smaller than a specified margin.

lib: Added support for adding milliseconds to struct timeval time values.

lib: Added support for setting timeouts at absolute time, rather than relative to current time.

lib-http: client: The http_client_queue_fail() function aborted requests in an unsafe manner.
Copied queues before freeing the requests, because the destroyed requests modify the queue.

lib-http: client: Fixed crash occurring sometimes when delay timeout expired.
Forgot to drop destroyed requests from delay queue.

lib-sasl: Added reference counting to lib-sasl initialization.

lib: Improved istream-file's failing read()/pread() error message.

lib: If i_stream_default_seek_nonseekable() can't seek, set a more readable error message.

lib-lda: smtp_client_deinit() may have returned NULL error strings.

lib-http: Fixed assert-crash when http_client_connection_disconnect() is called multiple times.

dsync: Added DSYNC_BRAIN_FLAG_NO_MAIL_PREFETCH to avoid opening mails unnecessarily.

lib-storage: Don't assume that we must read the whole message to get its virtual size.
This is true only with mbox format. All the other formats have various
metadata available where it's stored.

imap: die-callback didn't set log prefixes correctly for client handlers
Calling mail_storage_service_io_activate_user() unfortunately doesn't set
the ioloop context itself, so timeouts weren't inheriting it. It seemed a
bit difficult to change this, so for now I just moved the call to the
timeout handler.

lib: If file_wait_lock*() fails, try to include the current pid holding the lock in error message.
This is currently supported via fcntl(F_GETLK) and also via Linux
/proc/locks.

imap, pop3: Show user's proper log prefix when deinitializing users at exit.

lib-storage: Allow calling storage service's ioloop activate/deactivate functions manually.

lib: Code cleanup - check io_loop_context_add/remove_callbacks() callback parameters.

Mark more memory pools as growing

auth: Mark memory pools as growing and use the same sizes for all mechanisms.
Mainly to have DEBUG log fewer warnings.

Avoid logging warnings about increasing memory pool/data stack with DEBUG on.
These could have a minor effect on memory usage, but shouldn't be much.

lib: Added file_wait_lock_error() and file_try_lock_error()

fs-posix: fs_read_stream() now returns an istream that can live even after the fs_file is closed.

lib-storage: Added mailbox_get_index_path() and caching of the index path.
This solves some potential assert-crashes on race conditions when opening a
mailbox while it's being deleted.

lib-storage: Headers were sometimes added to dovecot.index.cache with wrong line number value.
This happened if the header parsing was done multiple times for the same
mail. The end result being that when fetching multiple headers as a stream,
the headers could have been returned in the wrong order. This messed up at
least dsync's header hash comparisons.

imapc: Fixed potential crash when trying to send NOOP before mailbox was fully opened.

imapc: If connection isn't in selected state when deleting mailbox, don't try to UNSELECT it.

man: Added doveadm-fts.1.

man: Added doveadm-acl.1.

imap: Don't send MODSEQ in untagged FETCH reply if IMAP client didn't enable CONDSTORE/QRESYNC.
We should have been checking client->enabled_features, not
mailbox_get_enabled_features(). The former contains the features enabled by
the IMAP client, while the latter contains also some automatically added
features.

lib-master: Increased instances file's dotlock timeout to 2 seconds.
The 1 second would have been enough, except the current dotlocking code
uses second-level precision in checking timeouts, so it could end up trying
the lock only once.

A better fix would be to fix the dotlocking code to use millisecond-level
precision (internally), but since this is the only user so far where it
would have mattered, it's not really worth the effort (yet).

lib: bsearch - make BINARY_NUMBER_SEARCH more widely usable
This template is more widely usable if we do not hard-code into it the
method of accessing the value being compared. For the default case
we already use, this accessor is just a simple array dereferencing
macro.

As rewriting with the array access happens in the preprocessor, the
code generated is completely unchanged.

Expected future use:

:  #define MY_GETTER(array, index) ((array)[(index)].index_field)
:  #define MY_BINARY_SEARCH(data, count, value, idx_r)                  \
:          BINARY_NUMERIC_SEARCH(MY_GETTER, data, count, value, idx_r);

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-dict: dict-fs implements now minimal iteration support.

doveadm dict iter: Use recursion flag only if -R parameter is specified.

fs-posix: When deleting a directory, automatically fallback to rmdir()ing it

virtual: Using modseq-based syncing while mailbox was open didn't handle expunges correctly.
The expunges were handled only after EXPUNGE command was given, which should
have been done only for mails that no longer matched the search query but
still existed.

quota: Quota recalculation didn't include INBOX in some configurations.
If one inbox=yes and another inbox=no namespace shared the same mail
location, and the inbox=no namespace was first, only it was used to list all
mailboxes.

lib: test-var-expand - disambiguate tests
Two test cases had the same name.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: hash-format - fix leak on _init() failure path
If any of the analysis/parse helpers return failure, then the whole pool
will leak.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: SEARCH_MAILBOX* value is now also compared to to the (virtual) mailbox name.
This fixes for example "doveadm fetch uid mailbox virtual/all"

doveadm fts rescan: For virtual namespaces just mark the last indexed UID to 0.

fts: dovecot-expunges.log wasn't closed at deinit

lib: test-strnum - fix format size mismatch
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-strnum - add size-oblivious str_to/parse_uintmax tests
Test a value of every bit-length. Also test the 10/9*MAX corner case.
And due to crappy helper functions, test lots of leading zeroes too!

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: remove uintmax tests from uint64 tests
These log a warning on OSX with clang.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: strnum - ensure str_to_uintmax doesn't return a value on error
It was clobbering the _r parameter even though the spec says it shouldn't.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: Moved doveadm-specific code to doveadm directory.

fs-metawrap: Fixed iteration wrapping, broken by earlier changes.

Makefile: Fixed linking libdovecot-dsync

Compiler warning fix

lib-fs: fs-metawrap now fully wraps fs_iter_* to fix tracking struct fs.iters

lib-storage: Added mail_namespaces_init_add/finish() to manually initializing namespaces.

lib-storage: Added mail_user_dup()

lib-fs: Keep track of all fs_iters in fs.

lib-fs: Added wait_ioloop/prev_ioloop helpers to struct fs.

Install libdovecot-dsync.so library, which can be used separately.

dsync: Moved all doveadm-specific code to doveadm-dsync.c

lib-http: server: Fixed connection reference counting.
Connection often still got destroyed too early. Particularly submitting
responses would potentially destroy the connection, which is often
unexpected. Sending responses is now postponed until handled by the stream
output handler, which is explicitly triggered when necessary.

fs-posix: Fixed fs_iter_deinit() when opendir() had failed.

lib-http server: Keep output stream referenced to avoid accessing it after destroy.