replication plugin: Use low priority for mail copying operations.

lib: Added unit tests for guid_128_*()

lib: Added guid_128_copy()

lib-http: client: If peer is unlinked from queue and no other links remain, close any pending connections.
Those pending connections would no longer serve any purpose.

lib-storage: LAYOUT=index no longer keeps list index locked while creating mailbox.
Mailbox opening can be slow and complicated and could even try to lock the
list index again. So it's a bit more racy now, but all mailbox formats can
already handle races with mailbox creation.

lib-storage: Partially reverted previous change. Added mailbox_list_index_sync_delete() instead.

lib-storage: Added mailbox_list_index_delete_entry()

lib: test-buffer was randomly crashing with SIGFPE

lib-http: client: Created list of all submitted requests.
Currently only needed to improve debugging of hanging requests.

lib-http: client: Fixed behavior of connection backoff timer when multiple IPs are returned for hostname.
Peer backoff data was lost because peer was destroyed quickly. Now the peer
object is retained during the backoff period, so that new connection
attempts adhere to the backoff period.

lib-http: client: Connection erroneously indicated that it was ready while SSL handshake was not yet completed.

lib-http: client: Fixed behavior for max_connect_attempts with fewer IPs than attempts.
This was broken by earlier 'fix'.

lib-http: client: Fixed handling of connection timeouts.
A timeout caused an assert failure, because the connection status was
altered before the peer_connection_failure handler was called.

man: Reworked some formatting requests.

On some systems, for example SunOS 5.10, the example commands were cut off.

imap, pop3, lmtp: If client gets disconnected due to iostream error, log the full error.

doveadm fetch: If istream reading fails, log a better error message.

lib-storage: When logging about corrupted cached message size, log the filename also.

lib-storage: If we detect a broken cached message size, log more information about it.
Also try to include one of the cached headers in the message, which could
allow detecting if the cached data pointed to a completely different
message.

lib-lda: And fixed the earlier commit.

lib-lda: duplicate_flush() now unlocks the duplicate database even if nothing had changed.

lib-storage: LAYOUT=index doesn't reserve '~' as internal separator anymore.
The index doesn't reserve any character as hierarchy separator, so the
internal separator can change at any time. Use the namespace's configured
hierarchy separator as the internal separator to avoid reserving any
characters. If namespace separator isn't configured, fallback to the
original '~' so this change shouldn't break anything.

doveconf: Changed _doveconf_comment symbol suffix to _doveconf_banner
That describes its behavior better.

doveconf: Allow settings plugins to print comments to the output header.
If plugin contains <plugin name>_doveconf_comment string, it's written as
part of the doveconf output. The idea mainly being that the major plugins
(such as Pigeonhole) could print their version number there to avoid having
to ask for it separately.

imap-zlib: Removed check for disallowing COMPRESS to be used with TLS compression.
Clients shouldn't be doing this in any case, and this check doesn't work
properly with proxies.

We could solve the check properly for Dovecot proxies by having them send
the TLS compression state to backends, but it would still leave non-Dovecot
proxies broken. Although we could just not advertise COMPRESS=DEFLATE
extension if TLS compression is enabled and non-Dovecot proxies at least
wouldn't cause failures. Still, overall seems like a lot of work for such a
small and probably unnecessary extra check.

lib-ssl-iostream: Allow commas also in ssl_protocols setting.

Compiling fix for some systems.

auth: Minor fix to previous commit.

auth: Check for empty username after doing all the username changes.

Added signature for changeset 6dad1f6e8930

Added tag 2.2.14 for changeset 6dad1f6e8930

Released v2.2.14.

lib-storage: Added X-REAL-UID search parameter.

Compiler warning fix

lib: i_stream_read_next_line() now sets a better error message if line is too long.

auth: Fix to earlier commit: Don't try to resume already finished user iteration.

lib-index: Automatically grow header size on header updates.
This fixes assert-crashes when it didn't happen.

For example an old Maildir index could have had a header size 24. Dovecot
crashed then when trying to update it, because the new header size is 36 and
there wasn't an explicit mail_index_ext_resize_hdr() call.

Compile fix for systems without dlopen()

lib-http: client: Moved delayed failed requests from host to client object.

lib-http: client: With the recent addition of a connection attempt limit, connection failures weren't always handled correctly.

lib-http: client: Fixed segfault caused by earlier change.

auth: Make sure userdb iteration is destroyed if worker connection disconnects.

auth: Userdb iteration optimization.
Don't keep re-creating the timeout after iterating each user.

lib-dns: The dns_lookup() call caused a crash upon a connect error, because dns_client_disconnect() can indirectly call itself recursively.
Solved by dropping the list of lookups from the client object before the
lookups are destroyed.

auth: If userdb iteration client disconnects early, make sure we don't get stuck.

maildir: Don't limit uidlist line lengths to 4096 bytes.
Although this always indicates corruption, the current code doesn't handle
that very nicely. One fix would be to just ignore such long lines, but this
is easier to implement..

lib-http: client: Fixed assert crash occurring when DNS lookup fails immediately during request submission.
In that situation, the request was not dropped from the queue immediately, triggering the assert crash.

lib-lda: Compiler warning fix

mbox: Removed obsolete code that also wasn't compiling because of previous commit.

man: doveadm-acl.1: Corrected description of default output formatter.

lib-index: Removed dovecot.index locking related code, which is no longer used.

lib: Updated comment to o_stream_send_istream()

lib: Fixed assert-crash in o_stream_send_istream() if input stream was the one that failed.

lib-index: Added mail_index_sync_no_warning() to prevent "long transaction lock" warnings.
Use it with Maildir to prevent double-warning.

lib-index: Include reason string in warnings about keeping transaction log locked for too long.

lib-index: Replaced some automatic transaction log unlocks with asserts.
Some earlier Dovecot versions were read-locking transaction logs and this
was useful there. But now we only do exclusive locking for the log head, so
it's an error not to explicitly unlock the files.

lib-index: If locking transaction log times out, show the PID which has it locked.

maildir: Use MAIL_TRANSACTION_LOG_LOCK_WARN_SECS as threshold for logging a "long sync" warning.
This is because the index syncing keeps the log locked, and other processes
trying to lock the log will start logging warnings as well.

lib-index: Moved MAIL_TRANSACTION_LOG_LOCK_WARN_SECS as part of public API.

lib: o_stream_send_istream() shouldn't ignore EINTRs for file ostreams.
Also added extra asserts to make sure that either we return an error or we
write everything from input stream to output stream. This should make it
safe to write to files using just:

if (o_stream_send_istream(ostream, istream) < 0) {
  // failed
} else {
  // everything in istream was written to ostream
}

lib: o_stream_send_istream() should return -1 if there was an error reading input stream.

lib: Added file_lock_find() to find which process has a file locked.

lib-storage: Small comment update

lib-storage: If uncached header unfolding fails, panic instead of returning error.
This really shouldn't be happening. This also makes it clear that return
value -1 means some kind of I/O error instead of corruption.

lib-storage: Fixed header parsing when there were multiple same header names.
For example if a mail had:

Name1: a
Name1: b
Name2: c

If the Name1: was initially added to cache and Name2: not, but later on both
were attempted to be added to cache, the Name2: lookup would have been added
with "b" instead of "c" value.

lib-lda: Added smtp_client_abort()

lda, lmtp: Use mail_deliver_context.tempfail_error first if it exists (instead of storage error).

lib: Compiling fix for FreeBSD
Patch by Eero Hänninen

lib-storage: LAYOUT=index small code cleanup

lib-storage: Fixed earlier LAYOUT=index change to refresh index before opening a view to it.
Fixes an assert-crash.

man: Added doveadm-proxy.1.

lib-storage: Fixed some race condition crashes with LAYOUT=index

lib-storage: Fixed assert-crash when BODYSTRUCTURE parsing fails due to broken mail size.

lib-mail: Added asserts

lib-index: Fixed assert-crash in some cache locking race conditions.
If mail_index_map() is being called, we can't refresh the index or it'll
crash. It wouldn't help anyway, since the index was just refreshed.

lib-fs: struct fs_file's write_pending is a flag
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-index: Delay unlocking cache compression until changes to transaction log are committed.
This should fix race condition with two processes compressing the file at
the same time with same file_seq and becoming confused.

lib-index: Added path parameter to mail_index_create_tmp_file()
This allows using it for creating any kind of a new index file with proper
file permissions.

Some of the old code should probably be changed to use this. Maybe even move
this function to public mail-index.h

lib-index: Try to minimize race conditions while compressing cache.
There are some unavoidable race conditions, but try to keep their time
window as small as possible.

lib-index: mail_cache_lock() partial rewrite.
require_same_reset_id is no longer needed, if it ever was. If we're locking
the cache file, we always want the latest one. The logic of locking in
general was somewhat confusing and it probably didn't always successfully
lock when it should have, because the reset_id happened to match an old
file.

lib-index: Code cleanup - avoid code duplication.

lib-index: Fixed cache file creation race condition.
If two processes are creating the index files at the same time, don't have
one of them delete the dovecot.index.cache that the other one just created.
This means we never should be calling mail_cache_create(), so it was removed
entirely.

lib-index: Don't keep cache file locked for as long while syncing index.
The earlier code was required for updating the cache offsets, but this code
no longer exists. Now we just need to update the record counts in the
header, which can be done quickly at the end of the sync.

man: Fixed broken syntax in doveadm-sync.1.

lib-dict: Fixed race condition in mkdir()ing dict file's parent directory.

sdbox: Fixed race condition when two processes mkdir() the same directory

Minor code cleanup to previous change.
No need to have a data stack frame here.

log_timestamp setting supports now %{usecs}
This is mainly useful for debugging.

man: Added doveadm-replicator.1.

man: Forgot to update doveadm.1 in previous commit (fec91a386bb0).

man: Reworked dsync.1 and renamed it to doveadm-sync.1.

dsync: Debug logging improvements and comment clarifications.

dsync: Fixed potential crash when deleting mailbox.

doveadm backup: Don't unnecessarily delete mailbox when handling expunges

doveadm backup: Local mailbox was deleted also when there were just new messages.

doveadm backup: When deleting a mailbox, log a warning, not just a debug message.
Because we're also returning temporary failure in any case, so there needs
to be some kind of a warning/error logged.

dsync: Fixed linking with some systems.

doveadm sync/backup: Updated usage string

lib: Added support for connecting UDP sockets.

lib-http: Fixed detecting disconnection when ioloop is running only intermittently.
This fix only applies to ioloops created and run by lib-http itself.

lib-http: client: Added support for absolute request timeout.
Requests cannot survive beyond this deadline.