Added tag 2.2.14 for changeset 6dad1f6e8930

Released v2.2.14.

lib-storage: Added X-REAL-UID search parameter.

Compiler warning fix

lib: i_stream_read_next_line() now sets a better error message if line is too long.

auth: Fix to earlier commit: Don't try to resume already finished user iteration.

lib-index: Automatically grow header size on header updates.
This fixes assert-crashes when it didn't happen.

For example an old Maildir index could have had a header size 24. Dovecot
crashed then when trying to update it, because the new header size is 36 and
there wasn't an explicit mail_index_ext_resize_hdr() call.

Compile fix for systems without dlopen()

lib-http: client: Moved delayed failed requests from host to client object.

lib-http: client: With the recent addition of a connection attempt limit, connection failures weren't always handled correctly.

lib-http: client: Fixed segfault caused by earlier change.

auth: Make sure userdb iteration is destroyed if worker connection disconnects.

auth: Userdb iteration optimization.
Don't keep re-creating the timeout after iterating each user.

lib-dns: The dns_lookup() call caused a crash upon a connect error, because dns_client_disconnect() can indirectly call itself recursively.
Solved by dropping the list of lookups from the client object before the
lookups are destroyed.

auth: If userdb iteration client disconnects early, make sure we don't get stuck.

maildir: Don't limit uidlist line lengths to 4096 bytes.
Although this always indicates corruption, the current code doesn't handle
that very nicely. One fix would be to just ignore such long lines, but this
is easier to implement..

lib-http: client: Fixed assert crash occurring when DNS lookup fails immediately during request submission.
In that situation, the request was not dropped from the queue immediately, triggering the assert crash.

lib-lda: Compiler warning fix

mbox: Removed obsolete code that also wasn't compiling because of previous commit.

man: doveadm-acl.1: Corrected description of default output formatter.

lib-index: Removed dovecot.index locking related code, which is no longer used.

lib: Updated comment to o_stream_send_istream()

lib: Fixed assert-crash in o_stream_send_istream() if input stream was the one that failed.

lib-index: Added mail_index_sync_no_warning() to prevent "long transaction lock" warnings.
Use it with Maildir to prevent double-warning.

lib-index: Include reason string in warnings about keeping transaction log locked for too long.

lib-index: Replaced some automatic transaction log unlocks with asserts.
Some earlier Dovecot versions were read-locking transaction logs and this
was useful there. But now we only do exclusive locking for the log head, so
it's an error not to explicitly unlock the files.

lib-index: If locking transaction log times out, show the PID which has it locked.

maildir: Use MAIL_TRANSACTION_LOG_LOCK_WARN_SECS as threshold for logging a "long sync" warning.
This is because the index syncing keeps the log locked, and other processes
trying to lock the log will start logging warnings as well.

lib-index: Moved MAIL_TRANSACTION_LOG_LOCK_WARN_SECS as part of public API.

lib: o_stream_send_istream() shouldn't ignore EINTRs for file ostreams.
Also added extra asserts to make sure that either we return an error or we
write everything from input stream to output stream. This should make it
safe to write to files using just:

if (o_stream_send_istream(ostream, istream) < 0) {
  // failed
} else {
  // everything in istream was written to ostream
}

lib: o_stream_send_istream() should return -1 if there was an error reading input stream.

lib: Added file_lock_find() to find which process has a file locked.

lib-storage: Small comment update

lib-storage: If uncached header unfolding fails, panic instead of returning error.
This really shouldn't be happening. This also makes it clear that return
value -1 means some kind of I/O error instead of corruption.

lib-storage: Fixed header parsing when there were multiple same header names.
For example if a mail had:

Name1: a
Name1: b
Name2: c

If the Name1: was initially added to cache and Name2: not, but later on both
were attempted to be added to cache, the Name2: lookup would have been added
with "b" instead of "c" value.

lib-lda: Added smtp_client_abort()

lda, lmtp: Use mail_deliver_context.tempfail_error first if it exists (instead of storage error).

lib: Compiling fix for FreeBSD
Patch by Eero Hänninen

lib-storage: LAYOUT=index small code cleanup

lib-storage: Fixed earlier LAYOUT=index change to refresh index before opening a view to it.
Fixes an assert-crash.

man: Added doveadm-proxy.1.

lib-storage: Fixed some race condition crashes with LAYOUT=index

lib-storage: Fixed assert-crash when BODYSTRUCTURE parsing fails due to broken mail size.

lib-mail: Added asserts

lib-index: Fixed assert-crash in some cache locking race conditions.
If mail_index_map() is being called, we can't refresh the index or it'll
crash. It wouldn't help anyway, since the index was just refreshed.

lib-fs: struct fs_file's write_pending is a flag
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-index: Delay unlocking cache compression until changes to transaction log are committed.
This should fix race condition with two processes compressing the file at
the same time with same file_seq and becoming confused.

lib-index: Added path parameter to mail_index_create_tmp_file()
This allows using it for creating any kind of a new index file with proper
file permissions.

Some of the old code should probably be changed to use this. Maybe even move
this function to public mail-index.h

lib-index: Try to minimize race conditions while compressing cache.
There are some unavoidable race conditions, but try to keep their time
window as small as possible.

lib-index: mail_cache_lock() partial rewrite.
require_same_reset_id is no longer needed, if it ever was. If we're locking
the cache file, we always want the latest one. The logic of locking in
general was somewhat confusing and it probably didn't always successfully
lock when it should have, because the reset_id happened to match an old
file.

lib-index: Code cleanup - avoid code duplication.

lib-index: Fixed cache file creation race condition.
If two processes are creating the index files at the same time, don't have
one of them delete the dovecot.index.cache that the other one just created.
This means we never should be calling mail_cache_create(), so it was removed
entirely.

lib-index: Don't keep cache file locked for as long while syncing index.
The earlier code was required for updating the cache offsets, but this code
no longer exists. Now we just need to update the record counts in the
header, which can be done quickly at the end of the sync.

man: Fixed broken syntax in doveadm-sync.1.

lib-dict: Fixed race condition in mkdir()ing dict file's parent directory.

sdbox: Fixed race condition when two processes mkdir() the same directory

Minor code cleanup to previous change.
No need to have a data stack frame here.

log_timestamp setting supports now %{usecs}
This is mainly useful for debugging.

man: Added doveadm-replicator.1.

man: Forgot to update doveadm.1 in previous commit (fec91a386bb0).

man: Reworked dsync.1 and renamed it to doveadm-sync.1.

dsync: Debug logging improvements and comment clarifications.

dsync: Fixed potential crash when deleting mailbox.

doveadm backup: Don't unnecessarily delete mailbox when handling expunges

doveadm backup: Local mailbox was deleted also when there were just new messages.

doveadm backup: When deleting a mailbox, log a warning, not just a debug message.
Because we're also returning temporary failure in any case, so there needs
to be some kind of a warning/error logged.

dsync: Fixed linking with some systems.

doveadm sync/backup: Updated usage string

lib: Added support for connecting UDP sockets.

lib-http: Fixed detecting disconnection when ioloop is running only intermittently.
This fix only applies to ioloops created and run by lib-http itself.

lib-http: client: Added support for absolute request timeout.
Requests cannot survive beyond this deadline.

lib-http: client: Added support for delaying requests in milliseconds.

lib-http: client queue: Start using new timeval_cmp_margin function for delay handling.

lib: Fixed io_loop_move_timeout() to retain the next_run time, so that the timeout is not implicitly reset.
This problem became with timeout_add_absolute(), since resetting an
absolute timeout causes it to fire immediately (msecs == 0).

lib: ioloop: Fixed absolute timeout removal.
Absolute timeouts fire only once, so the timeout should be removed from the
priority queue once it fires.

lib-http: client: Fixed problem occuring when a nested ioloop was run inside a request callback using the same client.
If requests in the nested ioloop would use the same connection as the one
that called the callback, the requests would (in the best scenario) all be
doomed to time out.

fs-posix: Compile fix for systems without flock()

Make static analyzer happier

lib-lda: smtp client may have crashed if remote returned a permanent error.

Added signature for changeset 34e52cbeb837

Added tag 2.2.14.rc1 for changeset 34e52cbeb837

Released v2.2.14.rc1.

example-config: Added ssl_options setting.

imap: GETMETADATA was returning mailbox name as UTF-8 instead of mUTF-7

fs-posix: Added prefix parameter that is prefixed to all paths.

lib-lda, lmtp: Separate internal errors from remote errors.
LMTP proxy shouldn't log remote errors with error level, because the proxy
itself didn't have any failure.

This is an API change, but I'm not aware of any plugins actually using the
lmtp-client.h directly.

master: If log process crashes, restart it immediately.
The regular service_monitor_listen_start() doesn't work for it, because the
log fds aren't in the listeners.

dsync: Debug message fix

lib-storage: Added %{session} to mail_user_var_expand_table()

dsync: Improved debug logging.

dsync: Added more debug logging.

doveadm backup: Fix to earlier commit - don't try to delete an already empty mailbox.

doveadm backup: Locally expunged mails weren't always added back.

lib-http: client: Fixed recovery after connection failure.
If a parallel already connected connection was active, the queue wasn't notified of the failure.
Only pending connections should be considered in this case and not established ones.

lib-http: client: Fixed aborting request in the middle of sending payload.
If the request payload is so big that it cannot be sent all at once, the
caller may at some point abort the request when it is still being sent. The
bug occurred when the request finally finished sending. It erroneously
advanced the state to WAITING rather than remaining ABORTED, thus
'reviving' the request unexpectedly.

lib: Fixed earlier timeout_add_absolute() commit.
I removed too much from Stephan's patch.

lib: Created timeval_cmp_margin().
It's identical to timeval_cmp(), except that it ignores tv_usec differences
smaller than a specified margin.

lib: Added support for adding milliseconds to struct timeval time values.

lib: Added support for setting timeouts at absolute time, rather than relative to current time.

lib-http: client: The http_client_queue_fail() function aborted requests in an unsafe manner.
Copied queues before freeing the requests, because the destroyed requests modify the queue.