Added signature for changeset a3c27cec4112

Added tag 2.2.16.rc1 for changeset a3c27cec4112

Released v2.2.16.rc1.

lib-mail: Unit test fix to make static analyzer happier

lmtp: Fixed lmtp_user_concurrency_limit=0 to actually mean unlimited

lda/lmtp: Added a hardcoded LDA_SUBMISSION_TIMEOUT_SECS=30 timeout for SMTP client.
Maybe we could have a new setting if needed later on, but we've been working
pretty successfully without any timeout for a long time..

lib-lda: Added smtp_client_deinit_timeout() to give a session timeout.

lib-lda: lmtp client now supports checking for timeouts internally.
The default is still to have no timeout.

lib-fs: struct fs_stats comment updates

lib-fs: Minor code cleanup: Merge read_counted & prefetch_counted into read_or_prefetch_counted

lib-master: Added anvil_client_query_abort()

lmtp: Added lmtp_user_concurrency_limit setting.
This allows limiting the number of concurrent deliveries to a single user.
Useful in case one user is receiving a lot of mails and causing other
deliveries to be delayed. If the limit is reached, Dovecot returns temporary
failure error at DATA stage.

lmtp: Changed rcpt_to array to contain pointers to struct mail_recipient
This allow storing the pointers so they don't change.

pop3-login: Disconnect client on 3rd invalid command (not 11th).

lib: Minor improvement to test-wildcard-match unit test.

quota: If overquota-flag in userdb is wrong, execute a configured script.
The idea here is that a quota_warning script could set user's overquota-flag
to e.g. LDAP where MTA could reject mails already at RCPT TO stage. The
quota_warning scripts however have race conditions that are difficult (or
impossible) to fix, so sometimes the overquota-flag could become wrong and
might require manual intervention to fix it. This feature is supposed to
solve the issue by comparing the overquota-flag's status to the actual
current quota usage and execute a script to fix up the situation if needed.
This script is of course racy as well, but there's always the next login
that can fix the situation. Also it's pretty rare that user's quota is
jumping just around the limit.

The overquota-flag name in userdb must be "quota_over_flag". There are two
settings to configure what to do:

plugin {
  # If quota_over_flag=TRUE, the overquota-flag is enabled. Otherwise not.
  quota_over_flag_value = TRUE

  # Any non-empty value for quota_over_flag means user is over quota.
  # Wildcards can be used in a generic way, e.g. "*yes" or "*TRUE*"
  #quota_over_flag_value = *

  # Service script to execute if overquota-flag is wrong. Configured the
  # same as quota_warning scripts. The current quota_over_flag's value is
  # appended as the last parameter.
  quota_over_script = quota-warning mismatch %u
}

stats process/plugin redesign to be more modular.
The visible functionality doesn't actually change with this patch yet, but
it allows other plugins/services to add their own fields to stats process.
For example auth process could send auth success/failures or auth cache
hits/misses.

lib: Don't call ioloop context deactivate() if activate() hasn't been called yet.
This could have happened immediately after the callback was registered.

lib-fs: Track how many different operations have been done on the fs.

lib-fs: Added fs_get_parent() and fs_get_driver()
These can be used to iterate through fs wrappers and see what they are.

doveadm backup: Try to avoid crashing on unexpected destination changes.
It's a bit difficult to reproduce this bug.. But at least this change should
change the assert, if nothing else.

dsync: Open mailboxes with readonly-flag whenever possible.
There shouldn't be any actual functional difference though.

doveadm backup -R: Open the mailbox as readonly, so with imapc EXAMINE is used.

lib-imap-client: Get capabilities again after reconnection to server.
This is needed most importantly if we're not using plaintext authentication
to log in.

lib-fs: Added FS_ITER_FLAG_NOCACHE

rawlog: Removed double '.' chars from log filenames

dict-redis: Added support for changing the Redis database.
Adding :db=N to the dict string specifies the database.

lib: Added assert to i_stream_create_seekable*() to have non-zero max_buffer_size.
This size is used for the created fd istream and it can't be zero.

lib: Give a name for istream-seekable's temporary fd istream.

lib-storage: Allow up to 255 chars in a single mailbox hierarchy name.
This also reduces the max number of hierarchy levels, but 16 should still be
enough for normal uses.

fts-lucene: Fixed lookups from virtual mailboxes with over 32 physical mailboxes.

dsync: If we get disconnected from remoset server, exit with EX_TEMPFAIL
Instead of 1000, which gets truncated to 232.

lib-index: Added an assert.
It seems to be triggering later on, but not sure how it's happening.

doveadm: If command going through multiple users fails with user-specific error, don't stop.

lib-auth: auth_master_pass/user_lookup() now returns -2 for user-specific errors.
Compared to -1 which are about a more generic error with auth process
communication. If -2 is returned the lookup could still succeed for another
user.

expire plugin: If expire_cache=yes, cache the dict db value in dovecot.index file.
This avoids all of the dict lookups when mails are being saved to a mailbox
that is tracked for expiring. The only downside is that if the dict is
externally modified, the changes won't reflect the cached value. This isn't
normally a problem (except maybe in initial testing stages).

dsync: Debug logging was attempting to read already freed memory.

LAYOUT=index: Reversed d977a746819d - use storage's list_index_*() callbacks after all.
Just because we have all the mailbox information in the mailbox list index
doesn't mean that we necessarily trust the folder mail counts and such to be
correct. Setting mailbox_list_index_very_dirty_syncs=yes pretty much reverts
to the earlier behavior.

dsync: Added more debug output for mailbox renaming.

lib-storage: Index rebuilding (for [sm]dbox) caused it to reset dovecot.index.cache file
Although in some situations this might be wanted, usually it's not needed
and simply makes the performance worse. If caching is explicitly unwanted
the dovecot.index.cache file can be deleted manually for now. Perhaps there
could be a separate doveadm force-resync parameter to do it as well.

Makefile: Added run-test.sh to be cleaned by distclean

lib: Make static analyzer happier

lib: Another test_assert() -> i_assert() change to avoid static analyzer warnings.

lib: Replaced two test_assert()s checking for NULLs with i_assert()s
These can never happen anyway, and keeping them as test_assert()s cause
static analyzer to give warnings.

fs-posix: Removed the FS_PROPERTY_DIRECTORIES after all.
We could have kept it if we removed the auto-rmdir()-parents feature in
fs_delete(), but SIS code already somewhat relies on it so it's better not
to change it for now at least.

The downside here though is that directories are rmdir()ed only if
fs_settings.root_dir is set. So for example "doveadm fs delete -R" doesn't
ever rmdir() any directories. But that's probably not a real problem.

Makefile: Removed run-test.sh from EXTRA_DIST since it's now generated by configure

lib-fs: fs-posix needs to return FS_PROPERTY_DIRECTORIES

doveadm fs delete -R: Delete the root directory also.

doveadm fs delete: When recursively deleting files, delete directories with "/" prefix.
Some backends require this to properly delete the file. Those that don't can
ignore it easily.

doveadm fetch: Removed unused code.

lib-fs: Added FS_METADATA_OBJECTID macro.

lib-fs: Added flag for iteration returning object IDs.
The flag is only allowed to be used if FS_PROPERTY_OBJECTIDS is set
(to avoid writing extra code for backends that don't support this).

imapc: Fixed STATUS_FIRST_RECENT_UID to return the (mostly) correct UID.

doveadm: Added "save" command to directly save mail to specified mailbox.
The mail is read from stdin.

doveadm: Added support for mail commands to read an input stream (from stdin)
This is done by calling doveadm_mail_get_input() from the command's init()
function. Currently it reads the entire input into a seekable istream with
hardcoded 5 minute timeout. The input stream sending works also through
doveadm proxying.

This could probably be used by dsync at some point to support proxying over
doveadm proxies, but that would require some more work. Especially a flag
for commands to specify that they allow non-blocking input streams.

lib-mail: ostream-dot API changes
The dot-line sending is now done when o_stream_flush() is called. This
should be used instead of relying on close() doing it, because it still
needs to write a few bytes and there are no guarantees that the parent
stream allows sending them.

Also added force_extra_crlf parameter, which specifies whether CRLF should
always be written before the dot-line, even when it already contained CRLF.
This is useful if the input is read with
i_stream_create_dot(send_last_lf=FALSE), since it allows sending a stream
that doesn't have to end with LF.

lib-mail: istream-dot should have immediately returned error if dot-line was missing at EOF.

lib: If i_stream_read() sets stream_errno even if it didn't return -1, make sure we set eof=TRUE

lib: If istream-seekable's parent stream returns error, make sure we set eof=TRUE

lib-imap-client: Improved error message a bit if server disconnects.

configure: Removed unnecessary lines left by the previous commit.

Link all libstorage.la dependencies into the library itself instead.
Instead of keeping a lot of different libraries in LIBDOVECOT_STORAGE, which
have circular dependencies and may cause linking issues.

dovecot-config: Added DOVECOT_INSTALLED parameter.
Also added dovecot_installed_moduledir to dovecot.m4

These can be used by external plugins to access some headers and libraries
that don't already have existing DOVECOT_* parameters in dovecot-config.

dovecot-config: Added LIBDOVECOT_NOTIFY_INCLUDE

dovecot-config: Added lib-storage/index/imapc also to LIBDOVECOT_IMAPC_INCLUDE

dovecot-config: Added LIBDOVECOT_IMAPC_INCLUDE and LIBDOVECOT_FTS_INCLUDE

fts: Fixed memory leak in HTML parsing

fts: Fixed error printing if fts wasn't enabled for user's default namespace.

dovecot-config: Added lib-sasl path into LIBDOVECOT_INCLUDE.

dovecot.m4: External plugins can now more easily run their tests via Valgrind.
DC_DOVECOT macro automatically adds RUN_TEST variable to Makefiles, which
can be used to call any test programs. If valgrind exists, the tests are run
through it. This is done by writing run-test.sh to the build directory, so
the original run-test.sh in hg is no longer needed.

lib: istream create helpers for common cases
Several clients want to create streams from buffer_t and
string_t, we may as well make it easy for them

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: Don't try to rename namespace prefixes.

dsync: Fixed assert-crash when the two mailbox trees differed only by their directory names.

doveadm copy/move/import: Delay initializing source user until run()
This fixes using them with doveadm proxying.

doveadm: Added comments to struct doveadm_mail_cmd_vfuncs

doveadm: Reverted changeset 3b89f2f4ffb3, which avoided calling init() for proxied commands.
The init() is required for all commands that print something, because
otherwise the doveadm_print_header*() isn't called and the commands crash.

The reason for the original change was that some commands' init() attempted
to do too much work on the proxy, which ended up failing. So looks like the
proper fix is to just remove this kind of extra work from init().

log: If too much logging data is sent, show it in process title.

log: Log a warning if some connection is logging faster than we can write.

log: Don't spend more than 100 msecs at a time logging one connection.

log: Small cleanup: Include log connection prefix when logging read() errors.

log: Minor cleanup: Update ioloop_timeval whenever reading input from log client.

lib: Accidentally committed a nonexistent function call in previous commit.

lib-storage: Use module_dir_try_load_missing() to load user plugins.

lib: Added module_dir_try_load_missing() that returns error instead of logging it.
Also module_names now can be given for it without i_fatal() being called.

lib-storage: Previous log prefix changing code started accessing freed memory.

lib-storage: Set the user log prefix earlier when initializing user.
So the full prefix with session and other useful information is included in
the log message as early as possible. Some fatal/panic errors wouldn't even
have shown the username.

lib: Added i_get_failure_prefix()

dsync: Fixed crash in earlier patch if node didn't have a namespace.
This shouldn't have happened except in test-dsync-mailbox-tree-sync, but
easier and safer to fix it here.

dsync: Added assert to make sure namespace prefix isn't attempted to be renamed.
This can happen, I'm just not sure how exactly.. The previous behavior
caused assert-crashes also, this change just makes it happen earlier.

dsync: Don't assert-crash in configs where INBOX doesn't have a parent namespace.
The inbox=yes namespace of course exists, but if there is no prefix="" or
prefix=INBOX/ namespace, then INBOX doesn't clearly belong to any namespace.

dsync: Make sure when fixing mailbox names we don't try to change the namespace prefix.
Although in normal installations this it wouldn't have happened in any case.

lib-storage: Avoid assert-crashing on mailbox_verify_*_name() with invalid namespace prefix.

imapc: Fixed modseq search for previous imapc_features=search change

imapc: Added imapc_features=search support for sending SEARCH commands.
Currently requires the remote server to support ESEARCH (but this would be
easy to avoid). This is only minimally tested for now, so bugs may exist
(especially related to sub-queries).

lib-imap-client: Implemented support for GMail [THROTTLED] resp-text-code.
If we receive it, start throttling future commands by waiting exponentially
longer until we no longer receive [THROTTLED]. Max wait time is currently
16 seconds.

lib-http: client: Fixed double unref of request when error occurs during http_client_request_try_retry().
Much like when the request is first submitted, any errors that occur while attempting a retry from within the callback are now delayed in a zero timer.

lib: array - test count/isempty/nonepty
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - two helpers to avoid wasteful array_count
There's no need to dereference array->element_size and
perform a division when all you care about is the boolean
isempty/nonempty predicate:

$ git grep 'array_count(.*) > 0' | wc -l
77
$ git grep 'array_count(.*) == 0' | wc -l
95

Changing 6 of them has the following impact on the code:

$ size src/lib-imap-client/imapc-connection.o
   text    data     bss     dec     hex filename
  20879       0       4   20883    5193 src/lib-imap-client/imapc-connection.o
$ size src/lib-imap-client/imapc-connection.o
   text    data     bss     dec     hex filename
  20796       0       4   20800    5140 src/lib-imap-client/imapc-connection.o

Signed-off-by: Phil Carmody <phil@dovecot.fi>

replicator: Previous "last successful sync" timestamp change wrote data wrong to replicator.db
Patch by Matthew Via / Rackspace

imap: If GETMETADATA fails for some mailbox, don't send the error message mixed in the METADATA reply line.