lib-storage: Update mailbox vsize header on save/copy/expunge.
This allows always efficiently looking up maiboxes' vsizes after they're
initially calculated.

The expunge handling is unfortunately done currently in quota handling code,
so it works only if quota is enabled. Ideally this would be solved in v2.3
with some lib-storage core changes.

quota: Added quota_vsizes=yes setting to count quotas using virtual sizes instead of physical sizes.
This doesn't work with all the quota backends.

quota: Commit expunge transaction instead of rolling back.
This likely won't make much of a difference, since it should have accessed
only expunged mails. But it's a bit cleaner this way.

quota: Code cleanup - extract default init() handling to quota_root_default_init()

imap: If client disconnects, log the in-progress commands' input/output bytes.

imap: If client disconnects, log how long the in-progress commands were running.

Compiler warning fix.

imap: Improved command timing information reporting.
We now report also the time we spent waiting on ioloop. Also fixed reporting
command timing information when multiple commands were running in parallel
(e.g. SEARCH + FETCH). If multiple commands are running in parallel they all
report the same ioloop wait time, because there's no easy way to know which
one of them caused the wait.

lib: Added io_loop_get_wait_usecs()

imap: When running SEARCH on "background", run it through command_exec()
Otherwise all the timing information isn't right and the pre/post hooks
weren't being called so stats counting was also wrong.

lib-index: Added mail_index_sync_have_any_expunges()
This can be used to quickly check before mail_index_sync_begin() if there
are likely to be any expunges that will be synced.

auth: The mechanisms configured using the auth_mechanisms setting were not enforced.
The login service would check whether the mechanism is supported by auth,
but auth performed no such check of its own. This means that any
implemented mechanism was accessible from a login, even though was
presumably disabled.

lib: file_wait_lock*(): Improve the panic log message on EDEADLOCK.

lib-fs: Fixed compiling with some OSes

lib-fs: timing_deinit()s was called too late - fs was already freed.

cassandra: With debugging, log also how many rows were iterated.

cassandra: With debugging, log also how long result was used for before it was freed.
This includes the time spent on SELECT query's iterator.

cassandra: Don't crash if connection to Cassandra failed.

cassandra: If log_level=debug, log also how long the queries take.

lib: file_wait_lock_error() assert-crashes now on EDEADLOCK
It's always a bug and a crash can help debug it.

lib-fs: Track operation timing statistics if enable_timing setting is set.

lib: Added a simple timing.h API for tracking min/max/avg for events.

cassandra: Added delete_consistency parameter.

lib: file_create_locked() may have leaked memory on some race conditions.

doveadm mailbox metadata list: Fixed not giving the prefix parameter.

doveadm mailbox attribute list: Prefix parameter was ignored.

lib-storage: Fixed iterating attribute prefix that matched the attribute itself.
So if attribute key was "foo", iterating "foo" returned garbage because it
skipped over the trailing \0.

master: systemd's sd_listen_fds() error handling was wrong.

lib-storage: Fixed crash in mailbox list index notifying caused by fa979ccfa34c

lib: test-strnum - do not invite undetectable errors
The very numbers which could cause a broken parser to over-run, the ones we
are testing, are the ones which will be parsed as having a value similar to
'value', so check that no value was returned by using a number completely
dissimilar to that. Otherwise, there might be an accidental mis-parse that
overwrote value, but left its value the same.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_storage_set_critical() calls to i_error()s, but
because these unlink() failures don't actually fail the operation it doesn't
matter.

lib-index: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_index_set_error() calls to i_error()s, but because
these unlink() failures don't actually fail the operation it doesn't matter.
In fact it may be even better that it doesn't overwrite the existing
index->error if it exists.

Replaced unlink() calls with i_unlink*() wherever possible.

lib: Added i_unlink() and i_unlink_if_exists()
These log the error message on a failed unlink(). They also include the
source code file and line number to make it easier to find which unlink()
actually failed if the path itself doesn't already clearly identify it.
This can be especially useful if the path is (null), "" or contains some
corrupted garbage.

lib-storage: Mailbox deletion shouldn't fail when trying to delete read-only attributes.

lib-storage: Use MAIL_ERROR_NOTPOSSIBLE if mailbox_attribute_*set() fails for read-only attribute.
MAIL_ERROR_PARAMS indicates that there was something wrong with the
parameters itself. But the caller can't know (at least with current APIs)
if it's a read-only attribute it's trying to change before actually doing it.

lib-storage: If mail_attribute_dict is set, ignore non-authority rank internal attributes.
This way dsync can still sync things like Sieve scripts, but it doesn't
attempt to sync anything that actually requires dict.

example-config: 10-mail.conf: Added example configuration for the new settings relating to IMAP METADATA.

example-config: Added more detailed documentation for mailbox settings.

lib: strnum: Fixed test suite failure on 32 bit systems.

acl: Log which ACL groups are enabled with mail_debug=yes

lib-charset: Fixed assert-crash with some iconv() versions.
Older glibc iconv() versions seem to skip over invalid characters, at least
with some charsets, while newer versions don't. We were assuming that the
skipping never happened, so if the invalid character was at the end of the
string we could have wrapped size to (size_t)-1 and caused a crash later on.

imap: METADATA: Implemented mailbox and server comment entries and the server admin entry.

imap: Implemented /private/specialuse METADATA entry for SPECIAL-USE capability.

lib: Added some tests for the new strnum _hex() and _oct() function variants.

lib: Added assert to Solaris sendfile() return value.

doveadm: Fixed hiding titles' tabs with tab formatter (-h -f tab)

Make static analyzer happier.

lib-charset: Added more asserts to checking iconv() results.

lib-charset: Updated test-charset unit test to check for iconv() E2BIG result

lib-storage: Mailbox list notifications didn't work for INBOX.
Because of some earlier optimizations that changes to INBOX aren't written
to dovecot.list.index.log file.

Mailbox list notify API changed to return multiple events at once.
This fixes some issues where a single event could actually trigger multiple
different kinds of events.

imap: NOTIFY (SUBSCRIPTIONS) assert-crashed when subscriptions hadn't been refreshed.

Various passthrough istreams didn't preserve readable_fd.

lib: Fix hang in safe_sendfile on SmartOS
The call to sendfile on SmartOS can fail with EOPNOTSUPP. This is a valid
error code and documented in the man page. This error code needs to be
handled or else dovecot will retry the sendfile call endlessly and hang.

imap: Fixed assert-crash in NOTIFY when using multiple namespaces.
I'm not sure why the original code was trying to add it to multiple
namespaces. A single mailbox name should be matching only a single
namespace (visible one at least). In any case we can't use
mail_namespace_find() with only partial namespaces-list, because it'll
assert-crash if it can't find a namespace for the mailbox.

lib-storage: Fixed assert-crash when reading binary streams.

doveadm: Added new "auth login" command to simulate an actual client login.
This performs both passdb and userdb lookups and prints their results.

auth: If userdb lookup was found from auth cache, don't clear the earlier userdb fields.

auth: If multiple userdbs are used, default_fields was ignored for all but the first one.

director: Added director_user_kick_delay setting.
This replaces the hardcoded 2 seconds delay. This setting specifies how long
to wait for after user has been kicked from all directors before letting the
user login to the new server. This timeout should be large enough that the
user's existing processes in the old backend should be finished.

login proxy: Added delayed disconnection of clients on server mass-disconnect.
login_proxy_max_disconnect_delay setting (default 0 = disabled) controls for
how long time period the disconnections are spread to. The idea behind this
is to avoid load spikes due to client reconnections when a backend server
dies or is restarted.

auth: Ignore first passdbs that contain skip=unauthenticated.
They can never match anything.

lib-storage: Added mailbox_attribute_register_internals()
Just for making it easier to register multiple attributes.

lib-storage: Allow MAIL_ATTRIBUTE_INTERNAL_RANK_DEFAULT to use get=NULL
This is useful for registering internal attributes whose only purpose is to
be able to set/get them via dict. (Because normally the dict access would be
denied completely.)

lib-storage: Allow set/get for Dovecot-private attributes via internal attributes.
This allows registering attributes with MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT
prefix and having them be get/set via dict, instead of failing them.

lib-storage: Added MAIL_ATTRIBUTE_INTERNAL_FLAG_CHILDREN
This also adds the key to get() and set() functions, so they can know
exactly what key is wanted to be accessed.

mail-storage: Added registration API for builtin mailbox attributes.

lib-storage: mail_user_init() wasn't always expanding %h correctly to settings.
This mainly affected users autocreated for accessing shared mailboxes.

lib-storage: Updated MAILBOX_ATTRIBUTE_KEY_IS_USER_ACCESSIBLE() to not allow private server attributes.

dovecot.m4: Added LIBDOVECOT_ACL_INCLUDE

auth: Fixed passdb skip_password_check / result_success=continue-fail handling
If passdb returned success, but result_success=continue-fail, it means that
the authentication didn't succeed. So we still want to check the password
again and in general treat the request as unauthenticated (especially for
the passdb { skip } setting).

So the current logic means that there are 2 ways for the request to be
treated as authenticated and skipping any password checking:

1) passdb lookup succeeding, with result_success=continue, continue-ok,
return or return-ok

2) passdb lookup not succeeding, with result_failure=continue-ok or
return-ok

It's a bit questionable though if 2) should be allowed.

imap: Don't allow IMAP METADATA to access Dovecot's private server attributes.

auth: Aborting auth request didn't abort a pending proxy DNS lookup.

lib-storage: Store pointer to mail_storage_service_user to mail_user if it exists.

lib-storage: Added mail_storage_service_user_get_service_ctx()

acl: Install most of the header files.

acl: acl_object_list_next() should return -1 if acl refreshing failed earlier.

dsync: If remote disconnects, log the last sent/recv state.

dsync: If we disconnect with I/O timeout, log the last sent/recv state.

login proxy: Code cleanup - separate login_proxy_free_final()

login proxy: Always keep proxy->state_rec available.

login proxy: Added asserts to track that num_waiting_connections are correct.

login proxy: Small code cleanup

dsync: Assert-crashfix
Fixes:

Panic: file mail-storage.c: line 1897 (mailbox_save_alloc): assertion
failed: (!ctx->unfinished)

cassandra: Handle async queries internally - don't use sql pooling code.
There's no need to create multiple Cassandra instances, since the single
instance is capable of doing multiple asynchronous requests in parallel.

lib-storage: Another fix to using index_storage_mailbox_close() without an opened view.
Calling mail_index_close() without mail_index_open() caused it to
assert-crash.

dict: Various reference counting and other fixes related to using freed memory.

dsync: Crashfix in certain situation.

lib-storage: Allow index_storage_mailbox_close() to be called without an opened view.
Some failing mailbox_open() call may leave it in such a state.

doveadm director update command added.
The difference to "doveadm director add" is that if the IP doesn't already
exist, it's not added.

Removed SET_IN_PORT_ZERO - SET_IN_PORT now always allows zeros as well.
A zero in all the port settings means that the port is disabled, which is
also the default. So it shouldn't be an error to explicitly set it to zero
in the config file.

lib: strnum - simplify hex and oct overflow code
uintmax_t is defined to have modulo-2^n semantics, and therefore the bottom
bits of (uintmax_t) are guaranteed to be all set. Therefore the checking of
the next character read is unnecessary, as it's already done in the loop
control statement itself. (This is not true about the bottom digit base 10,
which is why the check remains in the decimal case)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

man: doveadm-sync.1: Added description for option `-T secs'.

dict-sql: Fixed iteration with blob fields.

dict-sql: Implemented support for binary fields.
Example:

map {
  pattern = shared/blobtest/$key
  table = blobtest
  value_field = value
  value_hexblob = yes

  fields {
    key = ${hexblob:key}
  }
}

Now you can access both field and value as hex data. For example:

doveadm dict set proxy::sqldict shared/blobtest/746573746b6579 7465737476616c7565

This adds "testkey" and "testvalue" to key and value fields blobs.

lib-sql: Implemented sql_escape_blob()

cassandra: Implemented support for binary values.

doveadm dict iter: Added -V parameter to return only keys.

dict-sql: Fixed iteration with DICT_ITERATE_FLAG_NO_VALUE