lib: Fixed __builtin_object_size() usage in buffer.h
With type=3 size for unknown objects is set to 0, which causes a compiler
failure. With type=1 it's (size_t)-1, which passes the check.

Don't try to pass through void function's return value
I wish gcc or clang complained about these.

push-notification: Added missing newlines to end of files to prevent compiler warnings.

master: stdlib.h wasn't supposed to be removed from systemd's sd-daemon.c
It's not using our lib.h

pgsql: Fixed committing a single sql_update_get_rows() transaction.
The rows weren't being set.

pgsql: Fixed committing multiple transactions.
This code is quite horrible and could use a larger redesign. But it appears
to be working for now..

lib-sql: sqlpool needs to change transaction queries' transaction pointer
Otherwise query->trans points to the sqlpool's transaction, while our
backends want it to point to the backend's transaction.

dict: Include PID in the log prefix.

dict-client: Improved broken iterate reply logging.

dict-client: If dict iteration was aborted, the rest of the connection state became broken.
We never continued skipping over the rest of the iteration, instead the
iteration replies were treated as replies to the following commands.

dict-client: Catch more invalid protocol replies.

dict-client: Disconnect from server on unexpected errors.

Added signature for changeset 60057d955db3

Added tag 2.2.19.rc1 for changeset 60057d955db3

Released v2.2.19.rc1.

virtual: The virtual index may have sometimes been unnecessarily deleted.
Due to uninitialized broken_r value.

example-config: Added imap_hibernate_timeout

Remove now-unnecessary direct stdlib.h #includes.

lib: Include stdlib.h in lib.h.
It's already included in so many files that we might as well include it in
lib.h for everything. This is especially needed to be able to use sort.h,
which currently is included in lib.h anyway.

Added push-notification plugin

lib-http: client: Tunneled https peer addresses were not compared properly.
The https_name field was ignored in that case.

lib-http: client: Fixed bug that caused queues to be duplicated over time when host has multiple IPs.
The peer address comparison did not account for the fact that the initial
queue address has no IP assigned.

lib-http: client: Improved hash function for peer addresses.

lib-storage: If stats plugin is enabled, set fs_settings.enable_timings=TRUE.

lib-fs: debug and enable_timing settings weren't being permanently copied to fs->set

lib: Added timing_get_sum()

imap: Fix typo in error message.

auth: Remove redundant if

Make static analyzer happier.

quota: Make sure the limit return value is initialized when quota_get_resource() returns 0
Later on a debug log message in quota_over_flag_check_root() was accessing
the limit, which wasn't necessarily initialized.

Also initialized value return value just as well to be safe.

lib-master: Slightly improved "process_limit reached?" error message.

virtual plugin: Disable caching via mailbox list indexes.
Otherwise e.g. STATUS can give stale replies.

lib-http: Optimized http_client_request_send_payload() fix
Badly copy&pasted my original fix, instead of noticing that Stephan's fix
was slightly different. Probably shouldn't have made actual difference
other than for performance.

lib-http: Avoid crashes on failing http_client_request_send_payload() calls
It HTTP server connection died, ioloop might not have anything to do
anymore:

Panic: file ioloop-epoll.c: line 187 (io_loop_handler_run_internal): assertion failed: (msecs >= 0)

Makefile: Added missing sort.h

lib: timings - added quantiles
Just sub-sample the stream. On the assumption that the samples come from
one distribution, then any randomly selected subset will share the same
distribution. Therefore the quantiles should be at approximately the same
value.

However, that's a big assumption, as there will almost certainly be time
dependency, and periodicity (24hrs, 7 days).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: extract sort-helpers into separate sort.h file
The macro definition was nothing to do with strings, and we can put
trivial common-type comparators here. They didn't need to be static
inline, as they can never be inlined anyway, being only used via
function pointers, but that preserves the closest equivalent to
the current code.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Forgot to add index-mailbox-size.h to e29d2f7fe53f

fts: Send session ID to indexer and indexer-worker for logging purposes.

quota: Added "count" backend, which simply sums up mailboxes' vsizes.
In a way this is similar to the simple "dirsize" backend, but much more
efficient. As long as mailbox_list_index=yes, the quota can typically be
looked up only by reading the dovecot.list.index* files.

This backend enforces using quota_vsizes=yes setting to keep the performance
good, because physical sizes don't have a similar optimized vsize header.
There's also no especially good reason why this backend should support
physical sizes - they were originally mainly used to allow quickly stat()ing
Maildir files.

lib-storage: Update mailbox vsize header on save/copy/expunge.
This allows always efficiently looking up maiboxes' vsizes after they're
initially calculated.

The expunge handling is unfortunately done currently in quota handling code,
so it works only if quota is enabled. Ideally this would be solved in v2.3
with some lib-storage core changes.

quota: Added quota_vsizes=yes setting to count quotas using virtual sizes instead of physical sizes.
This doesn't work with all the quota backends.

quota: Commit expunge transaction instead of rolling back.
This likely won't make much of a difference, since it should have accessed
only expunged mails. But it's a bit cleaner this way.

quota: Code cleanup - extract default init() handling to quota_root_default_init()

imap: If client disconnects, log the in-progress commands' input/output bytes.

imap: If client disconnects, log how long the in-progress commands were running.

Compiler warning fix.

imap: Improved command timing information reporting.
We now report also the time we spent waiting on ioloop. Also fixed reporting
command timing information when multiple commands were running in parallel
(e.g. SEARCH + FETCH). If multiple commands are running in parallel they all
report the same ioloop wait time, because there's no easy way to know which
one of them caused the wait.

lib: Added io_loop_get_wait_usecs()

imap: When running SEARCH on "background", run it through command_exec()
Otherwise all the timing information isn't right and the pre/post hooks
weren't being called so stats counting was also wrong.

lib-index: Added mail_index_sync_have_any_expunges()
This can be used to quickly check before mail_index_sync_begin() if there
are likely to be any expunges that will be synced.

auth: The mechanisms configured using the auth_mechanisms setting were not enforced.
The login service would check whether the mechanism is supported by auth,
but auth performed no such check of its own. This means that any
implemented mechanism was accessible from a login, even though was
presumably disabled.

lib: file_wait_lock*(): Improve the panic log message on EDEADLOCK.

lib-fs: Fixed compiling with some OSes

lib-fs: timing_deinit()s was called too late - fs was already freed.

cassandra: With debugging, log also how many rows were iterated.

cassandra: With debugging, log also how long result was used for before it was freed.
This includes the time spent on SELECT query's iterator.

cassandra: Don't crash if connection to Cassandra failed.

cassandra: If log_level=debug, log also how long the queries take.

lib: file_wait_lock_error() assert-crashes now on EDEADLOCK
It's always a bug and a crash can help debug it.

lib-fs: Track operation timing statistics if enable_timing setting is set.

lib: Added a simple timing.h API for tracking min/max/avg for events.

cassandra: Added delete_consistency parameter.

lib: file_create_locked() may have leaked memory on some race conditions.

doveadm mailbox metadata list: Fixed not giving the prefix parameter.

doveadm mailbox attribute list: Prefix parameter was ignored.

lib-storage: Fixed iterating attribute prefix that matched the attribute itself.
So if attribute key was "foo", iterating "foo" returned garbage because it
skipped over the trailing \0.

master: systemd's sd_listen_fds() error handling was wrong.

lib-storage: Fixed crash in mailbox list index notifying caused by fa979ccfa34c

lib: test-strnum - do not invite undetectable errors
The very numbers which could cause a broken parser to over-run, the ones we
are testing, are the ones which will be parsed as having a value similar to
'value', so check that no value was returned by using a number completely
dissimilar to that. Otherwise, there might be an accidental mis-parse that
overwrote value, but left its value the same.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_storage_set_critical() calls to i_error()s, but
because these unlink() failures don't actually fail the operation it doesn't
matter.

lib-index: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_index_set_error() calls to i_error()s, but because
these unlink() failures don't actually fail the operation it doesn't matter.
In fact it may be even better that it doesn't overwrite the existing
index->error if it exists.

Replaced unlink() calls with i_unlink*() wherever possible.

lib: Added i_unlink() and i_unlink_if_exists()
These log the error message on a failed unlink(). They also include the
source code file and line number to make it easier to find which unlink()
actually failed if the path itself doesn't already clearly identify it.
This can be especially useful if the path is (null), "" or contains some
corrupted garbage.

lib-storage: Mailbox deletion shouldn't fail when trying to delete read-only attributes.

lib-storage: Use MAIL_ERROR_NOTPOSSIBLE if mailbox_attribute_*set() fails for read-only attribute.
MAIL_ERROR_PARAMS indicates that there was something wrong with the
parameters itself. But the caller can't know (at least with current APIs)
if it's a read-only attribute it's trying to change before actually doing it.

lib-storage: If mail_attribute_dict is set, ignore non-authority rank internal attributes.
This way dsync can still sync things like Sieve scripts, but it doesn't
attempt to sync anything that actually requires dict.

example-config: 10-mail.conf: Added example configuration for the new settings relating to IMAP METADATA.

example-config: Added more detailed documentation for mailbox settings.

lib: strnum: Fixed test suite failure on 32 bit systems.

acl: Log which ACL groups are enabled with mail_debug=yes

lib-charset: Fixed assert-crash with some iconv() versions.
Older glibc iconv() versions seem to skip over invalid characters, at least
with some charsets, while newer versions don't. We were assuming that the
skipping never happened, so if the invalid character was at the end of the
string we could have wrapped size to (size_t)-1 and caused a crash later on.

imap: METADATA: Implemented mailbox and server comment entries and the server admin entry.

imap: Implemented /private/specialuse METADATA entry for SPECIAL-USE capability.

lib: Added some tests for the new strnum _hex() and _oct() function variants.

lib: Added assert to Solaris sendfile() return value.

doveadm: Fixed hiding titles' tabs with tab formatter (-h -f tab)

Make static analyzer happier.

lib-charset: Added more asserts to checking iconv() results.

lib-charset: Updated test-charset unit test to check for iconv() E2BIG result

lib-storage: Mailbox list notifications didn't work for INBOX.
Because of some earlier optimizations that changes to INBOX aren't written
to dovecot.list.index.log file.

Mailbox list notify API changed to return multiple events at once.
This fixes some issues where a single event could actually trigger multiple
different kinds of events.

imap: NOTIFY (SUBSCRIPTIONS) assert-crashed when subscriptions hadn't been refreshed.

Various passthrough istreams didn't preserve readable_fd.

lib: Fix hang in safe_sendfile on SmartOS
The call to sendfile on SmartOS can fail with EOPNOTSUPP. This is a valid
error code and documented in the man page. This error code needs to be
handled or else dovecot will retry the sendfile call endlessly and hang.

imap: Fixed assert-crash in NOTIFY when using multiple namespaces.
I'm not sure why the original code was trying to add it to multiple
namespaces. A single mailbox name should be matching only a single
namespace (visible one at least). In any case we can't use
mail_namespace_find() with only partial namespaces-list, because it'll
assert-crash if it can't find a namespace for the mailbox.

lib-storage: Fixed assert-crash when reading binary streams.

doveadm: Added new "auth login" command to simulate an actual client login.
This performs both passdb and userdb lookups and prints their results.

auth: If userdb lookup was found from auth cache, don't clear the earlier userdb fields.

auth: If multiple userdbs are used, default_fields was ignored for all but the first one.