push-notification: Log about unexpectedly failing mailbox functions.
Found by Coverity.

Added NULL-check asserts to make static analyzer happier.
These shouldn't be happening.

lib-storage: Removed unnecessary code - nnode is never NULL at this point.
Found by Coverity.

dsync: Removed unnecessary code - cur_mail is never NULL at this point.
Found by Coverity.

imapc: Fixed crash if imapc_host or imapc_password setting was missing.
Instead of giving a nice error message about it.
Found by Coverity.

dict-client: Avoid crash if server disconnects during transaction commit.
Found by Coverity.

*-login: Session ID generator wasn't encoding remote port number correctly to it.
The upper 8bits of the port number were always written as 0.
This could have lead to duplicate session ID strings in some rare cases.
Found by Coverity.

lib-http: Avoid compiler warnings in printf() strings.
Cast fields explicitly as long, which should be large enough.

Fixed compiler warnings in some systems.
major() and minor() are unsigned ints nowadays, but in Solaris it's major_t.
Cast them explicitly to avoid compiler warnings, and use unsigned longs
instead of unsigned ints just in case.

Make static analyzer happier.

lib-http: Removed "pure" attribute from http_header_field_find_unique().
It's a bit questionable if returning a pointer via parameter is allowed for
a pure function. Also having this attribute seems to confuse clang static
analyzer, because it gives false positives for code using
http_header_field_find_unique(). It's not important for performance anyway,
so better to avoid using it.

dict-sql: If value isn't a hexblob as expected, log an error instead of killing the whole process.

cassandra: copy&paste mistake - use monotonic timestamp generator, not server side..

cassandra: Added "version" parameter to specify a protocol version.
Mainly to avoid warnings logged when connecting to an older Cassandra
server.

doveconf: Don't if _password value is empty, don't hide it.

cassandra: Use a local monotonic timestamp generator.
Otherwise we run into race conditions on server side timestamps, which cause
problems.

virtual plugin: Auto-close mailboxes by hooking into backend's mailbox_open()
This is a more reliable way of doing it. The earlier version had problems
that all the backend mailboxes could be opened when doing a search on the
virtual mailbox (for getting the GUID of the mailboxes).

virtual plugin: Fixed assert-crash when closing a virtual mailbox consisting of many real mailboxes.

dict-client: Verify that the correct transaction ID is returned for commit reply.

quota: Avoid triggering quota recalc in dict transaction commit callback.
This mainly causes trouble if it again does more dict accesses.

pgsql: Avoid crash in multi-command transaction if one of the queries couldn't be sent to server.

indexer: Use a slightly different session ID than the session that requested indexing.
Required to avoid "duplicate session ID" errors in stats process.

Alternative would have been to change the stats protocol a bit and always
send the service name along with session ID, and use those two together as
the primary key. Maybe this could be done in future if we get more of these
kind of processes.

doveconf: Unless -P parameter is used, hide all keys ending with "_password"
A little bit ugly way, but implementing a proper SET_PASSWORD type was
getting too difficult with the current config code. Then again as a bonus
this also hides plugin { *_password } settings, if there are any, which
wouldn't have been possible with SET_PASSWORD.

lib: Fixed __builtin_object_size() usage in buffer.h
With type=3 size for unknown objects is set to 0, which causes a compiler
failure. With type=1 it's (size_t)-1, which passes the check.

Don't try to pass through void function's return value
I wish gcc or clang complained about these.

push-notification: Added missing newlines to end of files to prevent compiler warnings.

master: stdlib.h wasn't supposed to be removed from systemd's sd-daemon.c
It's not using our lib.h

pgsql: Fixed committing a single sql_update_get_rows() transaction.
The rows weren't being set.

pgsql: Fixed committing multiple transactions.
This code is quite horrible and could use a larger redesign. But it appears
to be working for now..

lib-sql: sqlpool needs to change transaction queries' transaction pointer
Otherwise query->trans points to the sqlpool's transaction, while our
backends want it to point to the backend's transaction.

dict: Include PID in the log prefix.

dict-client: Improved broken iterate reply logging.

dict-client: If dict iteration was aborted, the rest of the connection state became broken.
We never continued skipping over the rest of the iteration, instead the
iteration replies were treated as replies to the following commands.

dict-client: Catch more invalid protocol replies.

dict-client: Disconnect from server on unexpected errors.

Added signature for changeset 60057d955db3

Added tag 2.2.19.rc1 for changeset 60057d955db3

Released v2.2.19.rc1.

virtual: The virtual index may have sometimes been unnecessarily deleted.
Due to uninitialized broken_r value.

example-config: Added imap_hibernate_timeout

Remove now-unnecessary direct stdlib.h #includes.

lib: Include stdlib.h in lib.h.
It's already included in so many files that we might as well include it in
lib.h for everything. This is especially needed to be able to use sort.h,
which currently is included in lib.h anyway.

Added push-notification plugin

lib-http: client: Tunneled https peer addresses were not compared properly.
The https_name field was ignored in that case.

lib-http: client: Fixed bug that caused queues to be duplicated over time when host has multiple IPs.
The peer address comparison did not account for the fact that the initial
queue address has no IP assigned.

lib-http: client: Improved hash function for peer addresses.

lib-storage: If stats plugin is enabled, set fs_settings.enable_timings=TRUE.

lib-fs: debug and enable_timing settings weren't being permanently copied to fs->set

lib: Added timing_get_sum()

imap: Fix typo in error message.

auth: Remove redundant if

Make static analyzer happier.

quota: Make sure the limit return value is initialized when quota_get_resource() returns 0
Later on a debug log message in quota_over_flag_check_root() was accessing
the limit, which wasn't necessarily initialized.

Also initialized value return value just as well to be safe.

lib-master: Slightly improved "process_limit reached?" error message.

virtual plugin: Disable caching via mailbox list indexes.
Otherwise e.g. STATUS can give stale replies.

lib-http: Optimized http_client_request_send_payload() fix
Badly copy&pasted my original fix, instead of noticing that Stephan's fix
was slightly different. Probably shouldn't have made actual difference
other than for performance.

lib-http: Avoid crashes on failing http_client_request_send_payload() calls
It HTTP server connection died, ioloop might not have anything to do
anymore:

Panic: file ioloop-epoll.c: line 187 (io_loop_handler_run_internal): assertion failed: (msecs >= 0)

Makefile: Added missing sort.h

lib: timings - added quantiles
Just sub-sample the stream. On the assumption that the samples come from
one distribution, then any randomly selected subset will share the same
distribution. Therefore the quantiles should be at approximately the same
value.

However, that's a big assumption, as there will almost certainly be time
dependency, and periodicity (24hrs, 7 days).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: extract sort-helpers into separate sort.h file
The macro definition was nothing to do with strings, and we can put
trivial common-type comparators here. They didn't need to be static
inline, as they can never be inlined anyway, being only used via
function pointers, but that preserves the closest equivalent to
the current code.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Forgot to add index-mailbox-size.h to e29d2f7fe53f

fts: Send session ID to indexer and indexer-worker for logging purposes.

quota: Added "count" backend, which simply sums up mailboxes' vsizes.
In a way this is similar to the simple "dirsize" backend, but much more
efficient. As long as mailbox_list_index=yes, the quota can typically be
looked up only by reading the dovecot.list.index* files.

This backend enforces using quota_vsizes=yes setting to keep the performance
good, because physical sizes don't have a similar optimized vsize header.
There's also no especially good reason why this backend should support
physical sizes - they were originally mainly used to allow quickly stat()ing
Maildir files.

lib-storage: Update mailbox vsize header on save/copy/expunge.
This allows always efficiently looking up maiboxes' vsizes after they're
initially calculated.

The expunge handling is unfortunately done currently in quota handling code,
so it works only if quota is enabled. Ideally this would be solved in v2.3
with some lib-storage core changes.

quota: Added quota_vsizes=yes setting to count quotas using virtual sizes instead of physical sizes.
This doesn't work with all the quota backends.

quota: Commit expunge transaction instead of rolling back.
This likely won't make much of a difference, since it should have accessed
only expunged mails. But it's a bit cleaner this way.

quota: Code cleanup - extract default init() handling to quota_root_default_init()

imap: If client disconnects, log the in-progress commands' input/output bytes.

imap: If client disconnects, log how long the in-progress commands were running.

Compiler warning fix.

imap: Improved command timing information reporting.
We now report also the time we spent waiting on ioloop. Also fixed reporting
command timing information when multiple commands were running in parallel
(e.g. SEARCH + FETCH). If multiple commands are running in parallel they all
report the same ioloop wait time, because there's no easy way to know which
one of them caused the wait.

lib: Added io_loop_get_wait_usecs()

imap: When running SEARCH on "background", run it through command_exec()
Otherwise all the timing information isn't right and the pre/post hooks
weren't being called so stats counting was also wrong.

lib-index: Added mail_index_sync_have_any_expunges()
This can be used to quickly check before mail_index_sync_begin() if there
are likely to be any expunges that will be synced.

auth: The mechanisms configured using the auth_mechanisms setting were not enforced.
The login service would check whether the mechanism is supported by auth,
but auth performed no such check of its own. This means that any
implemented mechanism was accessible from a login, even though was
presumably disabled.

lib: file_wait_lock*(): Improve the panic log message on EDEADLOCK.

lib-fs: Fixed compiling with some OSes

lib-fs: timing_deinit()s was called too late - fs was already freed.

cassandra: With debugging, log also how many rows were iterated.

cassandra: With debugging, log also how long result was used for before it was freed.
This includes the time spent on SELECT query's iterator.

cassandra: Don't crash if connection to Cassandra failed.

cassandra: If log_level=debug, log also how long the queries take.

lib: file_wait_lock_error() assert-crashes now on EDEADLOCK
It's always a bug and a crash can help debug it.

lib-fs: Track operation timing statistics if enable_timing setting is set.

lib: Added a simple timing.h API for tracking min/max/avg for events.

cassandra: Added delete_consistency parameter.

lib: file_create_locked() may have leaked memory on some race conditions.

doveadm mailbox metadata list: Fixed not giving the prefix parameter.

doveadm mailbox attribute list: Prefix parameter was ignored.

lib-storage: Fixed iterating attribute prefix that matched the attribute itself.
So if attribute key was "foo", iterating "foo" returned garbage because it
skipped over the trailing \0.

master: systemd's sd_listen_fds() error handling was wrong.

lib-storage: Fixed crash in mailbox list index notifying caused by fa979ccfa34c

lib: test-strnum - do not invite undetectable errors
The very numbers which could cause a broken parser to over-run, the ones we
are testing, are the ones which will be parsed as having a value similar to
'value', so check that no value was returned by using a number completely
dissimilar to that. Otherwise, there might be an accidental mis-parse that
overwrote value, but left its value the same.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_storage_set_critical() calls to i_error()s, but
because these unlink() failures don't actually fail the operation it doesn't
matter.

lib-index: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_index_set_error() calls to i_error()s, but because
these unlink() failures don't actually fail the operation it doesn't matter.
In fact it may be even better that it doesn't overwrite the existing
index->error if it exists.

Replaced unlink() calls with i_unlink*() wherever possible.

lib: Added i_unlink() and i_unlink_if_exists()
These log the error message on a failed unlink(). They also include the
source code file and line number to make it easier to find which unlink()
actually failed if the path itself doesn't already clearly identify it.
This can be especially useful if the path is (null), "" or contains some
corrupted garbage.

lib-storage: Mailbox deletion shouldn't fail when trying to delete read-only attributes.

lib-storage: Use MAIL_ERROR_NOTPOSSIBLE if mailbox_attribute_*set() fails for read-only attribute.
MAIL_ERROR_PARAMS indicates that there was something wrong with the
parameters itself. But the caller can't know (at least with current APIs)
if it's a read-only attribute it's trying to change before actually doing it.

lib-storage: If mail_attribute_dict is set, ignore non-authority rank internal attributes.
This way dsync can still sync things like Sieve scripts, but it doesn't
attempt to sync anything that actually requires dict.