auth: Don't crash when trying to use CRYPT scheme when crypt() doesn't support DES

lib-storage: Support %{userdb:*} variables in mail_home and mail_chroot settings.

lib: Removed unnecessary includes from bits.h
All of them are already in lib.h, and bits.h gets included from lib.h.
This also solves a compiling problem for systems where stdint.h doesn't
exist.

replicator: Send initial status notification to master before listing all users
To avoid master process from killing us after 30 seconds if the user listing
takes longer than that.

auth: Fixed crash when using %{passdb:} or %{userdb:} functions when escape_func was NULL
Patch by Michael Slusarz.

lib: test-istream-crlf - fix expected output strings, add more coverage
Fix an out-by-one which was missing trailing carriage returns in _lf mode.

Debug: input = [19]:``...........N.N....R''
Debug: output= [19]:``...........N.N....R''
Debug: data  = [18]:``...........N.N....''
test-istream-crlf.c:78: Assert(#20) failed: size == str_len(output)

Add some randomised tests to get better coverage of all possibilities.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

push-notification: Fix linking against notify plugin

imap: Fixed crash in NOTIFY when there were watched namespaces that didn't support NOTIFY.

dsync: Fixed handling of deleted directories.
We may still know about the directory node even if it doesn't exist, and we
still want to delete it.

auth: Avoid a crash by not trying to save empty delayed credentials.

acl: acl_object_list_*() now duplicates rights at init to avoid them changing during listing.
Depending on the calling code the acl_object could have been refreshed
during the listing and caused bugs/crashes.

This fixes a crash at least in mailbox deletion during attribute deletion
where iter->idx was higher (2) than the number of rights at the time (0).

auth: Typofix for error message.

auth: nopassword field is specific to a single passdb, remove before next passdb is processed

lib-mail, fts: Put application/xhtml+xml MIME parts through html parser as well.

acl: If mailbox is autocreated, assume it already exists and don't require "create" ACL

acl: Fixed handling mailbox deletion when only "delete" right was available.
So especially when there were no "lookup" or "read" rights.

auth: Fixed userdb changing username via auth-worker

notify plugin: Don't access already freed memory.
In the same changeset I even added a comment just above that it shouldn't be
accessed..

quota-dict: Added "no-unset" parameter.

LAYOUT=index: Fixed error handling in mailbox creation race condition.
If two processes create the same mailbox, the other one ends up being
deleted on failure. However, if the deletion itself also failed the state
becomes a big ambiguous. We don't want to return MAIL_ERROR_EXISTS in that
case, because the caller may try to open the mailbox with the inconsistent
state and fail. So we'll instead return the original mailbox_delete() error
to the caller.

login proxy: Separate admin kicks, director kicks and shutdowns in log messages.

ssl_options: Added support for no_ticket

doveadm fs: Log also the exact reason for "file doesn't exist"

dict: Show number of clients in process title

lib-index: tail_offset wasn't updated as often as it should have been.
ctx->last_tail_offset was being increased for every non-external transaction
and at the end we checked if head was larger than it. This logic didn't
really make any sense, since non-external transactions specifically were
supposed to update the tail_offset.

lib-imap-storage: Mark METADATA transactions as external.
We never write the metadata values to any storage backend, so they also
don't need to be explicitly synced.

mysql: Added connect/read/write_timeout settings. Default to 30s read/write_timeout.

mysql: Fixed client_flags parameter

mysql: Use the correct way of setting a connect timeout.
I'm not sure if this didn't exist earlier, or if I just somehow missed it.

dsync: Added DSYNC_BRAIN_FLAG_NO_NOTIFY to enable MAILBOX_TRANSACTION_FLAG_NO_NOTIFY
It's arguable that this should be enabled by default, but people might like
to keep mail_log notifications for dsync.

lib-storage/notify: Added MAILBOX_TRANSACTION_FLAG_NO_NOTIFY
This flag could potentially apply for other things as well, not just notify
plugin. In general anything that could do external notifications shouldn't
do anything for transactions with this flag.

dict-sql: Fixed async iteration with MySQL and SQLite

lib-charset: Added UTF-7 iconv() unit test
Possibly crashes on FreeBSD? Not verified yet. But a good test in any case.

lib-charset: Run iconv unit tests by giving iconv() new data 1 byte at a time.

imapc: Set storage's error to "internal error" if we detect mailbox state corruption.
This fixes "unknown internal error" in at least syncing code when an
expunged message reappears.

lib: net_gethostbyname() now supports [ipv6] style bracketed addresses.

director: Fix to previous change - mail_host_dup() wasn't strdup()ing hostname.
This could have caused a crash at deinit.

director: Remember backends' hostnames and send them in login reply.
This allows login processes to verify the remote server's hostname in SSL
certificate.

director: Small code cleanup - make it easier to add parameters to HOST

man: Changed "pattern" to "string" in doveamd-search-query(7)

lib-mail: fix html2text parser
Silly typo. Fixes bug reported on dovecot list by Akash on Oct 14.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: If rename algorithm seems go to an infinite loop, log an error and stop.
Ideally we would of course fix the algorithm (especially to not require this
kind of looping).

imap/pop3-login: If LOGIN/USER is used with plaintext auth disabled, remember the username for logging.
It's still useful to see the username that was sent in the logout message.
This won't work for AUTHENTICATE PLAIN, but hopefully the clients that use
it understand the LOGINDISABLED capability better.

cassandra: Added read/write/delete_fallback_consistency settings.
The fallback is attempted if the primary consistency can't be satisfied.
One useful use case for this is to have:

write_consistency=each-quorum
write_fallback_consistency=local-quorum

Which means that during regular operation all writes go to all data centers
before they are finished, but if one of the data centers go down we'll
switch to just waiting for local data center writes to finish.

dict-sql: dict_lookup_async() didn't call callback on query build failures.

lib-storage: Support latest cache fields in struct mailbox_metadata.precache_fields

imap: APPEND crashed if invalid keyword was given as parameter.

auth ldap: If tls_* settings are used, pass them to LDAP library even if tls=no
Most importantly this allows using the settings for ldaps URLs. And they
hopefully won't hurt anything if neither STARTTLS nor ldaps are used.

lib: uri_parser_init() wasn't using pool parameter for anything.
Now everything is allocated from it instead of from data stack.

dict-sql: Added support for value_type field, which deprecates value_hexblob.
value_type=string|hexblob|uint are supported now.

cassandra: Added support for returning "int" type values.
It looks like we need to explicitly convert all types to strings.

auth: passwd-file now stat()s the file max once per second.
It's quite unnecessary to do it more often.

fs-dict: Implemented hex-encoding for values.

director: Log a warning if directors' clocks are too much out of sync.

director: Detect if directors' hosts have become desynced by sending hosts_hash in SYNC parameter.
Also fix up such a situation by resending all HOSTs.

director: Use mail_hosts_hash() to improve debug log messages.

director: Added mail_hosts_hash(), which identifies the current mail_hosts configuration.

director: Added another debug log message.

director: Small code cleanup - make it easier to add parameters to SYNC

director: Don't allow doveadm to update backend's state if the state is already being changed.

director: Don't become desynced if two directors change the same backend in incompatible ways.
This would have caused "User hash .. is being redirected to two hosts"
errors, which wouldn't easily go away as the directors have a different view
of what hosts currently exist.

lib-http: Minor improvement to "disconnected during payload read" error message.
The same error is also used for http-server for parsing client input, so the
message shouldn't say anything about reading the input from server.

lib-http: client: Fixed handling of response timout if there is no payload going to the server.

lib-index: Removed some unnecessary fields.

lib-index: Fixed checking when we want to update dovecot.index
This has been broken since 76f576fc28dc. After that dovecot.index was
usually updated only when dovecot.index.log was being rotated.

lib-index: When writing new index, rotate the log file first before writing it.
This way the index contains the new log's seq+offset instead of having to
recreate the index almost immediately afterwards.

Added signature for changeset d7e14d388a7e

Added tag 2.2.19 for changeset d7e14d388a7e

Released v2.2.19.

pop3: Fixed buffer overflow with handling pop3_deleted_flag setting.
This has been broken since v2.2.10, although the setting wasn't working
completely correctly before that version either. Afterwards it should have
become obvious quickly enough that the setting is broken, because it started
crashing POP3 sessions in normal use quite soon. So I doubt there are any
installations that are accidentally exploitable.

push-notification: Use setting_get_time() parsing for cache_lifetime OX driver setting.

push-notification: Compiler warning fix.

push-notification: Allow drivers to set only "key" without "=value" to parameters.

push-notification: Added timeout_msecs and max_retries parameters to OX driver.
For configuring HTTP lookups.

push-notification: Don't allocate cached metadata from memory pool in OX driver.
It slowly keeps increasing memory usage over time.

push-notification: OX driver error handling fix - garbage metadata was returned on failure.

push-notification: Add cache lifetime config parameter to OX driver

push-notification: OCD fix for lining up function parameters

push-notification: Removed optimization to init drivers only once.
Different users may have different drivers. And the previous
metadata-caching change especially isn't working without this change.

push-notification: Free all events at plugin deinit.

push-notification: Allow OX driver to use "user" from METADATA only if user_from_metadata is set.
Otherwise users could send push-notifications to each others' if
imap_metadata=yes.

push-notification: Cache the metadata lookup in OX driver.

push-notification: Don't crash at ox driver cleanup if init() hadn't been called.

push-notification: Improved struct naming of driver list data

push-notification: On-demand initialization of transaction data

push-notification: Fix infinite recursive loop in OX driver

push-notification: If other drivers triggered a non-MessageNew successful event, don't assert

push-notification: Fix distinguishing between IMAP APPEND and MTA deliveries

doveadm fetch: Added "storageid" field.

lib-storage: Renamed MAIL_FETCH_UIDL_FILE_NAME to MAIL_FETCH_STORAGE_ID.
Keep MAIL_FETCH_UIDL_FILE_NAME for backwards compatibility for now.

dict-sql: Added support for "uint" field type.

dict-sql: Added support for extensible field types.

fts-solr: Removed Content-Type header from "select" requests to fix Solr v5.1.

lib: s/EDEADLOCK/EDEADLK/
It felt wrong since the beginning, but my first attempt at EDEADLCK didn't
work and EDEADLOCK did. Of course, not everywhere.

Added signature for changeset 7a5726201e40

Added tag 2.2.19.rc2 for changeset 7a5726201e40

Released v2.2.19.rc2.

quota: Fix to previous commit - counting quota-disabled-storages may have returned random failures.

quota: Fixed "count" backend to ignore storages that have quota disabled.
For example virtual mailboxes shouldn't be counted in quota.

quota: The new quota counting code was counting only the last mailbox.