man: Changed "pattern" to "string" in doveamd-search-query(7)

lib-mail: fix html2text parser
Silly typo. Fixes bug reported on dovecot list by Akash on Oct 14.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: If rename algorithm seems go to an infinite loop, log an error and stop.
Ideally we would of course fix the algorithm (especially to not require this
kind of looping).

imap/pop3-login: If LOGIN/USER is used with plaintext auth disabled, remember the username for logging.
It's still useful to see the username that was sent in the logout message.
This won't work for AUTHENTICATE PLAIN, but hopefully the clients that use
it understand the LOGINDISABLED capability better.

cassandra: Added read/write/delete_fallback_consistency settings.
The fallback is attempted if the primary consistency can't be satisfied.
One useful use case for this is to have:

write_consistency=each-quorum
write_fallback_consistency=local-quorum

Which means that during regular operation all writes go to all data centers
before they are finished, but if one of the data centers go down we'll
switch to just waiting for local data center writes to finish.

dict-sql: dict_lookup_async() didn't call callback on query build failures.

lib-storage: Support latest cache fields in struct mailbox_metadata.precache_fields

imap: APPEND crashed if invalid keyword was given as parameter.

auth ldap: If tls_* settings are used, pass them to LDAP library even if tls=no
Most importantly this allows using the settings for ldaps URLs. And they
hopefully won't hurt anything if neither STARTTLS nor ldaps are used.

lib: uri_parser_init() wasn't using pool parameter for anything.
Now everything is allocated from it instead of from data stack.

dict-sql: Added support for value_type field, which deprecates value_hexblob.
value_type=string|hexblob|uint are supported now.

cassandra: Added support for returning "int" type values.
It looks like we need to explicitly convert all types to strings.

auth: passwd-file now stat()s the file max once per second.
It's quite unnecessary to do it more often.

fs-dict: Implemented hex-encoding for values.

director: Log a warning if directors' clocks are too much out of sync.

director: Detect if directors' hosts have become desynced by sending hosts_hash in SYNC parameter.
Also fix up such a situation by resending all HOSTs.

director: Use mail_hosts_hash() to improve debug log messages.

director: Added mail_hosts_hash(), which identifies the current mail_hosts configuration.

director: Added another debug log message.

director: Small code cleanup - make it easier to add parameters to SYNC

director: Don't allow doveadm to update backend's state if the state is already being changed.

director: Don't become desynced if two directors change the same backend in incompatible ways.
This would have caused "User hash .. is being redirected to two hosts"
errors, which wouldn't easily go away as the directors have a different view
of what hosts currently exist.

lib-http: Minor improvement to "disconnected during payload read" error message.
The same error is also used for http-server for parsing client input, so the
message shouldn't say anything about reading the input from server.

lib-http: client: Fixed handling of response timout if there is no payload going to the server.

lib-index: Removed some unnecessary fields.

lib-index: Fixed checking when we want to update dovecot.index
This has been broken since 76f576fc28dc. After that dovecot.index was
usually updated only when dovecot.index.log was being rotated.

lib-index: When writing new index, rotate the log file first before writing it.
This way the index contains the new log's seq+offset instead of having to
recreate the index almost immediately afterwards.

Added signature for changeset d7e14d388a7e

Added tag 2.2.19 for changeset d7e14d388a7e

Released v2.2.19.

pop3: Fixed buffer overflow with handling pop3_deleted_flag setting.
This has been broken since v2.2.10, although the setting wasn't working
completely correctly before that version either. Afterwards it should have
become obvious quickly enough that the setting is broken, because it started
crashing POP3 sessions in normal use quite soon. So I doubt there are any
installations that are accidentally exploitable.

push-notification: Use setting_get_time() parsing for cache_lifetime OX driver setting.

push-notification: Compiler warning fix.

push-notification: Allow drivers to set only "key" without "=value" to parameters.

push-notification: Added timeout_msecs and max_retries parameters to OX driver.
For configuring HTTP lookups.

push-notification: Don't allocate cached metadata from memory pool in OX driver.
It slowly keeps increasing memory usage over time.

push-notification: OX driver error handling fix - garbage metadata was returned on failure.

push-notification: Add cache lifetime config parameter to OX driver

push-notification: OCD fix for lining up function parameters

push-notification: Removed optimization to init drivers only once.
Different users may have different drivers. And the previous
metadata-caching change especially isn't working without this change.

push-notification: Free all events at plugin deinit.

push-notification: Allow OX driver to use "user" from METADATA only if user_from_metadata is set.
Otherwise users could send push-notifications to each others' if
imap_metadata=yes.

push-notification: Cache the metadata lookup in OX driver.

push-notification: Don't crash at ox driver cleanup if init() hadn't been called.

push-notification: Improved struct naming of driver list data

push-notification: On-demand initialization of transaction data

push-notification: Fix infinite recursive loop in OX driver

push-notification: If other drivers triggered a non-MessageNew successful event, don't assert

push-notification: Fix distinguishing between IMAP APPEND and MTA deliveries

doveadm fetch: Added "storageid" field.

lib-storage: Renamed MAIL_FETCH_UIDL_FILE_NAME to MAIL_FETCH_STORAGE_ID.
Keep MAIL_FETCH_UIDL_FILE_NAME for backwards compatibility for now.

dict-sql: Added support for "uint" field type.

dict-sql: Added support for extensible field types.

fts-solr: Removed Content-Type header from "select" requests to fix Solr v5.1.

lib: s/EDEADLOCK/EDEADLK/
It felt wrong since the beginning, but my first attempt at EDEADLCK didn't
work and EDEADLOCK did. Of course, not everywhere.

Added signature for changeset 7a5726201e40

Added tag 2.2.19.rc2 for changeset 7a5726201e40

Released v2.2.19.rc2.

quota: Fix to previous commit - counting quota-disabled-storages may have returned random failures.

quota: Fixed "count" backend to ignore storages that have quota disabled.
For example virtual mailboxes shouldn't be counted in quota.

quota: The new quota counting code was counting only the last mailbox.

virtual plugin: Fixed assert-crash on mailbox_status() if virtual mailbox wasn't opened yet.
We no longer require that mailboxes must not be auto-opened.

virtual plugin: Fixed crash on mailbox_status() if virtual mailbox wasn't opened yet.
mbox->backend_boxes is initialized only when mailbox is opened.

quota: doveadm quota recalc works now for "count" backend by rebuilding vsize header.

quota: Code cleanup - abstract out iteration of mailboxes related to a quota root.

lib: Using istream-timeout with timeout disabled caused excessive CPU usage.

lib-storage: Added assert - mailbox has to be open when starting vsize header update.

lib-storage: Don't try to update index vsize if syncing failed.

lib-http: Don't silently truncate response payload if server disconnects during it.

lib: Added i_stream_create_sized_with_callback(). The callback returns the wanted error string.

lib: When destroying istream-sized stream, it seeks the parent input at the end offset.
This is also how istream-limit works.

lib-http: When receiving unexpected input in HTTP response, include a longer snippet of it in the error.

lib-http: Added asserts to all refcount increments.
These could catch situations where an already freed object's refcount is
attempted to be increased.

lib-http: Avoid crashes when server is already disconnected.
I'm not sure if this is the nicest fix, but seems to work for now at least.

lib-http: Disconnection from HTTP server could have caused accessing already freed memory.
Freeing a request could have freed the connection.

quota: Avoid crash in quota_root_iter_init() if mailbox has no quota enabled.
This allows quota_get_mail_user_quota() to be called even when quota doesn't
exist. Cleaned up all the code using it to now check for the NULL result.

This fixes a crash in quota_clone plugin.

quota-clone: Memory leak fix when mailbox had no quota roots.

push-notification: Log about unexpectedly failing mailbox functions.
Found by Coverity.

Added NULL-check asserts to make static analyzer happier.
These shouldn't be happening.

lib-storage: Removed unnecessary code - nnode is never NULL at this point.
Found by Coverity.

dsync: Removed unnecessary code - cur_mail is never NULL at this point.
Found by Coverity.

imapc: Fixed crash if imapc_host or imapc_password setting was missing.
Instead of giving a nice error message about it.
Found by Coverity.

dict-client: Avoid crash if server disconnects during transaction commit.
Found by Coverity.

*-login: Session ID generator wasn't encoding remote port number correctly to it.
The upper 8bits of the port number were always written as 0.
This could have lead to duplicate session ID strings in some rare cases.
Found by Coverity.

lib-http: Avoid compiler warnings in printf() strings.
Cast fields explicitly as long, which should be large enough.

Fixed compiler warnings in some systems.
major() and minor() are unsigned ints nowadays, but in Solaris it's major_t.
Cast them explicitly to avoid compiler warnings, and use unsigned longs
instead of unsigned ints just in case.

Make static analyzer happier.

lib-http: Removed "pure" attribute from http_header_field_find_unique().
It's a bit questionable if returning a pointer via parameter is allowed for
a pure function. Also having this attribute seems to confuse clang static
analyzer, because it gives false positives for code using
http_header_field_find_unique(). It's not important for performance anyway,
so better to avoid using it.

dict-sql: If value isn't a hexblob as expected, log an error instead of killing the whole process.

cassandra: copy&paste mistake - use monotonic timestamp generator, not server side..

cassandra: Added "version" parameter to specify a protocol version.
Mainly to avoid warnings logged when connecting to an older Cassandra
server.

doveconf: Don't if _password value is empty, don't hide it.

cassandra: Use a local monotonic timestamp generator.
Otherwise we run into race conditions on server side timestamps, which cause
problems.

virtual plugin: Auto-close mailboxes by hooking into backend's mailbox_open()
This is a more reliable way of doing it. The earlier version had problems
that all the backend mailboxes could be opened when doing a search on the
virtual mailbox (for getting the GUID of the mailboxes).

virtual plugin: Fixed assert-crash when closing a virtual mailbox consisting of many real mailboxes.

dict-client: Verify that the correct transaction ID is returned for commit reply.

quota: Avoid triggering quota recalc in dict transaction commit callback.
This mainly causes trouble if it again does more dict accesses.

pgsql: Avoid crash in multi-command transaction if one of the queries couldn't be sent to server.

indexer: Use a slightly different session ID than the session that requested indexing.
Required to avoid "duplicate session ID" errors in stats process.

Alternative would have been to change the stats protocol a bit and always
send the service name along with session ID, and use those two together as
the primary key. Maybe this could be done in future if we get more of these
kind of processes.

doveconf: Unless -P parameter is used, hide all keys ending with "_password"
A little bit ugly way, but implementing a proper SET_PASSWORD type was
getting too difficult with the current config code. Then again as a bonus
this also hides plugin { *_password } settings, if there are any, which
wouldn't have been possible with SET_PASSWORD.