login proxy: Always keep proxy->state_rec available.

login proxy: Added asserts to track that num_waiting_connections are correct.

login proxy: Small code cleanup

dsync: Assert-crashfix
Fixes:

Panic: file mail-storage.c: line 1897 (mailbox_save_alloc): assertion
failed: (!ctx->unfinished)

cassandra: Handle async queries internally - don't use sql pooling code.
There's no need to create multiple Cassandra instances, since the single
instance is capable of doing multiple asynchronous requests in parallel.

lib-storage: Another fix to using index_storage_mailbox_close() without an opened view.
Calling mail_index_close() without mail_index_open() caused it to
assert-crash.

dict: Various reference counting and other fixes related to using freed memory.

dsync: Crashfix in certain situation.

lib-storage: Allow index_storage_mailbox_close() to be called without an opened view.
Some failing mailbox_open() call may leave it in such a state.

doveadm director update command added.
The difference to "doveadm director add" is that if the IP doesn't already
exist, it's not added.

Removed SET_IN_PORT_ZERO - SET_IN_PORT now always allows zeros as well.
A zero in all the port settings means that the port is disabled, which is
also the default. So it shouldn't be an error to explicitly set it to zero
in the config file.

lib: strnum - simplify hex and oct overflow code
uintmax_t is defined to have modulo-2^n semantics, and therefore the bottom
bits of (uintmax_t) are guaranteed to be all set. Therefore the checking of
the next character read is unnecessary, as it's already done in the loop
control statement itself. (This is not true about the bottom digit base 10,
which is why the check remains in the decimal case)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

man: doveadm-sync.1: Added description for option `-T secs'.

dict-sql: Fixed iteration with blob fields.

dict-sql: Implemented support for binary fields.
Example:

map {
  pattern = shared/blobtest/$key
  table = blobtest
  value_field = value
  value_hexblob = yes

  fields {
    key = ${hexblob:key}
  }
}

Now you can access both field and value as hex data. For example:

doveadm dict set proxy::sqldict shared/blobtest/746573746b6579 7465737476616c7565

This adds "testkey" and "testvalue" to key and value fields blobs.

lib-sql: Implemented sql_escape_blob()

cassandra: Implemented support for binary values.

doveadm dict iter: Added -V parameter to return only keys.

dict-sql: Fixed iteration with DICT_ITERATE_FLAG_NO_VALUE

dict-client: Prefix relative socket paths with base_dir.

dict: Added dict-async service.
This allows running separate dict processes with separate settings for async
and non-async backends.

dict-sql: Added support for async operations.

dict: Use the new async APIs for everything.
If the dict backend supports async operations, this means that dict service
can now be configured with client_count>1.

lib-dict: Added async API for lookup and iteration.

dict-sql: Code cleanup - added sql_dict_transaction_has_nonexistent()

dict-sql: Code cleanup - use a common sql_dict_transaction_free()

dict-sql: Fixed memory leak when committing/rollbacking unchanged transaction.

dict-sql: Code cleanup - separated SQL query building function from sending it.

lib-dict: Code cleanup - give name for enum dict_protocol_cmd/reply

lib-sql: Mark Cassandra driver as pooled.
Otherwise all the asynchronous operations will assert-crash, since all the
auto-connecting code is in the sqlpool code.

lib-sql: Debugging help - Added assert before clearing sql_result.callback.
If result is unrefed too many times, this still allows accessing the
callback from a debugger.

lib-sql: sql_result.free() should never be reached from the query callback.
This code was probably added before sql_result refcounting.

lib-imap-client: If connect() fails immediately, log an error and retry the next IP.
Only if all IPs fail return a full failure. This is mainly intended to skip
IPv6 addresses when IPv6 connectivity doesn't work.

auth: Added ":protected" suffix to passdb and userdb field names.
This means that if the field is set only if it hasn't already been set.
Usually an earlier passdb/userdb would have set the field and this is
setting a default (e.g. per-user settings override per-domain settings).

lib-fs: Added "dict" backend, which is a wrapper to using lib-dict.

imap-hibernate: Use sockets' st_dev and st_ino to verify that the passed fd is correct.

lib: Added str_to_ino()

imap: NOTIFY SET STATUS didn't send HIGHESTMODSEQ in STATUS reponses when needed.

*-login: mail_max_userip_connections=0 was broken by f8ab4f979e92

cassandra: Changed default consistency levels to local-quorum.
It is a much safer default than "one".

cassandra: Split consistency setting to read_consistency and write_consistency.

lib-fts: Add missing "j'" to French contractions.

Earlier in_port_t fix was ineffective due to one small detail.
The new SET_IN_PORT_ZERO did not actually use the new net_str2port_zero() function.

lib-fts: Add UTF-8 unit test for lowercase filter.

lib-fts: Add prefixing contraction filter.
Filters away prefixing contracted words, e.g. "l'homme" -> "homme".
Tokens to be filtered must be lower case. Only supports French in
this initial version.

aggregator: Allow replicator_port=0 setting (fix to previous in_port_t changes)

Earlier in_port_t fix created problems with service listener configuration.
Listeners are disabled with port=0, which was not allowed anymore.

lib-master: Compiler warning fix

http-client: Added support for using an HTTP proxy running on a unix socket.

Removed all invocations of strtoll() and friends.

strnum: Implemented many more numeric string parsing functions.
Created macros for most of the implementation to avoid further code
duplication.

Removed all invocations of atoi().

Changed type of internet port values to in_port_t everywhere.
Created special SET_IN_PORT setting type for internet port values.
Created net_str2port() for parsing internet port values.
Removed several atoi() invocations in the process.

ioloop-epoll: Fix fatal epoll_wait() error occurring when there are only ios with no fd.

lib-http: client: Added proper handling of 408 response status.
This is treated as a special server connection close event, rather than a
response to the last issued request.

lib-storage: Added %{userdb:*} expansion to mail settings.

lib-settings: Added settings_var_expand_with_funcs()

lib: If var_expand_with_funcs() function returns NULL, it should be treated the same as ""
The previous behavior was to return "%{foo:bar}" as "foo:bar}".

*-login: Added %{passdb:*} fields to login_log_format_elements

doveadm fs delete: Support giving multiple filename parameters.

dsync: Include mailboxes' full path in debug messages.

imapc: Don't crash with mailbox_list_index=yes

lib: Try fixing ec6e672a6e32 (ioloop timeout fixing)
Previous code was broken at least when moving a timeout between ioloops.
This is now tested and works.

dsync: Fixed running with tcp/tcps destination.

dsync: Fixed another crash with recent end-of-list changes.

Reverted ec6e672a6e32 for now due to some bugs.

dsync: Added -D parameter to disable mailbox renaming.
The renaming logic is annoyingly complex and there are some bugs left in it.
With this parameter renames are never even attempted, but instead a rename
would be done (slowly) with mailbox delete + create + fill.

Although with imapc protocol mailbox renames are rarely detected anyway.

dsync: Fixed again waiting for remote process wait to die.
We can't rely on stderr getting closed. It doesn't happen if the remote
process crashes. Now waiting for SIGCHLD in ioloop should solve this and
still log all the error messages at exit.

ioloop: Delay actual start of a new normal timeout until the next io_loop_run() cycle.
This makes sure that timeouts will not expire before they get a chance to
run.

imapc: Fixed handling escape-char
The current code should now handle all kinds of mailbox names correctly, including:

~/foo
%7e/bar

lib-storage: mailbox_list_[un]escape_name() can now be called globally

dsync: Earlier end-of-list change broke single-process dsync.

dsync: Make sure we print all the stderr output from remote processes at deinit.
Earlier the final messages may have been lost, especially if debug logging
was enabled.

dsync: Added -T parameter to specify the I/O stall timeout.

dsync: If mailbox export deinit failed, the failure state may not have reached mailbox importer.
The "end of list" was sent to the importer side dsync before export noticed
the failure. This could have caused import to complain about missing mails.

dsync: Added assert to make sure end-of-list isn't sent when brain has already failed.

imap: If mailbox state couldn't be exported for hibernation, log also the mailbox name.

login_log_format_elements: Added %{listener} variable to expand to the listener socket name.

example-config: Updated mail_attribute_dict comment

imap: Fail silently if selected mailbox format doesn't support GUIDs.

imap: Fixed hibernation to work with non-TCP connections.
Mainly meaning UNIX socket connections from login processes, which are
proxying TLS connections.

lib-http: Added more debug logging.
Patch by Stephan Bosch.

lib-imap-client: Allow reconnecting to IMAP server even if there had been no idle moments.

lib-imap-client: Removed unused pending_box_command_count

imapc: If FETCH commands fail, have imapc_mail_fetch() always return failure.
Earlier it may have returned success and imapc would later complain about a
missing FETCH field.

lib: Fixed io_loop_extract_notify_fd() to compile with kqueue.

lib-master: struct master_service_connection.name must never be NULL, use "" instead.
Fixes crash at least in auth process when there are inet_listeners without
names.

dsync: Compiler warning fix to previous change.

dsync: Fixed memory leaks when importing attributes whose values were in istreams.

doveadm backup: Fixed assert-crash due to duplicate 'R' in getopt args.

imap: Compiler warning fix to imap-hibernate commit

Added imap-hibernate process for gathering IDLEing imap processes.
imap_hibernate_timeout setting controls how quickly the connection is moved
from imap process to imap-hibernate process.

Some IMAP extensions like NOTIFY, SEARCH=CONTEXT and COMPRESS aren't
supported yet.

There's also a new X-STATE command, which can be used to export the current
IMAP connection state to a string and later on imported to get back to the
original state (a quick resync feature for IMAP clients). However, this
command is disabled for now due to the current code being unoptimized for
untrusted input.

lib-storage: Added mailbox_watch_extract_notify_fd()

lib: Added io_loop_extract_notify_fd()

lib-storage: Added mailbox_recent_flags_set_uid_forced()
This allows adding recent flags to mails whose UID is lower than the
existing recent mails.

lib-storage: mail_storage_service_user_free() needs to update log prefix if current user is freed.

lib-storage: mail_user_var_expand_table() may not have returned %{auth_username} correctly

Use io_stream_get_disconnect_reason() instead of duplicating its code all over the place.

lib: Added io_stream_get_disconnect_reason() to iostream.h

lib: connection_disconnect_reason() now returns the full iostream error string.