imap: NOTIFY (SUBSCRIPTIONS) assert-crashed when subscriptions hadn't been refreshed.

Various passthrough istreams didn't preserve readable_fd.

lib: Fix hang in safe_sendfile on SmartOS
The call to sendfile on SmartOS can fail with EOPNOTSUPP. This is a valid
error code and documented in the man page. This error code needs to be
handled or else dovecot will retry the sendfile call endlessly and hang.

imap: Fixed assert-crash in NOTIFY when using multiple namespaces.
I'm not sure why the original code was trying to add it to multiple
namespaces. A single mailbox name should be matching only a single
namespace (visible one at least). In any case we can't use
mail_namespace_find() with only partial namespaces-list, because it'll
assert-crash if it can't find a namespace for the mailbox.

lib-storage: Fixed assert-crash when reading binary streams.

doveadm: Added new "auth login" command to simulate an actual client login.
This performs both passdb and userdb lookups and prints their results.

auth: If userdb lookup was found from auth cache, don't clear the earlier userdb fields.

auth: If multiple userdbs are used, default_fields was ignored for all but the first one.

director: Added director_user_kick_delay setting.
This replaces the hardcoded 2 seconds delay. This setting specifies how long
to wait for after user has been kicked from all directors before letting the
user login to the new server. This timeout should be large enough that the
user's existing processes in the old backend should be finished.

login proxy: Added delayed disconnection of clients on server mass-disconnect.
login_proxy_max_disconnect_delay setting (default 0 = disabled) controls for
how long time period the disconnections are spread to. The idea behind this
is to avoid load spikes due to client reconnections when a backend server
dies or is restarted.

auth: Ignore first passdbs that contain skip=unauthenticated.
They can never match anything.

lib-storage: Added mailbox_attribute_register_internals()
Just for making it easier to register multiple attributes.

lib-storage: Allow MAIL_ATTRIBUTE_INTERNAL_RANK_DEFAULT to use get=NULL
This is useful for registering internal attributes whose only purpose is to
be able to set/get them via dict. (Because normally the dict access would be
denied completely.)

lib-storage: Allow set/get for Dovecot-private attributes via internal attributes.
This allows registering attributes with MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT
prefix and having them be get/set via dict, instead of failing them.

lib-storage: Added MAIL_ATTRIBUTE_INTERNAL_FLAG_CHILDREN
This also adds the key to get() and set() functions, so they can know
exactly what key is wanted to be accessed.

mail-storage: Added registration API for builtin mailbox attributes.

lib-storage: mail_user_init() wasn't always expanding %h correctly to settings.
This mainly affected users autocreated for accessing shared mailboxes.

lib-storage: Updated MAILBOX_ATTRIBUTE_KEY_IS_USER_ACCESSIBLE() to not allow private server attributes.

dovecot.m4: Added LIBDOVECOT_ACL_INCLUDE

auth: Fixed passdb skip_password_check / result_success=continue-fail handling
If passdb returned success, but result_success=continue-fail, it means that
the authentication didn't succeed. So we still want to check the password
again and in general treat the request as unauthenticated (especially for
the passdb { skip } setting).

So the current logic means that there are 2 ways for the request to be
treated as authenticated and skipping any password checking:

1) passdb lookup succeeding, with result_success=continue, continue-ok,
return or return-ok

2) passdb lookup not succeeding, with result_failure=continue-ok or
return-ok

It's a bit questionable though if 2) should be allowed.

imap: Don't allow IMAP METADATA to access Dovecot's private server attributes.

auth: Aborting auth request didn't abort a pending proxy DNS lookup.

lib-storage: Store pointer to mail_storage_service_user to mail_user if it exists.

lib-storage: Added mail_storage_service_user_get_service_ctx()

acl: Install most of the header files.

acl: acl_object_list_next() should return -1 if acl refreshing failed earlier.

dsync: If remote disconnects, log the last sent/recv state.

dsync: If we disconnect with I/O timeout, log the last sent/recv state.

login proxy: Code cleanup - separate login_proxy_free_final()

login proxy: Always keep proxy->state_rec available.

login proxy: Added asserts to track that num_waiting_connections are correct.

login proxy: Small code cleanup

dsync: Assert-crashfix
Fixes:

Panic: file mail-storage.c: line 1897 (mailbox_save_alloc): assertion
failed: (!ctx->unfinished)

cassandra: Handle async queries internally - don't use sql pooling code.
There's no need to create multiple Cassandra instances, since the single
instance is capable of doing multiple asynchronous requests in parallel.

lib-storage: Another fix to using index_storage_mailbox_close() without an opened view.
Calling mail_index_close() without mail_index_open() caused it to
assert-crash.

dict: Various reference counting and other fixes related to using freed memory.

dsync: Crashfix in certain situation.

lib-storage: Allow index_storage_mailbox_close() to be called without an opened view.
Some failing mailbox_open() call may leave it in such a state.

doveadm director update command added.
The difference to "doveadm director add" is that if the IP doesn't already
exist, it's not added.

Removed SET_IN_PORT_ZERO - SET_IN_PORT now always allows zeros as well.
A zero in all the port settings means that the port is disabled, which is
also the default. So it shouldn't be an error to explicitly set it to zero
in the config file.

lib: strnum - simplify hex and oct overflow code
uintmax_t is defined to have modulo-2^n semantics, and therefore the bottom
bits of (uintmax_t) are guaranteed to be all set. Therefore the checking of
the next character read is unnecessary, as it's already done in the loop
control statement itself. (This is not true about the bottom digit base 10,
which is why the check remains in the decimal case)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

man: doveadm-sync.1: Added description for option `-T secs'.

dict-sql: Fixed iteration with blob fields.

dict-sql: Implemented support for binary fields.
Example:

map {
  pattern = shared/blobtest/$key
  table = blobtest
  value_field = value
  value_hexblob = yes

  fields {
    key = ${hexblob:key}
  }
}

Now you can access both field and value as hex data. For example:

doveadm dict set proxy::sqldict shared/blobtest/746573746b6579 7465737476616c7565

This adds "testkey" and "testvalue" to key and value fields blobs.

lib-sql: Implemented sql_escape_blob()

cassandra: Implemented support for binary values.

doveadm dict iter: Added -V parameter to return only keys.

dict-sql: Fixed iteration with DICT_ITERATE_FLAG_NO_VALUE

dict-client: Prefix relative socket paths with base_dir.

dict: Added dict-async service.
This allows running separate dict processes with separate settings for async
and non-async backends.

dict-sql: Added support for async operations.

dict: Use the new async APIs for everything.
If the dict backend supports async operations, this means that dict service
can now be configured with client_count>1.

lib-dict: Added async API for lookup and iteration.

dict-sql: Code cleanup - added sql_dict_transaction_has_nonexistent()

dict-sql: Code cleanup - use a common sql_dict_transaction_free()

dict-sql: Fixed memory leak when committing/rollbacking unchanged transaction.

dict-sql: Code cleanup - separated SQL query building function from sending it.

lib-dict: Code cleanup - give name for enum dict_protocol_cmd/reply

lib-sql: Mark Cassandra driver as pooled.
Otherwise all the asynchronous operations will assert-crash, since all the
auto-connecting code is in the sqlpool code.

lib-sql: Debugging help - Added assert before clearing sql_result.callback.
If result is unrefed too many times, this still allows accessing the
callback from a debugger.

lib-sql: sql_result.free() should never be reached from the query callback.
This code was probably added before sql_result refcounting.

lib-imap-client: If connect() fails immediately, log an error and retry the next IP.
Only if all IPs fail return a full failure. This is mainly intended to skip
IPv6 addresses when IPv6 connectivity doesn't work.

auth: Added ":protected" suffix to passdb and userdb field names.
This means that if the field is set only if it hasn't already been set.
Usually an earlier passdb/userdb would have set the field and this is
setting a default (e.g. per-user settings override per-domain settings).

lib-fs: Added "dict" backend, which is a wrapper to using lib-dict.

imap-hibernate: Use sockets' st_dev and st_ino to verify that the passed fd is correct.

lib: Added str_to_ino()

imap: NOTIFY SET STATUS didn't send HIGHESTMODSEQ in STATUS reponses when needed.

*-login: mail_max_userip_connections=0 was broken by f8ab4f979e92

cassandra: Changed default consistency levels to local-quorum.
It is a much safer default than "one".

cassandra: Split consistency setting to read_consistency and write_consistency.

lib-fts: Add missing "j'" to French contractions.

Earlier in_port_t fix was ineffective due to one small detail.
The new SET_IN_PORT_ZERO did not actually use the new net_str2port_zero() function.

lib-fts: Add UTF-8 unit test for lowercase filter.

lib-fts: Add prefixing contraction filter.
Filters away prefixing contracted words, e.g. "l'homme" -> "homme".
Tokens to be filtered must be lower case. Only supports French in
this initial version.

aggregator: Allow replicator_port=0 setting (fix to previous in_port_t changes)

Earlier in_port_t fix created problems with service listener configuration.
Listeners are disabled with port=0, which was not allowed anymore.

lib-master: Compiler warning fix

http-client: Added support for using an HTTP proxy running on a unix socket.

Removed all invocations of strtoll() and friends.

strnum: Implemented many more numeric string parsing functions.
Created macros for most of the implementation to avoid further code
duplication.

Removed all invocations of atoi().

Changed type of internet port values to in_port_t everywhere.
Created special SET_IN_PORT setting type for internet port values.
Created net_str2port() for parsing internet port values.
Removed several atoi() invocations in the process.

ioloop-epoll: Fix fatal epoll_wait() error occurring when there are only ios with no fd.

lib-http: client: Added proper handling of 408 response status.
This is treated as a special server connection close event, rather than a
response to the last issued request.

lib-storage: Added %{userdb:*} expansion to mail settings.

lib-settings: Added settings_var_expand_with_funcs()

lib: If var_expand_with_funcs() function returns NULL, it should be treated the same as ""
The previous behavior was to return "%{foo:bar}" as "foo:bar}".

*-login: Added %{passdb:*} fields to login_log_format_elements

doveadm fs delete: Support giving multiple filename parameters.

dsync: Include mailboxes' full path in debug messages.

imapc: Don't crash with mailbox_list_index=yes

lib: Try fixing ec6e672a6e32 (ioloop timeout fixing)
Previous code was broken at least when moving a timeout between ioloops.
This is now tested and works.

dsync: Fixed running with tcp/tcps destination.

dsync: Fixed another crash with recent end-of-list changes.

Reverted ec6e672a6e32 for now due to some bugs.

dsync: Added -D parameter to disable mailbox renaming.
The renaming logic is annoyingly complex and there are some bugs left in it.
With this parameter renames are never even attempted, but instead a rename
would be done (slowly) with mailbox delete + create + fill.

Although with imapc protocol mailbox renames are rarely detected anyway.

dsync: Fixed again waiting for remote process wait to die.
We can't rely on stderr getting closed. It doesn't happen if the remote
process crashes. Now waiting for SIGCHLD in ioloop should solve this and
still log all the error messages at exit.

ioloop: Delay actual start of a new normal timeout until the next io_loop_run() cycle.
This makes sure that timeouts will not expire before they get a chance to
run.

imapc: Fixed handling escape-char
The current code should now handle all kinds of mailbox names correctly, including:

~/foo
%7e/bar

lib-storage: mailbox_list_[un]escape_name() can now be called globally