lib: test-strnum - do not invite undetectable errors
The very numbers which could cause a broken parser to over-run, the ones we
are testing, are the ones which will be parsed as having a value similar to
'value', so check that no value was returned by using a number completely
dissimilar to that. Otherwise, there might be an accidental mis-parse that
overwrote value, but left its value the same.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_storage_set_critical() calls to i_error()s, but
because these unlink() failures don't actually fail the operation it doesn't
matter.

lib-index: Replaced some unlink()s with i_unlink*()s where we could.
This changes some mail_index_set_error() calls to i_error()s, but because
these unlink() failures don't actually fail the operation it doesn't matter.
In fact it may be even better that it doesn't overwrite the existing
index->error if it exists.

Replaced unlink() calls with i_unlink*() wherever possible.

lib: Added i_unlink() and i_unlink_if_exists()
These log the error message on a failed unlink(). They also include the
source code file and line number to make it easier to find which unlink()
actually failed if the path itself doesn't already clearly identify it.
This can be especially useful if the path is (null), "" or contains some
corrupted garbage.

lib-storage: Mailbox deletion shouldn't fail when trying to delete read-only attributes.

lib-storage: Use MAIL_ERROR_NOTPOSSIBLE if mailbox_attribute_*set() fails for read-only attribute.
MAIL_ERROR_PARAMS indicates that there was something wrong with the
parameters itself. But the caller can't know (at least with current APIs)
if it's a read-only attribute it's trying to change before actually doing it.

lib-storage: If mail_attribute_dict is set, ignore non-authority rank internal attributes.
This way dsync can still sync things like Sieve scripts, but it doesn't
attempt to sync anything that actually requires dict.

example-config: 10-mail.conf: Added example configuration for the new settings relating to IMAP METADATA.

example-config: Added more detailed documentation for mailbox settings.

lib: strnum: Fixed test suite failure on 32 bit systems.

acl: Log which ACL groups are enabled with mail_debug=yes

lib-charset: Fixed assert-crash with some iconv() versions.
Older glibc iconv() versions seem to skip over invalid characters, at least
with some charsets, while newer versions don't. We were assuming that the
skipping never happened, so if the invalid character was at the end of the
string we could have wrapped size to (size_t)-1 and caused a crash later on.

imap: METADATA: Implemented mailbox and server comment entries and the server admin entry.

imap: Implemented /private/specialuse METADATA entry for SPECIAL-USE capability.

lib: Added some tests for the new strnum _hex() and _oct() function variants.

lib: Added assert to Solaris sendfile() return value.

doveadm: Fixed hiding titles' tabs with tab formatter (-h -f tab)

Make static analyzer happier.

lib-charset: Added more asserts to checking iconv() results.

lib-charset: Updated test-charset unit test to check for iconv() E2BIG result

lib-storage: Mailbox list notifications didn't work for INBOX.
Because of some earlier optimizations that changes to INBOX aren't written
to dovecot.list.index.log file.

Mailbox list notify API changed to return multiple events at once.
This fixes some issues where a single event could actually trigger multiple
different kinds of events.

imap: NOTIFY (SUBSCRIPTIONS) assert-crashed when subscriptions hadn't been refreshed.

Various passthrough istreams didn't preserve readable_fd.

lib: Fix hang in safe_sendfile on SmartOS
The call to sendfile on SmartOS can fail with EOPNOTSUPP. This is a valid
error code and documented in the man page. This error code needs to be
handled or else dovecot will retry the sendfile call endlessly and hang.

imap: Fixed assert-crash in NOTIFY when using multiple namespaces.
I'm not sure why the original code was trying to add it to multiple
namespaces. A single mailbox name should be matching only a single
namespace (visible one at least). In any case we can't use
mail_namespace_find() with only partial namespaces-list, because it'll
assert-crash if it can't find a namespace for the mailbox.

lib-storage: Fixed assert-crash when reading binary streams.

doveadm: Added new "auth login" command to simulate an actual client login.
This performs both passdb and userdb lookups and prints their results.

auth: If userdb lookup was found from auth cache, don't clear the earlier userdb fields.

auth: If multiple userdbs are used, default_fields was ignored for all but the first one.

director: Added director_user_kick_delay setting.
This replaces the hardcoded 2 seconds delay. This setting specifies how long
to wait for after user has been kicked from all directors before letting the
user login to the new server. This timeout should be large enough that the
user's existing processes in the old backend should be finished.

login proxy: Added delayed disconnection of clients on server mass-disconnect.
login_proxy_max_disconnect_delay setting (default 0 = disabled) controls for
how long time period the disconnections are spread to. The idea behind this
is to avoid load spikes due to client reconnections when a backend server
dies or is restarted.

auth: Ignore first passdbs that contain skip=unauthenticated.
They can never match anything.

lib-storage: Added mailbox_attribute_register_internals()
Just for making it easier to register multiple attributes.

lib-storage: Allow MAIL_ATTRIBUTE_INTERNAL_RANK_DEFAULT to use get=NULL
This is useful for registering internal attributes whose only purpose is to
be able to set/get them via dict. (Because normally the dict access would be
denied completely.)

lib-storage: Allow set/get for Dovecot-private attributes via internal attributes.
This allows registering attributes with MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT
prefix and having them be get/set via dict, instead of failing them.

lib-storage: Added MAIL_ATTRIBUTE_INTERNAL_FLAG_CHILDREN
This also adds the key to get() and set() functions, so they can know
exactly what key is wanted to be accessed.

mail-storage: Added registration API for builtin mailbox attributes.

lib-storage: mail_user_init() wasn't always expanding %h correctly to settings.
This mainly affected users autocreated for accessing shared mailboxes.

lib-storage: Updated MAILBOX_ATTRIBUTE_KEY_IS_USER_ACCESSIBLE() to not allow private server attributes.

dovecot.m4: Added LIBDOVECOT_ACL_INCLUDE

auth: Fixed passdb skip_password_check / result_success=continue-fail handling
If passdb returned success, but result_success=continue-fail, it means that
the authentication didn't succeed. So we still want to check the password
again and in general treat the request as unauthenticated (especially for
the passdb { skip } setting).

So the current logic means that there are 2 ways for the request to be
treated as authenticated and skipping any password checking:

1) passdb lookup succeeding, with result_success=continue, continue-ok,
return or return-ok

2) passdb lookup not succeeding, with result_failure=continue-ok or
return-ok

It's a bit questionable though if 2) should be allowed.

imap: Don't allow IMAP METADATA to access Dovecot's private server attributes.

auth: Aborting auth request didn't abort a pending proxy DNS lookup.

lib-storage: Store pointer to mail_storage_service_user to mail_user if it exists.

lib-storage: Added mail_storage_service_user_get_service_ctx()

acl: Install most of the header files.

acl: acl_object_list_next() should return -1 if acl refreshing failed earlier.

dsync: If remote disconnects, log the last sent/recv state.

dsync: If we disconnect with I/O timeout, log the last sent/recv state.

login proxy: Code cleanup - separate login_proxy_free_final()

login proxy: Always keep proxy->state_rec available.

login proxy: Added asserts to track that num_waiting_connections are correct.

login proxy: Small code cleanup

dsync: Assert-crashfix
Fixes:

Panic: file mail-storage.c: line 1897 (mailbox_save_alloc): assertion
failed: (!ctx->unfinished)

cassandra: Handle async queries internally - don't use sql pooling code.
There's no need to create multiple Cassandra instances, since the single
instance is capable of doing multiple asynchronous requests in parallel.

lib-storage: Another fix to using index_storage_mailbox_close() without an opened view.
Calling mail_index_close() without mail_index_open() caused it to
assert-crash.

dict: Various reference counting and other fixes related to using freed memory.

dsync: Crashfix in certain situation.

lib-storage: Allow index_storage_mailbox_close() to be called without an opened view.
Some failing mailbox_open() call may leave it in such a state.

doveadm director update command added.
The difference to "doveadm director add" is that if the IP doesn't already
exist, it's not added.

Removed SET_IN_PORT_ZERO - SET_IN_PORT now always allows zeros as well.
A zero in all the port settings means that the port is disabled, which is
also the default. So it shouldn't be an error to explicitly set it to zero
in the config file.

lib: strnum - simplify hex and oct overflow code
uintmax_t is defined to have modulo-2^n semantics, and therefore the bottom
bits of (uintmax_t) are guaranteed to be all set. Therefore the checking of
the next character read is unnecessary, as it's already done in the loop
control statement itself. (This is not true about the bottom digit base 10,
which is why the check remains in the decimal case)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

man: doveadm-sync.1: Added description for option `-T secs'.

dict-sql: Fixed iteration with blob fields.

dict-sql: Implemented support for binary fields.
Example:

map {
  pattern = shared/blobtest/$key
  table = blobtest
  value_field = value
  value_hexblob = yes

  fields {
    key = ${hexblob:key}
  }
}

Now you can access both field and value as hex data. For example:

doveadm dict set proxy::sqldict shared/blobtest/746573746b6579 7465737476616c7565

This adds "testkey" and "testvalue" to key and value fields blobs.

lib-sql: Implemented sql_escape_blob()

cassandra: Implemented support for binary values.

doveadm dict iter: Added -V parameter to return only keys.

dict-sql: Fixed iteration with DICT_ITERATE_FLAG_NO_VALUE

dict-client: Prefix relative socket paths with base_dir.

dict: Added dict-async service.
This allows running separate dict processes with separate settings for async
and non-async backends.

dict-sql: Added support for async operations.

dict: Use the new async APIs for everything.
If the dict backend supports async operations, this means that dict service
can now be configured with client_count>1.

lib-dict: Added async API for lookup and iteration.

dict-sql: Code cleanup - added sql_dict_transaction_has_nonexistent()

dict-sql: Code cleanup - use a common sql_dict_transaction_free()

dict-sql: Fixed memory leak when committing/rollbacking unchanged transaction.

dict-sql: Code cleanup - separated SQL query building function from sending it.

lib-dict: Code cleanup - give name for enum dict_protocol_cmd/reply

lib-sql: Mark Cassandra driver as pooled.
Otherwise all the asynchronous operations will assert-crash, since all the
auto-connecting code is in the sqlpool code.

lib-sql: Debugging help - Added assert before clearing sql_result.callback.
If result is unrefed too many times, this still allows accessing the
callback from a debugger.

lib-sql: sql_result.free() should never be reached from the query callback.
This code was probably added before sql_result refcounting.

lib-imap-client: If connect() fails immediately, log an error and retry the next IP.
Only if all IPs fail return a full failure. This is mainly intended to skip
IPv6 addresses when IPv6 connectivity doesn't work.

auth: Added ":protected" suffix to passdb and userdb field names.
This means that if the field is set only if it hasn't already been set.
Usually an earlier passdb/userdb would have set the field and this is
setting a default (e.g. per-user settings override per-domain settings).

lib-fs: Added "dict" backend, which is a wrapper to using lib-dict.

imap-hibernate: Use sockets' st_dev and st_ino to verify that the passed fd is correct.

lib: Added str_to_ino()

imap: NOTIFY SET STATUS didn't send HIGHESTMODSEQ in STATUS reponses when needed.

*-login: mail_max_userip_connections=0 was broken by f8ab4f979e92

cassandra: Changed default consistency levels to local-quorum.
It is a much safer default than "one".

cassandra: Split consistency setting to read_consistency and write_consistency.

lib-fts: Add missing "j'" to French contractions.

Earlier in_port_t fix was ineffective due to one small detail.
The new SET_IN_PORT_ZERO did not actually use the new net_str2port_zero() function.

lib-fts: Add UTF-8 unit test for lowercase filter.

lib-fts: Add prefixing contraction filter.
Filters away prefixing contracted words, e.g. "l'homme" -> "homme".
Tokens to be filtered must be lower case. Only supports French in
this initial version.

aggregator: Allow replicator_port=0 setting (fix to previous in_port_t changes)

Earlier in_port_t fix created problems with service listener configuration.
Listeners are disabled with port=0, which was not allowed anymore.

lib-master: Compiler warning fix