lib-http: client: Removed connection code that is already in src/lib/connection.c.

lib: connection: Now uses io_add_istream() instead of io_add().

lib-imap-storage: Created new METADATA API.

lib-fs: Added fs_lookup_metadata() wrapper to fs_get_metadata()

lib-master: Don't even attempt to initialize SSL context if ssl=no

lib-ssl-iostream: Close the plain iostreams when ssl-iostream is destroyed.

lib: array/hash - enable typof checks for more compilers
We have a HAVE_TYPEOF macro from autoconf, we may as well make use of it.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array/hash - protect macro parameters
If a pointer parameter p is ``ptr + offset'', then sizeof(*p) becomes
sizeof(*ptr + offset), which isn't what was wanted. sizeof(*(p)) is the
safe expression to use instead. Ditto for just ``*data'' in array.h.

The macros in hash.h which have been changed have been reindented for
better readability and consistency.

The bracketting of elem in (elem)++ in both of the array_foreach* macros
isn't actually useful, as elem participates in token-pasting elsewhere.
However, the two macros have been made more similar to each other for
better parallelism.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imap: namespace { order } parameter now specifies the order returned in NAMESPACE reply.
This is relevant only if there are multiple visible namespaces with the same
type. The default order depends primarily on the length of the prefix because
of internal sorting (the order of equal length prefixes can't really be
relied on).

imap: Added client_disconnect_if_inconsistent() to remove code duplication.
Based on patch by Stephan Bosch

doveadm: If passdb lookup returns port, use it to override the doveadm_port setting.

lib-fs: fs-metawrap now supports adding more metadata fields while file is being saved.
This potentially adds yet another temporary file write though.

lib: Added iostream_temp_create_named()

lib-index: Make sure dovecot.index.cache parsing doesn't go to infinite loop.
Although we guarantee this only for files generated with Dovecot v2.2+
because it's too much trouble to check for older versions.

lib-storage: If storage creation fails, destroy all the already created namespaces/storages.

lib-storage: Fixed crash if mail_namespaces_init_add() failed due to invalid settings.
Normally the invalid settings were caught by config process already.

lib: ostream.stream_errno is now exactly the same as last_failed_errno.
There's a lot of code that checks only for stream_errno instead of
last_failed_errno at the flush time where the stream_errno might have
already been cleared.

I'm not sure why these were separated in the first place. I don't think
there are any stream errors which just correctly go away by retrying the
operation. Perhaps some code could have attempted seeking and try to handle
the ESPIPE error, but that kind of code paths are rare and they could clear
the errors themselves if needed.

lib: ostream-file checks "sendfile() not supported" a bit better.
There are other reasons why stream_errno=EINVAL could have been set, at
least in theory.

lib-storage: Added "creator" for mail_user.
This allows fixing stats plugin to update stats also for shared mailboxes.
That's a bit complicated change though, so I'm not sure how soon it'll
happen. But at least this change makes it possible more easily later on.
Might have other uses too.

lib: Never implicitly clear istream's stream_errno.
I'm not really sure why these were added in the first place. At some point
the stream_errno was cleared in more places, such as just before reading,
but those were also removed already. I don't see any benefit for these, just
potential problems.

lib-mail: message_search_msg() shouldn't clear istream's stream_errno.
If the input stream failed, retrying the operation without cached
message_parts is unlikely to help. This also loses the original error
message.

dsync: Set MAILBOX_TRANSACTION_FLAG_SYNC also for exporter.
This doesn't really do much because exporter shouldn't be writing anything,
but it allows plugins to find out if transactions is coming from dsync.

lmtp: Added support for DSN ORCPT parameter.
If the parameter is specified, it's used as the original recipient address
in Sieve. The ORCPT parameter is also proxied to destination LMTP server if
used (without checking if it supports it). We don't currently advertise DSN
extension, so this feature won't be enabled automatically.

imap-stats: Fixed truncation of command args.

stats: Use the same session ID string for stats tracking as everywhere else.
Generate a new ID only if there is no session ID assigned.

ssl-params: Removed duplicate lib-ssl-iostream.la linking

stats: Use the new str-table API to reduce memory usage for service strings.
There are only a couple of services, while there can be a lot of sessions.

lib: Added str-table API for keeping reference counted strings in a hash table.

stats: Added support for "global" stats type.

director: Added support for backend cluster "tags".
This allows using a single director ring for multiple backend clusters. By
default everything has an empty tag. A passdb lookup can return
"director_tag" field containing the wanted tag name. If there aren't any
backend servers with the wanted tag, it's treated the same as if there
aren't any backend servers available (= wait for 30 secs for a backend and
then return temporary failure).

Tags can be added to configuration by adding @tag suffix to IPs/hosts. For
example:

director_mail_servers = 10.0.0.100-10.0.0.110@name1 10.0.0.120@name2

"doveadm director add" can also add tags either with @tag suffix or with -t
parameter. "doveadm director status user@domain" requires giving the user's
correct tag with -t parameter or the results won't be correct (empty tag's
results are shown). Tags can't currently be changed for an existing host
without removing it first.

director: Don't restart request timeout when director state changes.
If the state keeps changing all the time we'll never return timeouts for the
requests.

director: Added director_consistent_hashing setting.
This should have been the default since the beginning. I didn't thik it was
worth the trouble originally because in theory it shouldn't matter much if
users jump between multiple backends. But this makes caching behavior worse,
especially for systems which are using local cache files.

director: When logging a warning about ring being synced again, log how many seconds it took

director: Always log a message when director handshake finishes.

doveadm director ring status shows now more information

lmtp: Show more information in process title.
Most importantly show the username while messages are being delivered.

doveadm: Support running non-mail commands via doveadm server.
There are still some commands that print their output via printf though, so
they need to be fixed separately.

doveadm: Moved commands related code to doveadm-cmd.[ch]
Commands are already split for command line-only commands and commands that
can be run via doveadm-server also.

doveadm who: If parameters are invalid, print help text for who command instead of the whole doveadm usage.

doveadm: Code cleanups to prepare server code for non-mail commands.

lib: Compiler warning fix in 32bit systems to previous change

lib: file_wait/try_lock() treats EINTR differently now for timeouts and for actual signals.

lib-storage: Mailbox list index now detects duplicate mailbox names.
With LAYOUT=index the duplicates are renamed.

doveadm: Removed duplicate subcommands from list of commands.
For example don't show "mailbox ..|metadata|metadata|metadata|.."

imap: If GETMETADATA with wildcards can't open some mailbox, don't assert-crash.
Just send an untagged NO for the mailbox.

ssl-params: Use lib-ssl-iostream's ssl_iostream_generate_params() instead of OpenSSL directly

lib-ssl-iostream: Added dh_length parameter to ssl_iostream_generate_params()
This is an API change, but nobody was actually using this function.

lib-ssl-iostream: Support non-1024bit DH parameters in ssl-parameters.dat.

lib-ssl-iostream: Destroy SSL module later in the atexit-callbacks.

lib: Added lib_atexit_priority()

*-login: Also increase MASTER_AUTH_MAX_DATA_SIZE and add a check to make sure it's large enough.

*-login: And actually make the previous changes work.

imap-login: Added "x-session-ext-id" parameter for ID command.
It's exactly the same as "x-session-id", but this one can be safely used by
external software without having to worry about causing error messages in
older versions about too long session-id.

lib-master: Removed fixed length limit for session-id.

lib: connection_switch_ioloop() should switch also input stream's ioloop.

lmtp: Added support for STARTTLS command.

lib-http: Make sure we don't access already freed client connection in payload-destroyed callback.

lib: io_remove() should finish closing the io before unreferencing its istream.
This is because the istream unreferencing may close the fd.

lib-http: client: Fixed assertion failure in http_client_queue_fail().
Don't explicitly clear the request array after looping through all
requests, since new requests may be added during the loop, not only
removed.

lib: istream-timeout logs how long the stream was open if parent read fails with ECONNRESET/EPIPE.

lib-http: If there's an error reading chunked http stream, set the error to the istream.
Previously the error string was set, but it was never read by anything.

dsync: Fixed notifying replicator (-U parameter) if it didn't answer instantly.

lib: Make sure ostream.last_failed_errno is always set when stream_errno is set.

lib: o_stream_uncork() could also cause write errors. Make sure last_failed_errno is updated.
This caused some write errors not to be detected, such as in code like:

o_stream_cork()
o_stream_nsend(..)
o_stream_uncork()
if (o_stream_nfinish() < 0) {
  // error not detected because last_failed_errno was 0
}

lib-index: Remove assert that can never happen.

master: Don't send broken BYE notifications to log process.

log: Don't crash if master sends a negative service_fd number.

master: Added an assert to catch duplicate fork() PIDs.
This really shouldn't be happening, but apparently it does sometimes. This
should make it easier to debug.

lib-storage: Recent change broke deleting mailboxes with LAYOUT=index

lib-http: server: Fixed a hang occurring sometimes when response is sent for a request that had payload.
Forgot to always trigger sending response when processing request payload
finishes.

lib-http: client: Removed asssert in http_client_connection_is_ready().
There is no reason why the input stream couldn't be full.

lib-http: client: The asserts recently added to http_connection_check_idle() are bogus.

fs-posix: fs_copy() no longer fails if destination exists and FS_OPEN_MODE_REPLACE is used

lib-http server: If i/ostream fails, don't return wrong "stream input size changed" error.
Also handle the real case in a bit nicer way.

man: Global options includes: Added back the newline at end of files.

They were accidentally removed in the previous commit.

man: Global options includes: Added description of `-o setting=value'.

lib: If i_stream_seek() works by reading forward and read() fails, don't override the error message.

master: Don't start new processes while shutting down.

dsync: Added debug logging for attribute importing

Added signature for changeset e8b793f2c409

Added tag 2.2.15 for changeset e8b793f2c409

Released v2.2.15.

lmtp: Use mail_log_prefix while mails are being delivered.

lmtp: Added missing session_id to mail_user

lib-storage: LAYOUT=index now first creates the backend mailbox and only then adds it to list index.
This avoids any race conditions with mailbox creation and opening it.

lib-storage: Don't update mailbox list index status fields when deleting a mailbox.

lib-storage: When mailbox is deleted, reset its cached paths.
If mailbox is still later on recreated, the paths may have changed.

lib-storage: Fully unreference indexes when deleting mailboxes.

lib-index: Don't assert-crash if expunge event handling finds that everything is already expunged.

quota: Fixed including the right system quota.h with NetBSD
Patch by Manuel Bouyer.

I guess the quota.h could be renamed to something at some point..

quota: Fixed NetBSD quota
I guess it's because quota is refreshed only at quota_open() time.
Based on patch by Manuel Bouyer

auth: Some unsuccessful passdb lookups weren't returned as failures to passdb lookups.
These lookups were only being done internally, so it usually didn't matter.
Also this only affected things like allow_nets checking and some non-common
passdb { result_* } settings.

auth: allow_nets=local matches now connections without any IP address

virtual plugin: Fixed assert-crash when backend mailbox was auto-closed while it had pending expunges.

lib-http: client: Handle situation in which server sends response before request payload is fully sent.

lib-http: client: Fixed handling of requests aborted while still sending payload to server.

lib-http: client: Fixed conflict between request abort and request delayed error.

lib-http: client: Fixed cleanup of remaining waiting requests at connection destroy.
Forgot to dereference the requests for the reference that the connection
itself holds for each waiting request.

lib-http: client: Aborted requests were not counted as finished in the connection's response receive loop.
This caused a hang.

lib-fs: Improved error logging