lib-imap-urlauth: Minor fix to avoiding timing attacks against mailbox existence.
random_fill() is slightly slower than random_fill_weak(). Probably even
better way to handle timing attacks would be to always add a short random
pause before returning verification failure.

Moved random_init() from lib-imap-urlauth to imap/imap-urlauth main().
This way if the processes are chrooted they are still able to open
/dev/urandom.

lib-index: Crashfix for MAIL_INDEX_OPEN_FLAG_SAVEONLY change.

login_log_format_elements: Added %{real_rip} variable.
It differs from %r when Dovecot proxy sends an updated client IP address.
Patch by Jack Bates.

lib-index: Fixed handling of finding a duplicate dovecot.index.log file_seq
Previously we assumed that the already opened file was always the wrong one,
but more common was that the newly opened file was .log.2 which should have
been deleted.

lib-index: Handle better race condition there dovecot.index.log and .log.2 are the same link.

lib-storage: Open index with MAIL_INDEX_OPEN_FLAG_SAVEONLY if mailbox has MAILBOX_FLAG_SAVEONLY

lib-index: Added MAIL_INDEX_OPEN_FLAG_SAVEONLY to do only minimal reads from cache file.

lib-index: Code cleanup: Removed mail_cache.data

lib-index: mail_cache_map() API cleanup

dict quota: Fixed a potential crash if quota recalculation was triggered at deinit.

lib-master: Fixed -i <instance name> parameter handling.
It previously worked only if the default config socket wasn't usable.

lib-storage: Added missing file from previous mailbox attribute commit.

imap-urlauth: Store urlauth keys to the new mailbox attributes.

lib-storage: Added support to get/set/iterate mailbox attributes.
The attributes are stored in a dict specified by mail_attribute_dict
setting. The idea is to use this as storage for extensions that require
per-mailbox key=value pairs, such as METADATA.

dict: If DICT_ITERATE_FLAG_NO_VALUE is set, don't send values to dict client.

lib-dict: Added DICT_ITERATE_FLAG_NO_VALUE
This allows iterating dictionary without wasting extra time on returning
values that aren't needed.

imap-urlauth: Use mailbox GUID instead of mailbox name for dict keys

example-config: Added imap_urlauth_* settings

imap urlauth: Don't autofill imap_urlauth_host. Use "*" value to mean "any host".

lib-dict: dict_init() now returns error string instead of logging it

lib-settings: settings_read*() now returns an error string instead of logging itself

Moved doveadm zlib commands from zlib plugin to doveadm directly.
Previously it was a plugin, because the istream-zlib existed only in zlib
plugin. Now there's a lib-compression that implements it.

istream: Added internal try_alloc_limit to limit size returned by i_stream_try_alloc()
This was required by the previous SSL change.

lib-ssl-iostream: Make the input buffering behave the same as in file-istream
Previously i_stream_read(ssl_input) could have still left some data buffered
into the underlying file-istream, which meant that I/O loop didn't detect
any new input from the fd and the connection got stuck.

config: Added lib-master's settings parsers back to config's knowledge

configure: Make sure MYSQL_LIBS has -lmysqlclient even if it's not explicitly found.

lib-storage: Fixed crash when attempting to remove subscriptions for nonexistent shared users.

lib-index: dovecot.index file is no longer overwritten, so it doesn't need to be locked.

lib-index: Log a warning if locking transaction log takes longer than 30 secs.

maildir: If INDEXPVT is set, assume private \Seen flags even if dovecot-shared doesn't exist.

lib-storage: Added support for "broken_char" setting for escaping invalid mailbox names.
This is currently enabled only for imapc backend, where '~' character is
used for it.

Most importantly this allows migrating mailboxes from other IMAP servers
that contain mailbox names that Dovecot's imapc backend couldn't otherwise
access.

lib-storage: Added optional mailbox_list.init(), which can check for failure.
"index" backend now gives a nice error message instead of crashing when
mailbox_list_index=no

Build imapc and pop3c always as plugins.
This avoids having to link openssl library to all binaries that use
lib-storage. It appears that simply by linking with openssl causes each
such process to use 100-200 kB of more memory. With 10k imap processes this
is 1-2 GB of wasted memory.

The imapc and pop3c are still registered as stubs, and their plugins are
automatically loaded when needed.

lib-storage: Added mail_user_get_storage_class(), which auto-loads storage plugins.
The auto-loading is done only if there's already a stub storage registered.

Makefile: Added cc-wrapper.sh.in missing from last commit

--without-shared-libs: Link Dovecot libraries with --whole-archive flag for binaries.
This removes the need for the ugly unused_objects lists for binaries, which
were needed to avoid plugins from failing because they were missing some
functions.

Apparently there's no easy way to use --whole-archive properly with libtool,
so there's now a rather ugly cc-wrapper.sh that does it. Also this is done
only when GNU ld is deted. Most people are going to use --with-shared-libs
though, so I don't think any of this is going to be a real problem.

config: Don't include lib-master/*.c files in all-settings.c
lib-master is already being linked to the binaries anyway.

imap: Don't waste data stack memory at startup.

hostpid_init(): Don't waste memory from data stack.
Even though it's only a few bytes, it was being wasted permanently for all
processes.

i_set_failure_prefix() now takes printf-like parameters.
This avoids using t_strdup_printf() with it, which was done very commonly.

lib-index: Error handling fix to cache transaction flushing.

Plugin ABI version checking improvements.
Previously the plugin version was checked against the version string
returned by the currently running Dovecot master process, not necessarily
the same as the binary. Also version_ignore=yes setting skipped the version
check entirely.

Now there's a new DOVECOT_ABI_VERSION macro that can (at least in theory) be
updated only when the ABI actually changes. The version is in format
"2.2.ABIv1(2.2.15)", where the (2.2.15) would be the actual Dovecot version
number that gets ignored when comparing the strings.

Also now the plugin version is compared to the actually running binary's
ABI, not the master's version, and it can't be ignored with a setting.

sdbox: Make sure mail_attachment_fs=sis-queue isn't attempted to be used.
It could be fixed, but nobody seems to have used it so far..

sdbox: Class didn't have MAIL_STORAGE_CLASS_FLAG_FILE_PER_MSG set
This currently only meant that mail_prefetch_count setting wasn't working.

lib-fs API cleanups and improvements

Compiler warning fix.

Add HTTP date parsing support.

Adds HTTP URL parse support.

Adjust IMAP URL parser to changes in uri-util.

uri-util: Fix handling of '..' and '.' segments in URI paths.
As specified by RFC 3986

master: If service { protocol } is set and not included in "protocols", ignore its settings

fts-lucene: doveadm fts rescan crashed with mailbox_list_index=yes

fts-lucene: Compile fix for previous unlink_directory() change

unlink_directory(): Added UNLINK_DIRECTORY_FLAG_SKIP_DOTFILES flag.

lib-storage: Don't crash when searching multiple keywords.
Fixed by simply removing the keyword merging code.
mail_search_args_simplify() is called before mail_search_args_init(), so the
keywords are still NULL and merging can't be done. Alternative fix would
have been to add string array to mail_search_arg.value containing the
keywords, but all of this is a pretty unnecessary optimization.

lib-index: Simplified writing to dovecot.index.cache file.
The old method was basically:
 - write max. 32 kB to internal buffer
 - flush it by writing to reserved areas (with no locks)

The reserved areas were acquired by doing (whenever needed):
 - lock dovecot.index.cache
 - reserve data from dovecot.index.cache for writing, potentially increasing
   the file size by writing 0 bytes. the reserved area size varies.
 - unlock dovecot.index.cache

This worked, but if multiple processes were writing to the cache file it
could have left incomplete reserved areas as holes. The holes were attempted
to be filled if they were large enough.

The new method is:
 - write max. 256 kB to internal buffer
 - lock dovecot.index.cache
 - append the buffer to dovecot.index.cache
 - unlock dovecot.index.cache

No reserved areas, holes or anything else weird going on.

Ideally no data would be overwritten in the dovecot.index.cache file, only
appended. Unfortunately currently some data is still overwritten:
 - mail_cache_header.{deleted_space,continued_record_count}
 - mail_cache_header_fields.next_offset when writing a new one
 - mail_cache_header_fields.{last_used,decision}
 - mail_cache_record.prev_offset

The changing headers could eventually be moved to dovecot.index. This
however is a backwards-incompatible change. The record's prev_offset could
maybe simply just not be written in those (somewhat rare) problematic
situations.

dbox: Index rebuilding didn't open dovecot.index.backup file.
Recent changes broke it, and it was attemting to use dovecot.index/.backup
file instead.

Added/updated some copyright comments.

Renamed network.[ch] to net.[ch].
The function prefixes already started with net_ instead of network_.
And icecap wants to use network.h for other purpose. :)

auth: More error checking and cleanups to SCRAM-SHA-1.

lib-storage: Fixed potential memory leak when mailbox_transaction_commit_get_changes() failed

lib-storage: When configuring mailbox INBOX {}, make sure INBOX is uppercased.

lib-index: Fix for handling view syncing for already deleted transaction logs.
The sync changes' hidden-flag was set randomly, which could have caused
flag changes to get lost.

imap: LIST (SPECIAL-USE) shouldn't send INBOX reply.

maildir: Fixed crash with mailbox_list_index=yes

lib-dict: Fixed error handling on initialization.

lib-master: Fixed crashing with -i <instance> parameter handling.

Typofix: s/TRANSCATION/TRANSACTION/

sdbox: Fix to handling transactions with partially failed saves.

mdbox: Fix to handling transactions with partially failed saves.

lib-storage: mailbox_save_cancel() now makes sure that dest_mail is reset.
This fixes e.g. doveadm import, which continues import even though some
messages couldn't be saved.

lib-storage: struct mail.close() now clears all of its data.

dbox: Small code cleanup.

lib-storage: When index mkdir() fails with EPERM, create the dir anyway with 0700 mode.
This avoids failing entirely when /var/mail/user has 0660 permissions and we
don't have access to the group. The error message is still logged.

lib-master: Fixed crashes with settings cache.

doveadm: Fixed printing large input from doveadm-server.

mbox: Fixed getting filesystem permissions when parent dir has setgid-bit enabled.

lmtp: Fixed hanging on proxying if remote server was down.
Patch by Jack Bates.

Compiling fix for HURD

Avoid using PATH_MAX.

Avoid using PATH_MAX.

mdbox: Don't crash in storage rebuild if mail's "original mailbox" metadata is missing.

doveadm altmove: Make sure all storages get purged (and not more than once)

i_getpwnam(): Ignore EINVAL errors silently.
At least FreeBSD returns it when attempting to lookup user@domain.

lazy-expunge: Fixed handling non-default namespace separator.

auth ldap: Previous change broke %$ variable.

ldap auth: Update %variables after each field update.
The previous behavior was a bit confusing. "uid=user" at the beginning
updated the %u variable, but if it was after templates it didn't update it.
Also "=user=%{uid}" that was supposed to be equivalent wasn't. Now the
behavior is consistent across all ways to set the fields.

lib-storage: Added ALTNOCHECK option to mail_location.
By default Dovecot verifies that $rootdir/dbox-alt-root symlink matches the
ALT directory location, and logs an error if not. This is mainly to avoid
accidents during initial configuration when for example alt dir was set in
global mail_location but was forgotten to be set in userdb reply's
mail_location. The ALTNOCHECK setting simply doesn't check or create this
symlink, giving a (very) small performance improvement.

lmtp: Added lmtp_rcpt_check_quota setting to check quota already on RCPT TO.

lib-storage: Added STATUS_CHECK_OVER_QUOTA for checking if user is over quota.

imapc: And another compile fix..
Using the macro would have required config/all-settings.c to include
imapc-client.h, which is a bit too much trouble just for this.

imapc: Compile fix for previous change.

auth: passdb imap assert-crashed always

imapc: Added IMAPC_DEFAULT_MAX_IDLE_TIME macro.

lib-lda: After auto-creating mailbox only open it, don't bother syncing it.

mdbox: Delay getting permissions for map/message files.
This avoids a stat() if no mailbox is opened.

lmtp: After successful proxying RCPT TO, the second one to nonexistent user gave tempfail error.
Instead of "unknown user" it gave "Can't handle mixed proxy/non-proxy
destinations".

lmtp: RSET/LHLO should reset any pending proxy connections.

config: Don't ignore invalid network/mask in local/remote blocks