Link all libstorage.la dependencies into the library itself instead.
Instead of keeping a lot of different libraries in LIBDOVECOT_STORAGE, which
have circular dependencies and may cause linking issues.

dovecot-config: Added DOVECOT_INSTALLED parameter.
Also added dovecot_installed_moduledir to dovecot.m4

These can be used by external plugins to access some headers and libraries
that don't already have existing DOVECOT_* parameters in dovecot-config.

dovecot-config: Added LIBDOVECOT_NOTIFY_INCLUDE

dovecot-config: Added lib-storage/index/imapc also to LIBDOVECOT_IMAPC_INCLUDE

dovecot-config: Added LIBDOVECOT_IMAPC_INCLUDE and LIBDOVECOT_FTS_INCLUDE

fts: Fixed memory leak in HTML parsing

fts: Fixed error printing if fts wasn't enabled for user's default namespace.

dovecot-config: Added lib-sasl path into LIBDOVECOT_INCLUDE.

dovecot.m4: External plugins can now more easily run their tests via Valgrind.
DC_DOVECOT macro automatically adds RUN_TEST variable to Makefiles, which
can be used to call any test programs. If valgrind exists, the tests are run
through it. This is done by writing run-test.sh to the build directory, so
the original run-test.sh in hg is no longer needed.

lib: istream create helpers for common cases
Several clients want to create streams from buffer_t and
string_t, we may as well make it easy for them

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: Don't try to rename namespace prefixes.

dsync: Fixed assert-crash when the two mailbox trees differed only by their directory names.

doveadm copy/move/import: Delay initializing source user until run()
This fixes using them with doveadm proxying.

doveadm: Added comments to struct doveadm_mail_cmd_vfuncs

doveadm: Reverted changeset 3b89f2f4ffb3, which avoided calling init() for proxied commands.
The init() is required for all commands that print something, because
otherwise the doveadm_print_header*() isn't called and the commands crash.

The reason for the original change was that some commands' init() attempted
to do too much work on the proxy, which ended up failing. So looks like the
proper fix is to just remove this kind of extra work from init().

log: If too much logging data is sent, show it in process title.

log: Log a warning if some connection is logging faster than we can write.

log: Don't spend more than 100 msecs at a time logging one connection.

log: Small cleanup: Include log connection prefix when logging read() errors.

log: Minor cleanup: Update ioloop_timeval whenever reading input from log client.

lib: Accidentally committed a nonexistent function call in previous commit.

lib-storage: Use module_dir_try_load_missing() to load user plugins.

lib: Added module_dir_try_load_missing() that returns error instead of logging it.
Also module_names now can be given for it without i_fatal() being called.

lib-storage: Previous log prefix changing code started accessing freed memory.

lib-storage: Set the user log prefix earlier when initializing user.
So the full prefix with session and other useful information is included in
the log message as early as possible. Some fatal/panic errors wouldn't even
have shown the username.

lib: Added i_get_failure_prefix()

dsync: Fixed crash in earlier patch if node didn't have a namespace.
This shouldn't have happened except in test-dsync-mailbox-tree-sync, but
easier and safer to fix it here.

dsync: Added assert to make sure namespace prefix isn't attempted to be renamed.
This can happen, I'm just not sure how exactly.. The previous behavior
caused assert-crashes also, this change just makes it happen earlier.

dsync: Don't assert-crash in configs where INBOX doesn't have a parent namespace.
The inbox=yes namespace of course exists, but if there is no prefix="" or
prefix=INBOX/ namespace, then INBOX doesn't clearly belong to any namespace.

dsync: Make sure when fixing mailbox names we don't try to change the namespace prefix.
Although in normal installations this it wouldn't have happened in any case.

lib-storage: Avoid assert-crashing on mailbox_verify_*_name() with invalid namespace prefix.

imapc: Fixed modseq search for previous imapc_features=search change

imapc: Added imapc_features=search support for sending SEARCH commands.
Currently requires the remote server to support ESEARCH (but this would be
easy to avoid). This is only minimally tested for now, so bugs may exist
(especially related to sub-queries).

lib-imap-client: Implemented support for GMail [THROTTLED] resp-text-code.
If we receive it, start throttling future commands by waiting exponentially
longer until we no longer receive [THROTTLED]. Max wait time is currently
16 seconds.

lib-http: client: Fixed double unref of request when error occurs during http_client_request_try_retry().
Much like when the request is first submitted, any errors that occur while attempting a retry from within the callback are now delayed in a zero timer.

lib: array - test count/isempty/nonepty
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - two helpers to avoid wasteful array_count
There's no need to dereference array->element_size and
perform a division when all you care about is the boolean
isempty/nonempty predicate:

$ git grep 'array_count(.*) > 0' | wc -l
77
$ git grep 'array_count(.*) == 0' | wc -l
95

Changing 6 of them has the following impact on the code:

$ size src/lib-imap-client/imapc-connection.o
   text    data     bss     dec     hex filename
  20879       0       4   20883    5193 src/lib-imap-client/imapc-connection.o
$ size src/lib-imap-client/imapc-connection.o
   text    data     bss     dec     hex filename
  20796       0       4   20800    5140 src/lib-imap-client/imapc-connection.o

Signed-off-by: Phil Carmody <phil@dovecot.fi>

replicator: Previous "last successful sync" timestamp change wrote data wrong to replicator.db
Patch by Matthew Via / Rackspace

imap: If GETMETADATA fails for some mailbox, don't send the error message mixed in the METADATA reply line.

imap: Dynamic capabilities weren't being added correctly when imap_capability setting was used.
They were supposed to be added when '+' prefix was used in imap_capability
and not added when it wasn't. But the behavior was exactly the opposite.

lib: str_sanitize*() max_len parameter renamed to max_bytes to describe it more accurately.

lib: Various fixes to str_sanitize*()
 - UTF-8 sequences could have been truncated to become partial sequences
 - Truncation may not have happened at all to text containing UTF-8
 - str_sanitize_append() might have truncated string beyond what we were
   appending, although that happened only if max_len was very small

replicator: Remember last successful sync and show it in "doveadm replicator status"
Patch by Matthew Via / Rackspace

lib-ssl-iostream: Don't set EPIPE/ECONNRESET error to istream when connection is closed.
Several istream users verify at EOF that stream_errno=0 and fail if it
isn't.

fts: When indexing address headers, don't add MISSING_MAILBOX or MISSING_DOMAIN.

fts: Added back fts_expunge_log_uid_count()
This was accidentally removed by commit 5091f03d70e1

lib-mail: Test program wasn't linked with libiconv, causing linking failures.

lib: array - helper to swap array buffer ownership
Currently there's no simple way to create a replacement for an array,
and then atomically switch in that replacement. With this helper,
you can just exchange ownership of the two lists and then free the
new list (which now contains the old buffer).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Merged gmail-pop3 and gmail-labels-keyword features into a single gmail-migration feature
There's really no other reason to use them except for migration.

imapc: With gmail-labels-keyword feature add the $GMailHaveLabels only to \All mailbox
This is primarily intended for migration, and with this behavior dsync can
be run just once so it's faster.

sdbox: Fixed assert-crash when copying mails due to earlier change.

plugins/fts: use common guid_128 helpers
Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - query function to lookup GUID/UID
Constant time hash lookup for GUID. Log time lookup in seq_range array.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - create flattened in-RAM log with no backing storage
Combine each record in a source expunge log. This source log does not get
deleted afterwards.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - pull mailbox finding/creating into a helper
There will be more clients than just this one.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - permit append helpers to have no log to write to
This is for creating an in-RAM, later queriable, structure which you do not
want to be written to backing storage. As when you've finished with one, there's
no concept of a "commit", provide an alternative "abort" way out. These are
identical apart from the call to the write() routine, so refactor the two.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expung-log - add the concept of not unlinking at the end
No behavioural differences, the default is to unlink.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: seq-range-array - add range changes
Pull the _add_range() guts into a private helper function, and add a new
_add_range_count() helper which also returns the number of SEQs added.

Expand the tests to test this new functionality.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - fix pointer arithmetic compiler warning
Clang's -fsanitize=unsigned-integer-overflow barfs as follows:

data-stack.c:477:29: runtime error: negation of 8 cannot be represented in type 'unsigned long'
data-stack.c:495:15: runtime error: negation of 8 cannot be represented in type 'unsigned long'

Which is of course complete bollocks. There is no 8, there's only an 8ul, and
the negation of 8ul is 0xfffffff8ul (or a wider equivalent). That's the law.

However, the pointer arithmetic which follows the negation, whilst almost
certainly working in practice, is probably bogus, so just make the thing
signed before the negation, and both problems go away.

Reported-by: Teemu Huovila <teemu.huovila@dovecot.fi>
Signed-off-by: Phil Carmody <phil@dovecot.fi>

master: Fixed a check to see if login directory has any unix listeners.

imapc: Implemented imapc_features=gmail-pop3 that also migrates pop3_deleted_flag.
This also caused gmail-pop3-uidl feature to be renamed to simply gmail-pop3,
which includes both the features.

lib-imap-client: Added imapc_command_get_tag()

imapc: Added imapc_features=gmail-pop3-uidl
This allows imapc to generate GMail POP3 compatible UIDL so that
pop3-migration plugin isn't needed.

dsync: Allow -m parameter to specify \Special-use mailboxes.
Similarly to how -x parameter allows them.

dsync: Crashfix to -F parameter handling.

imapc: Added imapc_features=gmail-labels-keyword
This is a bit kludgy feature mainly intended for migrations from GMail.
Unfortunately I couldn't figure out any nicer way to do this for now.
GMail's "All Mail" folder contains all messages in all folders, but it also
contains some messages that don't exist in other folders. For migrations we
want to copy only those messages that don't exist elsewhere. This can now be
achieved with something like:

doveadm -o imapc_features='gmail-labels-keyword ...' \
  backup -F '-$GmailHaveLabels' mdbox:~/mdbox

Note that dsync can't handle inserting mails into folders, so if doveadm
backup is already run once and one of the existing mails loses all labels,
doveadm backup will delete the whole folder and start again.

dsync: Added -F parameter to sync only mails with[out] specific flag.

dsync: If same GUID already exists in storage, try to copy it instead of recreating the mail.
This way most mailbox backends can reduce disk space by only doing a
reference count update.

This feature isn't enabled by default. A virtual "All Mails" mailbox needs
to be configured using the virtual plugin. Then you need to give this
mailbox as -a parameter, e.g.:
doveadm sync -a "Virtual/All Mails" ...

Currently this is implemented by reading through all the GUIDs in the
virtual mailbox. This of course isn't very efficient for things like
incremental replication. An upcoming conversation plugin will keep track of
all the mails' GUIDs, so in future replication should be able to have this
functionality efficiently as well.

virtual plugin: Read virtual index header when opening virtual mailbox.
This allows doing some mailbox accessing without actually syncing the
mailbox. For example MAIL_FETCH_MAILBOX_NAME can be used without crashing.

dsync: Added more debug logging.

dsync: Added -t <timestamp> parameter to save only mails newer than <timestamp>
If one side has old mails that don't exist on the other side, they are
ignored (not synced and not deleted).

lib-storage: Added mail_parse_human_timestamp() to parse human-writable timestamps.
This isn't really the ideal location for the function, but since it uses
both lib-settings and lib-imap, there's not any good location for it that I
can think of..

doveadm: Added missing error handling to various mail commands.
This fixes assert-crash that happened when the commands failed, because they
hadn't set any exit_code.

lib-storage: Comment updates to mailbox_list_iter_*()

doveadm: If mailbox list iteration fails, log the error reason.

imap-urlauth: If mailbox list iteration fails, log the error.

virtual plugin: If mailbox list iteration fails, log the error.

lib-storage: Removed caching body snippet while message is being saved.
This broke saving mails with dbox, because it attempts to open the mails
too early. Also the generation was a bit costly operation to do if it wasn't
actually wanted to be cached.

So in future we'd first want to check if body snippet is actually wanted. If
it is, then generate the potential snippets while the message is being
parsed (always generate the snippet for the best found MIME part, replacing
existing snippets when needed). This requires the message_snippet_generate()
API to support sending input as partial message_blocks.

lib-storage: MAIL_FETCH_BODY_SNIPPET should seek the mail stream back to original position.

dbox: Added asserts to make sure the mail body isn't tried to be read too early while saving.
If the mail headers are still being written, the opening will just fail
thinking the mail is corrupted.

fts: Fixed assert-crash in HTML parsing, broken by the earlier changes.

lib: iostream-rawlog now writes to ostreams instead of directly to fds.

lib: Added o_stream_create_passthrough() for creating simple wrapper ostreams

lib: Added o_stream_add_destroy_callback()

auth: Changed passdb { continue-ok } handling for credentials lookups.
If the last passdb after it doesn't return credentials, use the first
passdb's credentials. This allows implementing plugins that modify the
passdb result without actually changing the credentials.

lib-storage: Added mail_user_init_fs_settings()
Also changed mailbox_list_init_fs() to use it internally.

doveadm user: If username is changed by userdb lookup, return it.

doveadm fetch: Added body.snippet field.

lib-storage: Added MAIL_FETCH_BODY_SNIPPET.

fts: Parse HTML MIME parts using lib-mail's mail-html2text.

lib-mail: Added message_snippet_generate() to produce a short text snippet of a mail.

lib-mail: Added mail-html2text API
What makes it mail-specific is that it allows skipping over data inside
<blockquote>. This code probably doesn't parse HTML perfectly, but hopefully
good enough for HTML emails.

lib-mail: Forgot to commit .h file for message_decoder_current_content_type() change.

lib-mail: Added message_decoder_current_content_type()

lib-mail: message-decoder now always sets output->size=0 when headers are returned.

lib-mail: Fixed crash in message-decoder with unknown charsets.
Caused by earlier changes.

lib-mail: Replaced MAX_TRANSLATION_BUF_SIZE with the new CHARSET_MAX_PENDING_BUF_SIZE

lib-charset: Added CHARSET_MAX_PENDING_BUF_SIZE macro and asserts for it.

lib-charset: Added charset_utf8_to_utf8_begin() wrapper function.
It's never supposed to fail, so it makes it nicer for the callers who need
to use it.

lib: Fixed NUL-handling in uni_utf8_*strlen*()
uni_utf8_strlen() could have skipped over the ending NUL byte and caused
read buffer overflows with invalid input.

uni_utf8_strlen_n() and uni_utf8_partial_strlen_n() now allow NUL bytes in
the input and they're treated as regular control characters. Previously the
size was actually treated as max_size with early NUL byte termination.
Technically this is an API change, but I'm not aware of anything using these
functions in an incompatible way.