fts: Added back fts_expunge_log_uid_count()
This was accidentally removed by commit 5091f03d70e1

lib-mail: Test program wasn't linked with libiconv, causing linking failures.

lib: array - helper to swap array buffer ownership
Currently there's no simple way to create a replacement for an array,
and then atomically switch in that replacement. With this helper,
you can just exchange ownership of the two lists and then free the
new list (which now contains the old buffer).

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Merged gmail-pop3 and gmail-labels-keyword features into a single gmail-migration feature
There's really no other reason to use them except for migration.

imapc: With gmail-labels-keyword feature add the $GMailHaveLabels only to \All mailbox
This is primarily intended for migration, and with this behavior dsync can
be run just once so it's faster.

sdbox: Fixed assert-crash when copying mails due to earlier change.

plugins/fts: use common guid_128 helpers
Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - query function to lookup GUID/UID
Constant time hash lookup for GUID. Log time lookup in seq_range array.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - create flattened in-RAM log with no backing storage
Combine each record in a source expunge log. This source log does not get
deleted afterwards.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - pull mailbox finding/creating into a helper
There will be more clients than just this one.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expunge-log - permit append helpers to have no log to write to
This is for creating an in-RAM, later queriable, structure which you do not
want to be written to backing storage. As when you've finished with one, there's
no concept of a "commit", provide an alternative "abort" way out. These are
identical apart from the call to the write() routine, so refactor the two.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

plugins/fts: expung-log - add the concept of not unlinking at the end
No behavioural differences, the default is to unlink.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: seq-range-array - add range changes
Pull the _add_range() guts into a private helper function, and add a new
_add_range_count() helper which also returns the number of SEQs added.

Expand the tests to test this new functionality.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: data-stack - fix pointer arithmetic compiler warning
Clang's -fsanitize=unsigned-integer-overflow barfs as follows:

data-stack.c:477:29: runtime error: negation of 8 cannot be represented in type 'unsigned long'
data-stack.c:495:15: runtime error: negation of 8 cannot be represented in type 'unsigned long'

Which is of course complete bollocks. There is no 8, there's only an 8ul, and
the negation of 8ul is 0xfffffff8ul (or a wider equivalent). That's the law.

However, the pointer arithmetic which follows the negation, whilst almost
certainly working in practice, is probably bogus, so just make the thing
signed before the negation, and both problems go away.

Reported-by: Teemu Huovila <teemu.huovila@dovecot.fi>
Signed-off-by: Phil Carmody <phil@dovecot.fi>

master: Fixed a check to see if login directory has any unix listeners.

imapc: Implemented imapc_features=gmail-pop3 that also migrates pop3_deleted_flag.
This also caused gmail-pop3-uidl feature to be renamed to simply gmail-pop3,
which includes both the features.

lib-imap-client: Added imapc_command_get_tag()

imapc: Added imapc_features=gmail-pop3-uidl
This allows imapc to generate GMail POP3 compatible UIDL so that
pop3-migration plugin isn't needed.

dsync: Allow -m parameter to specify \Special-use mailboxes.
Similarly to how -x parameter allows them.

dsync: Crashfix to -F parameter handling.

imapc: Added imapc_features=gmail-labels-keyword
This is a bit kludgy feature mainly intended for migrations from GMail.
Unfortunately I couldn't figure out any nicer way to do this for now.
GMail's "All Mail" folder contains all messages in all folders, but it also
contains some messages that don't exist in other folders. For migrations we
want to copy only those messages that don't exist elsewhere. This can now be
achieved with something like:

doveadm -o imapc_features='gmail-labels-keyword ...' \
  backup -F '-$GmailHaveLabels' mdbox:~/mdbox

Note that dsync can't handle inserting mails into folders, so if doveadm
backup is already run once and one of the existing mails loses all labels,
doveadm backup will delete the whole folder and start again.

dsync: Added -F parameter to sync only mails with[out] specific flag.

dsync: If same GUID already exists in storage, try to copy it instead of recreating the mail.
This way most mailbox backends can reduce disk space by only doing a
reference count update.

This feature isn't enabled by default. A virtual "All Mails" mailbox needs
to be configured using the virtual plugin. Then you need to give this
mailbox as -a parameter, e.g.:
doveadm sync -a "Virtual/All Mails" ...

Currently this is implemented by reading through all the GUIDs in the
virtual mailbox. This of course isn't very efficient for things like
incremental replication. An upcoming conversation plugin will keep track of
all the mails' GUIDs, so in future replication should be able to have this
functionality efficiently as well.

virtual plugin: Read virtual index header when opening virtual mailbox.
This allows doing some mailbox accessing without actually syncing the
mailbox. For example MAIL_FETCH_MAILBOX_NAME can be used without crashing.

dsync: Added more debug logging.

dsync: Added -t <timestamp> parameter to save only mails newer than <timestamp>
If one side has old mails that don't exist on the other side, they are
ignored (not synced and not deleted).

lib-storage: Added mail_parse_human_timestamp() to parse human-writable timestamps.
This isn't really the ideal location for the function, but since it uses
both lib-settings and lib-imap, there's not any good location for it that I
can think of..

doveadm: Added missing error handling to various mail commands.
This fixes assert-crash that happened when the commands failed, because they
hadn't set any exit_code.

lib-storage: Comment updates to mailbox_list_iter_*()

doveadm: If mailbox list iteration fails, log the error reason.

imap-urlauth: If mailbox list iteration fails, log the error.

virtual plugin: If mailbox list iteration fails, log the error.

lib-storage: Removed caching body snippet while message is being saved.
This broke saving mails with dbox, because it attempts to open the mails
too early. Also the generation was a bit costly operation to do if it wasn't
actually wanted to be cached.

So in future we'd first want to check if body snippet is actually wanted. If
it is, then generate the potential snippets while the message is being
parsed (always generate the snippet for the best found MIME part, replacing
existing snippets when needed). This requires the message_snippet_generate()
API to support sending input as partial message_blocks.

lib-storage: MAIL_FETCH_BODY_SNIPPET should seek the mail stream back to original position.

dbox: Added asserts to make sure the mail body isn't tried to be read too early while saving.
If the mail headers are still being written, the opening will just fail
thinking the mail is corrupted.

fts: Fixed assert-crash in HTML parsing, broken by the earlier changes.

lib: iostream-rawlog now writes to ostreams instead of directly to fds.

lib: Added o_stream_create_passthrough() for creating simple wrapper ostreams

lib: Added o_stream_add_destroy_callback()

auth: Changed passdb { continue-ok } handling for credentials lookups.
If the last passdb after it doesn't return credentials, use the first
passdb's credentials. This allows implementing plugins that modify the
passdb result without actually changing the credentials.

lib-storage: Added mail_user_init_fs_settings()
Also changed mailbox_list_init_fs() to use it internally.

doveadm user: If username is changed by userdb lookup, return it.

doveadm fetch: Added body.snippet field.

lib-storage: Added MAIL_FETCH_BODY_SNIPPET.

fts: Parse HTML MIME parts using lib-mail's mail-html2text.

lib-mail: Added message_snippet_generate() to produce a short text snippet of a mail.

lib-mail: Added mail-html2text API
What makes it mail-specific is that it allows skipping over data inside
<blockquote>. This code probably doesn't parse HTML perfectly, but hopefully
good enough for HTML emails.

lib-mail: Forgot to commit .h file for message_decoder_current_content_type() change.

lib-mail: Added message_decoder_current_content_type()

lib-mail: message-decoder now always sets output->size=0 when headers are returned.

lib-mail: Fixed crash in message-decoder with unknown charsets.
Caused by earlier changes.

lib-mail: Replaced MAX_TRANSLATION_BUF_SIZE with the new CHARSET_MAX_PENDING_BUF_SIZE

lib-charset: Added CHARSET_MAX_PENDING_BUF_SIZE macro and asserts for it.

lib-charset: Added charset_utf8_to_utf8_begin() wrapper function.
It's never supposed to fail, so it makes it nicer for the callers who need
to use it.

lib: Fixed NUL-handling in uni_utf8_*strlen*()
uni_utf8_strlen() could have skipped over the ending NUL byte and caused
read buffer overflows with invalid input.

uni_utf8_strlen_n() and uni_utf8_partial_strlen_n() now allow NUL bytes in
the input and they're treated as regular control characters. Previously the
size was actually treated as max_size with early NUL byte termination.
Technically this is an API change, but I'm not aware of anything using these
functions in an incompatible way.

lib-storage: Added "oldestonly" search arg to stop searching after the first non-match.
This parameter works only for doveadm search queries. It's not fully exact
currently, because if mailbox.search_next_update_seq() skips over
non-matching messages we don't stop if the next message matches. So this
parameter is mainly useful for optimization of commands like:

doveadm expunge -u user@domain mailbox inbox savedsince 30d oldestonly

Where the timestamps should be ascending all the time anyway and there's no
point in continuing to search for more mails after the first timestamp is
too high.

lib-mail: message-decoder no longer skips lib-charset for UTF8 -> UTF8 translations.
With the previous lib-charset fix this makes message-decoder handle partial
UTF-8 text in input blocks correctly.

lib: Added uni_utf8_partial_strlen_n()

lib-charset: UTF-8 -> UTF-8 translation was never returning CHARSET_RET_INCOMPLETE_INPUT
Instead the incomplete input was just being modified into broken output.

lib-imap-client: Compiler warning fixes

imapc: Added imapc_sasl_mechanisms setting
The first supported SASL mechanism is used, otherwise the login fails
entirely.

lib-imap-client: Use lib-sasl to perform the AUTHENTICATE command handling.

lib: Defined array type for guid_128_t

lib: Remove OpenBSD workaround in i_getpw*()
Originally added in 801714cba91b. It was requested to be removed now that 1)
it's fixed in OpenBSD v5.6+ and 2) The workaround caused nonexistent users
to not work correctly (process running out of memory I guess?)

fts: Correct returned value to match type signature.

global: freshen copyright
Robomatically:
  git ls-files | xargs perl -p -i -e 's/(\d+)-201[0-4]/$1-2015/g;s/ (201[0-4]) Dovecot/ $1-2015 Dovecot/'

Happy 2015 everyone!

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: guid - centralise a 'reset to the empty value' helper function
This helper just ensures that the caller never has to get the sizeof()
right. (Were a guid passed as a function parameter, mistakes could happen.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: guid - declare some functions as pure
As the functions aren't inline, the compiler can't know if they
can be optimised away, so give it a helping hand.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - explain implications of ARRAY_TYPE() in comment
If you use ARRAY_TYPE() to pass an array around, then you must also
use ARRAY_TYPE() to define the array itself, ARRAY() will no longer do.

Reported-by: Arnt Gulbrandsen <arnt@gulbrandsen.priv.no>
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - test new lsearch helper
Just piggy-back on to the current reverse test, as that's got an array
nicely set up for us already.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - new linear search helper
There are large numbers of array_foreach loops which do nothing but search
for the first element which matches some key. This can be abstracted out
into a helper.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

configure: Don't break when using --without-shared-libs and CC with '/' chars.

auth: Don't crash if master user login is attempted without master=yes passdbs

lib: Small optimization / unnecessary code removal from array_*() functions.

lib-storage: Mail prefetching was still not working right.
I wonder if it ever actually worked (except for SEARCH TEXT).

doveadm: Avoid calling init() in doveadm binary if the command is sent to doveadm-server.
The init() is still always called when -A or -u *wildcards* are used though.
I'm not sure if that can be delayed. At least all commands should be
verified that they don't rely on the current init() location.

doveadm: Support changing proxy destination username with "user" and "destuser" passdb field.

auth: Don't allow changing username to an empty string.
This is most likely always accidental and Dovecot in general hasn't been
designed to support empty usernames.

fts: Install some of the header files that other external plugins might want to use.

fts: Compiler warning fix when using fts-indexer.h directly

dict-redis: Use timeout_msecs parameter also for transaction commit waits.

dict-redis: Use EXPIRE also after INCRBY commands.

lib: test-array - really really really stop gcc optimising away fatal tests
Gcc 4.6 also was determined to optimise away the calls that should crash.
We therefore have to do *something*, no matter how stupid, with the return
values. This should do it. (please, oh please, oh please, ...)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Added "hidden" option to hide the quota root from IMAP GETQUOTAROOT command.

lib: array - array_foreach_idx is just a generic ptr_to_idx helper
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - remove possibility to optimise out tests
(void) on a call to a "pure" function was causing some compilers (gcc 4.8)
to not reach the assert within the pure function. Technically it's not a
pure function, as (in the assert fail case) it has effects other than its
return value. However, simply removing the void cast (and then actually
using the return value) also prevents this optimisation.

An additional fatal test was added - there's a difference between an access
outside the allocated range and outside the initialised range.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: more delicate *assert() behaviour when doing fatal tests
We shouldn't be i_asserting ourselves when we're in the state of wanting a
test to fail. Therefore instead test_assert to get the assert message, and
ensure that the success flag is cleared to get the FAILED at the end.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - additional compile-time checks to array_append
The new two-array helper macro works in this context too.

Note: array_copy doesn't have any protection currently, it isn't
obvious how to wrap that with some safety without breaking interfaces.
It only seems to have one internal user, lib/aqueue.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - fix off-by-one in test_reverse
i is not used as an index, but as a count. Therefore, it can attain the
array size in the loop without causing any buffer overflows.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - fatal tests
Tests both of the i_asserts which aren't already protected by TYPEOF compile-time
checks.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - new equality testers
One using strings that get dereferenced, the other using the context pointer
to pass in external data.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - element-wise comparison via callback
2 are provided - with and without a context pointer.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - test array_cmp()
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: guid - turn uint8_t * parameters into guid_128_t
As we expose the type's internals, there's no concrete difference between
the two, but it might help static code checkers to detect misuse of the
library, or sloppy typing.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dict-redis: Small error handling fix to previous change.

dict-redis: Added support for expire_secs=n parameter.
It performs EXPIRE command for the added keys immediately after the SET.

lib-storage: Don't fetch wanted_fields for messages that don't match the search query.
For example "doveadm fetch text subject foo" was opening all the mails, even
though only a few matched the subject (that was hopefully already in cache
file).

The behavior still isn't perfect though. The wanted_fields should probably
be split into search_wanted_fields and fetch_wanted_fields, but the current
behavior is likely good enough for now.

lmtp: Added TLS security information to Received: header when STARTTLS was used.

stats: Removed extra TAB from global stats exporting.

lib-index: If transaction log is unexpectedly recreated while it was locked, log a nice error.
Instead of just assert-crashing.