fts: Parse HTML MIME parts using lib-mail's mail-html2text.

lib-mail: Added message_snippet_generate() to produce a short text snippet of a mail.

lib-mail: Added mail-html2text API
What makes it mail-specific is that it allows skipping over data inside
<blockquote>. This code probably doesn't parse HTML perfectly, but hopefully
good enough for HTML emails.

lib-mail: Forgot to commit .h file for message_decoder_current_content_type() change.

lib-mail: Added message_decoder_current_content_type()

lib-mail: message-decoder now always sets output->size=0 when headers are returned.

lib-mail: Fixed crash in message-decoder with unknown charsets.
Caused by earlier changes.

lib-mail: Replaced MAX_TRANSLATION_BUF_SIZE with the new CHARSET_MAX_PENDING_BUF_SIZE

lib-charset: Added CHARSET_MAX_PENDING_BUF_SIZE macro and asserts for it.

lib-charset: Added charset_utf8_to_utf8_begin() wrapper function.
It's never supposed to fail, so it makes it nicer for the callers who need
to use it.

lib: Fixed NUL-handling in uni_utf8_*strlen*()
uni_utf8_strlen() could have skipped over the ending NUL byte and caused
read buffer overflows with invalid input.

uni_utf8_strlen_n() and uni_utf8_partial_strlen_n() now allow NUL bytes in
the input and they're treated as regular control characters. Previously the
size was actually treated as max_size with early NUL byte termination.
Technically this is an API change, but I'm not aware of anything using these
functions in an incompatible way.

lib-storage: Added "oldestonly" search arg to stop searching after the first non-match.
This parameter works only for doveadm search queries. It's not fully exact
currently, because if mailbox.search_next_update_seq() skips over
non-matching messages we don't stop if the next message matches. So this
parameter is mainly useful for optimization of commands like:

doveadm expunge -u user@domain mailbox inbox savedsince 30d oldestonly

Where the timestamps should be ascending all the time anyway and there's no
point in continuing to search for more mails after the first timestamp is
too high.

lib-mail: message-decoder no longer skips lib-charset for UTF8 -> UTF8 translations.
With the previous lib-charset fix this makes message-decoder handle partial
UTF-8 text in input blocks correctly.

lib: Added uni_utf8_partial_strlen_n()

lib-charset: UTF-8 -> UTF-8 translation was never returning CHARSET_RET_INCOMPLETE_INPUT
Instead the incomplete input was just being modified into broken output.

lib-imap-client: Compiler warning fixes

imapc: Added imapc_sasl_mechanisms setting
The first supported SASL mechanism is used, otherwise the login fails
entirely.

lib-imap-client: Use lib-sasl to perform the AUTHENTICATE command handling.

lib: Defined array type for guid_128_t

lib: Remove OpenBSD workaround in i_getpw*()
Originally added in 801714cba91b. It was requested to be removed now that 1)
it's fixed in OpenBSD v5.6+ and 2) The workaround caused nonexistent users
to not work correctly (process running out of memory I guess?)

fts: Correct returned value to match type signature.

global: freshen copyright
Robomatically:
  git ls-files | xargs perl -p -i -e 's/(\d+)-201[0-4]/$1-2015/g;s/ (201[0-4]) Dovecot/ $1-2015 Dovecot/'

Happy 2015 everyone!

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: guid - centralise a 'reset to the empty value' helper function
This helper just ensures that the caller never has to get the sizeof()
right. (Were a guid passed as a function parameter, mistakes could happen.)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: guid - declare some functions as pure
As the functions aren't inline, the compiler can't know if they
can be optimised away, so give it a helping hand.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - explain implications of ARRAY_TYPE() in comment
If you use ARRAY_TYPE() to pass an array around, then you must also
use ARRAY_TYPE() to define the array itself, ARRAY() will no longer do.

Reported-by: Arnt Gulbrandsen <arnt@gulbrandsen.priv.no>
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - test new lsearch helper
Just piggy-back on to the current reverse test, as that's got an array
nicely set up for us already.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - new linear search helper
There are large numbers of array_foreach loops which do nothing but search
for the first element which matches some key. This can be abstracted out
into a helper.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

configure: Don't break when using --without-shared-libs and CC with '/' chars.

auth: Don't crash if master user login is attempted without master=yes passdbs

lib: Small optimization / unnecessary code removal from array_*() functions.

lib-storage: Mail prefetching was still not working right.
I wonder if it ever actually worked (except for SEARCH TEXT).

doveadm: Avoid calling init() in doveadm binary if the command is sent to doveadm-server.
The init() is still always called when -A or -u *wildcards* are used though.
I'm not sure if that can be delayed. At least all commands should be
verified that they don't rely on the current init() location.

doveadm: Support changing proxy destination username with "user" and "destuser" passdb field.

auth: Don't allow changing username to an empty string.
This is most likely always accidental and Dovecot in general hasn't been
designed to support empty usernames.

fts: Install some of the header files that other external plugins might want to use.

fts: Compiler warning fix when using fts-indexer.h directly

dict-redis: Use timeout_msecs parameter also for transaction commit waits.

dict-redis: Use EXPIRE also after INCRBY commands.

lib: test-array - really really really stop gcc optimising away fatal tests
Gcc 4.6 also was determined to optimise away the calls that should crash.
We therefore have to do *something*, no matter how stupid, with the return
values. This should do it. (please, oh please, oh please, ...)

Signed-off-by: Phil Carmody <phil@dovecot.fi>

quota: Added "hidden" option to hide the quota root from IMAP GETQUOTAROOT command.

lib: array - array_foreach_idx is just a generic ptr_to_idx helper
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - remove possibility to optimise out tests
(void) on a call to a "pure" function was causing some compilers (gcc 4.8)
to not reach the assert within the pure function. Technically it's not a
pure function, as (in the assert fail case) it has effects other than its
return value. However, simply removing the void cast (and then actually
using the return value) also prevents this optimisation.

An additional fatal test was added - there's a difference between an access
outside the allocated range and outside the initialised range.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: more delicate *assert() behaviour when doing fatal tests
We shouldn't be i_asserting ourselves when we're in the state of wanting a
test to fail. Therefore instead test_assert to get the assert message, and
ensure that the success flag is cleared to get the FAILED at the end.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - additional compile-time checks to array_append
The new two-array helper macro works in this context too.

Note: array_copy doesn't have any protection currently, it isn't
obvious how to wrap that with some safety without breaking interfaces.
It only seems to have one internal user, lib/aqueue.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - fix off-by-one in test_reverse
i is not used as an index, but as a count. Therefore, it can attain the
array size in the loop without causing any buffer overflows.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - fatal tests
Tests both of the i_asserts which aren't already protected by TYPEOF compile-time
checks.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - new equality testers
One using strings that get dereferenced, the other using the context pointer
to pass in external data.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - element-wise comparison via callback
2 are provided - with and without a context pointer.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - test array_cmp()
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: guid - turn uint8_t * parameters into guid_128_t
As we expose the type's internals, there's no concrete difference between
the two, but it might help static code checkers to detect misuse of the
library, or sloppy typing.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dict-redis: Small error handling fix to previous change.

dict-redis: Added support for expire_secs=n parameter.
It performs EXPIRE command for the added keys immediately after the SET.

lib-storage: Don't fetch wanted_fields for messages that don't match the search query.
For example "doveadm fetch text subject foo" was opening all the mails, even
though only a few matched the subject (that was hopefully already in cache
file).

The behavior still isn't perfect though. The wanted_fields should probably
be split into search_wanted_fields and fetch_wanted_fields, but the current
behavior is likely good enough for now.

lmtp: Added TLS security information to Received: header when STARTTLS was used.

stats: Removed extra TAB from global stats exporting.

lib-index: If transaction log is unexpectedly recreated while it was locked, log a nice error.
Instead of just assert-crashing.

auth: Increase timeout for multi-line auth-worker replies to 30 minutes.
This should help with running long-running doveadm -A commands.

mbox: Added more (and earlier) detection for errors in mbox istreams.

mbox: istream_raw_mbox_seek() needs to reset all corruption errors.
We now reset all errors, but it doesn't really matter.

lib-fs: Added FS_PROPERTY_ASYNC.

Added support for base32 encode/decode.

Implemented dot output stream. This outputs data in the dot-escaped format needed for the SMTP data command.
The sequence CRLF.CRLF is sent upon closing the stream.

lib-http: client: Removed connection code that is already in src/lib/connection.c.

lib: connection: Now uses io_add_istream() instead of io_add().

lib-imap-storage: Created new METADATA API.

lib-fs: Added fs_lookup_metadata() wrapper to fs_get_metadata()

lib-master: Don't even attempt to initialize SSL context if ssl=no

lib-ssl-iostream: Close the plain iostreams when ssl-iostream is destroyed.

lib: array/hash - enable typof checks for more compilers
We have a HAVE_TYPEOF macro from autoconf, we may as well make use of it.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array/hash - protect macro parameters
If a pointer parameter p is ``ptr + offset'', then sizeof(*p) becomes
sizeof(*ptr + offset), which isn't what was wanted. sizeof(*(p)) is the
safe expression to use instead. Ditto for just ``*data'' in array.h.

The macros in hash.h which have been changed have been reindented for
better readability and consistency.

The bracketting of elem in (elem)++ in both of the array_foreach* macros
isn't actually useful, as elem participates in token-pasting elsewhere.
However, the two macros have been made more similar to each other for
better parallelism.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imap: namespace { order } parameter now specifies the order returned in NAMESPACE reply.
This is relevant only if there are multiple visible namespaces with the same
type. The default order depends primarily on the length of the prefix because
of internal sorting (the order of equal length prefixes can't really be
relied on).

imap: Added client_disconnect_if_inconsistent() to remove code duplication.
Based on patch by Stephan Bosch

doveadm: If passdb lookup returns port, use it to override the doveadm_port setting.

lib-fs: fs-metawrap now supports adding more metadata fields while file is being saved.
This potentially adds yet another temporary file write though.

lib: Added iostream_temp_create_named()

lib-index: Make sure dovecot.index.cache parsing doesn't go to infinite loop.
Although we guarantee this only for files generated with Dovecot v2.2+
because it's too much trouble to check for older versions.

lib-storage: If storage creation fails, destroy all the already created namespaces/storages.

lib-storage: Fixed crash if mail_namespaces_init_add() failed due to invalid settings.
Normally the invalid settings were caught by config process already.

lib: ostream.stream_errno is now exactly the same as last_failed_errno.
There's a lot of code that checks only for stream_errno instead of
last_failed_errno at the flush time where the stream_errno might have
already been cleared.

I'm not sure why these were separated in the first place. I don't think
there are any stream errors which just correctly go away by retrying the
operation. Perhaps some code could have attempted seeking and try to handle
the ESPIPE error, but that kind of code paths are rare and they could clear
the errors themselves if needed.

lib: ostream-file checks "sendfile() not supported" a bit better.
There are other reasons why stream_errno=EINVAL could have been set, at
least in theory.

lib-storage: Added "creator" for mail_user.
This allows fixing stats plugin to update stats also for shared mailboxes.
That's a bit complicated change though, so I'm not sure how soon it'll
happen. But at least this change makes it possible more easily later on.
Might have other uses too.

lib: Never implicitly clear istream's stream_errno.
I'm not really sure why these were added in the first place. At some point
the stream_errno was cleared in more places, such as just before reading,
but those were also removed already. I don't see any benefit for these, just
potential problems.

lib-mail: message_search_msg() shouldn't clear istream's stream_errno.
If the input stream failed, retrying the operation without cached
message_parts is unlikely to help. This also loses the original error
message.

dsync: Set MAILBOX_TRANSACTION_FLAG_SYNC also for exporter.
This doesn't really do much because exporter shouldn't be writing anything,
but it allows plugins to find out if transactions is coming from dsync.

lmtp: Added support for DSN ORCPT parameter.
If the parameter is specified, it's used as the original recipient address
in Sieve. The ORCPT parameter is also proxied to destination LMTP server if
used (without checking if it supports it). We don't currently advertise DSN
extension, so this feature won't be enabled automatically.

imap-stats: Fixed truncation of command args.

stats: Use the same session ID string for stats tracking as everywhere else.
Generate a new ID only if there is no session ID assigned.

ssl-params: Removed duplicate lib-ssl-iostream.la linking

stats: Use the new str-table API to reduce memory usage for service strings.
There are only a couple of services, while there can be a lot of sessions.

lib: Added str-table API for keeping reference counted strings in a hash table.

stats: Added support for "global" stats type.

director: Added support for backend cluster "tags".
This allows using a single director ring for multiple backend clusters. By
default everything has an empty tag. A passdb lookup can return
"director_tag" field containing the wanted tag name. If there aren't any
backend servers with the wanted tag, it's treated the same as if there
aren't any backend servers available (= wait for 30 secs for a backend and
then return temporary failure).

Tags can be added to configuration by adding @tag suffix to IPs/hosts. For
example:

director_mail_servers = 10.0.0.100-10.0.0.110@name1 10.0.0.120@name2

"doveadm director add" can also add tags either with @tag suffix or with -t
parameter. "doveadm director status user@domain" requires giving the user's
correct tag with -t parameter or the results won't be correct (empty tag's
results are shown). Tags can't currently be changed for an existing host
without removing it first.

director: Don't restart request timeout when director state changes.
If the state keeps changing all the time we'll never return timeouts for the
requests.

director: Added director_consistent_hashing setting.
This should have been the default since the beginning. I didn't thik it was
worth the trouble originally because in theory it shouldn't matter much if
users jump between multiple backends. But this makes caching behavior worse,
especially for systems which are using local cache files.

director: When logging a warning about ring being synced again, log how many seconds it took

director: Always log a message when director handshake finishes.

doveadm director ring status shows now more information

lmtp: Show more information in process title.
Most importantly show the username while messages are being delivered.

doveadm: Support running non-mail commands via doveadm server.
There are still some commands that print their output via printf though, so
they need to be fixed separately.

doveadm: Moved commands related code to doveadm-cmd.[ch]
Commands are already split for command line-only commands and commands that
can be run via doveadm-server also.