lib-mail: Added message_header_encode_data() to support encoding also NUL characters.

liblib: Added str_append_data(), which is simply a wrapper to buffer_append()
This is intended for appending data that may contain NUL characters that are
wanted to be added to the string.

lib: quell sparse "warning: Using plain integer as NULL pointer"

The first element of the structure is a pointer, make that explicit.

lib-mail: message_header_encode() needs to encode control characters as well.

auth: Added %{orig_user}, %{orig_username} and %{orig_domain} variables

imap: Brought back the original SEARCH PARTIAL code with the minor fix that it actually needed.
The new code in v2.2.11 was completely wrong. The code in previous commit
was broken with SORT. The original code was correct otherwise, except it
couldn't handle partial1 pointing past the valid range.

imap: Fixed SEARCH PARTIAL to work correctly with UIDs and with SORT results.

Added seq_range_array_remove_nth()

dsync: If we notice that incremental sync won't work, don't continue doing it.

imap: Allow longer ID command parameters without disconnecting the client.

maildir: Maildir S=size fixing now works also with zlib etc. plugins that modify the files.

maildir: Returning mail's received/saved date or refcount was sometimes broken with zlib plugin.
If the value wasn't already cached and the same transaction also accessed
the message body, i_stream_stat() was used, which ended up to
i_stream_seekable_stat() due to caching the file, which didn't again fstat()
the actual maildir file but just used some internal values.

kqueue: Changed all i_fatal() calls to i_panic()s to make debugging them possible.

lib-index: Fixed crash when header fields count was too high in cache file.

lib-storage: mailbox_settings_find() now takes namespace parameter instead of user.
This fixes an infinite (until stack gets full) loop with shared mailboxes:
mail_namespace_find() -> mailbox_list_get_storage() ->
mailbox_settings_find() -> mail_namespace_find() -> ...

auth: Fixed userdb extra fields handling in passdb failure.
userdb prefetch -flag wasn't correctly set, causing the prefetch userdb in
some situations incorrectly either to be called or not be called.

This also fixes a crash when using userdb static and multiple passdbs. The
userdb_reply was set to NULL, which caused a crash later.

imap: Make sure we don't return empty "* n FETCH ()" reply, which violates RFC 3501 ABNF.
It happened only during error conditions, and it would be a bit too much
trouble to try to remove the reply entirely, so just append the message UID
there.

imap: If FETCH BINARY fails because of invalid MIME part data, return [UNKNOWN-CTE] error.

example-config: Removed mail_nfs_* settings, since they shouldn't be used anyway.

lib-storage: Mailbox list indexes didn't use mail_fsync setting.

virtual: Fixed assert-crash when doing changes to backend mailbox via the virtual mailbox.
Caused by the recent lazy mailbox opening changes.

lib-storage: mail_never_cache_fields=* means now to disable all caching.

lib-storage: Partially reverted the mail.get_real_mail() API change for backwards compatibility.
I hadn't realized Pigeonhole was also using it. (I thought it was using only
the mail_get_real_mail() public API.) This fixes Pigeonhole v0.4.2 to work
again.

dsync: saved-date doesn't need to be looked up until mail body is being read.
This should improve the performance when the saved-date isn't already cached
or otherwise quickly accessible.

This change also makes dsync slightly incompatible with earlier versions.
When using dsync with an earlier version the saved-dates aren't synced. It
would be too much trouble to try to preserve full backwards compatibility,
especially because saved-date doesn't matter so much and isn't even visible
to IMAP clients.

maildir: Make sure the filename contains S=size and W=size even if GUID doesn't.

maildir: Make sure we don't replace correct mail sizes with broken ones when preserving GUID.

lib-mail: test-istream-attachment updated

lib-mail: istream-attachment-extractor didn't correctly handle increasing base64 line length.
Based on patch by Pavel Stano

lib-mail: istream-attachment-extractor handled mixed LFs vs CRLFs correctly.
Unless all the lines have the same newlines, the attachment can't be
recreated back exactly the same.

lib-mail: Added more tests to test-istream-dot.

lib-storage: Fixed crash if mailbox_save_cancel() was called in save_finish()/copy() method.

lib-index: Small code cleanup

istream-lf: Cleanup & performance improvement.
memchr() is faster than lopping through the data ourself.

dsync: Yet another fix to working with old versions.

lib-lda: More smtp-client.h API changes to support multiple destination addresses.

dsync: Fixed new dsync versions to work again with older versions.

dsync: If incremental dsync finds that its state is stale, retry (later) with full sync.
This works only when the master itself notices such changes locally. Remote
changes aren't noticed, because the master doesn't send the state to remote
dsync and the master is also the one that decides which mailboxes are
synced. The fix to this probably means sending the state string to remote
dsync and have it check if the state is still valid (= protocol change).

dsync: Include messages_count in the mailbox states.
This allows detecting that stateful dsync can't be done when message count
is suddenly wrong.

dsync: Finished previous change to actually compile

doveadm replicator add <user mask> command added.
This allows quickly adding users from userdb that don't exist in replicator.
For example "doveadm replicator add '*'" adds all the new users from userdb.

This isn't really necessary though. Users will be automatically added as
soon as their mailboxes change in some way and replicator gets notified
about them.

dsync: If dsync was started via doveadm-server, show the remote client's IP address in ps output.

lib-http: http-client: Prevented http_client_request_continue_payload() from segfaulting when the callback sets the request pointer to NULL.

lib-http: http-client: Forgot to switch dns-client io_loop in http_client_request_continue_payload() in ealier change (6c3bd941e153).

lib-http: Fixed problem with connections idling indefinitely.
Forgot to check for idle connections when request finished after waiting
for payload to be read by application.

lib-http: Better error handling fix for payload read/write failures

lib-http: Failed payload read/write error was handled wrongly as "stream input size changed".

iostream-temp: Improved stream naming.

Compiler warning fixes

dsync: Added more debug output

doveadm dump: Added support for mobox extensions in dovecot.index.

lib-lda: Use the new smtp_client_init(), not _open()

lib-lda: When non-RCPT/DATA command fails permanently, translate it internally to temporary failure.
We shouldn't be answering permanent failures to RCPT/DATA command when the
failure really had nothing to do with the recipient/content itself. Most
likely it's just some server misconfiguration, which should be treated as
temporary error.

lib-lda: mail_send_rejection() logs permanent rejections now with info level.
There's no need to log an error when return-path is invalid.

lib-lda: Added new smtp_client_init/deinit() APIs
The new API allows better error handling.

safe_memset(size=0) triggered read access to data[0], possibly crashing.

lib-http: Added more information to "stream input size changed" error

lib-lda: Removed unused mail_send_forward()

dsync: If a parent \Noselect gets autocreated, don't fail later when trying to re-create it.

dsync: Fixed high data stack memory usage

i_stream_read_next_line(): Set also errno=ENOBUFS on too large line.
Some callers assume that errno is set to same as istream->stream_errno

director: Fixed handling weak users when there were exactly 2 director servers in the ring.

doveadm director map -u: Don't connect to director socket, it's not needed.

doveadm director map: Added -h and -u parameters to quickly map between username and hash.

doveadm director map: Show also the username hash.

director: When logging about request timeout, log also the username hash.

doveadm replicator replicate: Added -f parameter to force a full sync for user.

doveadm replicator replicate: -p parameter wasn't working correctly.
We were just replicating the "-p" as the username.

dsync: Added assert

dsync: When initializing via doveadm-server, change the iostream buffer sizes to unlimited.

Added o_stream_get_max_buffer_size()

virtual: Fixed assert-crash in IDLE caused by earlier changes.
This change negates all the improvements of the earlier changes when IDLE is
used. This could be fixed by using mailbox-list-notify.h API.

virtual: Delay initializing search args until the mailbox is actually opened.
Fixes assert-crash caused by recent changes when virtual mailbox search args
contained e.g. keywords.

safe_memset() wasn't safe with modern compilers anymore.
Another try based on David Jacobson's code in
https://www.mail-archive.com/openssl-dev@openssl.org/msg34134.html :

"""
Since vs points to a volatile, the load in the while clause actually has to
be done. That forces the compiler to actually store c into at least the byte
that is tested, in practice byte zero. But the fact that the index is
volatile zero, and since it is volatile it could spontaneously change to
anything, the compiler has to store c into all bytes.

The key observation is that while you can't pass a volatile to memset (you
get a warning and the volatile gets stripped away), you can use a volatile
in a test that could go the wrong way if the memset were elided.
"""

connection: Added support for creating a stream from input/output stream pair.

lib-http: Fixed resource leaks in http_client_wait() occurring a dns_client is used.
If all DNS lookups finished before the end of the wait cycle, the dns_client would not be switched back to the original ioloop.

lib-dns: Added dns_client_switch_ioloop().

ioloop: Fixed segfault crash in io_loop_call_pending().
When a callback called io_set_pending(), the io_loop_call_pending() loop
crossed the end of the ioloop->io_files list.

Based on patch by Stephan Bosch

fts-lucene: Added mime_parts parameter to index MIME parts as separate documents.
This is in preparation for being able to actually read such information and
show it to clients via some new IMAP extension.

Also it might be better to index some MIME parts together to avoid wasting
disk space, but for now this is all or nothing. For example anything that is
"message body" could probably be indexed without the part number at all.

fts-lucene: Fixed "doveadm dump" crash when built with stemmer

lib-mail: Compile fix for last change..

fts: Added message_part to fts_backend_build_key.
This allows FTS backends to index MIME parts separately from each others.

lib-mail: Added support for struct message_part <-> index number translations.

lib-mail: Moved struct message_part to a separate message-part.h

auth: If passdb/userdb has a name, use it for the log prefix instead of the driver name.

auth: Use special AUTH_SUBSYS_DB/MECH parameters as auth_request_log*() subsystem.
This avoids hardcoded strings all over the place and also allows assigning
the correct passdb/userdb name for log messages generated by generic
passdb/userdb code, which doesn't know exactly where it was called from.

imapc: Fixed fetching specific headers without imapc_features=fetch-headers

fts: Added fts-parser support for Tika
It can be enabled by setting:

plugin {
  fts_tika = http://localhost:9998/tika/
}

fts: Never put text/plain contents through fts-parsers.

fts: Added unload() method to fts-parsers to allow them to cleanup before plugin unload.

lib-http: http_client_request_finish_payload() no longer waits for the entire result payload.
The caller can now read it instead, or just discard it by not reading it.

fts: Free fts-parser on failures.

doveadm replicator dsync-status: Show replication type as "-" for non-working dsyncs.

maildir: Added maildir_empty_new setting to avoid keeping mails in new/ directory.
This is useful for example when using an external MDA that calls "doveadm
index" and the user hasn't opened the mailbox for a long time.

Also this removes the delay that user may see when opening a rarely accessed
mailbox, which renames a ton of files to cur/ while the user is waiting.

fts-solr: Removed unnecessary code

replicator: Improve logging import/export errors.

fts-lucene: Fix to previous change. We allocated way too little memory.

lib-storage: Further changes to mailbox_alloc_guid() caching.
We'll now cache the GUIDs forever and force invalidation after mailbox
rename or when mailbox GUIDs have been updated. This is what dsync needs,
especially for good performance, and currently there aren't any other users
for this API.

lib-storage: mailbox_alloc_guid() shouldn't refresh GUID cache on every nonexistent GUID.
Refresh it only if we know it has had some changes (made by our process) or
timestamp has changed. This should handle the cases that are currently
important (=single dsync run).

dsync: Fix to previous commit to actually compile..

replicator: Fixed crash caused by "doveadm replicator dsync-status" in some situations.