lib-imap: imap-bodystructure: Renamed imap_bodystructure_is_plain_7bit() to message_part_data_is_plain_7bit().

lib-imap: imap-envelope: Renamed imap_envelope_parse_header() to message_part_envelope_parse_from_header().

lib-imap: imap-evenvelope: Changed imap_envelope_get_field() into a private equivalent.

lib-imap: imap-bodystructure: Renamed imap_bodystructure_parse_header() to message_part_data_parse_from_header().

lib-imap: imap-bodystructure: Grouped together functions relating to the conversion of BODYSTRUCTURE to BODY.

This only moves code.

lib-imap: imap-bodystructure: Changed struct message_part_body to contain fully decoded data.

Contained unparsed IMAP string data before.

lib-imap: imap-envelope: Added function to parse struct message_part_envelope_data from parsed imap args.

lib-imap: imap-bodystructure: Renamed `d' parameter to `data' in parse_content_header() function.

lib-imap: imap-envelope: Removed useless pool field from struct message_part_envelope_data.

lib-imap: imap-bodystructure: Removed useless pool field from struct message_part_data.

lib-mail: Gave message_part_data its own field in struct message_part.

lib-imap: imap-bodystructure: Renamed struct message_part_body_data to message_part_data.

lib-imap: Removed existing envelope parsing function.

This is currently only used by imaptest. Alternative API is provided in later commit.

lib-imap: test-imap-bodystructure: Added normalization tests.

lib-imap: imap-bodystructure: Allow alternative syntax and omitted optional elements in parser input.

This makes the parser accept any RFC-compliant BODYSTRUCTURE syntax, instead of only what Dovecot itself produces.
This way the parser could reliably be used in the lib-imap-client if ever needed.

lib-imap: test-imap-bodystructure: Added more tests.

lib-imap: test-imap-bodystructure: Improved handing of parse errors.

Actually show the parse error.

lib-imap: test-imap-bodystructure: Added support for more than one test case.

lib-imap: imap-bodystructure: Fixed parse error message about invalid Content-M5 field.

example-config: Add mail_sort_max_read_count setting.

example-config: Add mail_vsize_bg_after_count setting.

example-config: Add imap_fetch_failure setting.

lib-mail: Fix matched-parameter in HEADER_FILTER_ADD_MISSING_EOH callback

The matched-parameter in the regular EOH callback is the reverse of what
it's in v2.3 tree. So preserve it here.

.gitignore: Fixed location of ignored m4 files.

Probably got cherry-picked wrong from development branch.

lib-http: test-http-response-parse: Properly test multiple sequential responses.

auth: oauth2 mechanism: Fixed implicit boolean expression involving a pointer.

Found with Clang -Wstrict-bool.

lib-storage: Add explicit MAIL_ERROR_LOOKUP_ABORT error

The MAIL_ERROR_NOTPOSSIBLE was a bit too generic to assume to mean the same
thing. It doesn't look like there are any external plugins that break
because of this change.

lib-storage: Add mail.access_type

lib-storage: Add mail_sort_max_read_count setting.

This controls how many slow mail accesses sorting can perform before it
fails:

a NO [LIMIT] Requested sort would have taken too long

The SORT reply is still returned, but it's likely not correct.

lib-storage: Add MAIL_ERROR_LIMIT

imap: If SEARCH/SORT fails but returns some results, send them to client.

The previous error handling fixes cause SEARCH/SORT to now fail if there
are any problems reading mails. This change makes the commands still
return the best known results, so the IMAP client can still use them,
even though they may not be entirely correct.

lib-storage: Fix error handling when searching mails

Only expunge errors and failures caused by lookup_abort should be ignored.
The rest of the mail errors mean that the search result might not be
correct. We'll still run the search as fully as possible, but we just
return an error at the end.

lib-storage: Search optimization - avoid parsing message_parts unnecessarily

If they're not already cached, the mail is parsed twice: once to get the
message_parts and again to perform the actual search. The searching can
however do the message_parts parsing internally as well.

lib-storage: Fix error handling when sorting mails.

All errors were treated the same as if message had been expunged. This
caused potentially wrong results to be sent to the client without any
indication that they're wrong.

lib-storage: Change vsize calculation to use the new mail_stream_opened

This avoids calling mail_get_virtual_size() twice and is a bit cleaner
approach.

lib-storage: Add mail.mail_stream_opened and .mail_metadata_accessed

These allow determining after mail_*() calls how efficiently they were
performed.

lib-storage: Clarify what MAIL_LOOKUP_ABORT_READ_MAIL means.

It should maybe even be renamed to something clearer.

dsync: Don't assert-crash if duplicate attributes are seen

Just ignore the duplicates. Normally this shouldn't happen, but due to
some bugs for example a Sieve script could be returned once by doveadm_sieve
plugin and another time from mail_attribute_dict.

imap: Fix running time in tagged command replies.

The timing information was updated only after command_exec() returned.
Most of the commands were handled within a single command_exec() though,
so at the time when tagline was sent the running_usecs was still zero.

The msecs in ioloop timing was correct though, because it relied only on
the command start timing info.

doveadm: Add explicit mail_storage_init/deinit() calls

This mainly prevents losing hooks that were registered by doveadm plugins.

Otherwise what happens is:
 - mail_plugins are unloaded and they unregister their hooks
 - doveadm plugins (e.g. doveadm_sieve) are NOT unloaded
 - mail_storage_deinit() frees all the registered hooks
 - next mail_storage_init() initializes all new hooks
 - All mail_plugins are loaded and they register again their hooks
 - doveadm plugins are NOT re-loaded or re-initialized, so their existing
hooks were lost.

lib-storage: mail_storage_init/deinit() is now reference counted.

This allows calling them multiple times and only the final deinit frees the
data.

lib-storage: Assert-crash if duplicate internal hooks are added.

fs-posix: Add "no-fsync" parameter.

This disables calling fdatasync() when fs_write() was done with
FS_OPEN_FLAG_FSYNC. Useful for making tests faster.

imap: Code cleanup - Remove duplicate flags from imap_fetch_state

All the cur_flushed, line_partial and line_finished were about the same
thing.

imap: Fix sending UID only when necessary on broken FETCHes.

b748f91d0677fffaa2208b39ebb6db3aeb2e937b changed UID to be sent for most
FETCH replies. There was also some existing code that attempted to do this,
but didn't fully work.

So now:

1) If there are no non-buffered replies, the entire FETCH response isn't
sent.

2) If the buffer was already flushed and nothing else was sent, add UID to
reply. The code paths for handling this are differently for
imap_fetch_failure = disconnect-immediately vs others (depending on
imap_fetch_cur_failed() return value).

imap: Include info about last command in disconnection log line.

Only if LOGOUT isn't sent, because that's already visible.

imap: Code cleanup - Move code to client_command_stats_append()

imap: Add imap_client.logged_out at LOGOUT

This is useful for determining if client did a clean logout

imap: Code cleanup - move command stats to struct client_command_stats

mech-oauth2: Clarify logging

mech-oauth2: Set user_given=TRUE when username given in OAUTHBEARER

mech-oauth2: Fix gs2-header parsing

lib: Fix assert-crash in unit test.

Messed up merging.

auth: Add oauth2 passdb

auth: Add xoauth2 and oauthbearer mechanisms

auth: Add mechanism filter for passdbs

auth: Add accessor for passdb template arguments

lib-oauth2: Add support library for OAUTH2

lib-storage: Update vsize header after sync only if sizes are cached.

The result isn't needed yet in that case, so if it's slow to get the sizes
it might as well be delayd until later. This is especially useful when
indexer-worker triggers FTS indexing. The vsizes can be added to index
after the mail is already read for FTS. Without this change the vsize
update would first open all the mails and then the FTS indexing would
open all the mails a second time.

lib-storage: Add mail_vsize_bg_after_count setting.

If folder vsize calculation requires opening more than this many mails from
disk (i.e. mail sizes aren't in cache already), return failure and finish
the calculation via indexer process.

This should be used like:

protocol !indexer-worker {
  mail_vsize_bg_after_count = 10
}

lib-storage: Don't stop vsize calculation on expunged mails.

I don't know why I added such logic there in the first place. If we just
skip the expunged mails, the end result should still be correct and
usable when cached.

lib-index: Fix updating mail_index_header.day_first_uid

If user received a mail every day, the day_first_uid wasn't being updated.
This caused wrong caching decisions to be made in dovecot.index.cache:

 - Accessing >1 week old emails should have changed caching decision from
"tmp" to "yes". This might not have happened, although as long as
day_first_uid[7] pointed to an existing mail and email client accessed
all the mails, this wouldn't have changed anything.

 - Cache compression is supposed to drop >1 week old mails when caching
decision is "tmp". Not enough mails were being dropped because
day_first_uid[7] pointed to a much older than 1 week old mails.

Also added a unit test to make sure this works.

Broken by d9ee2f9fb3ef7b9391bfeeff1b374aead51667aa

lib-index: Add day_stamp parameter to mail_index_update_day_headers()

This will help creating a unit test.

lib-storage: Re-open mailbox after it's undeleted.

This is needed with mailbox formats that didn't fully open the mailbox while
it was undeleted.

lib-storage: Don't sync mailbox after undeleting it.

This is useful only when deleting it. With undeletion the syncing isn't
useful and might actually be harmful with mailbox formats that didn't
fully open the mailbox while it was undeleted.

lib-storage: Make sure mailbox undeletion won't go to infinite loop

mail-log: Add mail_log_cached_only setting.

If enabled, everything except "save" event will log only the fields that can
be looked up from cache. This improves performance if some of the fields
aren't cached and it's not a strict requirement to log them.

lib-imap-client: pass the reply text to the auth-failed state change callback

lib-imap-client: invoke state change callback on "authentication success"

lib-imap-client: add callback to notify consumers about state changes

Add a callback to notify imapc users about failures.  Currently, the only
failure defined is "authentication failed".

lib-imap-client: centralize authentication failed error logging

lib-http: response parser: Drop previous response's pool immediately when parsing continues.

Prevously, it would only do that when the first byte of the next response was received.
This prevents wasting memory when no response is being parsed.

lib-http: response parser: Always clear response to prevent referring to stale data.

lib-http: message parser: Don't allocate a pool for the next message until it is needed.

This prevents wasting memory when no message is being parsed.

lib-http: message parser: Delay allocation of message header.

lib-http: message parser: Don't create the connection_options array, unless it is actually used.

lib-mail: Fix duplicate HEADER_FILTER_ADD_MISSING_EOH callback call

If headers weren't modified, the second reading of the istream shouldn't
call any callbacks.

doveadm: Added "mailbox path" command

This allows easily printing a path for a mailbox, index, control dir, etc.

lib-lda: Code cleanup - remove unnecessary dest_mail check

lib-lda: Don't set mail_deliver_context.dest_mail too early.

It must be NULL for the caller, unless save_dest_mail==TRUE

lib-lda: Implement %{storage_id} correctly

lib-lda: Fix deliver_log_format variables with Sieve

With Sieve it was using src_mail for getting the values, which weren't
correct especially if Sieve had modified the mail.

lib-lda: Code cleanup - mail_deliver_open_mail() now uses uid parameter

lib-lda: Remove %{storage_id} setting for now.

It doesn't work with Sieve. The following patches add it back properly.

lib-lda: Redesign mail_deliver_context.var_expand_table cache

lib-lda: remove forced logging of session_id

lib-lda: Remove unused mail_deliver_get_log_var_expand_table()

lib-lda: Initialize var_expand_tab[] directly.

This is a partially pick from acfda38b75d0f0e899ef692fef01593bd56ed85e
to be able to cherry-pick the following patches more easily.

lib-lda: Avoid using mailbox_save_set_dest_mail()

lib-storage: Add mailbox_save_get_dest_mail()

This marks mailbox_save_set_dest_mail deprecated. It's not efficient to use
since it frees the already-created dest_mail.

virtual: Fix saving to a virtual mailbox to work again

Previous changes broke it.

plugins: Remove unnecessary mail_save_context.dest_mail==NULL checks

It can never be NULL after the previous change: "lib-storage: Always create
mail_save_context.dest_mail".

lib-storage: Remove unnecessary mail_save_context.dest_mail==NULL checks

It can never be NULL after the previous change: "lib-storage: Always create
mail_save_context.dest_mail".

The code removal in maildir_transaction_save_commit_pre() seemed
potentially dangerous, but I don't think such code path is possible
anymore. Also even if it is, it's probably fine since the mail_free()
is called even earlier than before (although that itself might have
been a problem).

This also removes last traces of code that made it possible to save mails to
mbox without assigning UID to the mail. The previous commit already caused
this, so this is just removing dead code.

lib-storage: Always create mail_save_context.dest_mail

This allows removing similar mail_alloc() from storage backends and plugins
that need it.

As a side effect, this changes mbox code to always assign UIDs to saved
mails. This shouldn't be much of a problem, since it happened practically
always already.

lib-storage: Fix mailbox list index hook usage

The previous method appeared to work, but not if the internal hooks were
used more than once.

lib-index: zero mmap_length after logging error

Logging that mmap(size=0) failed looks suspicious.

mail-crypt: Do not restrict access in unit test

This works around problem with docker

lib: Clarify *_strsplit_spaces() and add unit test

lib: Add pool_alloconly_create_clean()

This partially reverts 2a2beae3a4c1e75b3aeff996781503138e6f24bc

LAYOUT=index: Fix duplicate mailbox name renaming to actually work