Released v2.2.31.

dsync: Use header hashing version 3

pop3-migration: Replace trailing whitespace removal with new header hashing version

This is now done by message_header_hash(), which makes it work correctly
also for dsync+imapc.

Reverts 0cf3b30b86e6c39f43b8e13a718cd078187ca86d, except for the unit tests.

lib-mail: message_header_hash_more() - add v3 that strips spaces

This helps with Zimbra, which strips away trailing whitespaces in
BODY[HEADER].

lib-mail: test-message-header-hash - add more tests

lib-mail: message_header_hash_more() - refactor to use switch()

quota: Fix failing again if quota setting has invalid parameters

This was broken by the recent quota parameter parsing changes.

Released v2.2.31.rc1.

lib-imap: imap_append_nstring_nolf() - fix crash with datastack_pool strings

T_BEGIN .. T_END is not used, when string_t is allocated from
datastack pool, unit test updated to verify the fix.

acl: Add acl_globals_only setting

The local dovecot-acl files aren't even attempted to be looked up if this is
set. This is mainly useful to avoid unnecessary stat()s to dovecot-acl files
that never exist.

director: Fix logging last input/output time when there was no input/output

director: Fix whitespace position in some log messages

director: Use longer timeout for receiving user list in handshake

The sender also has a send timeout, so this allows the sender to abort
early and give a nicer error message.

director: Log more connection state information on handshaking errors

director: Use more accurate timestamps for handshake timeout logging

There could be some time between the create, connect and when ME was
received.

director: Fix "sending handshake timed out" error to be actually logged

io was never NULL here, so it was never logged.

director: Fix handshake timeout lengths

They weren't too bad, but also they weren't what the #defines described.
Also added a separate connect() timeout.

imap: NOTIFY - Fix potential crash when reading invalid parameters

imap: Fix NOTIFY to parse more than just the first event-group

lib-http: Fix memory leak in HTTP connection deinit

imap: NOTIFY - Cleanup notify watch timeout handling

It's not useful to set the timeout until all the commands are finished.

imap: NOTIFY - Fix crash due to not hooking into commands correctly

The pre/post hooks aren't always called immediately when commands are
created. They're called only after the command input is being read.
Call notify hooks explicitly now immediately when commands are allocated.

Fixes a panic with for example:

a notify set (selected (Messagenew (uid flags) MessageExpunge FlagChange) personal (MessageNew MessageExpunge FlagChange))
b select inbox
c store 1 +flags \deleted
d expunge
e append inbox {10}

Which crashed with:
Panic: file imap-notify.c: line 397 (imap_notify_callback): assertion failed: (client->command_queue_size == 0)

imap: NOTIFY - Fix delayed setting notification callback

This was done in command-post hook, but then when command was soon freed the
callback was immediately added.

lib-lda: Fix memory leak in smtp_client_open()

*-login: Add client_vfuncs.free() that is called when client refcount=0

This can be useful for plugins that want to run something after proxying
ends.

Use an empty default function so plugins can call super.free() without
having to check if it's NULL.

*-login: Add client_vfuncs.input_next_cmd()

This allows plugins to hook into all the pre-login commands. For example
with imap-login most of the commands could already be hooked into, except
for ID and AUTHENTICATE because their parameters reading is handled
specially. This allows hooking into them as well.

This is actually internal to all the login binaries, so it wouldn't have to
be in login-common. However, login-common already has all the code to handle
overriding functions nicely and this is a rather useful feature for all the
protocols anyway, so it's easier this way and not too ugly.

pop3-login: Cleanup - move command handling to pop3_client_input_next_cmd()

imap: Fix pipelining commands with SEARCH

If the SEARCH wasn't a long-running one, it ends with going to sync.
The command state shouldn't then be changed to _WAIT_EXTERNAL.

lib-imap: imap_bodystructure_write is changed to skip CRs and LFs.

lib-imap: imap_write_envelope changed to skip CRs and LFs.

lib-imap: added imap_append_nstring_nolf(), which skips CRs and LFs.

lib-imap: escaping and quote/literal tests for imap_append_nstring()

imapc: Fix prefetching specific headers

FETCH BODY[HEADER.FIELDS ...] shouldn't be used if imapc_features doesn't
include fetch-headers. Also neither this nor BODY[HEADER] should be sent
if we already have header/body stream.

imapc: Avoid sending FETCH BODY[HEADER] when BODY[] is already being fetched

This probably only shows up in some special situations with plugins.

lib-oauth2: Handle non-2xx/4xx results for token validation without crash

Fixes:
Panic: file oauth2-token-validate.c: line 33 (oauth2_token_validate_continue): assertion failed: (array_is_created(&req->fields))

lib-oauth2: Make sure fields are always initialized

lib-oauth2: Accept empty responses

imap-login: Fix storing ID NIL values into client_id

imap-login: Remove duplicate spaces between ID x-forward parameters

imap-login: Fix crash in ID if trusted client sends NIL value to internal field

Fixes:
Panic: imap-login: file imap-login-client.c: line 215 (cmd_id_handle_keyvalue): assertion failed: (client_id_str == !client_id_reserved_word(key))

lib-index: Fix cache lookups from uncommitted transactions with in-memory indexes

This especially fixes mail_get_header_stream() with imapc and
imapc_features=fetch-headers, because it works by first fetching the
specific headers and putting them to the cache transaction, then later on
relying on index_mail_get_header_stream() to get them from the transaction.
Before this fix they wouldn't be found, which triggered another unnecessary
FETCH BODY.PEEK[HEADER].

lib-mail: istream-header-filter - Fix HEADER_FILTER_ADD_MISSING_EOH with empty input

The result for "" should be "\n", not "\n\n". The second "\n" would belong
to the mail body.

This fixes calculating hashes for incremental dsync when mail didn't have
Date or Message-ID headers, resulting in e.g.:

Warning: Deleting mailbox 'INBOX': UID=1 already exists locally for a different mail: Headers hashes don't match (e1c06d85ae7b8b032bef47e42e4c08f9 vs 68b329da9893e34099c7d8ad5cb9c940)

lib: istream-seekable - Fix reading when parent stream's content is larger than max_buffer_size

When writing the parent stream to fd and trying to read it back, it would
try to enforce the max_buffer_size and fail with:

istream-seekable: Couldn't read back in-memory input ...: buffer full

But since the data was already in buffer, istream-seekable shouldn't try to
enforce it at this point anymore.

push-notification: Switch to main ioloop while calling drivers' commit callbacks

There aren't any guarantees what ioloop happens to be active at the time
the commit is called. The active ioloop can also be destroyed early on,
which can cause an I/O leak and crashes later on.

mail-crypt-acl: Fix assert-crash due to missing namespace initialization

This was broken by e031d9aaae59a9f79710dc1138b76b69272615a3.

pop3: send back auth reply sooner

If possible (i.e., pop3_lock_session=no), we can send back the OK
response earlier.

pop3: initialize namespaces explicitly

(instead of relying on mail user initialization to instantiate them for
us)

pop3: client_create_from_input shouldn't process input

This makes the pop3 code resemble the imap code more.  Making the subsequent
changes easier.

pop3: client_create_from_input should return the client struct

This makes the code more similar to imap's, making subsequent changes
easier.

pop3: rename login_client_connected() client arg to login_client

This makes the next commit cleaner.

pop3: move pop3 session locking out of client_create

As a result, we can directly return the client structure (instead of
passing it back via a _r arg).

This makes the pop3 client_create look more like the imap version.

auth: Don't lose all forward_ fields if the first passdb lookup fails.

lib-http: client: Only drop queued requests when a DNS lookup fails; not also the ones that are already in progress.

lib-http: client: When a request is destroyed prematurely during payload input, consider the payload stream destroyed and act accordingly.

The application may hold a reference to the payload stream still, and it may be difficult to prevent that.
This causes lib-http to keep waiting for the payload to be destroyed.
When nothing else is going on, the current ioloop may then become empty, which caused the familiar assert failure.

lib-http: client: Explicitly destroy the response payload timeout stream when the request is destroyed while receiving payload.

This way, the timeout is stopped.
This caused ioloop panics.

lib-storage: Fix crash in mail_get_header_stream() when its previous stream wasn't at EOF

At least this could have happened when indexes were disabled and running:

FETCH 1 (envelope body.peek[header.fields (foo)] bodystructure)

Fixes:
Panic: file index-mail-headers.c: line 198 (index_mail_parse_header_init): assertion failed: (!mail->data.header_parser_initialized)

quota: assertion for *args != NULL is added in order to avoid warning from static analyzer and *args[0] changed to (*args)[0]

quota: Fix infinite loop when parsing quota parameters

Broken by previous quota changes.

Whitespace cleanup

Dict backend parameters reading changed to use common parsing function

fs backend parameter parsing changed to use common function

imapc backend parameter parsing changed to use common function

maildir backend parameter parsing changed to use common function

quota root default init changed to use common param parse function

common quota parameter parsing function implemented

lib-storage: test-mail-search-args-simplify - test with initialized args

lib-storage: mail_search_args_simplify() - Fix merging already-initialized keywords

It was deinitializing the arg that was kept instead of the one being removed.

lib-storage: Fix mail_search_args_simplify() to not deinit too many args

Removing an arg should deinit it, but not its following siblings.

lib-storage: Add mail_search_arg_one_deinit()

quota-clone: Fix compile warning

welcome: Fix sending parameters to welcome script.

Broken by f38b0dafbffa9d79542e36b4b3e598ed4115e5a3

pop3-migration: Strip trailing spaces from headers when calculating hash

Fixes matching mails with Zimbra.

imapc: If mailbox iteration fails, make sure error message isn't lost.

lib-storage: Fail mailbox list iteration early if it fails to get INBOX flags

The resulting INBOX reply could be wrong in that case.

Also with imapc if the remote server is down, this causes two connection
errors instead of just one.

lib-storage: If mailbox list iteration fails, don't add INBOX

It possibly should have been returned by the list iteration itself and we
could be returning it wrong here.

Also calling this causes imapc to lost the error message in mailbox_list.

imapc: Don't reconnect on DELETE if auth failure was already seen.

imapc: Don't reconnect on STATUS if auth failure was already seen.

imapc: Remove root_sep_lookup_failed cache

The auth_failed_* should already be enough for this. This removal also
fixes the storage error message to be auth_failed_reason when possible.

imapc: Check for auth failures when saving messages

First, don't even attempt an APPEND if we've already seen an auth failure.
Second, if APPEND does fail because of auth error, set the correct error to
storage.

imapc: Fix APPEND error message to include APPEND, not COPY

imapc: Make sure storage error has the proper auth failure error string

The first failed command always had the correct error string, but the
following failed commands just returned -1 without updating storage error.
The storage error could have been something completely different by then.

imapc: Cleanup - Rename auth_error to auth_failed_reason for consistency

imapc: Change auth_failed boolean to more specific auth_failed_state

Since we now rely on auth_failed_state being initialized to zero,
explicitly set IMAPC_COMMAND_STATE_OK to be defined as 0.

imapc: Remove auth_failed check from imapc_list_get_storage_name()

Reverts 9949dc3649ac7a00289f6bf0662c793bee3d4286. It doesn't seem to be
actually needed at least now, and it's breaking:

 * SELECT INBOX -> failure due to remote server being down
 * SELECT INBOX -> NO [CANNOT] Invalid mailbox name: Name is empty

imap-quota: If quota lookups fail, return NO for GETQUOTA/GETQUOTAROOT

quota: Update comments in quota.h

quota: quota_root_iter_next() - Iterate all visible roots

Don't try to skip the roots that don't have an active quota. imap_quota
plugin does the skipping now itself, and quota_clone shouldn't really be
even used with more than one quota root.

imap-quota: If quota root doesn't have any quotas, don't send empty QUOTA reply

For example if GETQUOTA is asked for fs quota, but the user doesn't have fs
quota enabled.

quota-clone: Don't clone quota resources that aren't enabled.

They would always just be zeros anyway, so this makes the update slightly
more efficient. Although practically this only matters with dirsize and
fs quotas, which people generally don't use with quota_clone.

lib-imap-client: Fix hang when imapc_client_get_capabilities() is called without connection

lib-mail: message_address_parse() - Fix fill_missing==TRUE handling

Mainly MISSING_DOMAIN wasn't set in all situations. Also added unit tests.

lib-mail: message_address_parse() - Handle invalid standalone phrases better

We'll treat "local-part" (without quotes) as a mailbox even without
@domain, but if it continues with anything or if it's a quoted-string,
we'll treat it as a display-name instead.

This is probably better than just converting everything to display-name,
since there are likely to exist headers like "To: localuser"

lib-mail: Improve test-message-address to test invalid addresses in lists

Test in both a group and list of addresses.

lib-mail: message_address_parse() - don't stop at <> when parsing address lists

And similarly don't stop at <@domain>

lib-mail: message_address_parse() - don't stop at invalid addresses when parsing group

Also the end-group's message_address shouldn't have invalid_syntax=TRUE,
except when we didn't actually find the ending ';'

lib-mail: message_address_parse() - Fix reading out-of-bounds read on invalid input

lib-mail: message_address_parse() - Remove unnecessary NULL checks

message_address_parse() always initialized rfc822_parser_init() with
last_comment string.

lib-mail: test-message-address - add more and better organized tests

lib-mail: message_address_parse() - Add INVALID_ROUTE/SYNTAX_ERROR only if fill_missing==TRUE

This allows message_address_write() to write the parsed invalid address in a
way that at least somewhat resembles the original input.

lib-mail: message_address_write() - Write empy username as ""

We can't output <@domain> because that conflicts with the <@route:...>
syntax. Also ""@domain seems to be a valid address.