lib-storage: Avoid index refresh with mailbox_list_index_very_dirty_syncs=yes

lib-storage: Refresh mailbox list index if mailbox's existence differs from index

lib-storage: Set mailbox list index to be refreshed after changes, not before

Mailbox deletion and rename set the refresh-flag before the change was done.
This was unnecessary if the change didn't happen. Also there was a race
condition that another process could have done the refresh before the
change was even done.

lib-storage: Add mailbox_list_last_error_push/pop()

These are similar to mail_storage_last_error_push/pop()

lib-storage: Try to avoid opening mailbox list index on mailbox access

Perform the STATUS (and other relevant) updates only if syncing or
transaction commits changed anything. This could be optimized further to
check even more strongly whether the seen changes could cause changes to
the list index, but it's probably not worth the effort.

lib-storage: Storage backend sync_init()s no longer need to check if mailbox is open

The previous change guarantees it.

lib-storage: mailbox_sync_init() - open mailbox immediately if it's not open yet

This simplifies the work for plugins that want to hook into
mailbox.sync_init() so they no longer have to handle the "mailbox isn't
opened" case.

imap: Don't do autoexpunging when IMAP client is hibernated

global: Replaced t_strsplit_tab() calls with t_strsplit_tabescaped()

This is useful especially in auth code to support LFs in extra fields.

Other pieces of code were also tab-escaping strings, but never unescaping
them. Usually it didn't matter, because nobody would use the escaped
characters. Still, the code wasn't exactly behaving correctly.

One downside to this change is that it's now possible to pass through TABs,
CRs and LFs through the various protocols. In theory this shouldn't cause
any problems, but combined with other bugs this could trigger some security
problems.

fts: Do not attempt to deinitialize backend if it's not set

If FTS backend initialization fails or does not happen,
flist->backend might end up being NULL, and attempt to
deinitialize NULL won't end well.

imap: Add more error checking to NOTIFY parameter parsing

This should make it clearer to realize when invalid syntax is being used
rather than just ignoring the problem.

imap: Fix NOTIFY parameter parsing by reverting earlier change

I misread the RFC and wrote broken tests.
Reverts 64d2efdc4b0bdf92249840e9db89b91c8dc0f3a3

lib-storage: mail_add_temp_wanted_fields() - delay opening stream

Allows plugins to call it in mail.get_stream() without infinite loop.

lib-storage: Another fix to mail storage initialization.

Allow mail_namespaces_init_location() to add the namespace directly to user,
since that's what the current callers always want. But compared to the
original code we're now calling mail_namespaces_init_finish() rather than
doing the same things ourself.

lib-storage: Changed mail storage initialization.

Most importantly require mail_namespaces_init_finish() after
mail_storage_create(). This was needed so that
mail_namespaces_created/added hook would always have the ns->list set, which
is required for several of the hooks to work (e.g. mailbox list index)

imapc: Prefech - Initialize cached stream only if needed

If the mail is immediately accessed for other purposes (e.g. fetching
message flags), there's no need to go through all the trouble of
initializing the mail stream.

lib-storage: Fix ITERINDEX to leave \NoSelect parents after deleting child mailbox

For example if "a/b" was created and deleted, "a" should be left behind.
(Or at least it shouldn't have left "a" to mail root directory and kept it
invisible since it didn't exist in index dir.)

dbox: Check mailbox existence from index directory with ITERINDEX

dbox: Use mail_index_header.last_temp_file_scan instead of directory's atime

This will be required for the following ITERINDEX change.

lib-index, lib-storage: Add mail_index_header.last_temp_file_scan

Also add index_mailbox_update_last_temp_file_scan() for easily updating it.

This is reusing an old "sync timestamp" field. Because it was a timestamp,
it doesn't matter if the old data still exists in it. This field could have
been added as an extension, but that's more work and this feature is generic
enough that it should be useful for many of the mail storage backends.

dbox: Cleanup - reorganize old temp file cleanup code

No functional changes. In preparation for the next commits.

lib-storage: Check for storage existence from index dir with ITERINDEX

The root path creation doesn't really even seem to be necessary, because any
mailbox access will automatically mkdir the missing directories anyway.
Although writing other files might not work so well, such as
mail_attribute_dict that points inside the mail directory.

This change simply changes the mailboxes/ directory to be looked up from
index directory instead of the mail root directory. It also mkdirs the
index/mailboxes/ directory afterwards if it didn't exist. So practically
this change shouldn't break anything, since the mailboxes/ directory should
always exist for both root and the indexes.

lib-storage: mailbox_list_get_permissions() - Use index dir with ITERINDEX

lib-storage: mailbox_list_get_permissions() - Use index dir for storage without mails

The index dir might still exist.

lib-storage: Cleanup - move code to mailbox_list_get_permissions_stat()

Comments changed also a bit, but no functional changes.

lib-storage: Cleanup - Use mailbox_permissions_copy() instead of duplicating it

lib-storage: Add mailbox_permissions_copy()

lib-storage: Add mail_location=..:ITERINDEX

This changes mailbox list iteration to work using INDEX directory instead of
the normal mail directory. This can be helpful when the indexes are stored
on a faster storage.

sdbox: Don't create index directory when trying to open nonexistent mailboxes

lib-storage: Fix mailbox delete to not delete childrens' INDEX or CONTROL dirs

If mail_location had separate INDEX and/or CONTROL set, deleting a mailbox
with children caused the childrens' index and/or control directories to be
deleted (but the mail/ALT directories weren't).

I'm not sure why the _FLAG_MAILBOX_FILES was treated as a special case
earlier. It shouldn't make a difference.

lib-storage: mailbox_list_delete_mailbox_nonrecursive() - Fix error handling

It should return error on unexpected readdir(), closedir() and unlink()
failures. Also fix handling a race condition with another process deleting
the mailbox at the same time.

lib-storage: mailbox_list_delete_trash() - Don't ignore errors

lib-storage: Use mailbox_list_delete_finish_ret() for fs & maildir++ layout

Fixes a problem where e.g. index directory existed but mail root didn't,
and the mailbox couldn't be fully deleted. This was especially a problem
with ITERINDEX enabled.

lib-storage: Add mailbox_list_delete_finish_ret()

This simplifies deletion logic for mailbox list backends.

lib-storage: mailbox_list_delete_finish() - Return whether anything was deleted

lib-storage: Add mailbox_list_get_last_mail_error()

lib-storage: Add comments to mailbox-list-delete.h

lib: Fix file_create_locked() unit test to delete temp file afterwards

Also removed a path string that was never used.

lib-storage: Add VOLATILEDIR setting to mail_location

This is useful for creating temporary locks that could exist in tmpfs.
Currently this is used for .vsize.lock and dovecot.autoexpunge.lock.

lib-storage: Move autoexpunge lock creation to a generic mail_user_lock_file_create()

lib-storage: mailbox_autoexpunge_lock() - Don't hide ENOENT error

It means that the user's home directory doesn't exist, which is pretty
unexpected. Home directory is supposed to be created when the storage is
initialized.

lib-storage: mailbox_autoexpunge_lock() - small cleanup

No functional changes - just reorganizing code and adding comments.

lib-storage: Use file_lock_set_*_on_free() for dovecot.autoexpunge.lock

lib-storage: Move .vsize.lock creation to a generic mailbox_lock_file_create()

lib-storage: Move .vsize.lock creation to its own function

lib-storage: Use file_lock_set_*_on_free() for .vsize.lock

This avoids storing the lock_path and lock_fd separately.

lib-storage: Fix error logging for failing to create .vsize.lock

lib: file_create_locked() - Add settings to mkdir() missing parent directories

lib: Add unit test for file_create_locked()

lib: Add file_lock_set_close_on_free()

lib: Add file_lock_set_unlink_on_free()

lib: file_create_locked() - update lock path after link()

lib: Add file_lock_set_path()

lib: Add file_lock_get_path()

This allows getting the file path from the lock without having to preserve
it separately.

pop3-migration: Drop lines with only spaces or tabs from comparison

Zimbra drops out those lines from IMAP BODY[HEADER] replies.

dsync: Use header hashing version 3

pop3-migration: Replace trailing whitespace removal with new header hashing version

This is now done by message_header_hash(), which makes it work correctly
also for dsync+imapc.

Reverts 0cf3b30b86e6c39f43b8e13a718cd078187ca86d, except for the unit tests.

lib-mail: message_header_hash_more() - add v3 that strips spaces

This helps with Zimbra, which strips away trailing whitespaces in
BODY[HEADER].

lib-mail: test-message-header-hash - add more tests

lib-mail: message_header_hash_more() - refactor to use switch()

quota: Fix failing again if quota setting has invalid parameters

This was broken by the recent quota parameter parsing changes.

lib-imap: imap_append_nstring_nolf() - fix crash with datastack_pool strings

T_BEGIN .. T_END is not used, when string_t is allocated from
datastack pool, unit test updated to verify the fix.

acl: Add acl_globals_only setting

The local dovecot-acl files aren't even attempted to be looked up if this is
set. This is mainly useful to avoid unnecessary stat()s to dovecot-acl files
that never exist.

director: Fix logging last input/output time when there was no input/output

director: Fix whitespace position in some log messages

director: Use longer timeout for receiving user list in handshake

The sender also has a send timeout, so this allows the sender to abort
early and give a nicer error message.

director: Log more connection state information on handshaking errors

director: Use more accurate timestamps for handshake timeout logging

There could be some time between the create, connect and when ME was
received.

director: Fix "sending handshake timed out" error to be actually logged

io was never NULL here, so it was never logged.

director: Fix handshake timeout lengths

They weren't too bad, but also they weren't what the #defines described.
Also added a separate connect() timeout.

imap: NOTIFY - Fix potential crash when reading invalid parameters

imap: Fix NOTIFY to parse more than just the first event-group

lib-http: Fix memory leak in HTTP connection deinit

imap: NOTIFY - Cleanup notify watch timeout handling

It's not useful to set the timeout until all the commands are finished.

imap: NOTIFY - Fix crash due to not hooking into commands correctly

The pre/post hooks aren't always called immediately when commands are
created. They're called only after the command input is being read.
Call notify hooks explicitly now immediately when commands are allocated.

Fixes a panic with for example:

a notify set (selected (Messagenew (uid flags) MessageExpunge FlagChange) personal (MessageNew MessageExpunge FlagChange))
b select inbox
c store 1 +flags \deleted
d expunge
e append inbox {10}

Which crashed with:
Panic: file imap-notify.c: line 397 (imap_notify_callback): assertion failed: (client->command_queue_size == 0)

imap: NOTIFY - Fix delayed setting notification callback

This was done in command-post hook, but then when command was soon freed the
callback was immediately added.

lib-lda: Fix memory leak in smtp_client_open()

*-login: Add client_vfuncs.free() that is called when client refcount=0

This can be useful for plugins that want to run something after proxying
ends.

Use an empty default function so plugins can call super.free() without
having to check if it's NULL.

*-login: Add client_vfuncs.input_next_cmd()

This allows plugins to hook into all the pre-login commands. For example
with imap-login most of the commands could already be hooked into, except
for ID and AUTHENTICATE because their parameters reading is handled
specially. This allows hooking into them as well.

This is actually internal to all the login binaries, so it wouldn't have to
be in login-common. However, login-common already has all the code to handle
overriding functions nicely and this is a rather useful feature for all the
protocols anyway, so it's easier this way and not too ugly.

pop3-login: Cleanup - move command handling to pop3_client_input_next_cmd()

imap: Fix pipelining commands with SEARCH

If the SEARCH wasn't a long-running one, it ends with going to sync.
The command state shouldn't then be changed to _WAIT_EXTERNAL.

lib-imap: imap_bodystructure_write is changed to skip CRs and LFs.

lib-imap: imap_write_envelope changed to skip CRs and LFs.

lib-imap: added imap_append_nstring_nolf(), which skips CRs and LFs.

lib-imap: escaping and quote/literal tests for imap_append_nstring()

imapc: Fix prefetching specific headers

FETCH BODY[HEADER.FIELDS ...] shouldn't be used if imapc_features doesn't
include fetch-headers. Also neither this nor BODY[HEADER] should be sent
if we already have header/body stream.

imapc: Avoid sending FETCH BODY[HEADER] when BODY[] is already being fetched

This probably only shows up in some special situations with plugins.

lib-oauth2: Handle non-2xx/4xx results for token validation without crash

Fixes:
Panic: file oauth2-token-validate.c: line 33 (oauth2_token_validate_continue): assertion failed: (array_is_created(&req->fields))

lib-oauth2: Make sure fields are always initialized

lib-oauth2: Accept empty responses

imap-login: Fix storing ID NIL values into client_id

imap-login: Remove duplicate spaces between ID x-forward parameters

imap-login: Fix crash in ID if trusted client sends NIL value to internal field

Fixes:
Panic: imap-login: file imap-login-client.c: line 215 (cmd_id_handle_keyvalue): assertion failed: (client_id_str == !client_id_reserved_word(key))

lib-index: Fix cache lookups from uncommitted transactions with in-memory indexes

This especially fixes mail_get_header_stream() with imapc and
imapc_features=fetch-headers, because it works by first fetching the
specific headers and putting them to the cache transaction, then later on
relying on index_mail_get_header_stream() to get them from the transaction.
Before this fix they wouldn't be found, which triggered another unnecessary
FETCH BODY.PEEK[HEADER].

lib-mail: istream-header-filter - Fix HEADER_FILTER_ADD_MISSING_EOH with empty input

The result for "" should be "\n", not "\n\n". The second "\n" would belong
to the mail body.

This fixes calculating hashes for incremental dsync when mail didn't have
Date or Message-ID headers, resulting in e.g.:

Warning: Deleting mailbox 'INBOX': UID=1 already exists locally for a different mail: Headers hashes don't match (e1c06d85ae7b8b032bef47e42e4c08f9 vs 68b329da9893e34099c7d8ad5cb9c940)

lib: istream-seekable - Fix reading when parent stream's content is larger than max_buffer_size

When writing the parent stream to fd and trying to read it back, it would
try to enforce the max_buffer_size and fail with:

istream-seekable: Couldn't read back in-memory input ...: buffer full

But since the data was already in buffer, istream-seekable shouldn't try to
enforce it at this point anymore.

push-notification: Switch to main ioloop while calling drivers' commit callbacks

There aren't any guarantees what ioloop happens to be active at the time
the commit is called. The active ioloop can also be destroyed early on,
which can cause an I/O leak and crashes later on.

mail-crypt-acl: Fix assert-crash due to missing namespace initialization

This was broken by e031d9aaae59a9f79710dc1138b76b69272615a3.

pop3: send back auth reply sooner

If possible (i.e., pop3_lock_session=no), we can send back the OK
response earlier.

pop3: initialize namespaces explicitly

(instead of relying on mail user initialization to instantiate them for
us)