master: Change service "connections are being dropped" warning interval to 1 second

When this is happening, it's often accompanied with all kinds of other errors and
these warnings drown in them. Make them easier to notice by reducing the interval
from 60 seconds to 1 second.

lib-storage: mailbox_create_missing_dir() - Fix handling NULL mailbox directory

It would have caused stat(NULL), which would have failed.
Broken by 7071a02a8413fb409ade1625f6a1763c7493b66b

lib-storage: When index dir rmdir() fails with ENOTEMPTY, retry it for 1 second

This helps to avoid leaving those index directories lying around with NFS.
Hopefully within the 1 second any existing processes that have been keeping those
files open have finished their task. Especially IMAP IDLE will take 0.5 seconds
to start syncing indexes and realize that they're deleted.

lib-index: If refreshing finds dovecot.index.log gone, assume the mailbox was deleted

Don't try to recreate the log file again. It can just cause further problems.

A way to reproduce this problem with NFS when INDEX dir is specified:
 * create mailbox foo, select foo, IDLE
 * delete mailbox foo
--> foo's index is recreated back by IDLEing process

quota: Fix negative storage-based quota_warnings to work with count backend

Finishes f9362223346d10a5866b376ed227b77b26ea4292, which fixed it for
"messages" but not for "storage".

quota: When setting auto_updating to transaction, skip invisible quota roots

Skip the quota root also if the mailbox matches "ignore" quota_rule.
This is only an optimization fix so that unnecessary work isn't done for
quota roots that aren't actually used.

lib-storage: mailbox_create_missing_dir() - Handle mailbox delete race condition

Make sure the directory isn't created if the mail root directory no longer
exists. This might happen during mailbox deletion when another process is
opening the mailbox at the same time.

lib-storage: Improve MAILBOX_LIST_PROP_AUTOCREATE_DIRS related comments

lib-lda: Fix crash if syncing save destination mailbox fails

lib-index: Fix compiler warning with 32bit time_t

lib-index: Track .log.2 rotation time in index header

This avoids unnecessarily stat()ing the file. Also it's a bit better
since it's tracking the actual rotation time, not the mtime of what the
.log file happened to have at the time of rotation.

The initial rotation timestamp is written only to the dovecot.index header
without going through dovecot.index.log. This works, because the
dovecot.index is written practically always after a log rotation. For the
rare cases when it doesn't happen, the dovecot.index.log.2 just gets
deleted later after the next log rotation.

lib-index: Check .log.2 rotation only when syncing

Instead of also whenever appending transactions to .log file. This
shouldn't change the behavior much, and it's needed for the following
change to work correctly.

doveadm dump: Include "last temp file scan" in index header dump

lib-index: Use nfs_safe_stat() to avoid having to handle stat() ESTALE error

Slightly simplifies the code.

lib-http: message parser: Allow duplicate date header if HTTP_MESSAGE_PARSE_FLAG_STRICT is not set.

The last instance of the date header is used.

lib-http: Restructured the header, message, request, and response parsers to have an extensible and consistent API using flags.

Extended the test suites with a few cases that test parsing with and without the STRICT flag.

sdbox: Create missing mail directory on resync if index directory exists

This problem should be visible only with ITERINDEX enabled.

lib: Created basic test suite for ostream-buffer.

lib-storage: Remove user namespaces on hook error

If there is a hook error during namespaces added
remove the namespaces from user. This avoids attempts
to use the namespaces later on without proper initialization.

lib-storage: Ensure list index is present

Otherwise we end up with signal 11 crash later on.

lib-ssl-iostream: Fix compiler warning

~SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS makes it unsigned, so it doesn't fit
into signed 32bit long.

lib-storage: Fix mailbox_update() to always update mailbox list index.

It previously was updating it only if the list index for the mailbox was
already fully up-to-date. But that doesn't really matter, because
mailbox_update() is supposed to be changing the values regardless.

This fixes mailbox_update() to always work with LAYOUT=index. It also
fixes mailbox_update() for INBOX to update UIDVALIDITY/GUID.

lib-storage: Don't use mailbox list index if it has refresh_flag set

For example if INBOX is deleted, looking up its GUID shouldn't be returned
from the list index since it contains the old GUID.

lib-storage: Track INBOX UIDVALIDITY and GUID in mailbox list index

This allows existence checks and GUID lookups for INBOX to be done from the
index.

lib-storage: Avoid index refresh with mailbox_list_index_very_dirty_syncs=yes

lib-storage: Refresh mailbox list index if mailbox's existence differs from index

lib-storage: Set mailbox list index to be refreshed after changes, not before

Mailbox deletion and rename set the refresh-flag before the change was done.
This was unnecessary if the change didn't happen. Also there was a race
condition that another process could have done the refresh before the
change was even done.

lib-storage: Add mailbox_list_last_error_push/pop()

These are similar to mail_storage_last_error_push/pop()

lib-storage: Try to avoid opening mailbox list index on mailbox access

Perform the STATUS (and other relevant) updates only if syncing or
transaction commits changed anything. This could be optimized further to
check even more strongly whether the seen changes could cause changes to
the list index, but it's probably not worth the effort.

lib-storage: Storage backend sync_init()s no longer need to check if mailbox is open

The previous change guarantees it.

lib-storage: mailbox_sync_init() - open mailbox immediately if it's not open yet

This simplifies the work for plugins that want to hook into
mailbox.sync_init() so they no longer have to handle the "mailbox isn't
opened" case.

imap: Don't do autoexpunging when IMAP client is hibernated

lib-fs: Add init function that can use fs string directly

This avoids doing splitting the fs driver and args
everywhere and ensures that separators are consistent.

lib: remove support for Boehm GC

There were several issues with our usage of Boehm GC:

 - it didn't help with memory fragmentation
 - it is not very efficient
 - it was rarely enabled & used

Proper use of a GC would involve radical changes to how we write code
and cause portability issues.  We can get most of the benefits of a GC
with data stacks and alloc-only memory pools.

virtual: If virtual_uid is not assigned skip it

We cannot lookup mails with uid 0, so if we see
that mail has virtual uid 0, do not attempt to look it
up from index, but skip it.

Fixes Panic: file mail-index-map.c: line 549 (mail_index_map_lookup_seq_range): assertion failed: (first_uid > 0)

virtual: Append virtual mailbox name to open reason on box alloc

virtual: Append virtual mailbox information to get stream reason

virtual: Expunge virtual mails if backend box is deleted

When mail is added to a mailbox and then deleted, expunge
the sequences from virtual index in sync.

Fixes Error: Unexpectedly lost Mailbox ID 4

virtual: Do not mark broken folder as initialized

Otherwise it won't get repaired

virtual: Fix highest_mailbox_id if it's wrong

virtual: Force header rewrite if header not found or crc32 changed

Otherwise the header gets only partially written

lib-storage: Clarify keywords handling in mail_save_finish

virtual: Fix keywords handling

Keywords are per-mail object, and should be treated as one. The old
code left pointer to keywords dandling which lead into double-free.
Now the ctx->data is treated in similar way as other backends.

Fixes Panic: file mail-index.c: line 417 (mail_index_keywords_unref): assertion failed: (keywords->refcount > 0)
Fixes Panic: file mail-storage.c: line 2311 (mailbox_save_context_reset): assertion failed: (!ctx->unfinished)

virtual: Fix recent flag updates

View must be updated before looking up seqs

virtual: Call mailbox_save_context_deinit before freeing context

Otherwise dest_mail does not get free'd

virtual: Use mailbox_notify_list API when mailbox_list_index is enabled

virtual: Generate GUID for virtual folder

GUID is generated when index is first created
or the rules change.

lib-storage: Add type checking for mailbox_list_notify_wait

lmtp: client_input_data_write_local() refactored

loops in client_input_data_write_local() and in client_deliver_next()
are merged as they are essentially the same loop,
client_deliver_next() renamed to client_deliver_to_rcpts().

lmtp: Fix for wrong session id of mail user when saving mail, quota checking on

When quota is checked mail user is allocated with custom ":quota" session id
suffix without incrementing service user session id counter

lib-storage: Use ST_CHANGED in mailbox-watch

Allows notifying sub-second changes.

lib, lib-storage: Move INOTIFY_ST_CHANGED to ST_CHANGED in lib

Allows reusing this elsewhere

lib: file_create_locked() - Treat mkdir() EEXIST error as success

This can happen in race conditions when multiple processes are mkdir()ing
the same directory. It shouldn't result in failure.

virtual: Avoid assert-crash if backend mailbox's have_guid lookup fails

The MAIL_ERROR_NOTFOUND can happen if the mailbox was already deleted.
Other errors aren't expected to happen and possibly point to a bug.

Fixes:
Panic: file mail-storage.c: line 1831: unreached

doveadm: Fix a typo in doveadm-print-flow function name

doveadm_print_flow_print_heder() -> doveadm_print_flow_print_header()

notify-status: Add notify-status plugin

This enables updating a dictionary with mailbox
status information when the mailbox changes.

It requires notify_status_dict setting for specifying
the dict where the data is stored.

One can optionally use notify_status_mailbox patterns
for specifying which box(es) the status update is done.
Subsequent patterns are notify_status_mailbox2 and so forth.

One can also specify data format using notify_status_value
plugin setting.

lib-http: server: Implemented API for handling the incoming request payload in the background.

It allows forwarding the incoming payload to an output stream (e.g. iostream-temp) or to a buffer.
The maximum size of the payload is configurable. The client will get a 413 error if the maximum is exceeded.

lib-http: server: Explicitly record the number of references held for a request by the application from within the callback.

lib-http: server: Allow holding only a reference to the request payload stream, rather than the request itself.

This mimics the http-client behavior in this case.
It makes the implementation of the background payload handling API in subsequent commits a little simpler.

lib-http: server: Changed http_server_request_is_complete() from an inline to a normal function.

lib-http: server: Restructured http-server-private.h.

lib-http: server: Improved documentation in http-server.h.

lib-http: server: Restructured http-server.h.

dsync: fix splitting login from host

Using strchr() was splitting login and host at the first
occurrence of '@' which leads to troublesome behaviour.
When calling strace one would notice the misbehaviour:

execve("/usr/sbin/ssh", ["ssh", "-lthomas", "domain.org@10.8.13.2"

using strrch() however splits login and host at the last occurrence
of '@'.

Signed-off-by: Thomas Reifferscheid <thomas@reifferscheid.org>

quota-status: Support recipient_delimiter

quota-status: Use pooled memory for globals

lmtp: Use message_detail_address_parse

lib-mail: Add unit test for message detail address parser

lib-mail: Add message_detail_address_parse

Parses e.g. username+foo@domain into
username@domain with detail foo, when
delimiter is set to +

imapc: Prefech - Initialize cached stream only if needed

If the mail is immediately accessed for other purposes (e.g. fetching
message flags), there's no need to go through all the trouble of
initializing the mail stream.

lib-storage: Fix ITERINDEX to leave \NoSelect parents after deleting child mailbox

For example if "a/b" was created and deleted, "a" should be left behind.
(Or at least it shouldn't have left "a" to mail root directory and kept it
invisible since it didn't exist in index dir.)

dbox: Check mailbox existence from index directory with ITERINDEX

dbox: Use mail_index_header.last_temp_file_scan instead of directory's atime

This will be required for the following ITERINDEX change.

lib-index, lib-storage: Add mail_index_header.last_temp_file_scan

Also add index_mailbox_update_last_temp_file_scan() for easily updating it.

This is reusing an old "sync timestamp" field. Because it was a timestamp,
it doesn't matter if the old data still exists in it. This field could have
been added as an extension, but that's more work and this feature is generic
enough that it should be useful for many of the mail storage backends.

dbox: Cleanup - reorganize old temp file cleanup code

No functional changes. In preparation for the next commits.

lib-storage: Check for storage existence from index dir with ITERINDEX

The root path creation doesn't really even seem to be necessary, because any
mailbox access will automatically mkdir the missing directories anyway.
Although writing other files might not work so well, such as
mail_attribute_dict that points inside the mail directory.

This change simply changes the mailboxes/ directory to be looked up from
index directory instead of the mail root directory. It also mkdirs the
index/mailboxes/ directory afterwards if it didn't exist. So practically
this change shouldn't break anything, since the mailboxes/ directory should
always exist for both root and the indexes.

lib-storage: mailbox_list_get_permissions() - Use index dir with ITERINDEX

lib-storage: mailbox_list_get_permissions() - Use index dir for storage without mails

The index dir might still exist.

lib-storage: Cleanup - move code to mailbox_list_get_permissions_stat()

Comments changed also a bit, but no functional changes.

lib-storage: Cleanup - Use mailbox_permissions_copy() instead of duplicating it

lib-storage: Add mailbox_permissions_copy()

lib-storage: Add mail_location=..:ITERINDEX

This changes mailbox list iteration to work using INDEX directory instead of
the normal mail directory. This can be helpful when the indexes are stored
on a faster storage.

imap: Add more error checking to NOTIFY parameter parsing

This should make it clearer to realize when invalid syntax is being used
rather than just ignoring the problem.

imap: Fix NOTIFY parameter parsing by reverting earlier change

I misread the RFC and wrote broken tests.
Reverts 64d2efdc4b0bdf92249840e9db89b91c8dc0f3a3

lib-storage: Add BROKENCHAR to mail_location

This makes the mailbox_list_settings.broken_char configurable. Mainly useful
with imapc when remote server doesn't contain valid mUTF-7 mailbox names.

lib-storage: Fix mailbox delete to not delete childrens' INDEX or CONTROL dirs

If mail_location had separate INDEX and/or CONTROL set, deleting a mailbox
with children caused the childrens' index and/or control directories to be
deleted (but the mail/ALT directories weren't).

I'm not sure why the _FLAG_MAILBOX_FILES was treated as a special case
earlier. It shouldn't make a difference.

lib-storage: mailbox_list_delete_mailbox_nonrecursive() - Fix error handling

It should return error on unexpected readdir(), closedir() and unlink()
failures. Also fix handling a race condition with another process deleting
the mailbox at the same time.

lib-storage: mailbox_list_delete_trash() - Don't ignore errors

lib-storage: Use mailbox_list_delete_finish_ret() for fs & maildir++ layout

Fixes a problem where e.g. index directory existed but mail root didn't,
and the mailbox couldn't be fully deleted. This was especially a problem
with ITERINDEX enabled.

lib-storage: Add mailbox_list_delete_finish_ret()

This simplifies deletion logic for mailbox list backends.

lib-storage: mailbox_list_delete_finish() - Return whether anything was deleted

lib-storage: Add mailbox_list_get_last_mail_error()

lib-storage: Add comments to mailbox-list-delete.h

lib: Fix file_create_locked() unit test to delete temp file afterwards

Also removed a path string that was never used.

lib-storage: Add VOLATILEDIR setting to mail_location

This is useful for creating temporary locks that could exist in tmpfs.
Currently this is used for .vsize.lock and dovecot.autoexpunge.lock.

lib-storage: Move autoexpunge lock creation to a generic mail_user_lock_file_create()

lib-storage: mailbox_autoexpunge_lock() - Don't hide ENOENT error

It means that the user's home directory doesn't exist, which is pretty
unexpected. Home directory is supposed to be created when the storage is
initialized.

lib-storage: mailbox_autoexpunge_lock() - small cleanup

No functional changes - just reorganizing code and adding comments.

lib-storage: Use file_lock_set_*_on_free() for dovecot.autoexpunge.lock

lib-storage: Move .vsize.lock creation to a generic mailbox_lock_file_create()