lib: file_create_locked() - Treat mkdir() EEXIST error as success

This can happen in race conditions when multiple processes are mkdir()ing
the same directory. It shouldn't result in failure.

virtual: Avoid assert-crash if backend mailbox's have_guid lookup fails

The MAIL_ERROR_NOTFOUND can happen if the mailbox was already deleted.
Other errors aren't expected to happen and possibly point to a bug.

Fixes:
Panic: file mail-storage.c: line 1831: unreached

doveadm: Fix a typo in doveadm-print-flow function name

doveadm_print_flow_print_heder() -> doveadm_print_flow_print_header()

notify-status: Add notify-status plugin

This enables updating a dictionary with mailbox
status information when the mailbox changes.

It requires notify_status_dict setting for specifying
the dict where the data is stored.

One can optionally use notify_status_mailbox patterns
for specifying which box(es) the status update is done.
Subsequent patterns are notify_status_mailbox2 and so forth.

One can also specify data format using notify_status_value
plugin setting.

lib-http: server: Implemented API for handling the incoming request payload in the background.

It allows forwarding the incoming payload to an output stream (e.g. iostream-temp) or to a buffer.
The maximum size of the payload is configurable. The client will get a 413 error if the maximum is exceeded.

lib-http: server: Explicitly record the number of references held for a request by the application from within the callback.

lib-http: server: Allow holding only a reference to the request payload stream, rather than the request itself.

This mimics the http-client behavior in this case.
It makes the implementation of the background payload handling API in subsequent commits a little simpler.

lib-http: server: Changed http_server_request_is_complete() from an inline to a normal function.

lib-http: server: Restructured http-server-private.h.

lib-http: server: Improved documentation in http-server.h.

lib-http: server: Restructured http-server.h.

dsync: fix splitting login from host

Using strchr() was splitting login and host at the first
occurrence of '@' which leads to troublesome behaviour.
When calling strace one would notice the misbehaviour:

execve("/usr/sbin/ssh", ["ssh", "-lthomas", "domain.org@10.8.13.2"

using strrch() however splits login and host at the last occurrence
of '@'.

Signed-off-by: Thomas Reifferscheid <thomas@reifferscheid.org>

quota-status: Support recipient_delimiter

quota-status: Use pooled memory for globals

lmtp: Use message_detail_address_parse

lib-mail: Add unit test for message detail address parser

lib-mail: Add message_detail_address_parse

Parses e.g. username+foo@domain into
username@domain with detail foo, when
delimiter is set to +

imapc: Prefech - Initialize cached stream only if needed

If the mail is immediately accessed for other purposes (e.g. fetching
message flags), there's no need to go through all the trouble of
initializing the mail stream.

lib-storage: Fix ITERINDEX to leave \NoSelect parents after deleting child mailbox

For example if "a/b" was created and deleted, "a" should be left behind.
(Or at least it shouldn't have left "a" to mail root directory and kept it
invisible since it didn't exist in index dir.)

dbox: Check mailbox existence from index directory with ITERINDEX

dbox: Use mail_index_header.last_temp_file_scan instead of directory's atime

This will be required for the following ITERINDEX change.

lib-index, lib-storage: Add mail_index_header.last_temp_file_scan

Also add index_mailbox_update_last_temp_file_scan() for easily updating it.

This is reusing an old "sync timestamp" field. Because it was a timestamp,
it doesn't matter if the old data still exists in it. This field could have
been added as an extension, but that's more work and this feature is generic
enough that it should be useful for many of the mail storage backends.

dbox: Cleanup - reorganize old temp file cleanup code

No functional changes. In preparation for the next commits.

lib-storage: Check for storage existence from index dir with ITERINDEX

The root path creation doesn't really even seem to be necessary, because any
mailbox access will automatically mkdir the missing directories anyway.
Although writing other files might not work so well, such as
mail_attribute_dict that points inside the mail directory.

This change simply changes the mailboxes/ directory to be looked up from
index directory instead of the mail root directory. It also mkdirs the
index/mailboxes/ directory afterwards if it didn't exist. So practically
this change shouldn't break anything, since the mailboxes/ directory should
always exist for both root and the indexes.

lib-storage: mailbox_list_get_permissions() - Use index dir with ITERINDEX

lib-storage: mailbox_list_get_permissions() - Use index dir for storage without mails

The index dir might still exist.

lib-storage: Cleanup - move code to mailbox_list_get_permissions_stat()

Comments changed also a bit, but no functional changes.

lib-storage: Cleanup - Use mailbox_permissions_copy() instead of duplicating it

lib-storage: Add mailbox_permissions_copy()

lib-storage: Add mail_location=..:ITERINDEX

This changes mailbox list iteration to work using INDEX directory instead of
the normal mail directory. This can be helpful when the indexes are stored
on a faster storage.

imap: Add more error checking to NOTIFY parameter parsing

This should make it clearer to realize when invalid syntax is being used
rather than just ignoring the problem.

imap: Fix NOTIFY parameter parsing by reverting earlier change

I misread the RFC and wrote broken tests.
Reverts 64d2efdc4b0bdf92249840e9db89b91c8dc0f3a3

lib-storage: Add BROKENCHAR to mail_location

This makes the mailbox_list_settings.broken_char configurable. Mainly useful
with imapc when remote server doesn't contain valid mUTF-7 mailbox names.

lib-storage: Fix mailbox delete to not delete childrens' INDEX or CONTROL dirs

If mail_location had separate INDEX and/or CONTROL set, deleting a mailbox
with children caused the childrens' index and/or control directories to be
deleted (but the mail/ALT directories weren't).

I'm not sure why the _FLAG_MAILBOX_FILES was treated as a special case
earlier. It shouldn't make a difference.

lib-storage: mailbox_list_delete_mailbox_nonrecursive() - Fix error handling

It should return error on unexpected readdir(), closedir() and unlink()
failures. Also fix handling a race condition with another process deleting
the mailbox at the same time.

lib-storage: mailbox_list_delete_trash() - Don't ignore errors

lib-storage: Use mailbox_list_delete_finish_ret() for fs & maildir++ layout

Fixes a problem where e.g. index directory existed but mail root didn't,
and the mailbox couldn't be fully deleted. This was especially a problem
with ITERINDEX enabled.

lib-storage: Add mailbox_list_delete_finish_ret()

This simplifies deletion logic for mailbox list backends.

lib-storage: mailbox_list_delete_finish() - Return whether anything was deleted

lib-storage: Add mailbox_list_get_last_mail_error()

lib-storage: Add comments to mailbox-list-delete.h

lib: Fix file_create_locked() unit test to delete temp file afterwards

Also removed a path string that was never used.

lib-storage: Add VOLATILEDIR setting to mail_location

This is useful for creating temporary locks that could exist in tmpfs.
Currently this is used for .vsize.lock and dovecot.autoexpunge.lock.

lib-storage: Move autoexpunge lock creation to a generic mail_user_lock_file_create()

lib-storage: mailbox_autoexpunge_lock() - Don't hide ENOENT error

It means that the user's home directory doesn't exist, which is pretty
unexpected. Home directory is supposed to be created when the storage is
initialized.

lib-storage: mailbox_autoexpunge_lock() - small cleanup

No functional changes - just reorganizing code and adding comments.

lib-storage: Use file_lock_set_*_on_free() for dovecot.autoexpunge.lock

lib-storage: Move .vsize.lock creation to a generic mailbox_lock_file_create()

lib-storage: Move .vsize.lock creation to its own function

lib-storage: Use file_lock_set_*_on_free() for .vsize.lock

This avoids storing the lock_path and lock_fd separately.

lib-storage: Fix error logging for failing to create .vsize.lock

lib: file_create_locked() - Add settings to mkdir() missing parent directories

lib: Add unit test for file_create_locked()

lib: Add file_lock_set_close_on_free()

lib: Add file_lock_set_unlink_on_free()

lib: file_create_locked() - update lock path after link()

lib: Add file_lock_set_path()

lib: Add file_lock_get_path()

This allows getting the file path from the lock without having to preserve
it separately.

lib-storage: Fail at startup if root mail directory isn't a directory

lib-ssl-iostream: Fixed deinitialization of openssl library.

Previously, it also dereferenced the library when it was never initialized in the first place.

lib-program-client: Fixed unix socket test suite's test server to properly read input from client.

It did not read all available input in the input handler.

lib-storage: Don't autocreate mailbox during deletion.

Trying to delete a nonexistent autocreated mailbox first created it and then
immediately deleted it.

lib-storage: Make mailbox_is_autocreated() public

This also removes duplicated code from acl plugin.

sdbox: Don't create index directory when trying to open nonexistent mailboxes

pop3-migration: Drop lines with only spaces or tabs from comparison

Zimbra drops out those lines from IMAP BODY[HEADER] replies.

lib-http: client: Drop peer immediately if it has no more linked queues and it is not connected and not waiting for a backoff timeout.

It is currently unlikely to happen at this point, but it is better to make sure it is handled appropriately.
The pending shared HTTP client changes will make this a likely event.
This surfaced as a problem for the HTTP proxy.

lib-storage: mail_add_temp_wanted_fields() - delay opening stream

Allows plugins to call it in mail.get_stream() without infinite loop.

global: Fixed missing or out-of-date copyright notices.

dsync: Use header hashing version 3

pop3-migration: Replace trailing whitespace removal with new header hashing version

This is now done by message_header_hash(), which makes it work correctly
also for dsync+imapc.

Reverts 0cf3b30b86e6c39f43b8e13a718cd078187ca86d, except for the unit tests.

lib-mail: message_header_hash_more() - add v3 that strips spaces

This helps with Zimbra, which strips away trailing whitespaces in
BODY[HEADER].

lib-mail: test-message-header-hash - add more tests

lib-mail: message_header_hash_more() - refactor to use switch()

quota: Fix failing again if quota setting has invalid parameters

This was broken by the recent quota parameter parsing changes.

acl: Don't read/write dovecot-acl-list with acl_globals_only=yes

It's only an optimization for the dovecot-acl files, which don't exist
with acl_globals_only=yes

lib/bits.c: Finish fix for compiling with gcc 3.0 .. 3.3

lib/bits.h: Fix compiling with gcc 3.0 .. 3.3

According to gcc's online manuals, 3.4 is the first version with
__builtin_clzll

fs-randomfail: Set errno=EIO when random failure is triggered

Previously the errno wasn't set at all. It was especially bad if it
happened to be EAGAIN, because that potentially caused hangs.

lib-imap: imap_append_nstring_nolf() - fix crash with datastack_pool strings

T_BEGIN .. T_END is not used, when string_t is allocated from
datastack pool, unit test updated to verify the fix.

acl: Fix reading acl_globals_only setting

It was being read in wrong place, so it may not have been read at all.

director: Fix logging last input/output time when there was no input/output

director: Fix whitespace position in some log messages

acl: Add acl_globals_only setting

The local dovecot-acl files aren't even attempted to be looked up if this is
set. This is mainly useful to avoid unnecessary stat()s to dovecot-acl files
that never exist.

imap: NOTIFY - Fix potential crash when reading invalid parameters

imap: Fix NOTIFY to parse more than just the first event-group

imap: NOTIFY - Cleanup notify watch timeout handling

It's not useful to set the timeout until all the commands are finished.

imap: NOTIFY - Fix crash due to not hooking into commands correctly

The pre/post hooks aren't always called immediately when commands are
created. They're called only after the command input is being read.
Call notify hooks explicitly now immediately when commands are allocated.

Fixes a panic with for example:

a notify set (selected (Messagenew (uid flags) MessageExpunge FlagChange) personal (MessageNew MessageExpunge FlagChange))
b select inbox
c store 1 +flags \deleted
d expunge
e append inbox {10}

Which crashed with:
Panic: file imap-notify.c: line 397 (imap_notify_callback): assertion failed: (client->command_queue_size == 0)

imap: NOTIFY - Fix delayed setting notification callback

This was done in command-post hook, but then when command was soon freed the
callback was immediately added.

fts: Log when indexing requires adding more mails to index than requested

This should mainly happen when FTS indexing is requested for a virtual
mailbox.

indexer-worker: Log first and last UID of which mails were indexed

indexer-worker: Log number of indexing attempts in transaction commit failure

This could be interesting if the number is large.

indexer-worker: Log "Indexed .. messages" even if mailbox_search fails

The transaction is still being committed.

lib: Fix ostream-buffer to return buffer contents size in o_stream_get_buffer_used_size().

This is necessary for querying o_stream_get_buffer_avail_size() with respect to a limit set earlier using o_stream_set_max_buffer_size().
This is mainly useful for test suites.

*-login: Add client_vfuncs.free() that is called when client refcount=0

This can be useful for plugins that want to run something after proxying
ends.

Use an empty default function so plugins can call super.free() without
having to check if it's NULL.

imap-login: Fix storing ID NIL values into client_id

lib-imap: imap_bodystructure_write is changed to skip CRs and LFs.

lib-imap: imap_write_envelope changed to skip CRs and LFs.

lib-imap: added imap_append_nstring_nolf(), which skips CRs and LFs.

lib-imap: escaping and quote/literal tests for imap_append_nstring()

imapc: Fix prefetching specific headers

FETCH BODY[HEADER.FIELDS ...] shouldn't be used if imapc_features doesn't
include fetch-headers. Also neither this nor BODY[HEADER] should be sent
if we already have header/body stream.