lib-storage: add a mail user pre-deinit vfunc

This allows plugins to perform checks right before the deinit call.

imapc: Try to merge STOREs together as much as possible when syncing

lib-storage: Avoid unnecessary UIDNEXT lookups after saving a mail

The vsize checking code was expecting that this would always be a cheap
operation, but with imapc code it could trigger a remote STATUS (UIDNEXT)
call. Do this only when we've checked that this mailbox is updating vsize
header at all.

imapc-quota: Avoid sending unnecessarily many GETQUOTA[ROOT] commands

The last_refresh == ioloop_timeval check didn't work, because the refresh
itself updated ioloop_timeval. This caused a single quota lookup to issue
multiple GETQUOTA[ROOT] commands to imapc.

doveadm mailbox status: Add "firstsaved" field.

lib-index: Add mail_cache_expunge_count

It can be called to correctly handle cache counters
when records are removed.

lib-imap: imap_append_string_for_humans() - Change CR/LF to space

Practically this shouldn't matter, because in email headers a CR/LF is
always followed by a space/tab. But maybe this can be used for some
other purposes in future, and it makes the unit tests clearer. :)

lib-storage: Add missing ATTR_FORMAT to mail_set_mail_cache_corrupted()

lib-storage: Use new mail_cache_set_seq_corrupted_reason

lib-index: Add mail_cache_set_seq_corrupted_reason

Marks a seq in cache corrupted, and removes
that instead of the whole cache.

lib-storage: Remove index_storage_save_continue

It was not intended for v2.2

lib-storage: Unconstify test functions

Removes a compiler warning

lib: Use t_malloc instead of t_malloc_no0

Broken in 4792d4bd

lib: Add dec2str_buf()

Conflicts:
src/lib/strfuncs.c

master: Send SIGQUIT to processes running at deinit to close socket listeners.

This allows Dovecot to be restarted even when some lmtp/doveadm process is
running for a long time. Otherwise it would keep the inet_listener socket
open and prevent the new Dovecot from binding to the port.

lib-master: When running under master, close listeners immediately on SIGQUIT

lib-master: Remove listener's IO earlier if possible

This is needed for the next change to work properly.

master: Wait more precisely 5 secs at deinit for child processes to die.

Use milliseconds granularity instead of seconds.

lib: Use lib_signals_syscall_error() for write() failure in signal handler

lib: Add lib_signals_syscall_error()

man: Fix doveadm-flags examples

Patch by Frank Ebert

auth: Do not use AUTH_SUBSYS_MECH in logging when request->mech is NULL

This can happen when a lookup is done instead of authentication.

Fixes auth: Panic: file auth-request.c: line 2560 (get_log_prefix): assertion failed: (auth_request->mech != NULL)

passdb-imap: Make sure ssl verification is possible with current settings

passdb-imap: Add ssl_ca_file setting

Allow setting SSL trust roots from a file

passdb-imap: Add option to control certificate verification

Turn it on by default

lib-ssl-iostream: Support IP address SANs

imap: Set FETCH transactions hidden only when \Seen flags are implicitly set

This simplifies implementing some plugins and has no downsides to core
functionality.

lib-storage: Fix memory leak in mail_search_args_simplify()

The leaks happened when search args were already initialized (which they
usually were at this point) and some of the args were dropped entirely.

Improved the unit test to initialize search args before calling the
simplify, so valgrind would notice if there are any leaks.

Conflicts:
src/lib-storage/test-mail-search-args-simplify.c

lib-master: Add comments to struct master_service_connection

Conflicts:
src/lib-master/master-service.h

lib-storage: When save is aborted, close dest_mail without crashing

Fixes:
Panic: file mail-index-transaction-update.c: line 1023 (mail_index_update_ext): assertion failed: (seq > 0 && (seq <= mail_index_view_get_messages_count(t->view) || seq <= t->last_new_seq))

Because cache was still attempted to be updated, but the mail was already
expunged from index.

lib-storage: Move backend code to a common index_storage_save_abort_last()

Conflicts:
src/lib-storage/index/index-storage.c
src/lib-storage/index/index-storage.h

auth: Log reason for skipping passdb

auth: Add test suite for username filter

auth: Refactor auth to use libauth.la

This makes writing new unit tests easier, as you can link
to libauth.la.

auth: Add username_filter for passdb block

username_filter lets you specify one or more pattern(s) for
including or excluding users. exclusion patterns are denoted
with ! prefix.

if any exclude matches the username, passdb will be skipped.
if any inclusions is specified, and the username does not match
one of them, passdb will be skipped.

auth: Use MECH subsystem when logging error about skipping all password databases

Otherwise it will assert-crash because all password databases were skipped.

lib-storage: mail_search_arg_to_imap() - Fix writing invalid keywords

Just write the original invalid keyword string as output. It might not be
entirely invalid - just invalid within this mailbox (e.g. a mailbox doesn't
allow new keywords).

lib-storage: Fix searching when search query has invalid keywords.

For example "SEARCH KEYWORD ]" was returning all mails instead of nothing.

lib-index: mail_index_update_keywords() - don't assert if adding/removing 0 keywords

Although it would be nice for the caller to check it, it's easier to do
here. It's mainly a problem with mailbox_keywords_create_valid() that may
unexpectedly create empty keywords.

quota: imapc backend now never enforces the quota itself

It just causes a lot of GETQUOTA/GETQUOTAROOT calls to remove. In theory we
could make this optional, but I doubt anyone would want it.

lib-storage: Fix crash in mail_get_parts() with a special plugin

If plugin hooks into mail_get_stream() which causes data->parts to be set,
this code crashed with:

Panic: file index-mail.c: line 1163 (index_mail_parse_body): assertion failed: (data->parser_ctx != NULL)

imapc: Don't send NOOP on sync if MAILBOX_SYNC_FLAG_FAST is set

Fast syncing should do only the minimal amount of work.

imap: Allow plugins to hook into syncing.

Ideally all of the existing pieces in the syncing code would start using
this at some point, so their code could be moved to a more logical location.

imap: Move struct imap_sync_context to imap-sync-private.h

lib-storage: mail_search_arg_to_imap() - minor keywords writing optimization

Avoid an extra str_delete() by checking whether the parenthesis are needed.

lib-storage: mail_search_arg_to_imap() - minor FLAGS writing optimization

Avoid an extra str_delete() by immediately calculating whether the
parenthesis are needed.

lib: Add bits_is_power_of_two()

lib: Fixed bits_required64() with 32bit systems.

Broken by 84f697c5e30565823619abaaeb57164c789d4b66.

lib: bits - GCC (and clang) provide bit-twiddle intrinsics, use them

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: bits - new fractional log-like helper

For stats gathering, where the data can have a wide range of values, you
don't necessarily need the same granularity along the full range of values.
For example, 1ms and 11ms latencies are very different, but 1.001s and
1.011s latencies are not worth distinguishing. Something logarithmic seems
more apt. Simply looking at power-of-2 sized bands (e.g. doing log2(n)),
however, is too granular, so these new helpers let you specify how fine
to (linearly) subdivide each of those bands. 1 fractional bit splits
each power of 2 band into 2 halves. 2 fractional bits splits each power
of 2 band into 4 quarters, and so on. 0 fractional bits is just log2().

Exact identification of percentiles is impossible, but it was anyway, as you
simply cannot store all the data required to calculate them. However, a mere
896 buckets will permit you to have 32 bands per power of 2, 5 fracional bits.
The above example would have buckets such as 2.432s-2.496s, and 55.3s-56.3s.
Assuming smooth distribution lets you calculate percentiles more accurately,
just assume within each bucket is a trapezial distribution. This holds even
if the distribution is multi-modal, which it will be. However, maths required.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: Fixed dovecot/auth hanging when child ntlm_auth crashes while processing an authentication request

imapc: Fix memory leak when closing mailbox with delayed changes

imapc: Use UID SEARCH instead of SEARCH

UIDs work better for some broken IMAP servers, so it's safer to use it.

Keep using sequences for ESEARCH, since servers supporting it aren't at
least yet known to be broken and the search result with sequences is
smaller.

quota: Add imapc backend

This allows using imapc storage with imapc quota. The quota acts as
read-only, so it's used only when the current quota usage is explicitly
asked.

The quota can be looked up using either a mailbox name or quota root name.
By default INBOX's quota is looked up. If there are multiple quota roots
returned for the mailbox, only the first quota root returned by the
QUOTAROOT reply is used.

quota: Fix namespace deduplication when mailboxes don't have paths.

Nothing requires a mailbox path for quota backends, especially imapc.
Still do namespace deduplication based on alias_for settings.

imapc: include imapc-client.h in imapc-storage.h

It was already required to be able to successfully include imapc-storage.h.

imap-plugins: Use client_add_capability() for adding dynamic capabilities

imap: Use client_add_capability() for adding all dynamic capabilities

imap: Add client_add_capability()

imapc: Add imapc_features=fetch-bodystructure

This allows using the remote IMAP server's BODY and BODYSTRUCTURE replies.

lib-storage: Add mail_storage.nonbody_access_fields

This avoids index_mail_update_access_parts_pre() from opening the mail
stream unnecessarily for fields that can be looked up via other methods
by the storage.

lib-storage: Add index_mail_get_cached_body[structure]()

This just moves the code to these functions without changing any of the
logic.

lib-imap: Make imap_bodystructure_parse_args() public

lib-imap: Add imap_write_arg() to write only a single arg

lib-imap-client: Fix imapc_client_get_capabilities() when called without connections

imapc: Fix crash in mailbox_exists() when LAYOUT isn't imapc.

Especially breaks LAYOUT=none.

imapc: Support imapc_features=search without ESEARCH extension

imapc: Make sure client is logged in when checking capabilities

Especially with imapc_features=delay-login the capability could have been
looked at before the client was even connected.

imapc: Add imapc_mailbox.capabilities

Use it instead of imapc_client_get_capabilities(). Simplifies the
following patch.

imapc: Rename imapc_storage_has_modseqs() to imapc_mailbox_has_modseqs()

Simplifies the following patch.

cassandra: Use fallback consistency for CASS_ERROR_LIB_NO_HOSTS_AVAILABLE errors

I'm not entirely sure if this is always appropriate, but at least this error
happens every time when attempting to use write_consistency=two when there
is only a single Cassandra node.

dsync-server: Fix support for dsync_features=empty-header-workaround

Fixes:
Panic: Unknown key: empty_hdr_workaround

*-login: Add client_vfuncs.send_raw_data()

This allows login plugins to hook into seeing all the data that is sent to
the imap/pop3 client.

imap: Add imap_client_vfuncs.send_tagline()

This allows plugins to catch all the IMAP command replies.

*-login: Unload plugins at deinit.

lib-storage: Allow mail_add_temp_wanted_fields() to be called before mail_set_seq*()

Quota plugin was already doing this, but it didn't actually work. It was
also crashing with imapc:

Panic: file mail-cache-lookup.c: line 341 (mail_cache_field_exists): assertion failed: (seq > 0)

lib-storage: Add mailbox_attribute_unregister_internal[s]()

This allows plugins to unregister internal attributes when they're unloaded.

lib-storage: mail_search_args_simplify() - deduplicate flags

This needs to be done in a bit more complicated way because multiple
SEARCH_FLAGS parameters are wanted to be merged together using a single
shared value.flags. Move this merging last after all the deduplication is
done.

lib-storage: mail_search_args_simplify() - simplify "x AND NOT x"

Implemented for SEARCH_KEYWORD, SEARCH_TEXT, SEARCH_BODY and SEARCH_HEADER*.
Dates and sizes would need special code, which gets a bit complicated.

lib-storage: Add more tests to test-mail-search-args-simplify

lib-storage: mail_search_arg_to_imap() - remove () around a single flag/keyword

lib-storage: mail_search_args_simplify() - deduplicate KEYWORDs

lib-storage: mail_search_args_to_cmdline() - Fix writing FLAGS & KEYWORDS

lib-storage: mail_search_args_to_cmdline() - Write MAILBOX glob without X- prefix

Since SEARCH_MAILBOX is written out as "MAILBOX", SEARCH_MAILBOX_GLOB should
also be written as "MAILBOX" rather than "X-MAILBOX".

auth: Check var_expand error in vpopmail

auth: Filter passdbs on credentials lookup start

Consistency with how plain verify works.

auth: Fix mechanism filter to support `none`

Otherwise credentials lookup can fail. None indicates
that it should match when no mech is specified.

auth: Use mem_equals_timing_safe() for all password hash comparisons.

It's unlikely these could be used to perform timing attacks, since the
attacker would have to have broken MD5/SHA badly enough to be able to
quickly generate string that result in wanted hashes. Still, the extra
cost is almost nothing and it's always better to be super paranoid!

auth: Shuffle failed auth requests before sending the failure replies.

This might be helpful against some timing attacks.

Using Fisher–Yates shuffle.

doveadm: Make doveadm_password safe against timing attacks.

auth: Make plaintext password comparisons safe against timing attacks

lib: Add mem_equals_timing_safe()

fts: Initialize fts after namespaces have been added

This way paths are correctly set, and fts indexes are
written to correct place. This affects mbox with lucene.

Fixes Panic: file mailbox-list.c: line 1158 (mailbox_list_try_mkdir_root): assertion failed (strncmp(root_dir, path, strlen(root_dir)) == 0)

fts: Remove indentation from fts_mailbox_list_created

Preparation for next commit

Makefile: Another fix for make distcheck when using scan-build

It seems to run two configures with different parameters, which results in
some of the files not being cleaned up. So this hopefully fixes:

ERROR: files left in build directory after distclean:
./src/util/tcpwrap

lib-imap: imap-bodystructure: Fixed handling of a multipart part without children in imap_bodystructure_parse().

In imap_bodystructure_write(), an empty multipart part is addressed by generating an empty text/plain part.
However, when parsing that back with imap_bodystructure_parse() against a parsed message_part tree, this case needs to be considered explicitly.
Otherwise, it will not be able to match the message part hierarchies.

This adds a test suite item that tests both the write (previous commit) and parse functions.

lib-imap: imap-bodystructure: Fixed handling of a multipart part without children in imap_bodystructure_write().

In that case it writes an empty text/plain part to prevent generating an invalid BODYSTRUCURE.
However, it always generated the basic BODY version without the extra fields for a full BODYSTRUCTURE.

auth: Fix compile problem with vpopmail

79fe1b28df44ba22b230326bee895583c1df5a28 forgot to remove const from table.

Makefile: Fix make distcheck when using scan-build

The _build directory shouldn't be deleted afterwards or it'll just fail.

Improve valgrind suppressions.