auth: Log reason for skipping passdb

auth: Add test suite for username filter

auth: Refactor auth to use libauth.la

This makes writing new unit tests easier, as you can link
to libauth.la.

auth: Add username_filter for passdb block

username_filter lets you specify one or more pattern(s) for
including or excluding users. exclusion patterns are denoted
with ! prefix.

if any exclude matches the username, passdb will be skipped.
if any inclusions is specified, and the username does not match
one of them, passdb will be skipped.

auth: Use MECH subsystem when logging error about skipping all password databases

Otherwise it will assert-crash because all password databases were skipped.

lib-storage: mail_search_arg_to_imap() - Fix writing invalid keywords

Just write the original invalid keyword string as output. It might not be
entirely invalid - just invalid within this mailbox (e.g. a mailbox doesn't
allow new keywords).

lib-storage: Fix searching when search query has invalid keywords.

For example "SEARCH KEYWORD ]" was returning all mails instead of nothing.

lib-index: mail_index_update_keywords() - don't assert if adding/removing 0 keywords

Although it would be nice for the caller to check it, it's easier to do
here. It's mainly a problem with mailbox_keywords_create_valid() that may
unexpectedly create empty keywords.

quota: imapc backend now never enforces the quota itself

It just causes a lot of GETQUOTA/GETQUOTAROOT calls to remove. In theory we
could make this optional, but I doubt anyone would want it.

lib-storage: Fix crash in mail_get_parts() with a special plugin

If plugin hooks into mail_get_stream() which causes data->parts to be set,
this code crashed with:

Panic: file index-mail.c: line 1163 (index_mail_parse_body): assertion failed: (data->parser_ctx != NULL)

imapc: Don't send NOOP on sync if MAILBOX_SYNC_FLAG_FAST is set

Fast syncing should do only the minimal amount of work.

imap: Allow plugins to hook into syncing.

Ideally all of the existing pieces in the syncing code would start using
this at some point, so their code could be moved to a more logical location.

imap: Move struct imap_sync_context to imap-sync-private.h

lib-storage: mail_search_arg_to_imap() - minor keywords writing optimization

Avoid an extra str_delete() by checking whether the parenthesis are needed.

lib-storage: mail_search_arg_to_imap() - minor FLAGS writing optimization

Avoid an extra str_delete() by immediately calculating whether the
parenthesis are needed.

lib: Add bits_is_power_of_two()

lib: Fixed bits_required64() with 32bit systems.

Broken by 84f697c5e30565823619abaaeb57164c789d4b66.

lib: bits - GCC (and clang) provide bit-twiddle intrinsics, use them

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: bits - new fractional log-like helper

For stats gathering, where the data can have a wide range of values, you
don't necessarily need the same granularity along the full range of values.
For example, 1ms and 11ms latencies are very different, but 1.001s and
1.011s latencies are not worth distinguishing. Something logarithmic seems
more apt. Simply looking at power-of-2 sized bands (e.g. doing log2(n)),
however, is too granular, so these new helpers let you specify how fine
to (linearly) subdivide each of those bands. 1 fractional bit splits
each power of 2 band into 2 halves. 2 fractional bits splits each power
of 2 band into 4 quarters, and so on. 0 fractional bits is just log2().

Exact identification of percentiles is impossible, but it was anyway, as you
simply cannot store all the data required to calculate them. However, a mere
896 buckets will permit you to have 32 bands per power of 2, 5 fracional bits.
The above example would have buckets such as 2.432s-2.496s, and 55.3s-56.3s.
Assuming smooth distribution lets you calculate percentiles more accurately,
just assume within each bucket is a trapezial distribution. This holds even
if the distribution is multi-modal, which it will be. However, maths required.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: Fixed dovecot/auth hanging when child ntlm_auth crashes while processing an authentication request

imapc: Fix memory leak when closing mailbox with delayed changes

imapc: Use UID SEARCH instead of SEARCH

UIDs work better for some broken IMAP servers, so it's safer to use it.

Keep using sequences for ESEARCH, since servers supporting it aren't at
least yet known to be broken and the search result with sequences is
smaller.

quota: Add imapc backend

This allows using imapc storage with imapc quota. The quota acts as
read-only, so it's used only when the current quota usage is explicitly
asked.

The quota can be looked up using either a mailbox name or quota root name.
By default INBOX's quota is looked up. If there are multiple quota roots
returned for the mailbox, only the first quota root returned by the
QUOTAROOT reply is used.

quota: Fix namespace deduplication when mailboxes don't have paths.

Nothing requires a mailbox path for quota backends, especially imapc.
Still do namespace deduplication based on alias_for settings.

imapc: include imapc-client.h in imapc-storage.h

It was already required to be able to successfully include imapc-storage.h.

imap-plugins: Use client_add_capability() for adding dynamic capabilities

imap: Use client_add_capability() for adding all dynamic capabilities

imap: Add client_add_capability()

imapc: Add imapc_features=fetch-bodystructure

This allows using the remote IMAP server's BODY and BODYSTRUCTURE replies.

lib-storage: Add mail_storage.nonbody_access_fields

This avoids index_mail_update_access_parts_pre() from opening the mail
stream unnecessarily for fields that can be looked up via other methods
by the storage.

lib-storage: Add index_mail_get_cached_body[structure]()

This just moves the code to these functions without changing any of the
logic.

lib-imap: Make imap_bodystructure_parse_args() public

lib-imap: Add imap_write_arg() to write only a single arg

lib-imap-client: Fix imapc_client_get_capabilities() when called without connections

imapc: Fix crash in mailbox_exists() when LAYOUT isn't imapc.

Especially breaks LAYOUT=none.

imapc: Support imapc_features=search without ESEARCH extension

imapc: Make sure client is logged in when checking capabilities

Especially with imapc_features=delay-login the capability could have been
looked at before the client was even connected.

imapc: Add imapc_mailbox.capabilities

Use it instead of imapc_client_get_capabilities(). Simplifies the
following patch.

imapc: Rename imapc_storage_has_modseqs() to imapc_mailbox_has_modseqs()

Simplifies the following patch.

cassandra: Use fallback consistency for CASS_ERROR_LIB_NO_HOSTS_AVAILABLE errors

I'm not entirely sure if this is always appropriate, but at least this error
happens every time when attempting to use write_consistency=two when there
is only a single Cassandra node.

dsync-server: Fix support for dsync_features=empty-header-workaround

Fixes:
Panic: Unknown key: empty_hdr_workaround

*-login: Add client_vfuncs.send_raw_data()

This allows login plugins to hook into seeing all the data that is sent to
the imap/pop3 client.

imap: Add imap_client_vfuncs.send_tagline()

This allows plugins to catch all the IMAP command replies.

*-login: Unload plugins at deinit.

lib-storage: Allow mail_add_temp_wanted_fields() to be called before mail_set_seq*()

Quota plugin was already doing this, but it didn't actually work. It was
also crashing with imapc:

Panic: file mail-cache-lookup.c: line 341 (mail_cache_field_exists): assertion failed: (seq > 0)

lib-storage: Add mailbox_attribute_unregister_internal[s]()

This allows plugins to unregister internal attributes when they're unloaded.

lib-storage: mail_search_args_simplify() - deduplicate flags

This needs to be done in a bit more complicated way because multiple
SEARCH_FLAGS parameters are wanted to be merged together using a single
shared value.flags. Move this merging last after all the deduplication is
done.

lib-storage: mail_search_args_simplify() - simplify "x AND NOT x"

Implemented for SEARCH_KEYWORD, SEARCH_TEXT, SEARCH_BODY and SEARCH_HEADER*.
Dates and sizes would need special code, which gets a bit complicated.

lib-storage: Add more tests to test-mail-search-args-simplify

lib-storage: mail_search_arg_to_imap() - remove () around a single flag/keyword

lib-storage: mail_search_args_simplify() - deduplicate KEYWORDs

lib-storage: mail_search_args_to_cmdline() - Fix writing FLAGS & KEYWORDS

lib-storage: mail_search_args_to_cmdline() - Write MAILBOX glob without X- prefix

Since SEARCH_MAILBOX is written out as "MAILBOX", SEARCH_MAILBOX_GLOB should
also be written as "MAILBOX" rather than "X-MAILBOX".

auth: Check var_expand error in vpopmail

auth: Filter passdbs on credentials lookup start

Consistency with how plain verify works.

auth: Fix mechanism filter to support `none`

Otherwise credentials lookup can fail. None indicates
that it should match when no mech is specified.

auth: Use mem_equals_timing_safe() for all password hash comparisons.

It's unlikely these could be used to perform timing attacks, since the
attacker would have to have broken MD5/SHA badly enough to be able to
quickly generate string that result in wanted hashes. Still, the extra
cost is almost nothing and it's always better to be super paranoid!

auth: Shuffle failed auth requests before sending the failure replies.

This might be helpful against some timing attacks.

Using Fisher–Yates shuffle.

doveadm: Make doveadm_password safe against timing attacks.

auth: Make plaintext password comparisons safe against timing attacks

lib: Add mem_equals_timing_safe()

fts: Initialize fts after namespaces have been added

This way paths are correctly set, and fts indexes are
written to correct place. This affects mbox with lucene.

Fixes Panic: file mailbox-list.c: line 1158 (mailbox_list_try_mkdir_root): assertion failed (strncmp(root_dir, path, strlen(root_dir)) == 0)

fts: Remove indentation from fts_mailbox_list_created

Preparation for next commit

Makefile: Another fix for make distcheck when using scan-build

It seems to run two configures with different parameters, which results in
some of the files not being cleaned up. So this hopefully fixes:

ERROR: files left in build directory after distclean:
./src/util/tcpwrap

lib-imap: imap-bodystructure: Fixed handling of a multipart part without children in imap_bodystructure_parse().

In imap_bodystructure_write(), an empty multipart part is addressed by generating an empty text/plain part.
However, when parsing that back with imap_bodystructure_parse() against a parsed message_part tree, this case needs to be considered explicitly.
Otherwise, it will not be able to match the message part hierarchies.

This adds a test suite item that tests both the write (previous commit) and parse functions.

lib-imap: imap-bodystructure: Fixed handling of a multipart part without children in imap_bodystructure_write().

In that case it writes an empty text/plain part to prevent generating an invalid BODYSTRUCURE.
However, it always generated the basic BODY version without the extra fields for a full BODYSTRUCTURE.

auth: Fix compile problem with vpopmail

79fe1b28df44ba22b230326bee895583c1df5a28 forgot to remove const from table.

Makefile: Fix make distcheck when using scan-build

The _build directory shouldn't be deleted afterwards or it'll just fail.

Improve valgrind suppressions.

lib-dict-sql: Try merge sets to single update

This attempts to put mergeable keys into same
update instead of using multiple SQL statements.

lib, userdb-vpopmail: Fully remove var_expand_table_build()

It was accidentally removed in master-2.2 as part of the changes in
122014ad84488d6309dc7d1572dfc988fedc18c4

This finishes up the removal as it was done in master in
79fe1b28df44ba22b230326bee895583c1df5a28

lib-imap-client: Fix reconnection

There was already code for reconnection. We just shouldn't have gone very
far in imapc_connection_connect() if we were still waiting for reconnection
delay to pass.

lib-imap-client: Fixes to unit test

lib-imap-client: Add unit test

Initially this tests some connection and reconnection problems.

lib-imap-client: Include "ms" in reconnect warning message

lib-imap-client: Remove hardcoded IMAPC_CONNECT_RETRY_WAIT_MSECS

We have a setting for it now.

lib-imap-client: Disconnection during LOGIN should still have state=disconnected

It's not an authentication failure, which would imply that the user or
password was wrong.

lib-imap-client: Make command tag counter externally accessible

This allows unit tests to reset it.

lib-imap-client: Call the public login callback exactly once.

Previously it was also called only once, as long as there were only a single
imap connection. (The current imapc code wouldn't create more than one
connection.) It was a bit confusing what the expectation was, so now the
callback is never called more than once.

lib-imap-client: imapc_client_deinit() didn't set client=NULL

imapc: Change imapc_connection_retry_interval default to be 1 second.

10 secs at least is too high. Usually the connection problem is very
intermittent and even an immediate reconnection would succeed.

lib-imap-client: Change connect_retry_interval_secs to _msecs

This allows caller to provide better precision.

lib-imap-client: Use struct timeval for tracking last_connect time.

This provides better accuracy when calculating how much time there's left
until reconnection.

lib-http: Improve request stats text.

It's important to know how long the request was in queue before it was sent.

Also the "n attempts in m secs" makes more sense if it was counting only the
time after the initial request was sent, not including the queuing time.

If there is more than 1 attempt, log separately how long all the attempts
were waited on vs. how long the last attempt took.

lib-http: Add http_client_request_stats.first_sent_msecs

Also rename sent_msecs to last_sent_msecs.

lib-http: Track request's first and last send attempt times separately.

*-login: Move code to login_anvil_init()

Calling this allows plugins that need to talk to anvil make sure they have
an anvil connection even if mail_max_userip_connections=0.

doveadm who: Don't aggregate empty usernames with different IPs

We'll assume that in that case anvil is used to track IP addresses rather
than usernames. (Dovecot core doesn't currently use this.)

lib-http: Remove unnecessary enum declaration.

Most of these were removed by a8fe899601735459641edae975c0fa08be8482e2

example-config: Add blocking setting to dovecot-ldap.conf.ext

auth-var-expand-crypt plugin: Add missing ldflags

fts-solr: Don't double-escape headers.

auth: Fix crash in passdb imap on connection failures

lib-ssl-iostream: Don't require SSL CA certs if require_valid_cert==FALSE

This happened only when verify_remote_cert was also TRUE. But this behavior
now allows verifying the cert without actually requiring it to be valid.

auth: passdb imap: Use ssl_client_ca_* settings.

The args = ssl_ca_dir=.. setting still overrides the ssl_client_ca_dir.

global: Remove extra ';' to fix compiler errors

Sun C doesn't like them.

global: Make sure all files end with newline

Fixes compiler warnings with Sun C.

fs-posix: Fix FS_METADATA_WRITE_FNAME to preserve the path

It should only change the filename.

doveadm force-resync: Skip autocreated mailboxes that don't exist yet.

Since they don't exist, there's nothing to resync in them either.
This avoids unnecessarily creating them.

dict-sql: Fix setting $variables to iteration key when map had multiple values