pop3-migration: Replace trailing whitespace removal with new header hashing version

This is now done by message_header_hash(), which makes it work correctly
also for dsync+imapc.

Reverts 0cf3b30b86e6c39f43b8e13a718cd078187ca86d, except for the unit tests.

lib-mail: message_header_hash_more() - add v3 that strips spaces

This helps with Zimbra, which strips away trailing whitespaces in
BODY[HEADER].

lib-mail: test-message-header-hash - add more tests

lib-mail: message_header_hash_more() - refactor to use switch()

quota: Fix failing again if quota setting has invalid parameters

This was broken by the recent quota parameter parsing changes.

acl: Don't read/write dovecot-acl-list with acl_globals_only=yes

It's only an optimization for the dovecot-acl files, which don't exist
with acl_globals_only=yes

lib/bits.c: Finish fix for compiling with gcc 3.0 .. 3.3

lib/bits.h: Fix compiling with gcc 3.0 .. 3.3

According to gcc's online manuals, 3.4 is the first version with
__builtin_clzll

fs-randomfail: Set errno=EIO when random failure is triggered

Previously the errno wasn't set at all. It was especially bad if it
happened to be EAGAIN, because that potentially caused hangs.

lib-imap: imap_append_nstring_nolf() - fix crash with datastack_pool strings

T_BEGIN .. T_END is not used, when string_t is allocated from
datastack pool, unit test updated to verify the fix.

acl: Fix reading acl_globals_only setting

It was being read in wrong place, so it may not have been read at all.

director: Fix logging last input/output time when there was no input/output

director: Fix whitespace position in some log messages

acl: Add acl_globals_only setting

The local dovecot-acl files aren't even attempted to be looked up if this is
set. This is mainly useful to avoid unnecessary stat()s to dovecot-acl files
that never exist.

imap: NOTIFY - Fix potential crash when reading invalid parameters

imap: Fix NOTIFY to parse more than just the first event-group

imap: NOTIFY - Cleanup notify watch timeout handling

It's not useful to set the timeout until all the commands are finished.

imap: NOTIFY - Fix crash due to not hooking into commands correctly

The pre/post hooks aren't always called immediately when commands are
created. They're called only after the command input is being read.
Call notify hooks explicitly now immediately when commands are allocated.

Fixes a panic with for example:

a notify set (selected (Messagenew (uid flags) MessageExpunge FlagChange) personal (MessageNew MessageExpunge FlagChange))
b select inbox
c store 1 +flags \deleted
d expunge
e append inbox {10}

Which crashed with:
Panic: file imap-notify.c: line 397 (imap_notify_callback): assertion failed: (client->command_queue_size == 0)

imap: NOTIFY - Fix delayed setting notification callback

This was done in command-post hook, but then when command was soon freed the
callback was immediately added.

fts: Log when indexing requires adding more mails to index than requested

This should mainly happen when FTS indexing is requested for a virtual
mailbox.

indexer-worker: Log first and last UID of which mails were indexed

indexer-worker: Log number of indexing attempts in transaction commit failure

This could be interesting if the number is large.

indexer-worker: Log "Indexed .. messages" even if mailbox_search fails

The transaction is still being committed.

lib: Fix ostream-buffer to return buffer contents size in o_stream_get_buffer_used_size().

This is necessary for querying o_stream_get_buffer_avail_size() with respect to a limit set earlier using o_stream_set_max_buffer_size().
This is mainly useful for test suites.

*-login: Add client_vfuncs.free() that is called when client refcount=0

This can be useful for plugins that want to run something after proxying
ends.

Use an empty default function so plugins can call super.free() without
having to check if it's NULL.

imap-login: Fix storing ID NIL values into client_id

lib-imap: imap_bodystructure_write is changed to skip CRs and LFs.

lib-imap: imap_write_envelope changed to skip CRs and LFs.

lib-imap: added imap_append_nstring_nolf(), which skips CRs and LFs.

lib-imap: escaping and quote/literal tests for imap_append_nstring()

imapc: Fix prefetching specific headers

FETCH BODY[HEADER.FIELDS ...] shouldn't be used if imapc_features doesn't
include fetch-headers. Also neither this nor BODY[HEADER] should be sent
if we already have header/body stream.

imapc: Avoid sending FETCH BODY[HEADER] when BODY[] is already being fetched

This probably only shows up in some special situations with plugins.

lib-master: anvil_client_query() delay calling callback on failures

This fixes crash in lmtp on anvil connect failure where the callback wasn't
expecting to be called so early.

imap-login: Remove duplicate spaces between ID x-forward parameters

imap-login: Fix crash in ID if trusted client sends NIL value to internal field

Fixes:
Panic: imap-login: file imap-login-client.c: line 215 (cmd_id_handle_keyvalue): assertion failed: (client_id_str == !client_id_reserved_word(key))

dsync: Fix panic if syncing fails during attribute iteration

Fixes:
Panic: file dict.c: line 104 (dict_deinit): assertion failed: (dict->iter_count == 0)

lib-index: Fix cache lookups from uncommitted transactions with in-memory indexes

This especially fixes mail_get_header_stream() with imapc and
imapc_features=fetch-headers, because it works by first fetching the
specific headers and putting them to the cache transaction, then later on
relying on index_mail_get_header_stream() to get them from the transaction.
Before this fix they wouldn't be found, which triggered another unnecessary
FETCH BODY.PEEK[HEADER].

lib-mail: istream-header-filter - Fix HEADER_FILTER_ADD_MISSING_EOH with empty input

The result for "" should be "\n", not "\n\n". The second "\n" would belong
to the mail body.

This fixes calculating hashes for incremental dsync when mail didn't have
Date or Message-ID headers, resulting in e.g.:

Warning: Deleting mailbox 'INBOX': UID=1 already exists locally for a different mail: Headers hashes don't match (e1c06d85ae7b8b032bef47e42e4c08f9 vs 68b329da9893e34099c7d8ad5cb9c940)

lib: istream-seekable - Fix reading when parent stream's content is larger than max_buffer_size

When writing the parent stream to fd and trying to read it back, it would
try to enforce the max_buffer_size and fail with:

istream-seekable: Couldn't read back in-memory input ...: buffer full

But since the data was already in buffer, istream-seekable shouldn't try to
enforce it at this point anymore.

lib-oauth2: Handle non-2xx/4xx results for token validation without crash

Fixes:
Panic: file oauth2-token-validate.c: line 33 (oauth2_token_validate_continue): assertion failed: (array_is_created(&req->fields))

*-login: Add client_vfuncs.input_next_cmd()

This allows plugins to hook into all the pre-login commands. For example
with imap-login most of the commands could already be hooked into, except
for ID and AUTHENTICATE because their parameters reading is handled
specially. This allows hooking into them as well.

This is actually internal to all the login binaries, so it wouldn't have to
be in login-common. However, login-common already has all the code to handle
overriding functions nicely and this is a rather useful feature for all the
protocols anyway, so it's easier this way and not too ugly.

pop3-login: Cleanup - move command handling to pop3_client_input_next_cmd()

imap: command_stats_start call is added for unknown commands.

This makes timing shown in reply to unknown commands correct

push-notification: Switch to main ioloop while calling drivers' commit callbacks

There aren't any guarantees what ioloop happens to be active at the time
the commit is called. The active ioloop can also be destroyed early on,
which can cause an I/O leak and crashes later on.

imap: Fix pipelining commands with SEARCH

If the SEARCH wasn't a long-running one, it ends with going to sync.
The command state shouldn't then be changed to _WAIT_EXTERNAL.

lib: add explicit casts to byteorder macros

Some consumers of lib.h are in C++ and therefore they try to compile
byteorder.h as C++ code.  C++ compilers don't like the implicit void *
-> struct anything * conversion, so we squelch those by adding explicit
casts.

imapc: If mailbox iteration fails, make sure error message isn't lost.

lib-storage: Fail mailbox list iteration early if it fails to get INBOX flags

The resulting INBOX reply could be wrong in that case.

Also with imapc if the remote server is down, this causes two connection
errors instead of just one.

lib-storage: If mailbox list iteration fails, don't add INBOX

It possibly should have been returned by the list iteration itself and we
could be returning it wrong here.

Also calling this causes imapc to lost the error message in mailbox_list.

imapc: Don't reconnect on DELETE if auth failure was already seen.

imapc: Don't reconnect on STATUS if auth failure was already seen.

imapc: Remove root_sep_lookup_failed cache

The auth_failed_* should already be enough for this. This removal also
fixes the storage error message to be auth_failed_reason when possible.

imapc: Check for auth failures when saving messages

First, don't even attempt an APPEND if we've already seen an auth failure.
Second, if APPEND does fail because of auth error, set the correct error to
storage.

imapc: Fix APPEND error message to include APPEND, not COPY

imapc: Make sure storage error has the proper auth failure error string

The first failed command always had the correct error string, but the
following failed commands just returned -1 without updating storage error.
The storage error could have been something completely different by then.

imapc: Cleanup - Rename auth_error to auth_failed_reason for consistency

imapc: Change auth_failed boolean to more specific auth_failed_state

Since we now rely on auth_failed_state being initialized to zero,
explicitly set IMAPC_COMMAND_STATE_OK to be defined as 0.

imapc: Remove auth_failed check from imapc_list_get_storage_name()

Reverts 9949dc3649ac7a00289f6bf0662c793bee3d4286. It doesn't seem to be
actually needed at least now, and it's breaking:

 * SELECT INBOX -> failure due to remote server being down
 * SELECT INBOX -> NO [CANNOT] Invalid mailbox name: Name is empty

global: use new byte ordering API

lib: import byte swapping & endian converting functions

pop3-migration: Strip trailing spaces from headers when calculating hash

Fixes matching mails with Zimbra.

imap-quota: If quota lookups fail, return NO for GETQUOTA/GETQUOTAROOT

quota: Update comments in quota.h

quota: quota_root_iter_next() - Iterate all visible roots

Don't try to skip the roots that don't have an active quota. imap_quota
plugin does the skipping now itself, and quota_clone shouldn't really be
even used with more than one quota root.

imap-quota: If quota root doesn't have any quotas, don't send empty QUOTA reply

For example if GETQUOTA is asked for fs quota, but the user doesn't have fs
quota enabled.

quota-clone: Don't clone quota resources that aren't enabled.

They would always just be zeros anyway, so this makes the update slightly
more efficient. Although practically this only matters with dirsize and
fs quotas, which people generally don't use with quota_clone.

lib: correct comment in path_normalize

Don't blame static analyzers for doing their job.

welcome: Fix sending parameters to welcome script.

Broken by f38b0dafbffa9d79542e36b4b3e598ed4115e5a3

lib-imap-client: Fix hang when imapc_client_get_capabilities() is called without connection

lib-index: Don't ignore mail_transaction_log_move_to_memory() failure

lib-http: Compiling fix to host->ips reallocation.

quota-fs: Make sure quota calculations don't overflow in old systems

Patch by M. Balridge

lib: ioloop-kqueue - Improve kevent() panic log message

doveconf: Preserve import_environment when execing binary

This allows import_environment setting to work with doveadm and other
standalone tools.

lib-master, config: Move the responsibility of cleaning environment to doveconf

lib-master: Use master_service_import_environment() for preserving environments

lib-master: master_service_import_environment() - use a data stack frame

This way the caller doesn't have to do it.

master: Move master_set_import_environment() to lib-master

master: Append to existing DOVECOT_PRESERVE_ENVS instead of overwriting it

master: Move import_environment setting to lib-master's master_service_settings

lib-http: Try to reuse memory for host->ips allocation.

If the host already had an IP, most of the time ips_count doesn't change
anymore.

lib: Fix test-path-util unit test with some cwd path lengths

The component-component directory might not have been created at all,
in which case the following symlink creations would fail since they were
already created to the same directory in a previous test.

mail-crypt-acl: Fix assert-crash due to missing namespace initialization

This was broken by e031d9aaae59a9f79710dc1138b76b69272615a3.

quota: count backend - Don't ignore mailbox list iteration errors

lib: Fix test-path-util.c formatting to conform coding style

lib: Fix infinite loop in path-util.c

Infinite loop was reached if the path was longer than
128 bytes, and the 128 boundary was in middle of path
name component.

quota: Fix negative quota_warnings with count backend

For example this never triggered:

  quota_warning = -messages=100%% quota-warning %u -100

The change to quota_alloc() to update the count_used doesn't seem to
actually fix anything right now, but it makes the code more correct.

lib-storage: Fix sort index writing to not leave sort_id=0 gaps

This fixes errors like:
Error: INBOX: Broken sort-f indexes, resetting

lib-storage: Add details to "Broken sort-* indexes" error

dsync: Display namespace locations on init in debug mode

This simplifies debugging as you can more easily tell
which brain is using which mail location.

lib-storage: Fix setting the correct cache record corrupted

It was mixing UIDs and sequences, so a wrong mail could have been set
corrupted or it could have crashed with:

Panic: file mail-index-transaction-update.c: line 1018 (mail_index_update_ext): assertion failed: (seq > 0 && (seq <= mail_index_view_get_messages_count(t->view) || seq <= t->last_new_seq))

quota: Remove unused quota_free()

quota: Fix quota_vsizes=yes to work with all backends

lib-storage: simplify mailbox_get_path_to()

Instead of special casing MAILBOX_LIST_PATH_TYPE_{MAILBOX,INDEX}, we can use
a common helper to remove code duplication.

imapc: Don't send UID FETCH 1:* after SELECT if mailbox is empty

lib-storage: test-mail-search-args-simplify - test with initialized args

lib-storage: mail_search_args_simplify() - Fix merging already-initialized keywords

It was deinitializing the arg that was kept instead of the one being removed.

lib-storage: Fix mail_search_args_simplify() to not deinit too many args

Removing an arg should deinit it, but not its following siblings.

lib-storage: Add mail_search_arg_one_deinit()

master: Don't include imap-hibernate when counting auth's max client_limit

imap-hibernate doesn't do any auth connections, so it doesn't need it.
It's a bit ugly to add an explicit service name comparison here, but
there didn't really seem to be many other good choices:

 * Could have removed protocol=imap from imap-hibernate. I was close to
doing this, but maybe it's better that imap-only processes would have
their protocol set to "imap".

 * Could have added a new service type, but seems pretty unnecessary to add
some kind of a "nonauth" just for this. A reverse "needs-auth" might have
been ok though.

Perhaps in future we'll implement proper dependencies across services and
those dependencies could be used to calculate this limit more precisely.