Released v2.2.30.

lib-storage: Fix compiler warning in test-mail-storage

auth: Fix crash on passdb lookup when all passdbs were skipped

Finishes the fix in 614f5b6febaf3c825f9200ab3b62d9d047197b0e

Fixes:
auth: Panic: file auth-request.c: line 2493 (get_log_prefix): assertion failed: (auth_request->mech != NULL)

lib-storage: Fix crash in test-mail-storage

mail-crypt-plugin: Set copy-hook only if save_version > 0

Otherwise we might use it in read-only mode, too.

mail-crypt: Re-encrypt mails when copying/moving

Otherwise the mail cannot be opened after moving

lib-storage: Fix memory leak in test-mail-storage

lib-storage: Add unit test for set/get/push/pop storage error operations

lib-storage: Fix mail_storage_set_critical() when input parameter is an old internal error

This could have caused garbage in the error string.

lib-storage: Fix mail_storage_last_error_push/pop() to work with internal errors

imap: Fix unhibernation after earlier change

imap NOTIFY: Flush any pending notifications on NOOP

This is mainly to allow testing NOTIFY easily with imaptest scripts.
This is cheap anyway, because mailbox_list_notify_flush() doesn't do any
syscalls when there's no work.

lib-storage: Implement mailbox_list_notify_flush()

This flushes any pending notifications. For now it only checks if there's
a pending notification waiting for a timeout. It could also stat() the
files to make sure, but that's probably unnecessary.

lib-storage: Explicitly name function pointers in mailbox lists

This allows adding more fields to struct mailbox_list_vfuncs without
compiler warnings.

lib-storage: Always update highestmodseq in mailbox list index

This is required for mailbox-list-notify API to work correctly. For
example IMAP NOTIFY session with CONDSTORE enabled could be listening for
FlagChanges, but another session without CONDSTORE enabled could be updating
flags in a mailbox that has never been opened with CONDSTORE enabled.
NOTIFY wouldn't see this change, unless it was always written to
dovecot.list.index.

lib-storage: Fix mailbox list index notifications when modseqs aren't enabled.

No notifications were sent if highest_modseqs weren't updated in mailbox
list index.

imap: login reply should be sent sooner

lib-http: client: Fixed race condition between DNS refresh lookup and a soft connection timeout.

The refreshing DNS lookup cleared all the IPs, but the soft connection timeout (and maybe other code) still relied on them.
Adding tests everywhere for host->ips_count == 0 is annoying, so I changed the DNS lookup code such that the stale IPs remain present while the DNS lookup is being performed.
The pending lookup prevents new connections through http_client_host_refresh(), so this will not create potentially useless connections.

lib-master: Replace listeners with /dev/null in SIGQUIT instead of closing

This should be somewhat safer.

lib-index: Fix crash in mail_transaction_log_view_set_all() error handling

lib-index: Fix start_offset > sync_offset error handling for in-memory indexes

Released v2.2.30.rc1.

auth: Fix linking duplicate .a libraries to unit test

util: script: Increased the major protocol version due to earlier changes.

util: script: Amended protocol with the ability to convey a set of environment variables that are passed to the script.

The acceptable environment variables are selected using the -e parameter; others are ignored silently.

util: script: Amended the protocol to pass arguments escaped to prevent problems with newlines.

Newlines are used as argument delimiters in the protocol, which will cause problems.

lib-program-client: local: Fixed use of unterminated string array of environment variables in exec_child().

lib-program-client: Made the test suite ignore the protocol version.

lib-program-client: Gave variables pointing to a program-client more logical names.

Was still based on when it was called the script-client.

imap: Move struct client_sync_context to imap-sync-private.h and add imap_ prefix

imap: Allow plugins to replace existing FETCH handlers

They can use imap_fetch_handler_lookup() to get the old init() function.
Then they can imap_fetch_handler_unregister() the existing handler and
register a new handler, which can do its own work and call the old init()
if needed.

lib-index: Improve "start_offset > current sync_offset" error message.

Try to make it clear what is the root cause of it.

lib-index: mail_transaction_log_file_get_highest_modseq_at() - return error string

This can help figuring out why some error happened when more context is
provided in the caller's error messages.

lib-index: Add missing error logging for mail_index_view_sync_begin()

lib-index: mail_transaction_log_file_map() - return reason/error string

This can help figuring out why some error happened when more context is
provided in the caller's error messages.

lib-index: mail_transaction_log_view_set_all() - don't entirely ignore corrupted logs

Ignore them only if it's followed by an index reset.

lib-storage: Fix mailbox list index records without guid having invalid flags

With LAYOUT=index the mailbox is found with its GUID. If it doesn't exist,
the mailbox has to be either \NonExistent or \NoSelect. It probably doesn't
make much difference which one, so we'll fix them by adding \NoSelect.

With other layouts the GUID is allowed to be empty, because it can be looked
up from the actual mailbox.

lib-storage: Fix mailbox list index records with name_id=0

name_id=0 isn't valid, so it needs to be changed and writen to the disk.
The write-to-disk part wasn't working.

lib: Fix memory leak in test-istream-concat

lib: Fix crash when seeking istream-concat to EOF and trying to read it

imapc: Make sure a valid UIDVALIDITY is returned by SELECT

Fixes errors such as:
Error: Synchronization corrupted index header (in-memory index): uidvalidity=0, but next_uid=9

imapc: Fix assert-crash if server doesn't send EXISTS reply to SELECT

Fixes:
Panic: file imapc-sync.c: line 477 (imapc_sync_index): assertion failed: (mbox->sync_fetch_first_uid == 1)

lib-imap-client: Change server IP only on connect() failures

Also log an warning-level message about it. This is mainly useful to see
that a slow connection could be caused by a connect() timeout. Since more
IPs are still available, it's not yet an error.

imapc: Fix infinite reconnection when server keeps sending corrupted state

When corrupted state was found, imapc_client_mailbox_reconnect() is called
to reconnect. This call skipped the normal "is it safe to reconnect?"
checks causing potentially infinite reconnections.

lib-imap: imap_parser_unref() should always set parser=NULL

Not just when the last reference is cleared. This is how *_unref()s should
work everywhere in Dovecot. This fixes a bug in lib-imap-client where a
parser could have been accessed after it was already freed.

imapc: Avoid resending duplicate FETCH when reconnecting during the initial sync

imapc: If initial SELECT fails, don't resend it twice on reconnect.

lib-imap-client: Avoid infinite reconnection loops when retrying command fails

reconnect_command_count wasn't calculated correctly, because the SELECT and
potentially other following sync commands weren't included in it.

lib: Add dovecot_build_info variable containing Dovecot build information.

By default this includes the version, including the git hash. The idea is
that this version information would be available in all the core dumps.

The DOVECOT_BUILD_INFO can be overridden by compiling with:

DOVECOT_BUILD_INFO='"build info"' make

auth: If passdb/userdb ldap has blocking=yes, auth master shouldn't connect to ldap

director: Add old host's up/down and vhost count parameters to director_flush_socket

The "down" status allows the script to determine whether it should try to
perform any work on the old host. The vhost count may be unnecessary, but
might be useful for some purpose.

dsync: Try to commit transactions every dsync_commit_msgs_interval messages

This was first attempted to be implemented by
ec0cc8fa647794e44a1afaa448f495a713048dc4, but it was later partially
reverted by 5973d496b16721af6d2c1fa90b016aacddf13554. This current
commit should fix its problems.

lib-storage: add a mail user pre-deinit vfunc

This allows plugins to perform checks right before the deinit call.

imapc: Try to merge STOREs together as much as possible when syncing

lib-storage: Avoid unnecessary UIDNEXT lookups after saving a mail

The vsize checking code was expecting that this would always be a cheap
operation, but with imapc code it could trigger a remote STATUS (UIDNEXT)
call. Do this only when we've checked that this mailbox is updating vsize
header at all.

imapc-quota: Avoid sending unnecessarily many GETQUOTA[ROOT] commands

The last_refresh == ioloop_timeval check didn't work, because the refresh
itself updated ioloop_timeval. This caused a single quota lookup to issue
multiple GETQUOTA[ROOT] commands to imapc.

doveadm mailbox status: Add "firstsaved" field.

lib-index: Add mail_cache_expunge_count

It can be called to correctly handle cache counters
when records are removed.

lib-imap: imap_append_string_for_humans() - Change CR/LF to space

Practically this shouldn't matter, because in email headers a CR/LF is
always followed by a space/tab. But maybe this can be used for some
other purposes in future, and it makes the unit tests clearer. :)

lib-storage: Add missing ATTR_FORMAT to mail_set_mail_cache_corrupted()

lib-storage: Use new mail_cache_set_seq_corrupted_reason

lib-index: Add mail_cache_set_seq_corrupted_reason

Marks a seq in cache corrupted, and removes
that instead of the whole cache.

lib-storage: Remove index_storage_save_continue

It was not intended for v2.2

lib-storage: Unconstify test functions

Removes a compiler warning

lib: Use t_malloc instead of t_malloc_no0

Broken in 4792d4bd

lib: Add dec2str_buf()

Conflicts:
src/lib/strfuncs.c

master: Send SIGQUIT to processes running at deinit to close socket listeners.

This allows Dovecot to be restarted even when some lmtp/doveadm process is
running for a long time. Otherwise it would keep the inet_listener socket
open and prevent the new Dovecot from binding to the port.

lib-master: When running under master, close listeners immediately on SIGQUIT

lib-master: Remove listener's IO earlier if possible

This is needed for the next change to work properly.

master: Wait more precisely 5 secs at deinit for child processes to die.

Use milliseconds granularity instead of seconds.

lib: Use lib_signals_syscall_error() for write() failure in signal handler

lib: Add lib_signals_syscall_error()

man: Fix doveadm-flags examples

Patch by Frank Ebert

auth: Do not use AUTH_SUBSYS_MECH in logging when request->mech is NULL

This can happen when a lookup is done instead of authentication.

Fixes auth: Panic: file auth-request.c: line 2560 (get_log_prefix): assertion failed: (auth_request->mech != NULL)

passdb-imap: Make sure ssl verification is possible with current settings

passdb-imap: Add ssl_ca_file setting

Allow setting SSL trust roots from a file

passdb-imap: Add option to control certificate verification

Turn it on by default

lib-ssl-iostream: Support IP address SANs

imap: Set FETCH transactions hidden only when \Seen flags are implicitly set

This simplifies implementing some plugins and has no downsides to core
functionality.

lib-storage: Fix memory leak in mail_search_args_simplify()

The leaks happened when search args were already initialized (which they
usually were at this point) and some of the args were dropped entirely.

Improved the unit test to initialize search args before calling the
simplify, so valgrind would notice if there are any leaks.

Conflicts:
src/lib-storage/test-mail-search-args-simplify.c

lib-master: Add comments to struct master_service_connection

Conflicts:
src/lib-master/master-service.h

lib-storage: When save is aborted, close dest_mail without crashing

Fixes:
Panic: file mail-index-transaction-update.c: line 1023 (mail_index_update_ext): assertion failed: (seq > 0 && (seq <= mail_index_view_get_messages_count(t->view) || seq <= t->last_new_seq))

Because cache was still attempted to be updated, but the mail was already
expunged from index.

lib-storage: Move backend code to a common index_storage_save_abort_last()

Conflicts:
src/lib-storage/index/index-storage.c
src/lib-storage/index/index-storage.h

auth: Log reason for skipping passdb

auth: Add test suite for username filter

auth: Refactor auth to use libauth.la

This makes writing new unit tests easier, as you can link
to libauth.la.

auth: Add username_filter for passdb block

username_filter lets you specify one or more pattern(s) for
including or excluding users. exclusion patterns are denoted
with ! prefix.

if any exclude matches the username, passdb will be skipped.
if any inclusions is specified, and the username does not match
one of them, passdb will be skipped.

auth: Use MECH subsystem when logging error about skipping all password databases

Otherwise it will assert-crash because all password databases were skipped.

lib-storage: mail_search_arg_to_imap() - Fix writing invalid keywords

Just write the original invalid keyword string as output. It might not be
entirely invalid - just invalid within this mailbox (e.g. a mailbox doesn't
allow new keywords).

lib-storage: Fix searching when search query has invalid keywords.

For example "SEARCH KEYWORD ]" was returning all mails instead of nothing.

lib-index: mail_index_update_keywords() - don't assert if adding/removing 0 keywords

Although it would be nice for the caller to check it, it's easier to do
here. It's mainly a problem with mailbox_keywords_create_valid() that may
unexpectedly create empty keywords.

quota: imapc backend now never enforces the quota itself

It just causes a lot of GETQUOTA/GETQUOTAROOT calls to remove. In theory we
could make this optional, but I doubt anyone would want it.

lib-storage: Fix crash in mail_get_parts() with a special plugin

If plugin hooks into mail_get_stream() which causes data->parts to be set,
this code crashed with:

Panic: file index-mail.c: line 1163 (index_mail_parse_body): assertion failed: (data->parser_ctx != NULL)

imapc: Don't send NOOP on sync if MAILBOX_SYNC_FLAG_FAST is set

Fast syncing should do only the minimal amount of work.

imap: Allow plugins to hook into syncing.

Ideally all of the existing pieces in the syncing code would start using
this at some point, so their code could be moved to a more logical location.

imap: Move struct imap_sync_context to imap-sync-private.h

lib-storage: mail_search_arg_to_imap() - minor keywords writing optimization

Avoid an extra str_delete() by checking whether the parenthesis are needed.

lib-storage: mail_search_arg_to_imap() - minor FLAGS writing optimization

Avoid an extra str_delete() by immediately calculating whether the
parenthesis are needed.

lib: Add bits_is_power_of_two()

lib: Fixed bits_required64() with 32bit systems.

Broken by 84f697c5e30565823619abaaeb57164c789d4b66.