lib: test-path-util unit test - small fixes and cleanups

Don't use /tmp, especially because on OSX it's a symlink to /private/tmp/,
which causes these tests to fail.

director: Use longer timeout for receiving user list in handshake

The sender also has a send timeout, so this allows the sender to abort
early and give a nicer error message.

director: Log more connection state information on handshaking errors

director: Use more accurate timestamps for handshake timeout logging

There could be some time between the create, connect and when ME was
received.

director: Fix "sending handshake timed out" error to be actually logged

io was never NULL here, so it was never logged.

director: Fix handshake timeout lengths

They weren't too bad, but also they weren't what the #defines described.
Also added a separate connect() timeout.

quota: Fix imapc backend not to try to find out mail's size.

This removes unnecessary FETCH RFC822.SIZE command sent to server when
expunging mails.

imapc: SEARCH - Don't add parenthesis around OR

There's no need to write "(OR a b)" when "OR a b" works just the same.

lib-storage: mail_search_args_to_imap() - don't add parenthesis around OR

There's no need to write "(OR a b)" when "OR a b" works just the same.

lib: Use unix streams with connection when using unix socket

This makes it easier to send file descriptors over connection

auth: Don't lose all forward_ fields if the first passdb lookup fails.

lib-mail: Add qp encoder

lib-mail: Link test binaries to libmail.la instead of .lo files

mail-filter: tabescape args, this is required by script client 4

welcome: tabescape args, this is required by script client 4

global: Update script client version number

Broken by b383ed51d75bce0f69f126bc4ff7192985ca30f2

auth: Fix crash on passdb lookup when all passdbs were skipped

Finishes the fix in 614f5b6febaf3c825f9200ab3b62d9d047197b0e

Fixes:
auth: Panic: file auth-request.c: line 2493 (get_log_prefix): assertion failed: (auth_request->mech != NULL)

lib-storage: Fix LAYOUT=fs potentially not ignoring ACLs when requested

fs_get_existence_info_flag() was only being called with LAYOUT=fs and
Maildir combination. This mainly affected that combination when using
mailbox_list_index=yes and trying to list mailboxes with ACL checking
disabled.

lib-storage: Fix ACL in parent mailbox potentially hiding its children.

fs_get_existence_info_flag() was only being called with LAYOUT=fs and
Maildir combination, so only it was broken if the parent mailbox wasn't
visible but its children were.

lib-storage: fs_list_get_mailbox_flags() - Return mailbox files as selectable

Avoids a second stat() later on, which would do the same anyway.

lib-storage: fs_list_get_mailbox_flags() - Don't assume directories always have children.

This makes the directory handling code equivalent for type==UNKNOWN and
type==DIR.

lib-storage: fs_list_get_mailbox_flags() - Add comments

lib-storage: fs_list_get_mailbox_flags() - Reorganize code

No functional changes.

acl: Global ACL file was parsed as if it was local ACL file

This caused some of the ACL handling not work exactly as expected.

lib-storage: Make mailbox_list_iter_init_autocreate() static again

It's no longer needed elsewhere.

lib-storage: Fix mailbox_list_index=yes + ACLs + auto=subscribe mailboxes

If the auto=subscribe mailbox didn't have a lookup ACL, it shouldn't have
been listed. This didn't work properly, because ACL plugin initialized the
autocreate_ctx only for the index iterator, while the autoboxes were
listed using the backend iterator. Fixed by not creating index iterator at
all when doing a passthrough iteration.

lib-storage: Cleanup - Don't use ctx in iter_use_index()

Shrinks the following change.

lib-storage: Add \NoInferiors flag to autocreated mailboxes with mbox

Once the mailboxes get autocreated, the \NoInferiors flag is added anyway.

lib-storage: Don't list duplicate autocreated mailboxes' parents

acl: Skip auto=create|subscribe mailboxes that don't have lookup-right

Removing them entirely from the boxes and box_sets arrays in the list
context treats them as if they weren't configured at all. This way they
don't need any other special code.

lib-storage: Add mailbox-list-iter-private.h with autocreate context structs

Needed for the following ACL change.

lib-storage: Log an info message when dovecot.index.pvt UIDVALIDITY changes

lib-storage: When initializing dovecot.index.pvt, don't reset it.

This avoids unnecessary errors about index being reset when it was already
empty.

lib-storage: Cleanup - Remove pointless if-check

lib-http: client: Only drop queued requests when a DNS lookup fails; not also the ones that are already in progress.

lib-http: client: When a request is destroyed prematurely during payload input, consider the payload stream destroyed and act accordingly.

The application may hold a reference to the payload stream still, and it may be difficult to prevent that.
This causes lib-http to keep waiting for the payload to be destroyed.
When nothing else is going on, the current ioloop may then become empty, which caused the familiar assert failure.

lib-http: client: Explicitly destroy the response payload timeout stream when the request is destroyed while receiving payload.

This way, the timeout is stopped.
This caused ioloop panics.

quota: Fix infinite loop when parsing quota parameters

Broken by previous quota changes.

lib-storage: Fix crash in test-mail-storage

lib-storage: Fix memory leak in test-mail-storage

lib-storage: Add unit test for set/get/push/pop storage error operations

lib-storage: Fix mail_storage_set_critical() when input parameter is an old internal error

This could have caused garbage in the error string.

lib-storage: Fix mail_storage_last_error_push/pop() to work with internal errors

lib-master: Replace listeners with /dev/null in SIGQUIT instead of closing

This should be somewhat safer.

Whitespace cleanup

Dict backend parameters reading changed to use common parsing function

fs backend parameter parsing changed to use common function

imapc backend parameter parsing changed to use common function

maildir backend parameter parsing changed to use common function

quota root default init changed to use common param parse function

common quota parameter parsing function implemented

imap: Fix unhibernation after earlier change

lib-index: Fix crash in mail_transaction_log_view_set_all() error handling

lib-index: Fix start_offset > sync_offset error handling for in-memory indexes

config: When showing an "Unknown setting" error, show the full section path

For example with:

service foo {
  inet_listener bar {
    key = value
  }
}

Instead of showing just:

Unknown setting: key

Show the entire path:

Unknown setting: service { inet_listener { key

Any filters won't be shown, because they don't affect the result.

imap: Move struct client_sync_context to imap-sync-private.h and add imap_ prefix

imap: Allow plugins to replace existing FETCH handlers

They can use imap_fetch_handler_lookup() to get the old init() function.
Then they can imap_fetch_handler_unregister() the existing handler and
register a new handler, which can do its own work and call the old init()
if needed.

lib-index: Improve "start_offset > current sync_offset" error message.

Try to make it clear what is the root cause of it.

lib-index: mail_transaction_log_file_get_highest_modseq_at() - return error string

This can help figuring out why some error happened when more context is
provided in the caller's error messages.

lib-index: Add missing error logging for mail_index_view_sync_begin()

lib-index: mail_transaction_log_file_map() - return reason/error string

This can help figuring out why some error happened when more context is
provided in the caller's error messages.

lib-index: mail_transaction_log_view_set_all() - don't entirely ignore corrupted logs

Ignore them only if it's followed by an index reset.

lib-storage: Don't crash if cache is thought broken for a newly saved mail

It's a bug that it happens, but the resulting crash is confusing.
Although arguably this new error could be i_panic() instead.

Fixes:
Panic: file mail-index-transaction-update.c: line 1018 (mail_index_update_ext): assertion failed: (seq > 0 && (seq <= mail_index_view_get_messages_count(t->view) || seq <= t->last_new_seq))

imap NOTIFY: Flush any pending notifications on NOOP

This is mainly to allow testing NOTIFY easily with imaptest scripts.
This is cheap anyway, because mailbox_list_notify_flush() doesn't do any
syscalls when there's no work.

lib-storage: Implement mailbox_list_notify_flush()

This flushes any pending notifications. For now it only checks if there's
a pending notification waiting for a timeout. It could also stat() the
files to make sure, but that's probably unnecessary.

lib-storage: Explicitly name function pointers in mailbox lists

This allows adding more fields to struct mailbox_list_vfuncs without
compiler warnings.

lib-storage: Always update highestmodseq in mailbox list index

This is required for mailbox-list-notify API to work correctly. For
example IMAP NOTIFY session with CONDSTORE enabled could be listening for
FlagChanges, but another session without CONDSTORE enabled could be updating
flags in a mailbox that has never been opened with CONDSTORE enabled.
NOTIFY wouldn't see this change, unless it was always written to
dovecot.list.index.

lib-storage: Fix mailbox list index notifications when modseqs aren't enabled.

No notifications were sent if highest_modseqs weren't updated in mailbox
list index.

imap: login reply should be sent sooner

lib-storage: Fix mailbox list index records without guid having invalid flags

With LAYOUT=index the mailbox is found with its GUID. If it doesn't exist,
the mailbox has to be either \NonExistent or \NoSelect. It probably doesn't
make much difference which one, so we'll fix them by adding \NoSelect.

With other layouts the GUID is allowed to be empty, because it can be looked
up from the actual mailbox.

lib-storage: Fix mailbox list index records with name_id=0

name_id=0 isn't valid, so it needs to be changed and writen to the disk.
The write-to-disk part wasn't working.

lib: istream-concat - enforce cur_input==input[cur_idx] invariant

Since the over-seek patch, this is now an invariant, so ensure it's
always true.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream-concat - make cur_input always match input[cur_idx]

We're deliberately not stepping into the NULL stream, don't let the
cur_idx indicate that we have moved into it, that's confusing.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Make sure a valid UIDVALIDITY is returned by SELECT

Fixes errors such as:
Error: Synchronization corrupted index header (in-memory index): uidvalidity=0, but next_uid=9

imapc: Fix assert-crash if server doesn't send EXISTS reply to SELECT

Fixes:
Panic: file imapc-sync.c: line 477 (imapc_sync_index): assertion failed: (mbox->sync_fetch_first_uid == 1)

lib-imap-client: Change server IP only on connect() failures

Also log an warning-level message about it. This is mainly useful to see
that a slow connection could be caused by a connect() timeout. Since more
IPs are still available, it's not yet an error.

imapc: Fix infinite reconnection when server keeps sending corrupted state

When corrupted state was found, imapc_client_mailbox_reconnect() is called
to reconnect. This call skipped the normal "is it safe to reconnect?"
checks causing potentially infinite reconnections.

lib-imap: imap_parser_unref() should always set parser=NULL

Not just when the last reference is cleared. This is how *_unref()s should
work everywhere in Dovecot. This fixes a bug in lib-imap-client where a
parser could have been accessed after it was already freed.

imapc: Avoid resending duplicate FETCH when reconnecting during the initial sync

imapc: If initial SELECT fails, don't resend it twice on reconnect.

lib-imap-client: Avoid infinite reconnection loops when retrying command fails

reconnect_command_count wasn't calculated correctly, because the SELECT and
potentially other following sync commands weren't included in it.

lib: Fix memory leak in test-istream-concat

lib: Add dovecot_build_info variable containing Dovecot build information.

By default this includes the version, including the git hash. The idea is
that this version information would be available in all the core dumps.

The DOVECOT_BUILD_INFO can be overridden by compiling with:

DOVECOT_BUILD_INFO='"build info"' make

lib: Fix crash when seeking istream-concat to EOF and trying to read it

lib-http: Changed test-http-server to actually use the http-server API.

This currently serves as a simple demonstration of how to structure an HTTP server.

lib-http: server: Fixed detection of idle connection.

This fixes the debug message; the behavior was otherwise correct.

virtual: Match any metadata condition

The old code ignored succesful earlier matches for
patterns, and stopped looking on first non-matching
metadata pattern. Now it breaks on error or on first
matching pattern.

lib-storage: Apply mailbox_list_iter_autocreate_filter on mailbox_list_index_iter_next

It skips mailbox_list_iter_next, so it needs to be applied here as well.

lib-storage: Rename autocreate_iter_existing to mailbox_list_iter_autocreate_filter

It makes next commit possible

lib-storage: Do not drop autocreate boxes when listing them

Otherwise we skip folders, because array_delete() is removing boxes while they're being iterated.

dovecot --build-options: Add missing linefeed

director: Add old host's up/down and vhost count parameters to director_flush_socket

The "down" status allows the script to determine whether it should try to
perform any work on the old host. The vhost count may be unnecessary, but
might be useful for some purpose.

fts: Do not attempt to deinitialize backend if it's not set

If FTS backend initialization fails or does not happen,
flist->backend might end up being NULL, and attempt to
deinitialize NULL won't end well.

lib: include inttypes.h to get PRIu64 & friends

Including it in lib.h allows all of the Dovecot code (as well as any
external plugins) to just use these macros without worrying about what
system headers to include.

dsync: Try to commit transactions every dsync_commit_msgs_interval messages

This was first attempted to be implemented by
ec0cc8fa647794e44a1afaa448f495a713048dc4, but it was later partially
reverted by 5973d496b16721af6d2c1fa90b016aacddf13554. This current
commit should fix its problems.

auth: If passdb/userdb ldap has blocking=yes, auth master shouldn't connect to ldap

util: script: Increased the major protocol version due to earlier changes.

util: script: Amended protocol with the ability to convey a set of environment variables that are passed to the script.

The acceptable environment variables are selected using the -e parameter; others are ignored silently.

util: script: Amended the protocol to pass arguments escaped to prevent problems with newlines.

Newlines are used as argument delimiters in the protocol, which will cause problems.

lib-program-client: local: Fixed use of unterminated string array of environment variables in exec_child().