lib-storage: Fix sort index writing to not leave sort_id=0 gaps

This fixes errors like:
Error: INBOX: Broken sort-f indexes, resetting

lib-storage: Add details to "Broken sort-* indexes" error

lib-storage: Fix setting the correct cache record corrupted

It was mixing UIDs and sequences, so a wrong mail could have been set
corrupted or it could have crashed with:

Panic: file mail-index-transaction-update.c: line 1018 (mail_index_update_ext): assertion failed: (seq > 0 && (seq <= mail_index_view_get_messages_count(t->view) || seq <= t->last_new_seq))

quota: Fix negative quota_warnings with count backend

For example this never triggered:

  quota_warning = -messages=100%% quota-warning %u -100

The change to quota_alloc() to update the count_used doesn't seem to
actually fix anything right now, but it makes the code more correct.

lib: Use unix streams with connection when using unix socket

This makes it easier to send file descriptors over connection

quota: Fix imapc backend not to try to find out mail's size.

This removes unnecessary FETCH RFC822.SIZE command sent to server when
expunging mails.

lib-imap-client: Fix test-imapc-client unit test to work on OSX

connect() to port 0 fails in it, so for the "connect failure" test first
open a random free listener port and then close it. Hopefully nothing else
reopens it in the mean time.

imapc: Don't send UID FETCH 1:* after SELECT if mailbox is empty

imapc: SEARCH - Don't add parenthesis around OR

There's no need to write "(OR a b)" when "OR a b" works just the same.

lib-storage: mail_search_args_to_imap() - don't add parenthesis around OR

There's no need to write "(OR a b)" when "OR a b" works just the same.

lib-mail: Fix compiler warnings

global: Use i_realloc_type() wherever possible

lib: Add test-mempool unit test.

It verifies that the p_new() and p_realloc_type() handle overflows
correctly. test-malloc-overflow already does this for the low-level
MALLOC_*() macros, but here we're cheking that the actually used
memory allocation macros also work.

lib: Add i_realloc_type() for i_realloc() that checks for overflows

lmtp: Removed (Dovecot) from Received header.

Some people want to hide it, and I don't really see much benefit in
including it anyway. So lets just hide it from everyone.

imapc: Fix potential crash if initial sync fails.

Happened at least if mailbox had 0 mails and a failing mailbox_sync() was
called twice.

Fixes:
Panic: file imapc-sync.c: line 477 (imapc_sync_index): assertion failed: (mbox->sync_fetch_first_uid == 1)

lib: test for guid_128_generate() time handling

Make sure that guids always increase regardless of what is happening to
the time.

lib: guid_128_generate() shouldn't generate invalid timestamps

The nsec validity check must take into account the soon-to-be-done increment.

lib: guid_128_generate() needs to correctly convert usecs to nsecs

The timestamp in the guid starts off with real time, but "runs ahead" if a lot
of guids are generated.  If not many guids are being generated, the timestamp
is fast-forwarded to the current ioloop_timeval.  The buggy comparison prevented
fast forwarding when tv_sec matched, but tv_nsec value was > 0 (which
was true most of the time).

lib-index: Fix reset_id handling in mail_cache_get_missing_reason() cache

Broken by bd897f82a5d9b00ba256b462d2056c2dc7df257c

lib-storage: Fix assert-crash in SORT caused by earlier changes

Broken by 0a6a527f0c42b5478d80ac53ab357885676fd516

Fixes:
Panic: file index-sort-string.c: line 668 (index_sort_add_ids_range): assertion failed: (str != NULL)

lib-index: Add cache to mail_cache_get_missing_reason()

This avoids excessive CPU usage when it's called in a loop for many mails.

lib-index: mail_cache_get_missing_reason() - Minor code cleanup

lib-storage: Optimize error handling for SORT

If a lot of mails have failed in a large mailbox, this check reduces the
CPU usage significantly.

lib-storage: Sort code cleanup - Change index_sort_get_string() to return bool

None of the callers cared about the difference between "expunged" vs
"error".

lib-storage: Sort code cleanup - pass node to index_sort_get_string()

lib-storage: Make sure istream-mail doesn't replace an existing storage error

I'm not aware of it actually having broken anything, so this is just for
extra safety.

lib-storage: Fix SORT error message when reaching mail_sort_max_read_count

It should have been:
NO [LIMIT] Requested sort would have taken too long

Instead it was just:
NO [SERVERBUG] Mail field not cached

It was broken for CC, FROM, TO, SUBJECT, DISPLAYFROM and DISPLAYTO.
The numeric sorting was working correctly.

lib-mail: Add qp encoder

lib-mail: Link test binaries to libmail.la instead of .lo files

lib-storage: Fix LAYOUT=fs potentially not ignoring ACLs when requested

fs_get_existence_info_flag() was only being called with LAYOUT=fs and
Maildir combination. This mainly affected that combination when using
mailbox_list_index=yes and trying to list mailboxes with ACL checking
disabled.

lib-storage: Fix ACL in parent mailbox potentially hiding its children.

fs_get_existence_info_flag() was only being called with LAYOUT=fs and
Maildir combination, so only it was broken if the parent mailbox wasn't
visible but its children were.

lib-storage: fs_list_get_mailbox_flags() - Return mailbox files as selectable

Avoids a second stat() later on, which would do the same anyway.

lib-storage: fs_list_get_mailbox_flags() - Don't assume directories always have children.

This makes the directory handling code equivalent for type==UNKNOWN and
type==DIR.

lib-storage: fs_list_get_mailbox_flags() - Add comments

lib-storage: fs_list_get_mailbox_flags() - Reorganize code

No functional changes.

acl: Global ACL file was parsed as if it was local ACL file

This caused some of the ACL handling not work exactly as expected.

lib-storage: Make mailbox_list_iter_init_autocreate() static again

It's no longer needed elsewhere.

lib-storage: Fix mailbox_list_index=yes + ACLs + auto=subscribe mailboxes

If the auto=subscribe mailbox didn't have a lookup ACL, it shouldn't have
been listed. This didn't work properly, because ACL plugin initialized the
autocreate_ctx only for the index iterator, while the autoboxes were
listed using the backend iterator. Fixed by not creating index iterator at
all when doing a passthrough iteration.

lib-storage: Cleanup - Don't use ctx in iter_use_index()

Shrinks the following change.

lib-storage: Add \NoInferiors flag to autocreated mailboxes with mbox

Once the mailboxes get autocreated, the \NoInferiors flag is added anyway.

lib-storage: Don't list duplicate autocreated mailboxes' parents

acl: Skip auto=create|subscribe mailboxes that don't have lookup-right

Removing them entirely from the boxes and box_sets arrays in the list
context treats them as if they weren't configured at all. This way they
don't need any other special code.

lib-storage: Add mailbox-list-iter-private.h with autocreate context structs

Needed for the following ACL change.

config: When showing an "Unknown setting" error, show the full section path

For example with:

service foo {
  inet_listener bar {
    key = value
  }
}

Instead of showing just:

Unknown setting: key

Show the entire path:

Unknown setting: service { inet_listener { key

Any filters won't be shown, because they don't affect the result.

lib-storage: Apply mailbox_list_iter_autocreate_filter on mailbox_list_index_iter_next

It skips mailbox_list_iter_next, so it needs to be applied here as well.

lib-storage: Rename autocreate_iter_existing to mailbox_list_iter_autocreate_filter

It makes next commit possible

lib-storage: Do not drop autocreate boxes when listing them

Otherwise we skip folders, because array_delete() is removing boxes while they're being iterated.

lib-master,login-common: Add dual cert support

Adds new settings ssl_alt_cert and ssl_alt_key

lib-dict: Update cdb_dict_init to match with new API

lib: Added ostream-unix for writing fd sockets via ostream.

push-notification: Fix crash in OX driver's deinit

The http_client doesn't always exist.

auth: Access always first entry when flushing failures

The code is deleting the first item after accessing
it, and then moving forward. It will eventually go
beyond the array and get NULL ptr and fail.

Instead we need to always get the first item,
since the array deletion is moving the queued items
forward.

Broken by e18b4e41

auth: Fix vpopmail for 2.2

quota: Update version number for script client

mail-filter: tabescape args, this is required by script client 4

welcome: tabescape args, this is required by script client 4

global: Update script client version number

Broken by b383ed51d75bce0f69f126bc4ff7192985ca30f2

auth: Fix unescaping tabs in auth client input.

This mainly broke forward_fields when there was more than one of them.

auth: Fix crash on passdb lookup when all passdbs were skipped

Finishes the fix in 614f5b6febaf3c825f9200ab3b62d9d047197b0e

Fixes:
auth: Panic: file auth-request.c: line 2493 (get_log_prefix): assertion failed: (auth_request->mech != NULL)

lib-storage: Fix compiler warning in test-mail-storage

lib-storage: Fix crash in test-mail-storage

mail-crypt-plugin: Set copy-hook only if save_version > 0

Otherwise we might use it in read-only mode, too.

mail-crypt: Re-encrypt mails when copying/moving

Otherwise the mail cannot be opened after moving

lib-storage: Fix memory leak in test-mail-storage

lib-storage: Add unit test for set/get/push/pop storage error operations

lib-storage: Fix mail_storage_set_critical() when input parameter is an old internal error

This could have caused garbage in the error string.

lib-storage: Fix mail_storage_last_error_push/pop() to work with internal errors

imap: Fix unhibernation after earlier change

imap NOTIFY: Flush any pending notifications on NOOP

This is mainly to allow testing NOTIFY easily with imaptest scripts.
This is cheap anyway, because mailbox_list_notify_flush() doesn't do any
syscalls when there's no work.

lib-storage: Implement mailbox_list_notify_flush()

This flushes any pending notifications. For now it only checks if there's
a pending notification waiting for a timeout. It could also stat() the
files to make sure, but that's probably unnecessary.

lib-storage: Explicitly name function pointers in mailbox lists

This allows adding more fields to struct mailbox_list_vfuncs without
compiler warnings.

lib-storage: Always update highestmodseq in mailbox list index

This is required for mailbox-list-notify API to work correctly. For
example IMAP NOTIFY session with CONDSTORE enabled could be listening for
FlagChanges, but another session without CONDSTORE enabled could be updating
flags in a mailbox that has never been opened with CONDSTORE enabled.
NOTIFY wouldn't see this change, unless it was always written to
dovecot.list.index.

lib-storage: Fix mailbox list index notifications when modseqs aren't enabled.

No notifications were sent if highest_modseqs weren't updated in mailbox
list index.

imap: login reply should be sent sooner

lib-http: client: Fixed race condition between DNS refresh lookup and a soft connection timeout.

The refreshing DNS lookup cleared all the IPs, but the soft connection timeout (and maybe other code) still relied on them.
Adding tests everywhere for host->ips_count == 0 is annoying, so I changed the DNS lookup code such that the stale IPs remain present while the DNS lookup is being performed.
The pending lookup prevents new connections through http_client_host_refresh(), so this will not create potentially useless connections.

lib-master: Replace listeners with /dev/null in SIGQUIT instead of closing

This should be somewhat safer.

lib-index: Fix crash in mail_transaction_log_view_set_all() error handling

lib-index: Fix start_offset > sync_offset error handling for in-memory indexes

auth: Fix linking duplicate .a libraries to unit test

util: script: Increased the major protocol version due to earlier changes.

util: script: Amended protocol with the ability to convey a set of environment variables that are passed to the script.

The acceptable environment variables are selected using the -e parameter; others are ignored silently.

util: script: Amended the protocol to pass arguments escaped to prevent problems with newlines.

Newlines are used as argument delimiters in the protocol, which will cause problems.

lib-program-client: local: Fixed use of unterminated string array of environment variables in exec_child().

lib-program-client: Made the test suite ignore the protocol version.

lib-program-client: Gave variables pointing to a program-client more logical names.

Was still based on when it was called the script-client.

imap: Move struct client_sync_context to imap-sync-private.h and add imap_ prefix

imap: Allow plugins to replace existing FETCH handlers

They can use imap_fetch_handler_lookup() to get the old init() function.
Then they can imap_fetch_handler_unregister() the existing handler and
register a new handler, which can do its own work and call the old init()
if needed.

lib-index: Improve "start_offset > current sync_offset" error message.

Try to make it clear what is the root cause of it.

lib-index: mail_transaction_log_file_get_highest_modseq_at() - return error string

This can help figuring out why some error happened when more context is
provided in the caller's error messages.

lib-index: Add missing error logging for mail_index_view_sync_begin()

lib-index: mail_transaction_log_file_map() - return reason/error string

This can help figuring out why some error happened when more context is
provided in the caller's error messages.

lib-index: mail_transaction_log_view_set_all() - don't entirely ignore corrupted logs

Ignore them only if it's followed by an index reset.

lib-storage: Fix mailbox list index records without guid having invalid flags

With LAYOUT=index the mailbox is found with its GUID. If it doesn't exist,
the mailbox has to be either \NonExistent or \NoSelect. It probably doesn't
make much difference which one, so we'll fix them by adding \NoSelect.

With other layouts the GUID is allowed to be empty, because it can be looked
up from the actual mailbox.

lib-storage: Fix mailbox list index records with name_id=0

name_id=0 isn't valid, so it needs to be changed and writen to the disk.
The write-to-disk part wasn't working.

lib: Fix memory leak in test-istream-concat

lib: Fix crash when seeking istream-concat to EOF and trying to read it

imapc: Make sure a valid UIDVALIDITY is returned by SELECT

Fixes errors such as:
Error: Synchronization corrupted index header (in-memory index): uidvalidity=0, but next_uid=9

imapc: Fix assert-crash if server doesn't send EXISTS reply to SELECT

Fixes:
Panic: file imapc-sync.c: line 477 (imapc_sync_index): assertion failed: (mbox->sync_fetch_first_uid == 1)

lib-imap-client: Change server IP only on connect() failures

Also log an warning-level message about it. This is mainly useful to see
that a slow connection could be caused by a connect() timeout. Since more
IPs are still available, it's not yet an error.