lib-master: Use master_service_import_environment() for preserving environments

lib-master: master_service_import_environment() - use a data stack frame

This way the caller doesn't have to do it.

master: Move master_set_import_environment() to lib-master

master: Append to existing DOVECOT_PRESERVE_ENVS instead of overwriting it

master: Move import_environment setting to lib-master's master_service_settings

lib-http: Try to reuse memory for host->ips allocation.

If the host already had an IP, most of the time ips_count doesn't change
anymore.

lib: Fix test-path-util unit test with some cwd path lengths

The component-component directory might not have been created at all,
in which case the following symlink creations would fail since they were
already created to the same directory in a previous test.

mail-crypt-acl: Fix assert-crash due to missing namespace initialization

This was broken by e031d9aaae59a9f79710dc1138b76b69272615a3.

quota: count backend - Don't ignore mailbox list iteration errors

lib: Fix test-path-util.c formatting to conform coding style

lib: Fix infinite loop in path-util.c

Infinite loop was reached if the path was longer than
128 bytes, and the 128 boundary was in middle of path
name component.

quota: Fix negative quota_warnings with count backend

For example this never triggered:

  quota_warning = -messages=100%% quota-warning %u -100

The change to quota_alloc() to update the count_used doesn't seem to
actually fix anything right now, but it makes the code more correct.

lib-storage: Fix sort index writing to not leave sort_id=0 gaps

This fixes errors like:
Error: INBOX: Broken sort-f indexes, resetting

lib-storage: Add details to "Broken sort-* indexes" error

dsync: Display namespace locations on init in debug mode

This simplifies debugging as you can more easily tell
which brain is using which mail location.

lib-storage: Fix setting the correct cache record corrupted

It was mixing UIDs and sequences, so a wrong mail could have been set
corrupted or it could have crashed with:

Panic: file mail-index-transaction-update.c: line 1018 (mail_index_update_ext): assertion failed: (seq > 0 && (seq <= mail_index_view_get_messages_count(t->view) || seq <= t->last_new_seq))

quota: Remove unused quota_free()

quota: Fix quota_vsizes=yes to work with all backends

lib-storage: simplify mailbox_get_path_to()

Instead of special casing MAILBOX_LIST_PATH_TYPE_{MAILBOX,INDEX}, we can use
a common helper to remove code duplication.

imapc: Don't send UID FETCH 1:* after SELECT if mailbox is empty

lib-storage: test-mail-search-args-simplify - test with initialized args

lib-storage: mail_search_args_simplify() - Fix merging already-initialized keywords

It was deinitializing the arg that was kept instead of the one being removed.

lib-storage: Fix mail_search_args_simplify() to not deinit too many args

Removing an arg should deinit it, but not its following siblings.

lib-storage: Add mail_search_arg_one_deinit()

master: Don't include imap-hibernate when counting auth's max client_limit

imap-hibernate doesn't do any auth connections, so it doesn't need it.
It's a bit ugly to add an explicit service name comparison here, but
there didn't really seem to be many other good choices:

 * Could have removed protocol=imap from imap-hibernate. I was close to
doing this, but maybe it's better that imap-only processes would have
their protocol set to "imap".

 * Could have added a new service type, but seems pretty unnecessary to add
some kind of a "nonauth" just for this. A reverse "needs-auth" might have
been ok though.

Perhaps in future we'll implement proper dependencies across services and
those dependencies could be used to calculate this limit more precisely.

lib: Add unit tests for p_strdup*()

lib-storage: Fix crash in mail_get_header_stream() when its previous stream wasn't at EOF

At least this could have happened when indexes were disabled and running:

FETCH 1 (envelope body.peek[header.fields (foo)] bodystructure)

Fixes:
Panic: file index-mail-headers.c: line 198 (index_mail_parse_header_init): assertion failed: (!mail->data.header_parser_initialized)

global: Use i_realloc_type() wherever possible

lib: Add test-mempool unit test.

It verifies that the p_new() and p_realloc_type() handle overflows
correctly. test-malloc-overflow already does this for the low-level
MALLOC_*() macros, but here we're cheking that the actually used
memory allocation macros also work.

lib: Add i_realloc_type() for i_realloc() that checks for overflows

imapc: Fix potential crash if initial sync fails.

Happened at least if mailbox had 0 mails and a failing mailbox_sync() was
called twice.

Fixes:
Panic: file imapc-sync.c: line 477 (imapc_sync_index): assertion failed: (mbox->sync_fetch_first_uid == 1)

lib-mail: message_address_parse() - Fix fill_missing==TRUE handling

Mainly MISSING_DOMAIN wasn't set in all situations. Also added unit tests.

lib-mail: message_address_parse() - Handle invalid standalone phrases better

We'll treat "local-part" (without quotes) as a mailbox even without
@domain, but if it continues with anything or if it's a quoted-string,
we'll treat it as a display-name instead.

This is probably better than just converting everything to display-name,
since there are likely to exist headers like "To: localuser"

lib-mail: Improve test-message-address to test invalid addresses in lists

Test in both a group and list of addresses.

lib-mail: message_address_parse() - don't stop at <> when parsing address lists

And similarly don't stop at <@domain>

lib-mail: message_address_parse() - don't stop at invalid addresses when parsing group

Also the end-group's message_address shouldn't have invalid_syntax=TRUE,
except when we didn't actually find the ending ';'

lib-mail: message_address_parse() - Fix reading out-of-bounds read on invalid input

lib-mail: message_address_parse() - Remove unnecessary NULL checks

message_address_parse() always initialized rfc822_parser_init() with
last_comment string.

lib-mail: test-message-address - add more and better organized tests

lib-mail: message_address_parse() - Add INVALID_ROUTE/SYNTAX_ERROR only if fill_missing==TRUE

This allows message_address_write() to write the parsed invalid address in a
way that at least somewhat resembles the original input.

lib-mail: message_address_write() - Write empy username as ""

We can't output <@domain> because that conflicts with the <@route:...>
syntax. Also ""@domain seems to be a valid address.

lib-mail: message_address_write() - Always write <user@domain> as output

This is the standard format nowadays, so don't convert <user@domain> into
plain user@domain.

lib-mail: message_address_write() - Don't write empty <>

lib-mail: message_address_write() - Don't add '@' if domain is missing

lib-mail: test-message-address - Test also writing invalid addresses

lib-mail: test-message-address cleanup

Merge input and output into the same struct to make it clearer.

lib: test for guid_128_generate() time handling

Make sure that guids always increase regardless of what is happening to
the time.

lib: guid_128_generate() shouldn't generate invalid timestamps

The nsec validity check must take into account the soon-to-be-done increment.

lib: guid_128_generate() needs to correctly convert usecs to nsecs

The timestamp in the guid starts off with real time, but "runs ahead" if a lot
of guids are generated.  If not many guids are being generated, the timestamp
is fast-forwarded to the current ioloop_timeval.  The buggy comparison prevented
fast forwarding when tv_sec matched, but tv_nsec value was > 0 (which
was true most of the time).

quota: assertion for *args != NULL is added in order to avoid warning from static analyzer and *args[0] changed to (*args)[0]

dict-cdb: Add simple iteration support

lib-index: Fix reset_id handling in mail_cache_get_missing_reason() cache

Broken by bd897f82a5d9b00ba256b462d2056c2dc7df257c

lib: test-utc-mktime: Remove duplicate test

Also fixes a compiler warning when time_t is signed 32bit.

lib-storage: Fix assert-crash in SORT caused by earlier changes

Broken by 0a6a527f0c42b5478d80ac53ab357885676fd516

Fixes:
Panic: file index-sort-string.c: line 668 (index_sort_add_ids_range): assertion failed: (str != NULL)

lib-oauth2: Make sure fields are always initialized

lib-oauth2: Accept empty responses

lib-index: Add cache to mail_cache_get_missing_reason()

This avoids excessive CPU usage when it's called in a loop for many mails.

lib-index: mail_cache_get_missing_reason() - Minor code cleanup

lib-storage: Optimize error handling for SORT

If a lot of mails have failed in a large mailbox, this check reduces the
CPU usage significantly.

lib-storage: Sort code cleanup - Change index_sort_get_string() to return bool

None of the callers cared about the difference between "expunged" vs
"error".

lib-storage: Sort code cleanup - pass node to index_sort_get_string()

lib-storage: Make sure istream-mail doesn't replace an existing storage error

I'm not aware of it actually having broken anything, so this is just for
extra safety.

lib-storage: Fix SORT error message when reaching mail_sort_max_read_count

It should have been:
NO [LIMIT] Requested sort would have taken too long

Instead it was just:
NO [SERVERBUG] Mail field not cached

It was broken for CC, FROM, TO, SUBJECT, DISPLAYFROM and DISPLAYTO.
The numeric sorting was working correctly.

push-notification: Fix crash in OX driver's deinit

The http_client doesn't always exist.

auth: Access always first entry when flushing failures

The code is deleting the first item after accessing
it, and then moving forward. It will eventually go
beyond the array and get NULL ptr and fail.

Instead we need to always get the first item,
since the array deletion is moving the queued items
forward.

Broken by e18b4e41

lib-auth: Code cleanup - remove unnecessary code

Besides being unnecessary, it was also obsolete since not all the strings
were p_strdup()ed.

pop3: send back auth reply sooner

If possible (i.e., pop3_lock_session=no), we can send back the OK
response earlier.

pop3: initialize namespaces explicitly

(instead of relying on mail user initialization to instantiate them for
us)

pop3: client_create_from_input shouldn't process input

This makes the pop3 code resemble the imap code more.  Making the subsequent
changes easier.

pop3: client_create_from_input should return the client struct

This makes the code more similar to imap's, making subsequent changes
easier.

pop3: rename login_client_connected() client arg to login_client

This makes the next commit cleaner.

pop3: move pop3 session locking out of client_create

As a result, we can directly return the client structure (instead of
passing it back via a _r arg).

This makes the pop3 client_create look more like the imap version.

lib-imap-client: Fix test-imapc-client unit test to work on OSX

connect() to port 0 fails in it, so for the "connect failure" test first
open a random free listener port and then close it. Hopefully nothing else
reopens it in the mean time.

lib: test-path-util unit test - small fixes and cleanups

Don't use /tmp, especially because on OSX it's a symlink to /private/tmp/,
which causes these tests to fail.

director: Use longer timeout for receiving user list in handshake

The sender also has a send timeout, so this allows the sender to abort
early and give a nicer error message.

director: Log more connection state information on handshaking errors

director: Use more accurate timestamps for handshake timeout logging

There could be some time between the create, connect and when ME was
received.

director: Fix "sending handshake timed out" error to be actually logged

io was never NULL here, so it was never logged.

director: Fix handshake timeout lengths

They weren't too bad, but also they weren't what the #defines described.
Also added a separate connect() timeout.

quota: Fix imapc backend not to try to find out mail's size.

This removes unnecessary FETCH RFC822.SIZE command sent to server when
expunging mails.

imapc: SEARCH - Don't add parenthesis around OR

There's no need to write "(OR a b)" when "OR a b" works just the same.

lib-storage: mail_search_args_to_imap() - don't add parenthesis around OR

There's no need to write "(OR a b)" when "OR a b" works just the same.

lib: Use unix streams with connection when using unix socket

This makes it easier to send file descriptors over connection

auth: Don't lose all forward_ fields if the first passdb lookup fails.

lib-mail: Add qp encoder

lib-mail: Link test binaries to libmail.la instead of .lo files

mail-filter: tabescape args, this is required by script client 4

welcome: tabescape args, this is required by script client 4

global: Update script client version number

Broken by b383ed51d75bce0f69f126bc4ff7192985ca30f2

auth: Fix crash on passdb lookup when all passdbs were skipped

Finishes the fix in 614f5b6febaf3c825f9200ab3b62d9d047197b0e

Fixes:
auth: Panic: file auth-request.c: line 2493 (get_log_prefix): assertion failed: (auth_request->mech != NULL)

lib-storage: Fix LAYOUT=fs potentially not ignoring ACLs when requested

fs_get_existence_info_flag() was only being called with LAYOUT=fs and
Maildir combination. This mainly affected that combination when using
mailbox_list_index=yes and trying to list mailboxes with ACL checking
disabled.

lib-storage: Fix ACL in parent mailbox potentially hiding its children.

fs_get_existence_info_flag() was only being called with LAYOUT=fs and
Maildir combination, so only it was broken if the parent mailbox wasn't
visible but its children were.

lib-storage: fs_list_get_mailbox_flags() - Return mailbox files as selectable

Avoids a second stat() later on, which would do the same anyway.

lib-storage: fs_list_get_mailbox_flags() - Don't assume directories always have children.

This makes the directory handling code equivalent for type==UNKNOWN and
type==DIR.

lib-storage: fs_list_get_mailbox_flags() - Add comments

lib-storage: fs_list_get_mailbox_flags() - Reorganize code

No functional changes.

acl: Global ACL file was parsed as if it was local ACL file

This caused some of the ACL handling not work exactly as expected.

lib-storage: Make mailbox_list_iter_init_autocreate() static again

It's no longer needed elsewhere.

lib-storage: Fix mailbox_list_index=yes + ACLs + auto=subscribe mailboxes

If the auto=subscribe mailbox didn't have a lookup ACL, it shouldn't have
been listed. This didn't work properly, because ACL plugin initialized the
autocreate_ctx only for the index iterator, while the autoboxes were
listed using the backend iterator. Fixed by not creating index iterator at
all when doing a passthrough iteration.

lib-storage: Cleanup - Don't use ctx in iter_use_index()

Shrinks the following change.