lib-program-client: Fix memory access problem

lib-program-client: Backport test-program-client-unix

lib-program-client: Fix local tests

lib-program-client: Disable valgrind

For local test, we can't use valgrind,
it's too unreliable (breaks execution sometimes).

lib-program-client: Move version string to define

lib-program-client: Add switch_ioloop vfunc

This lets program-client backends do their own
special io loop switching.

lib-program-client: Use milliseconds in idle timeout

lib-program-client: Use child-wait

This makes the client waiting asynchronous.

lib-program-client: Disconnect asynchronously

lib-program-client: Use restrict-access

This makes the program-client execution behave
more consistent to the rest of the core code.

lib: Add reference counting to child_wait_pid

lib-storage: Make sure mailbox_uidvalidity_next() doesn't return 0.

0 isn't a valid IMAP UIDVALIDITY, and Dovecot treats 0 as "not assigned".

lib-dcrypt: add a test for password change

Test that you can encrypt a key with password, encrypt a key with the
password protected key, change the password, and still load a key that you
encrypted with the key encrypted using the first password.

doveadm: trim doveadm dump dcrypt-key input

dcrypt does not like extra newlines at the end of a key.

push-notification: Resolve indentation problem

push-notification: Re-open mailbox and sync it to get unseen count.

push-notification: Add unseen count to OX driver.

global: Handle broken Content-Type headers consistently.

1) Only the first Content-Type header is used. (Simpler than using the last.)

2) Invalid Content-Types are parsed as far as we can. This is mainly to make
sure they aren't treated as missing Content-Types, which could cause them to
become text/plain.

lib-imap: imap_bodystructure_parse() ignores text/plain flag mismatch for now.

Maybe we can enable it some day far into the future, but for now this just
causes unnecessary cache file rebuilds.

lib-imap: Don't write a broken Content-Type as text/plain to BODYSTRUCTURE

Mainly because it doesn't match with MESSAGE_PART_FLAG_TEXT in message_part.

config: Compare local_name case insensitive

DNS and certificate names should be compared
case insensitive.

lib: Add null_strcasecmp

auth-policy: Use request's pool instead of new pool

This fixes existing memory leak in auth_report,
which is caused by using separate memory pool
instead of request's pool.

Thank you for Andrea Carpani for extensive
debugging.

dict-sql: Use LIMIT in SQL queries with dict_iterate_set_limit()

lib-dict: Added dict_iterate_set_limit()

lib-dict: Duplicate result value in mempool

Duplicate the result value already in callback
to avoid it getting lost during async calls.

Reported & tested by Pierre Jaury.

lib-fs: Fixed fs_metadata_find() to actually work

lib-mail: Fixed infinite loop in istream-attachment-extractor

Broken by 7f74811b7. Pretty much any larger attachment going through
this istream had a good potential of going into an infinite loop.

lib-fs: Added FS_METADATA_WRITE_FNAME to allow renaming a file being written.

lib-fs: Added internal fs_metadata_find() helper function

lib-fs: Optimize changing FS_METADATA_INTERNAL_PREFIX metadata.

file->metadata_changed doesn't need to change in that situation. It's used
by fs-metawrap to find out if it needs to rewrite metadata during a write,
but internal metadata isn't written to its header.

sdbox: Removed duplicated code.

lib-dcrypt: change unit test ec curve to secp521r1

This curve is more common, so unit tests will pass on more machines.

lib-fs: Lazily initialize timings to save memory.

lib-storage: Use MAILDIR_INFO_SEP_S

Replace hardcoded : with MAILDIR_INFO_SEP_S

lib-dcrypt: Fix uninitialized memory

lib-dcrypt: str_new to t_str_new in some test-crypto tests

str_new from default_pool was not properly freed.

lib-dcrypt: enc_key and pw must be NULL on storing unencrypted private key

Add tests for password and key encryption, and get_info on them. Also
give examples of valid cipher values for password and key encryption in
dcrypt.h comment.

lib-dcrypt: fix comment of dovecot format v2 to use colon

Version 2 field separator was changed to colon.

auth: Compiler warning fix

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

uri-util: Added public function for parsing single percent encoding instances.

uri-util: Fixed assertion failure for invalid character in path segment.

lib-index: unlink_directory has no error

imap-hibernate: Adjust API usage for ostream

Revert "uri-util: Fixed assertion failure for invalid character in path segment."

This reverts commit dbbdcc1224f81a40e746a09e6d44af7c4f24ff71.

Revert "lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components."

This reverts commit 5b6dc4c53617362baf8713815621bebbeb38c8cc.

lib: Don't set ostream buffer as blocking

lib: Added ostream.blocking boolean

Similar to istream.blocking.

lib: ostream-file: Allow creating derived file output streams.

lib: ostream-file: Split o_stream_file_writev() from o_stream_file_writev_full().

lib: ostream-file: Renamed o_stream_writev() to o_stream_file_writev_full().

lib: ostream-file: Renamed iov_size to iov_count everywhere and made it unsigned int for consistency.

auth: Pass userdb fields to worker

If this is not done, then those userdb handlers
that need access to userdb variables for e.g.
interpolation, cannot access them.

auth: Don't re-insert userdb results from auth cache data back to cache.

This was also breaking TTLs for the cached userdb results, because each
re-insert reset the TTL.

lib-program-client: Fixed potential panic in test-program-client-local

If the run finished before io_loop_run(), it would panic with:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

lib-program-client: Fixed program_client_run() that succeeds rapidly.

program_client_run_async() could have called the callback with result=0
before io_loop_run(). This happened with local client.

Fixes in test-program-client-local:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

fs-metawrap: Don't assert-crash when trying to write an empty file.

Fixes:
Panic: file fs-metawrap.c: line 401 (fs_metawrap_write_stream_finish): assertion failed: (file->super_output->offset > 0 || file->super_output->stream_errno != 0)

lib-fs: Renamed internal i_stream_mail_read() to i_stream_fs_stats_read()

Just to make backtraces look clearer. Originally forgot to change this
after copy&pasting code from istream-mail.c

lib-program-client: Fixed running test-program-client-local as root.

uid/gid == -1 isn't treated as "don't change" in here.

auth: Fix default SASL bind for LDAP

User may configure Dovecot to use SASL bind as default bind method.  This can
be the case when ldapi:/// (or ldaps:///) with SASL EXTERNAL is used.
Currently, Dovecot returns LDAP connection to wrong bind state after first
successful auth bind, LDAP simple bind always used to rebind.  This may broke
setup when ACL in LDAP configured not to allow search/bind for such simple
bind.

auth: Introduce db_ldap_bind_sasl() function

Do refactoring in db_ldap_connect() before fixing the SASL bind issue in the next commit.

doveadm director kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm director kick: Escape username properly.

This only mattered if the username contained \001, TAB or LF characters,
which isn't normal.

director: Escape username when handling USER-KICK.

This could have caused problems if username parameter contained TABs or LFs,
which of course shouldn't normally happen.

doveadm proxy kick: Support multiple user parameters.

doveadm proxy kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm proxy list: Show all user_* fields in output.

*-login: Store user_* passdb fields to client->alt_usernames.

last-login: Don't execute last_login on IMAP unhibernation.

quota: Don't execute quota_over_script if userdb lookup was over 10 secs ago

imap-hibernate: Preserve mail_user.session_create_time through hibernation

lib-storage: Added mail_user.session_create_time and .session_restored

imap-hibernate: Properly fix hibernation

The previous fix did not properly fix hibernation
as the clients still dropped out of hibernate.
Also the tag used was no longer following. This
change will track tag changes and keeps the
hibernation process going on until the user enters
something else than DONE\r\ntag IDLE\r\n in same
packet.

cassandra: Added latency_aware_routing connect-parameter.

There's currently no way to change the default settings for it.

lmtp: Handle lmtp_user_concurrency_limit before lmtp_rcpt_check_quota

The quota lookup is more expensive, so it shouldn't be done unnecessarily.

doveadm-sync: Document end-date flag

doveadm-sync: Add end-date support

doveadm-sync: Document start date

lib-compression: Fixed compler warnings and wrongly triggering asserts.

Broken by 7f74811b7.

global: Make sure i_stream_read() calls handle 0 and -2 return values correctly.

log: Minor error logging and comment improvement.

imapc: Added imapc_max_line_length to limit maximum memory usage.

The default is still unlimited, but this should be set to something smaller
for untrusted servers.

lib-index: Added test-mail-index-modseq unit test

lib-storage: Fixed assert-crash in mailbox_save_cancel()

Broken by 05150df8f. Fixes:
Panic: file mail-storage.c: line 2137 (mailbox_save_context_reset): assertion failed: (ctx->saving)

lib: If connect() fails with EADDRNOTAVAIL, retry it 4 more times.

This is needed on busy systems. Nicely explained in:
https://idea.popcount.org/2014-04-03-bind-before-connect/

plugins/fts - make storage errors more informative

There are 3 different ways to fail ending a transaction (one
of which is itself just a record that something now unknown
previously failed). Identify which one in the logs.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: autoexpunge mailboxes with wildcards didn't work with namespace prefix.

lib-index: If view syncing sees index is reset, always mark the view as inconsistent.

Not only when the mailbox has messages, because that could still mess up
assumptions about UIDs. A somewhat better check could have been to do this
only when next_uid>1 (= there have been messages at some point in this
mailbox), but it's safer to just always mark the view as inconsistent.

lib-index: When finding a view is reset, don't attempt any further syncing.

This could cause various errors to be logged, such as:
Error: Append with UID 7103, but next_uid = 7242

lib-index: Fixed potential assert-crash when view syncing sees a reset marker.

It should never try to use main index map at that point, because
view_sync_have_expunges() looks changes only before the reset marker.
Fixes:

Error: Index .../dovecot.index lost messages without expunging (36 -> 27)

lib-storage: Make sure mailbox_sync*() fails if view is inconsistent afterwards.

imap: If mailbox is inconsistent after syncing, don't try to sync message counts.

This fixes (e.g. after doveadm force-resync):
Panic: Message count decreased

lib-http: uri: Removed unnecessary checking of percent encoding of query and fragment parts.

This is now always performed in lib/uri-util.

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

lib-test: Fix memory leak in test-ostream

lib-test: Fix illegal memory access in test-ostream

io: Add source filename

This will make debugging alot easier
when you can see what the filename is as well.

lib-test: Added test_ostream for testing nonblocking ostreams.

lib-test: Moved test_istream code to its own test-istream.c file.