lib-program-client: Use milliseconds in idle timeout

lib-program-client: Use child-wait

This makes the client waiting asynchronous.

lib-program-client: Disconnect asynchronously

lib-program-client: Use restrict-access

This makes the program-client execution behave
more consistent to the rest of the core code.

lib: Add reference counting to child_wait_pid

lib-storage: Make sure mailbox_uidvalidity_next() doesn't return 0.

0 isn't a valid IMAP UIDVALIDITY, and Dovecot treats 0 as "not assigned".

lib-dcrypt: add a test for password change

Test that you can encrypt a key with password, encrypt a key with the
password protected key, change the password, and still load a key that you
encrypted with the key encrypted using the first password.

doveadm: trim doveadm dump dcrypt-key input

dcrypt does not like extra newlines at the end of a key.

lib-fs: Fixed fs_metadata_find() to actually work

imapc: don't mix positional and designated initialization

imapc: use serialized settings as unique_root_dir

Without this, it is not possible to instantiate multiple imapc storages.
Any attempts to will result in multiple namespaces sharing the same storage,
regardless of if that was the intention.

lib-storage: treat empty root_dir as an empty string

push-notification: Resolve indentation problem

push-notification: Re-open mailbox and sync it to get unseen count.

push-notification: Add unseen count to OX driver.

global: Handle broken Content-Type headers consistently.

1) Only the first Content-Type header is used. (Simpler than using the last.)

2) Invalid Content-Types are parsed as far as we can. This is mainly to make
sure they aren't treated as missing Content-Types, which could cause them to
become text/plain.

lib-imap: imap_bodystructure_parse() ignores text/plain flag mismatch for now.

Maybe we can enable it some day far into the future, but for now this just
causes unnecessary cache file rebuilds.

lib-imap: Don't write a broken Content-Type as text/plain to BODYSTRUCTURE

Mainly because it doesn't match with MESSAGE_PART_FLAG_TEXT in message_part.

config: Compare local_name case insensitive

DNS and certificate names should be compared
case insensitive.

lib: Add null_strcasecmp

auth-policy: Use request's pool instead of new pool

This fixes existing memory leak in auth_report,
which is caused by using separate memory pool
instead of request's pool.

Thank you for Andrea Carpani for extensive
debugging.

dict-sql: Use LIMIT in SQL queries with dict_iterate_set_limit()

dict-sql: Error handling fix & code cleanup

Only the first sql_dict_iterate_next_query() error was handled correctly.

lib-dict: Added dict_iterate_set_limit()

lib-dict: Duplicate result value in mempool

Duplicate the result value already in callback
to avoid it getting lost during async calls.

Reported & tested by Pierre Jaury.

lib-mail: Fixed infinite loop in istream-attachment-extractor

Broken by 7f74811b7. Pretty much any larger attachment going through
this istream had a good potential of going into an infinite loop.

lib-fs: Added FS_METADATA_WRITE_FNAME to allow renaming a file being written.

lib-fs: Added internal fs_metadata_find() helper function

lib-fs: Optimize changing FS_METADATA_INTERNAL_PREFIX metadata.

file->metadata_changed doesn't need to change in that situation. It's used
by fs-metawrap to find out if it needs to rewrite metadata during a write,
but internal metadata isn't written to its header.

sdbox: Removed duplicated code.

lib-dcrypt: change unit test ec curve to secp521r1

This curve is more common, so unit tests will pass on more machines.

lib-fs: Lazily initialize timings to save memory.

lib-storage: Use MAILDIR_INFO_SEP_S

Replace hardcoded : with MAILDIR_INFO_SEP_S

lib-dcrypt: Fix uninitialized memory

lib-dcrypt: str_new to t_str_new in some test-crypto tests

str_new from default_pool was not properly freed.

lib-dcrypt: enc_key and pw must be NULL on storing unencrypted private key

Add tests for password and key encryption, and get_info on them. Also
give examples of valid cipher values for password and key encryption in
dcrypt.h comment.

lib-dcrypt: fix comment of dovecot format v2 to use colon

Version 2 field separator was changed to colon.

INSTALL: Use markdown style

README: Use markdown style

git: Ignore README and INSTALL

configure: Detect pandoc for building documentation

lib-program-client: Do not use /tmp in testing

auth: Pass userdb fields to worker

If this is not done, then those userdb handlers
that need access to userdb variables for e.g.
interpolation, cannot access them.

auth: Don't re-insert userdb results from auth cache data back to cache.

This was also breaking TTLs for the cached userdb results, because each
re-insert reset the TTL.

lib-program-client: Fixed potential panic in test-program-client-local

If the run finished before io_loop_run(), it would panic with:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

lib-program-client: Fixed program_client_run() that succeeds rapidly.

program_client_run_async() could have called the callback with result=0
before io_loop_run(). This happened with local client.

Fixes in test-program-client-local:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

fs-metawrap: Don't assert-crash when trying to write an empty file.

Fixes:
Panic: file fs-metawrap.c: line 401 (fs_metawrap_write_stream_finish): assertion failed: (file->super_output->offset > 0 || file->super_output->stream_errno != 0)

lib-fs: Renamed internal i_stream_mail_read() to i_stream_fs_stats_read()

Just to make backtraces look clearer. Originally forgot to change this
after copy&pasting code from istream-mail.c

lib-program-client: Fixed running test-program-client-local as root.

uid/gid == -1 isn't treated as "don't change" in here.

auth: Compiler warning fix

auth: Fix default SASL bind for LDAP

User may configure Dovecot to use SASL bind as default bind method.  This can
be the case when ldapi:/// (or ldaps:///) with SASL EXTERNAL is used.
Currently, Dovecot returns LDAP connection to wrong bind state after first
successful auth bind, LDAP simple bind always used to rebind.  This may broke
setup when ACL in LDAP configured not to allow search/bind for such simple
bind.

auth: Introduce db_ldap_bind_sasl() function

Do refactoring in db_ldap_connect() before fixing the SASL bind issue in the next commit.

doveadm director kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm director kick: Escape username properly.

This only mattered if the username contained \001, TAB or LF characters,
which isn't normal.

director: Escape username when handling USER-KICK.

This could have caused problems if username parameter contained TABs or LFs,
which of course shouldn't normally happen.

doveadm proxy kick: Support multiple user parameters.

doveadm proxy kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm proxy list: Show all user_* fields in output.

*-login: Store user_* passdb fields to client->alt_usernames.

last-login: Don't execute last_login on IMAP unhibernation.

quota: Don't execute quota_over_script if userdb lookup was over 10 secs ago

imap-hibernate: Preserve mail_user.session_create_time through hibernation

lib-storage: Added mail_user.session_create_time and .session_restored

imap-hibernate: Properly fix hibernation

The previous fix did not properly fix hibernation
as the clients still dropped out of hibernate.
Also the tag used was no longer following. This
change will track tag changes and keeps the
hibernation process going on until the user enters
something else than DONE\r\ntag IDLE\r\n in same
packet.

lib-program-client: Compiler warning fixes

cassandra: Added latency_aware_routing connect-parameter.

There's currently no way to change the default settings for it.

lmtp: Handle lmtp_user_concurrency_limit before lmtp_rcpt_check_quota

The quota lookup is more expensive, so it shouldn't be done unnecessarily.

lib-program-client: Add test suite for program client

lib-program-client: Rename remote to unix

This is to make more clear that the call requires
unix path and does not support TCP. There will be
TCP based API too later.

lib-program-client: Expose asynchronous API

lib-program-client: Whitespace fix

doveadm-sync: Document end-date flag

doveadm-sync: Add end-date support

doveadm-sync: Document start date

lib-compression: Fixed compler warnings and wrongly triggering asserts.

Broken by 7f74811b7.

global: Make sure i_stream_read() calls handle 0 and -2 return values correctly.

log: Minor error logging and comment improvement.

imapc: Added imapc_max_line_length to limit maximum memory usage.

The default is still unlimited, but this should be set to something smaller
for untrusted servers.

lib-index: Added test-mail-index-modseq unit test

lib-test: Fixed assert-crash in test_exit() with --enable-static-checker

Fixes:
Panic: Missing t_pop() call

lib: Simplify static checker's job for i_free() macro.

lib: [ip]_free(mem) is now also guaranteed to set mem=NULL

It was already doing it, but updated the macros and comments to make it
clear that this won't change in future. Changing this would only make it
more likely that bugs occur and the performance improvements would be
close to nonexistent.

lib-storage: Fixed assert-crash in mailbox_save_cancel()

Broken by 05150df8f. Fixes:
Panic: file mail-storage.c: line 2137 (mailbox_save_context_reset): assertion failed: (ctx->saving)

lib-program-client: Add program-client from pigeonhole

lib: If connect() fails with EADDRNOTAVAIL, retry it 4 more times.

This is needed on busy systems. Nicely explained in:
https://idea.popcount.org/2014-04-03-bind-before-connect/

plugins/fts - make storage errors more informative

There are 3 different ways to fail ending a transaction (one
of which is itself just a record that something now unknown
previously failed). Identify which one in the logs.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: autoexpunge mailboxes with wildcards didn't work with namespace prefix.

lib-index: If view syncing sees index is reset, always mark the view as inconsistent.

Not only when the mailbox has messages, because that could still mess up
assumptions about UIDs. A somewhat better check could have been to do this
only when next_uid>1 (= there have been messages at some point in this
mailbox), but it's safer to just always mark the view as inconsistent.

lib-index: When finding a view is reset, don't attempt any further syncing.

This could cause various errors to be logged, such as:
Error: Append with UID 7103, but next_uid = 7242

lib-index: Fixed potential assert-crash when view syncing sees a reset marker.

It should never try to use main index map at that point, because
view_sync_have_expunges() looks changes only before the reset marker.
Fixes:

Error: Index .../dovecot.index lost messages without expunging (36 -> 27)

lib-storage: Make sure mailbox_sync*() fails if view is inconsistent afterwards.

imap: If mailbox is inconsistent after syncing, don't try to sync message counts.

This fixes (e.g. after doveadm force-resync):
Panic: Message count decreased

lib: uri-util: Implemented API to check generic URI syntax.

This allows checking whether something is a valid URI of any type.
This change adds a test suite for the generic URI syntax, which is currently the main purpose of the API addition.
Apart from a few simple vality checks, the test suite also tests various URI examples from RFCs.

lib-http: uri: Removed unnecessary checking of percent encoding of query and fragment parts.

This is now always performed in lib/uri-util.

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

lib-test: Fix memory leak in test-ostream

lib-test: Fix illegal memory access in test-ostream

io: Add source filename

This will make debugging alot easier
when you can see what the filename is as well.

lib-test: Added test_ostream for testing nonblocking ostreams.

lib-test: Moved test_istream code to its own test-istream.c file.