auth-policy: Use request's pool instead of new pool

This fixes existing memory leak in auth_report,
which is caused by using separate memory pool
instead of request's pool.

Thank you for Andrea Carpani for extensive
debugging.

dict-sql: Use LIMIT in SQL queries with dict_iterate_set_limit()

lib-dict: Added dict_iterate_set_limit()

lib-dict: Duplicate result value in mempool

Duplicate the result value already in callback
to avoid it getting lost during async calls.

Reported & tested by Pierre Jaury.

lib-fs: Fixed fs_metadata_find() to actually work

lib-mail: Fixed infinite loop in istream-attachment-extractor

Broken by 7f74811b7. Pretty much any larger attachment going through
this istream had a good potential of going into an infinite loop.

lib-fs: Added FS_METADATA_WRITE_FNAME to allow renaming a file being written.

lib-fs: Added internal fs_metadata_find() helper function

lib-fs: Optimize changing FS_METADATA_INTERNAL_PREFIX metadata.

file->metadata_changed doesn't need to change in that situation. It's used
by fs-metawrap to find out if it needs to rewrite metadata during a write,
but internal metadata isn't written to its header.

sdbox: Removed duplicated code.

lib-dcrypt: change unit test ec curve to secp521r1

This curve is more common, so unit tests will pass on more machines.

lib-fs: Lazily initialize timings to save memory.

lib-storage: Use MAILDIR_INFO_SEP_S

Replace hardcoded : with MAILDIR_INFO_SEP_S

lib-dcrypt: Fix uninitialized memory

lib-dcrypt: str_new to t_str_new in some test-crypto tests

str_new from default_pool was not properly freed.

lib-dcrypt: enc_key and pw must be NULL on storing unencrypted private key

Add tests for password and key encryption, and get_info on them. Also
give examples of valid cipher values for password and key encryption in
dcrypt.h comment.

lib-dcrypt: fix comment of dovecot format v2 to use colon

Version 2 field separator was changed to colon.

auth: Compiler warning fix

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

uri-util: Added public function for parsing single percent encoding instances.

uri-util: Fixed assertion failure for invalid character in path segment.

lib-index: unlink_directory has no error

imap-hibernate: Adjust API usage for ostream

Revert "uri-util: Fixed assertion failure for invalid character in path segment."

This reverts commit dbbdcc1224f81a40e746a09e6d44af7c4f24ff71.

Revert "lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components."

This reverts commit 5b6dc4c53617362baf8713815621bebbeb38c8cc.

lib: Don't set ostream buffer as blocking

lib: Added ostream.blocking boolean

Similar to istream.blocking.

lib: ostream-file: Allow creating derived file output streams.

lib: ostream-file: Split o_stream_file_writev() from o_stream_file_writev_full().

lib: ostream-file: Renamed o_stream_writev() to o_stream_file_writev_full().

lib: ostream-file: Renamed iov_size to iov_count everywhere and made it unsigned int for consistency.

auth: Pass userdb fields to worker

If this is not done, then those userdb handlers
that need access to userdb variables for e.g.
interpolation, cannot access them.

auth: Don't re-insert userdb results from auth cache data back to cache.

This was also breaking TTLs for the cached userdb results, because each
re-insert reset the TTL.

lib-program-client: Fixed potential panic in test-program-client-local

If the run finished before io_loop_run(), it would panic with:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

lib-program-client: Fixed program_client_run() that succeeds rapidly.

program_client_run_async() could have called the callback with result=0
before io_loop_run(). This happened with local client.

Fixes in test-program-client-local:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

fs-metawrap: Don't assert-crash when trying to write an empty file.

Fixes:
Panic: file fs-metawrap.c: line 401 (fs_metawrap_write_stream_finish): assertion failed: (file->super_output->offset > 0 || file->super_output->stream_errno != 0)

lib-fs: Renamed internal i_stream_mail_read() to i_stream_fs_stats_read()

Just to make backtraces look clearer. Originally forgot to change this
after copy&pasting code from istream-mail.c

lib-program-client: Fixed running test-program-client-local as root.

uid/gid == -1 isn't treated as "don't change" in here.

auth: Fix default SASL bind for LDAP

User may configure Dovecot to use SASL bind as default bind method.  This can
be the case when ldapi:/// (or ldaps:///) with SASL EXTERNAL is used.
Currently, Dovecot returns LDAP connection to wrong bind state after first
successful auth bind, LDAP simple bind always used to rebind.  This may broke
setup when ACL in LDAP configured not to allow search/bind for such simple
bind.

auth: Introduce db_ldap_bind_sasl() function

Do refactoring in db_ldap_connect() before fixing the SASL bind issue in the next commit.

doveadm director kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm director kick: Escape username properly.

This only mattered if the username contained \001, TAB or LF characters,
which isn't normal.

director: Escape username when handling USER-KICK.

This could have caused problems if username parameter contained TABs or LFs,
which of course shouldn't normally happen.

doveadm proxy kick: Support multiple user parameters.

doveadm proxy kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm proxy list: Show all user_* fields in output.

*-login: Store user_* passdb fields to client->alt_usernames.

last-login: Don't execute last_login on IMAP unhibernation.

quota: Don't execute quota_over_script if userdb lookup was over 10 secs ago

imap-hibernate: Preserve mail_user.session_create_time through hibernation

lib-storage: Added mail_user.session_create_time and .session_restored

imap-hibernate: Properly fix hibernation

The previous fix did not properly fix hibernation
as the clients still dropped out of hibernate.
Also the tag used was no longer following. This
change will track tag changes and keeps the
hibernation process going on until the user enters
something else than DONE\r\ntag IDLE\r\n in same
packet.

cassandra: Added latency_aware_routing connect-parameter.

There's currently no way to change the default settings for it.

lmtp: Handle lmtp_user_concurrency_limit before lmtp_rcpt_check_quota

The quota lookup is more expensive, so it shouldn't be done unnecessarily.

doveadm-sync: Document end-date flag

doveadm-sync: Add end-date support

doveadm-sync: Document start date

lib-compression: Fixed compler warnings and wrongly triggering asserts.

Broken by 7f74811b7.

global: Make sure i_stream_read() calls handle 0 and -2 return values correctly.

log: Minor error logging and comment improvement.

imapc: Added imapc_max_line_length to limit maximum memory usage.

The default is still unlimited, but this should be set to something smaller
for untrusted servers.

lib-index: Added test-mail-index-modseq unit test

lib-storage: Fixed assert-crash in mailbox_save_cancel()

Broken by 05150df8f. Fixes:
Panic: file mail-storage.c: line 2137 (mailbox_save_context_reset): assertion failed: (ctx->saving)

lib: If connect() fails with EADDRNOTAVAIL, retry it 4 more times.

This is needed on busy systems. Nicely explained in:
https://idea.popcount.org/2014-04-03-bind-before-connect/

plugins/fts - make storage errors more informative

There are 3 different ways to fail ending a transaction (one
of which is itself just a record that something now unknown
previously failed). Identify which one in the logs.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: autoexpunge mailboxes with wildcards didn't work with namespace prefix.

lib-index: If view syncing sees index is reset, always mark the view as inconsistent.

Not only when the mailbox has messages, because that could still mess up
assumptions about UIDs. A somewhat better check could have been to do this
only when next_uid>1 (= there have been messages at some point in this
mailbox), but it's safer to just always mark the view as inconsistent.

lib-index: When finding a view is reset, don't attempt any further syncing.

This could cause various errors to be logged, such as:
Error: Append with UID 7103, but next_uid = 7242

lib-index: Fixed potential assert-crash when view syncing sees a reset marker.

It should never try to use main index map at that point, because
view_sync_have_expunges() looks changes only before the reset marker.
Fixes:

Error: Index .../dovecot.index lost messages without expunging (36 -> 27)

lib-storage: Make sure mailbox_sync*() fails if view is inconsistent afterwards.

imap: If mailbox is inconsistent after syncing, don't try to sync message counts.

This fixes (e.g. after doveadm force-resync):
Panic: Message count decreased

lib-http: uri: Removed unnecessary checking of percent encoding of query and fragment parts.

This is now always performed in lib/uri-util.

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

lib-test: Fix memory leak in test-ostream

lib-test: Fix illegal memory access in test-ostream

io: Add source filename

This will make debugging alot easier
when you can see what the filename is as well.

lib-test: Added test_ostream for testing nonblocking ostreams.

lib-test: Moved test_istream code to its own test-istream.c file.

lib-test: Allow test_istream_set_*() for test-istream's children.

It will internally find the test_istream from parents. This simplifies the
testing code so that it doesn't have to keep track of both the test_istream
and the final istream.

director: Ignore duplicates in director_servers setting.

lib-storage: mail_user_dup() should duplicate also userdb_fields.

lib-storage: Don't reset mail_save_context.saving too early.

If mailbox_save_using_mail() ended up in mail_storage_copy(), saving was set
to FALSE before the copy() method was finished running. This caused e.g.
notify plugin to think that this was a copy event instead of a save event.

Added comments and asserts to clarify how the logic should work between
all the different copying/moving/saving flags.

lib-storage: If mailbox_move() fails, reset mail_save_context.moving==FALSE

master: Removed hardcoded listen() backlog limit.

If it's already too large, the kernel will truncate it automatically. So
there shouldn't be any reason for us to explicitly limit it.

dict-client: Fixed lock and ioloop wait timings in log messages.

Previously it was logging the total amount of time spent on lock waits or on
ioloop during the existence of the entire process, rather than how much time
the command itself was spending on those. This wasn't very useful.
Now it also tries to separate the time spent on the main ioloop and in
dict_wait().

dict-client: Don't return "Dict server timeout" too early.

This could have happened when many dict commands were being run without
the timeout being reset in the middle.

dict-client: Remove timeout when there are only background commands.

Normally the timeout wasn't added in the first place, but it was if a
non-background command was added first and it was followed by a background
command.

lib: Fixed ostream-failure-at with blocking parent stream.

Blocking ostream returns either a full success or a full failure. It can't
return that only n/m bytes were written.

Fixes assert:
Panic: file ostream.c: line 255 (o_stream_sendv_int): assertion failed: (!stream->blocking)

lib-ssl-iostream: The final fix to make the SSL plugin loading not fail..

lib-ssl-iostream: Fixed OpenSSL module to be actually initialized.

lib-http: Link test-http-client libssl_iostream_openssl.so directly.

This way it can be run without having to do make install first.

lib-ssl-iostream: Use more standard _init() & _deinit() to initialize SSL plugin

This is mainly to make it easier for test programs to link to the plugin
directly.

doveadm: Don't allow doveadm_print_header(title==NULL) anymore.

It's not used anywhere, and if it was used it would have crashed with at
least "tab" backend.

fts-squat: Fixed memory leak on corrupted uidlist handling

dict-file: Don't leak a lock on temp file creation failure.

lib: iostream-temp: Fixed o_stream_send_istream() with >2GB files

8051312f9 wasn't quite enough.

lib-program-client: Compiler warning fixes

lib-program-client: Avoid busy-looping while waiting for ostream to have space.

lib-program-client: Add test suite for program client

lib-program-client: Expose asynchronous API