configure: Detect pandoc for building documentation

lib-program-client: Do not use /tmp in testing

auth: Pass userdb fields to worker

If this is not done, then those userdb handlers
that need access to userdb variables for e.g.
interpolation, cannot access them.

auth: Don't re-insert userdb results from auth cache data back to cache.

This was also breaking TTLs for the cached userdb results, because each
re-insert reset the TTL.

lib-program-client: Fixed potential panic in test-program-client-local

If the run finished before io_loop_run(), it would panic with:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

lib-program-client: Fixed program_client_run() that succeeds rapidly.

program_client_run_async() could have called the callback with result=0
before io_loop_run(). This happened with local client.

Fixes in test-program-client-local:
Panic: BUG: No IOs or timeouts set. Not waiting for infinity.

fs-metawrap: Don't assert-crash when trying to write an empty file.

Fixes:
Panic: file fs-metawrap.c: line 401 (fs_metawrap_write_stream_finish): assertion failed: (file->super_output->offset > 0 || file->super_output->stream_errno != 0)

lib-fs: Renamed internal i_stream_mail_read() to i_stream_fs_stats_read()

Just to make backtraces look clearer. Originally forgot to change this
after copy&pasting code from istream-mail.c

lib-program-client: Fixed running test-program-client-local as root.

uid/gid == -1 isn't treated as "don't change" in here.

auth: Compiler warning fix

auth: Fix default SASL bind for LDAP

User may configure Dovecot to use SASL bind as default bind method.  This can
be the case when ldapi:/// (or ldaps:///) with SASL EXTERNAL is used.
Currently, Dovecot returns LDAP connection to wrong bind state after first
successful auth bind, LDAP simple bind always used to rebind.  This may broke
setup when ACL in LDAP configured not to allow search/bind for such simple
bind.

auth: Introduce db_ldap_bind_sasl() function

Do refactoring in db_ldap_connect() before fixing the SASL bind issue in the next commit.

doveadm director kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm director kick: Escape username properly.

This only mattered if the username contained \001, TAB or LF characters,
which isn't normal.

director: Escape username when handling USER-KICK.

This could have caused problems if username parameter contained TABs or LFs,
which of course shouldn't normally happen.

doveadm proxy kick: Support multiple user parameters.

doveadm proxy kick: Added -f <passdb field> parameter.

This works for all the user_* passdb fields.

doveadm proxy list: Show all user_* fields in output.

*-login: Store user_* passdb fields to client->alt_usernames.

last-login: Don't execute last_login on IMAP unhibernation.

quota: Don't execute quota_over_script if userdb lookup was over 10 secs ago

imap-hibernate: Preserve mail_user.session_create_time through hibernation

lib-storage: Added mail_user.session_create_time and .session_restored

imap-hibernate: Properly fix hibernation

The previous fix did not properly fix hibernation
as the clients still dropped out of hibernate.
Also the tag used was no longer following. This
change will track tag changes and keeps the
hibernation process going on until the user enters
something else than DONE\r\ntag IDLE\r\n in same
packet.

lib-program-client: Compiler warning fixes

cassandra: Added latency_aware_routing connect-parameter.

There's currently no way to change the default settings for it.

lmtp: Handle lmtp_user_concurrency_limit before lmtp_rcpt_check_quota

The quota lookup is more expensive, so it shouldn't be done unnecessarily.

lib-program-client: Add test suite for program client

lib-program-client: Rename remote to unix

This is to make more clear that the call requires
unix path and does not support TCP. There will be
TCP based API too later.

lib-program-client: Expose asynchronous API

lib-program-client: Whitespace fix

doveadm-sync: Document end-date flag

doveadm-sync: Add end-date support

doveadm-sync: Document start date

lib-compression: Fixed compler warnings and wrongly triggering asserts.

Broken by 7f74811b7.

global: Make sure i_stream_read() calls handle 0 and -2 return values correctly.

log: Minor error logging and comment improvement.

imapc: Added imapc_max_line_length to limit maximum memory usage.

The default is still unlimited, but this should be set to something smaller
for untrusted servers.

lib-index: Added test-mail-index-modseq unit test

lib-test: Fixed assert-crash in test_exit() with --enable-static-checker

Fixes:
Panic: Missing t_pop() call

lib: Simplify static checker's job for i_free() macro.

lib: [ip]_free(mem) is now also guaranteed to set mem=NULL

It was already doing it, but updated the macros and comments to make it
clear that this won't change in future. Changing this would only make it
more likely that bugs occur and the performance improvements would be
close to nonexistent.

lib-storage: Fixed assert-crash in mailbox_save_cancel()

Broken by 05150df8f. Fixes:
Panic: file mail-storage.c: line 2137 (mailbox_save_context_reset): assertion failed: (ctx->saving)

lib-program-client: Add program-client from pigeonhole

lib: If connect() fails with EADDRNOTAVAIL, retry it 4 more times.

This is needed on busy systems. Nicely explained in:
https://idea.popcount.org/2014-04-03-bind-before-connect/

plugins/fts - make storage errors more informative

There are 3 different ways to fail ending a transaction (one
of which is itself just a record that something now unknown
previously failed). Identify which one in the logs.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: autoexpunge mailboxes with wildcards didn't work with namespace prefix.

lib-index: If view syncing sees index is reset, always mark the view as inconsistent.

Not only when the mailbox has messages, because that could still mess up
assumptions about UIDs. A somewhat better check could have been to do this
only when next_uid>1 (= there have been messages at some point in this
mailbox), but it's safer to just always mark the view as inconsistent.

lib-index: When finding a view is reset, don't attempt any further syncing.

This could cause various errors to be logged, such as:
Error: Append with UID 7103, but next_uid = 7242

lib-index: Fixed potential assert-crash when view syncing sees a reset marker.

It should never try to use main index map at that point, because
view_sync_have_expunges() looks changes only before the reset marker.
Fixes:

Error: Index .../dovecot.index lost messages without expunging (36 -> 27)

lib-storage: Make sure mailbox_sync*() fails if view is inconsistent afterwards.

imap: If mailbox is inconsistent after syncing, don't try to sync message counts.

This fixes (e.g. after doveadm force-resync):
Panic: Message count decreased

lib: uri-util: Implemented API to check generic URI syntax.

This allows checking whether something is a valid URI of any type.
This change adds a test suite for the generic URI syntax, which is currently the main purpose of the API addition.
Apart from a few simple vality checks, the test suite also tests various URI examples from RFCs.

lib-http: uri: Removed unnecessary checking of percent encoding of query and fragment parts.

This is now always performed in lib/uri-util.

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

lib-test: Fix memory leak in test-ostream

lib-test: Fix illegal memory access in test-ostream

io: Add source filename

This will make debugging alot easier
when you can see what the filename is as well.

lib-test: Added test_ostream for testing nonblocking ostreams.

lib-test: Moved test_istream code to its own test-istream.c file.

lib-test: Allow test_istream_set_*() for test-istream's children.

It will internally find the test_istream from parents. This simplifies the
testing code so that it doesn't have to keep track of both the test_istream
and the final istream.

director: Ignore duplicates in director_servers setting.

lib-storage: mail_user_dup() should duplicate also userdb_fields.

lib-storage: Don't reset mail_save_context.saving too early.

If mailbox_save_using_mail() ended up in mail_storage_copy(), saving was set
to FALSE before the copy() method was finished running. This caused e.g.
notify plugin to think that this was a copy event instead of a save event.

Added comments and asserts to clarify how the logic should work between
all the different copying/moving/saving flags.

lib-storage: If mailbox_move() fails, reset mail_save_context.moving==FALSE

doveadm-import: Update manpage

doveadm-import: Add -U parameter to specify source user

When doing import, you can specify which user to use
as source user.

doveadm-import: Use target user as source user

This is done to avoid spurious error messages
caused by being ran as root.

imap-hibernate: Accept RFC DONE\IDLE

Change imap-hibernate to accept
DONE\r\n<tag> IDLE\r\n
as well, which is specified by RFC

master: Removed hardcoded listen() backlog limit.

If it's already too large, the kernel will truncate it automatically. So
there shouldn't be any reason for us to explicitly limit it.

lib-storage: Update mailbox.recent_flags_count correctly.

The counter was increased even if the UID was already in recent_flags.
This is the only place where I found that recent_flags and
recent_flags_count could become desynced (which they definitely were in
a core dump), so hopefully this fixes assert-crashes like:

Panic: file index-status.c: line 130 (index_storage_get_open_status): assertion failed: (status_r->recent <= status_r->messages)

dsync: Virtual sizes weren't exported properly with -I parameter.

Although they were incorrectly being exported with -T parameter. This makes
-I work without assert-crashing.

dsync: Renamed "max sync size" parameter from -S to -I.

-S can't be used because it was already used for the generic socket path,
so it didn't actually work.

dict-client: Fixed lock and ioloop wait timings in log messages.

Previously it was logging the total amount of time spent on lock waits or on
ioloop during the existence of the entire process, rather than how much time
the command itself was spending on those. This wasn't very useful.
Now it also tries to separate the time spent on the main ioloop and in
dict_wait().

dict-client: Don't return "Dict server timeout" too early.

This could have happened when many dict commands were being run without
the timeout being reset in the middle.

dict-client: Remove timeout when there are only background commands.

Normally the timeout wasn't added in the first place, but it was if a
non-background command was added first and it was followed by a background
command.

login proxy: Don't leak connections if reconnect fails with "Host is down"

Double-disconnection was also attempting to close the same fd twice, but I
think that couldn't have happened before this leak was fixed.

lib: Add test for pending io without timeouts

lib: Update ioloop attributes

With pending IO, the ioloop attributes still need
updating, instead of just returning.

lib-mail: message_header_hash_more() now allows input in any slices.

There wasn't necessarily any guarantees that the input would be sliced in
such a way that the repeating '?' would be dropped the same way every time.

lib-mail: Removed obsolete comment about message_header_hash_more()

pop3-migration plugin uses this function now, so it doesn't need to be kept
in sync.

pop3-migration: "first POP3 msg" warning didn't actually show the first one.

It was showing the first index in an array, which had nothing to do with
being the first POP3 message number.

dbox: mailbox_update() shouldn't reset pop3-uidl header.

This broke reading migrated POP3 UIDLs.

login-proxy: Fixed "Host is down" never reseting itself.

Broken by c8eb8314a, which moved adding num_waiting_connections earlier.
After that it was never 0 at the check time.

lib: test-istream-chain fixes

lib-dcrypt: Don't finalize encryption on o_stream_flush()

For example the default o_stream_uncork() implementation enforces flushing
and it's probably better not to change that. In general there's really no
reason to perform the finalization at flush when the stream can't be written
to anymore (whereas lib-compression ostreams allow writes after flushes).

lib: Fixed istream-chain when it has multiple "previous streams".

Fixes assert:
Panic: file istream-chain.c: line 223 (i_stream_chain_read): assertion failed: (cur_data_pos == data_size)

Unit test for it by Stephan Bosch.

lib: Fixed ostream-failure-at with blocking parent stream.

Blocking ostream returns either a full success or a full failure. It can't
return that only n/m bytes were written.

Fixes assert:
Panic: file ostream.c: line 255 (o_stream_sendv_int): assertion failed: (!stream->blocking)

doveadm fs get: Fixed logging error messages.

The error is in istream, not in fs.

imap-login: Add missing brace

imap-proxy: Fix typo in comment

imap-login: Honor nopipelining during preauth

lib-storage: remove unused internal_attribute argument from attribute_{get,set}

This removes an argument added in 9f37ef2a9192e7d47e3d7ac959080fd01120f2e9
but obsoleted (but not removed) in d1147c225f64596fc5eeb1cb2aab31b3c57d5215.

Not only does this change simplify the codebase, it actually brings the API
closer to what it was back in 2.2.

lib-dcrypt: Set NOPLUGIN_LDFLAGS to empty

Avoids -Wl,--as-needed here

lib-dcrypt: Makefile.am fix

Remove dcrypt.c from openssl library and add missing slash

lib: Ensure handler_context is not NULL

handler context must not be NULL here.

lib: Prevent crash in ioloop

If only non-fd sources and no timeouts are
in ioloop, prevent crash and unnecessary
waiting when there are pending IOs.

lib: Assert if i_stream_create_seekable_path(temp_path_prefix==NULL)

If the stream becomes large enough it would crash then in a callback
function, which makes debugging more difficult.

fts-plugin: Remove NULL assert

fts_backend_update_deinit will set box to NULL and call
update_set_mailbox then. NULL check needs to be done
in backends.

fts-backend-solr: Check that box is not NULL

fts_backend_update_deinit will set box to NULL and call
update_set_mailbox then.