doveadm-sync: Document end-date flag

doveadm-sync: Add end-date support

doveadm-sync: Document start date

lib-compression: Fixed compler warnings and wrongly triggering asserts.

Broken by 7f74811b7.

global: Make sure i_stream_read() calls handle 0 and -2 return values correctly.

log: Minor error logging and comment improvement.

imapc: Added imapc_max_line_length to limit maximum memory usage.

The default is still unlimited, but this should be set to something smaller
for untrusted servers.

lib-index: Added test-mail-index-modseq unit test

lib-storage: Fixed assert-crash in mailbox_save_cancel()

Broken by 05150df8f. Fixes:
Panic: file mail-storage.c: line 2137 (mailbox_save_context_reset): assertion failed: (ctx->saving)

lib: If connect() fails with EADDRNOTAVAIL, retry it 4 more times.

This is needed on busy systems. Nicely explained in:
https://idea.popcount.org/2014-04-03-bind-before-connect/

plugins/fts - make storage errors more informative

There are 3 different ways to fail ending a transaction (one
of which is itself just a record that something now unknown
previously failed). Identify which one in the logs.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: autoexpunge mailboxes with wildcards didn't work with namespace prefix.

lib-index: If view syncing sees index is reset, always mark the view as inconsistent.

Not only when the mailbox has messages, because that could still mess up
assumptions about UIDs. A somewhat better check could have been to do this
only when next_uid>1 (= there have been messages at some point in this
mailbox), but it's safer to just always mark the view as inconsistent.

lib-index: When finding a view is reset, don't attempt any further syncing.

This could cause various errors to be logged, such as:
Error: Append with UID 7103, but next_uid = 7242

lib-index: Fixed potential assert-crash when view syncing sees a reset marker.

It should never try to use main index map at that point, because
view_sync_have_expunges() looks changes only before the reset marker.
Fixes:

Error: Index .../dovecot.index lost messages without expunging (36 -> 27)

lib-storage: Make sure mailbox_sync*() fails if view is inconsistent afterwards.

imap: If mailbox is inconsistent after syncing, don't try to sync message counts.

This fixes (e.g. after doveadm force-resync):
Panic: Message count decreased

lib-http: uri: Removed unnecessary checking of percent encoding of query and fragment parts.

This is now always performed in lib/uri-util.

lib: uri-util: Always fully check the syntax of percent encoding while parsing URI components.

lib-test: Fix memory leak in test-ostream

lib-test: Fix illegal memory access in test-ostream

io: Add source filename

This will make debugging alot easier
when you can see what the filename is as well.

lib-test: Added test_ostream for testing nonblocking ostreams.

lib-test: Moved test_istream code to its own test-istream.c file.

lib-test: Allow test_istream_set_*() for test-istream's children.

It will internally find the test_istream from parents. This simplifies the
testing code so that it doesn't have to keep track of both the test_istream
and the final istream.

director: Ignore duplicates in director_servers setting.

lib-storage: mail_user_dup() should duplicate also userdb_fields.

lib-storage: Don't reset mail_save_context.saving too early.

If mailbox_save_using_mail() ended up in mail_storage_copy(), saving was set
to FALSE before the copy() method was finished running. This caused e.g.
notify plugin to think that this was a copy event instead of a save event.

Added comments and asserts to clarify how the logic should work between
all the different copying/moving/saving flags.

lib-storage: If mailbox_move() fails, reset mail_save_context.moving==FALSE

master: Removed hardcoded listen() backlog limit.

If it's already too large, the kernel will truncate it automatically. So
there shouldn't be any reason for us to explicitly limit it.

dict-client: Fixed lock and ioloop wait timings in log messages.

Previously it was logging the total amount of time spent on lock waits or on
ioloop during the existence of the entire process, rather than how much time
the command itself was spending on those. This wasn't very useful.
Now it also tries to separate the time spent on the main ioloop and in
dict_wait().

dict-client: Don't return "Dict server timeout" too early.

This could have happened when many dict commands were being run without
the timeout being reset in the middle.

dict-client: Remove timeout when there are only background commands.

Normally the timeout wasn't added in the first place, but it was if a
non-background command was added first and it was followed by a background
command.

lib: Fixed ostream-failure-at with blocking parent stream.

Blocking ostream returns either a full success or a full failure. It can't
return that only n/m bytes were written.

Fixes assert:
Panic: file ostream.c: line 255 (o_stream_sendv_int): assertion failed: (!stream->blocking)

lib-ssl-iostream: The final fix to make the SSL plugin loading not fail..

lib-ssl-iostream: Fixed OpenSSL module to be actually initialized.

lib-http: Link test-http-client libssl_iostream_openssl.so directly.

This way it can be run without having to do make install first.

lib-ssl-iostream: Use more standard _init() & _deinit() to initialize SSL plugin

This is mainly to make it easier for test programs to link to the plugin
directly.

doveadm: Don't allow doveadm_print_header(title==NULL) anymore.

It's not used anywhere, and if it was used it would have crashed with at
least "tab" backend.

fts-squat: Fixed memory leak on corrupted uidlist handling

dict-file: Don't leak a lock on temp file creation failure.

lib: iostream-temp: Fixed o_stream_send_istream() with >2GB files

8051312f9 wasn't quite enough.

lib-program-client: Compiler warning fixes

lib-program-client: Avoid busy-looping while waiting for ostream to have space.

lib-program-client: Add test suite for program client

lib-program-client: Expose asynchronous API

lib-program-client: Whitespace fix

lib-program-client: Add program-client from pigeonhole

doveadm-import: Update manpage

doveadm-import: Add -U parameter to specify source user

When doing import, you can specify which user to use
as source user.

doveadm-import: Use target user as source user

This is done to avoid spurious error messages
caused by being ran as root.

imap-hibernate: Accept RFC DONE\IDLE

Change imap-hibernate to accept
DONE\r\n<tag> IDLE\r\n
as well, which is specified by RFC

lib-storage: Update mailbox.recent_flags_count correctly.

The counter was increased even if the UID was already in recent_flags.
This is the only place where I found that recent_flags and
recent_flags_count could become desynced (which they definitely were in
a core dump), so hopefully this fixes assert-crashes like:

Panic: file index-status.c: line 130 (index_storage_get_open_status): assertion failed: (status_r->recent <= status_r->messages)

dsync: Virtual sizes weren't exported properly with -I parameter.

Although they were incorrectly being exported with -T parameter. This makes
-I work without assert-crashing.

dsync: Renamed "max sync size" parameter from -S to -I.

-S can't be used because it was already used for the generic socket path,
so it didn't actually work.

doveadm: refactor mailbox attribute get/set/unset/list to share more code

doveadm: allow access to server attributes via empty mailbox name

lib-storage: remove attribute accessibility checks

index_storage_attribute_{set,get} should assume that the caller performed
due diligence and checked whether or not the user is allowed to store under
the key.

doveadm: lowercase attribute names before trying to parse them

This now matches what the imap server does.

lib-storage: document mailbox and server attribute handling

login proxy: Don't leak connections if reconnect fails with "Host is down"

Double-disconnection was also attempting to close the same fd twice, but I
think that couldn't have happened before this leak was fixed.

lib: Add test for pending io without timeouts

lib: Update ioloop attributes

With pending IO, the ioloop attributes still need
updating, instead of just returning.

lib-mail: message_header_hash_more() now allows input in any slices.

There wasn't necessarily any guarantees that the input would be sliced in
such a way that the repeating '?' would be dropped the same way every time.

lib-mail: Removed obsolete comment about message_header_hash_more()

pop3-migration plugin uses this function now, so it doesn't need to be kept
in sync.

pop3-migration: "first POP3 msg" warning didn't actually show the first one.

It was showing the first index in an array, which had nothing to do with
being the first POP3 message number.

dbox: mailbox_update() shouldn't reset pop3-uidl header.

This broke reading migrated POP3 UIDLs.

login-proxy: Fixed "Host is down" never reseting itself.

Broken by c8eb8314a, which moved adding num_waiting_connections earlier.
After that it was never 0 at the check time.

lib: test-istream-chain fixes

lib-dcrypt: Don't finalize encryption on o_stream_flush()

For example the default o_stream_uncork() implementation enforces flushing
and it's probably better not to change that. In general there's really no
reason to perform the finalization at flush when the stream can't be written
to anymore (whereas lib-compression ostreams allow writes after flushes).

lib: Fixed istream-chain when it has multiple "previous streams".

Fixes assert:
Panic: file istream-chain.c: line 223 (i_stream_chain_read): assertion failed: (cur_data_pos == data_size)

Unit test for it by Stephan Bosch.

doveadm fs get: Fixed logging error messages.

The error is in istream, not in fs.

imap-login: Add missing brace

imap-proxy: Fix typo in comment

imap-login: Honor nopipelining during preauth

lib-dcrypt: Set NOPLUGIN_LDFLAGS to empty

Avoids -Wl,--as-needed here

lib-dcrypt: Makefile.am fix

Remove dcrypt.c from openssl library and add missing slash

lib: Ensure handler_context is not NULL

handler context must not be NULL here.

lib: Prevent crash in ioloop

If only non-fd sources and no timeouts are
in ioloop, prevent crash and unnecessary
waiting when there are pending IOs.

lib: Assert if i_stream_create_seekable_path(temp_path_prefix==NULL)

If the stream becomes large enough it would crash then in a callback
function, which makes debugging more difficult.

fts-plugin: Remove NULL assert

fts_backend_update_deinit will set box to NULL and call
update_set_mailbox then. NULL check needs to be done
in backends.

fts-backend-solr: Check that box is not NULL

fts_backend_update_deinit will set box to NULL and call
update_set_mailbox then.

fts-backend-lucene: Check that box is not NULL

fts_backend_update_deinit will set box to NULL and call
update_set_mailbox then.

auth-policy: Ref/unref auth request

If auth_request is not referenced it can go away
before HTTP response is handled.

fs-randomfail: Operation is unfinished on EAGAIN, not ENOENT.

This caused crashes and other problems when using randomfail with
asynchronous fs drivers.

lib: safe_mkstemp*() didn't always truncate prefix back to original on failure.

This caused repeated safe_mkstemp*() calls with the same prefix to keep
increasing its size. It probably didn't really break anything (unless it was
called enough many times to reach 255 filename length), but the filenames
were still confusingly ugly.

pop3-migration: Fixed crash when not specifying pop3_migration_mailbox setting.

iostream-temp: If write() to temp file fails at any time, move it back to memory.

Similarly to if the write() to temp fails during the initial move attempt.
This way even if write() fails due to out of disk space, it's not visible
to caller. An error message is logged in any case.

pop3-migration: Avoid unnecessarily using stream's hdr_size.

Shouldn't change any behavior, except reduce CPU usage a little bit.

imapc: mail_get_stream() shouldn't return cached hdr_size

lib-http: client: Fixed hang occurring when nested ioloops are used in response callbacks.

To prevent missing disconnect events, i_stream_read() is called once a change in ioloop is detected.
However, if something was actually read into the stream, the input handler was never called.
So, a response could linger in the stream buffer, without being handled, thereby causing the connection to hang indefinitely.
An additional input event could end the hang, but sometimes this doesn't happen before the request times out.

This problem was seen in test-http-payload once in about 10 invocations.
Obox uses nested ioloops, to this applies there.

doveadm-auth: Handle unexpected auth "continue" request without crashing.

lib-lda: Cleanup error handling in LMTP client code.

If there are no successful recipients, we'll need to deinit the client.
But at that point we've already called all the callbacks, so the line
parameter to lmtp_client_fail_full() isn't actually used anywhere.
This was confusing static analyzer because global_fail_string was used
as parameter, which could have been NULL and wouldn't have been valid
for the callbacks.

lib-master: Fixed memory leak when IPC server is handling commands.

This mainly meant that when login processes responded to doveadm proxy
list/kick commands memory was leaked.

dict-client: Don't crash if dict-server returns broken reply.

Just treat missing <tab>value as empty value.

auth: Make sure auth_request_log_info() doesn't crash when there are no passdbs

auth_request_is_disabled_master_user() could have caused such crash.

auth: Explicitly ignore return value to make static analyzer happier.

Added asserts to make static analyzer happier.

Removed dead code to make static analyzer happier.

lib-storage: Fix potential crash when userdb-returns "key+=value" for a nonexistent setting.

type would have also happened to be initialized to SET_STR for the crash to
happen.