lib-index: Try harder to open index with MAIL_INDEX_OPEN_FLAG_READONLY

The readonly-flag is used when rebuilding index or dumping indexes.
In both cases it's better to try to open the index as best as possible,
since fsck isn't allowed.

lib-lua: Remove obsolete threading check

We support multiple lua thread as long as they are created using the
dlua_script_new_thread() helper.

dict-ldap: Fix calling dict_wait() on async lookup

The dict_wait() could have waited forever because nothing stopped the
ioloop. Also fix calling the callback with the proper active ioloop.

dict-redis: dict-client: Use the proper active ioloop while calling commit() callbacks

If the callbacks did any IO/timeout changes, they would have gone to a wrong
ioloop. This would have caused a warning about IO/timeout leak though, so
it doesn't seem like there were such code paths currently.

dict-memcached-ascii: Assert-crash if dict ioloop gets any unexpected IOs or timeouts

dict-client: Assert-crash if dict ioloop gets any unexpected IOs or timeouts

dict-client: Use the proper active ioloop while calling commit() and lookup() callbacks

If the callbacks did any IO/timeout changes, they would have gone to a wrong
ioloop.

lib: Add io_loop_is_empty()

stats: Truncate field values to 1000 bytes with log exporter

This attempts to prevent log lines from growing longer than 4 kB, which
causes them to wrap.

imap: copy/move: Refresh source mailbox before copying/moving

This way if another session had just expunged mails, the expunges will be
noticed and the copy/move will abort early.

imap: move: Sync source mailbox between commits

This way the messages are actually expunged from storage after the commit,
not just requested to be expunged. Most importantly this means that if
another session attempts to start moving the same messages it can be noticed
earlier and one of the moves aborted.

imap: Add imap_search_anyset_to_uidset()

imap: Allow imap_search_seqset_iter_init() to iterate over uidset also

lib-storage: Fix mailbox_get_uid_range() to handle "*" correctly

Previously attempting to convert e.g. 1:* range would just assert-crash.
There were no such callers currently though.

lib-storage: Always set struct mail.expunged

Previously it was set only when some error noticed that there was a problem
accessing the mail. Now this is set immediately in mail_set_seq(). This
allows e.g. IMAP COPY/MOVE to abort when it encounters expunged mails.

lib-program-client: test-program-client-unix - Add test for delayed disconnect after sending result code.

lib-program-client: test-program-client-net - Add test for delayed disconnect after sending result code.

lib-program-client: test-program-client-unix - Fix server-side argument count check.

lib-program-client: test-program-client-net - Fix server-side argument count check.

lib-program-client: program-client-remote - Fix result parsing in the istream.

This fixes internal errors occurring when the parent stream is fully read before
EOF is signaled. This was caused by the fact that the final bytes were not
always reserved properly for parsing, so that these ended up being exposed to
and eaten by the application. At the end, the result parsing code would be faced
with no data, thereby causing an internal error to be returned by the calling
application.

This came to light as CI tests involving Sieve extprograms failed irregularly.
This problem only occurs when a (slight) delay exists between the last data
being sent and the connection being closed by the script service, making this
hard to reproduce. It typically occurred only under high server load.

lib-program-client: program-client-remote - Fix error handling of istream.

These days, input streams also set eof upon error, making the existing code path
wrong.

lib-program-client: program-client-remote - Add proper error and debug logging for result code parsing.

lib-program-client: program-client-local - Add debug for child start problem.

lib-program-client: Reformat test-program-client-unix.c.

lib-program-client: Reformat test-program-client-net.c.

lib-program-client: Reformat program-client-remote.c.

lib-test: Convert test_assert()s to fatal asserts when running static analyzer

This avoids unnecessary warnings about unit tests crashing when
test_assert()s fail. The warnings are correct, but it's a bit unnecessary
to write the failure code paths that nicely.

lib: Perform most of the event logging within data stack frame

lib-storage: Add data stack frames to mail_set_*()

This can reduce data stack usage significantly with mail thread building.

lib: data-stack - If frame doesn't change current block, no blocks need to be freed

This is a micro-optimization to t_pop() to avoid an extra if-check.

lib: data-stack - Use stack_block.left_lowwater only with DEBUG

lib: Remove data_stack_set_clean_after_pop()

lib: data-stack - Move frame memory allocation inside data stack block

lib: data-stack - Replace stack_frame_block with a single stack_frame

This simplifies the code at the cost of more memory allocations.
However, this will be fixed by the following commit.

lib: data-stack - Add data_stack_grow event

This is now always enabled, not just in debug builds.

lib: t_get_bytes_available() - Fix return value when current_block is almost full

lib-settings: settings_check() - Avoid growing data stack unnecessarily

Each check_func() could have increased data stack usage. Add it inside
a data stack frame to avoid it growing unnecessarily large.

lib: module_dir_*load*(): Avoid growing data stack when checking duplicates

This check could have unnecessarily grown data stack size when many plugins
are installed.

global: Use T_END_PASS_STR() where possible

lib: data-stack - Add t_pop_pass_str() and T_END_PASS_STR[_IF]()

This simplifies passing error strings out of stack frames. For example:

   const char *error;
   T_BEGIN {
     ...
     if (ret < 0)
       error = t_strdup_printf("foo() failed: %m");
   } T_END_PASS_STR_IF(ret < 0, &error);
   // error is still valid

lib: Add data_stack_frame_contains()

lib: Add data_stack_get_alloc_size()

lib: Fix data_stack_get_used_size() to return correct size

It only included the last allocated block's used size.

lib: data-stack - Don't set stack_block.next=NULL after mem_block_alloc() already did it

lib: data-stack - mem_block_alloc() - Set stack_block.left to final value immediately

There's no need to first set it to 0 and then have the caller change it
again.

lib: data-stack - Remove unused_frame_blocks

It's not that expensive to keep allocating them as needed, and it's a
potential waste of memory to keep them around.

lib: data-stack - Don't keep largest unused block in memory

It's not that expensive to allocate it again, but it might be expensive to
keep allocated a block that became huge due to a bug. The huge block could
be just wasting memory without ever being used again.

lib: data-stack - Add unit test for data_stack_set_clean_after_pop()

lib: data-stack - Rename variables in clean_after_pop handling

These new variables make more sense than the old ones.

lib: data-stack - Rename lowwater to left_lowwater

This describes its behavior better. Also add a comment explaining what
exactly it is.

lib: data-stack - Rename block_space_used[] to block_space_left[]

This describes its behavior better. Also add a comment explaining what
exactly it is.

lib: data-stack - Use INITIAL_STACK_SIZE without growing it to nearest power

global: Never use t_push(NULL)

A non-NULL name is expected by the debug logging.

lib: Recalculate events' debug logging state after replacing event filters

lib-index: test-mail-index-sync-ext - Fix memory leak

lib-smtp: smtp-server-transaction - Make sure current data command is recorded as soon as possible.

This prevents crashes when replies are sent early. This also prevents crashes
when invalid DATA commands are sent in succession.

lib-smtp: smtp-server-transaction - Rename smtp_server_transaction_last_data() to smtp_server_transaction_data_command().

lib-smtp: smtp-server-recipient - Rename smtp_server_recipient_last_data() to smtp_server_recipient_data_command().

login-common: Add client.list_type to better track which linked list client belongs to

Add asserts to make sure the client is always in the expected list.

login-common: Fix handling destroyed_clients linked list

The client needs to be removed from destroyed_clients linked list before
it's added to client_fd_proxies linked list.

Broken by 1c622cdbe08df2f642e28923c39894516143ae2a

lib-index: test-mail-index-sync-ext - Fix to link with the full libindex

lib-index: Add/update comments related to cloning maps

lib-index: Don't call mail_index_modseq_sync_map_replaced() if nothing changed

lib-index: Add comments to struct mail_transaction_log and related

lib-index: Rename MAIL_TRANSACTION_LOG_LOCK_CHANGE_TIMEOUT to .._DOTLOCK_..

lib-index: Rename mail_transaction_log_file.lock_created to lock_create_time

lib-index: Move mail_transaction_log_file_get_modseq_next_offset() to its own file

This nicely isolates the modseq_cache code to its own file.

lib-index: Remove unused mail_transaction_log_file.saved_tail_sync_offset

Shrinking tail_offsets have been ignored since
082e82792b8ac33ad42beac510441b37a3c50737

lib-index: Rename mail_transaction_log_file.saved_tail_offset to last_read_hdr_tail_offset

This describes better what it's actually used for.

lib-index: Remove mail_transaction_log.nfs_flush

Just access it via mail_index.flags like it's done elsewhere.

lib-index: Rename mail_transaction_log.dotlock_count to dotlock_refcount

Also change it to a signed integer and add asserts to make sure it's >=0.
This is how refcounts are handled generally in Dovecot.

lib-index: Update mail caching decisions explanation comment.

lib-index: Add test-mail-cache-fields unit test

lib-index: Add comments to struct mail_cache and related

Also reorder some fields so the grouping makes more sense.

lib-index: Add comments to struct mail_cache_header and related

lib-index: Add comments to mail-transaction-log.h

lib-index: Update mail_index_mail_flags comments and add MAIL_INDEX_MAIL_FLAG_UNUSED

lib-index: Add comments to struct mail_index_ext_header and related

lib-index: Add comments to struct mail_index_header and related

lib-index: Add comments to struct mail_index_view

lib-index: Add comments and reorder fields in struct mail_index

The field ordering was pretty random for some fields. The new ordering
should make more sense.

lib-index: Rename mail_index.pending_log2_rotate_time to hdr_log2_rotate_time_delayed_update

This describes better what it does. Also add some comments explaining
what its purpose is.

lib-index: mail_index_expunge_handler_t - Remove seq and context parameters

They're not actually used anywhere.

lib-index: mail_index_register_expunge_handler() - Remove call_always handling

It's not needed anymore.

lib-index: Remove "sync lost" callback handlers

These were used to invalidate in-memory dovecot.index.cache cache with
mmap_disable=yes. This became unnecessary when cache file became
append-only.

lib-index: Move fields from struct mail_index to struct mail_index_error

This clarifies which are error related fields.

nodiskspace isn't actually currently used for anything, but it seems
potentially useful in the future.

lib-index: Use mail_index_reset_error() when opening index

This resets the error more cleanly than changing nodiskspace directly.

lib-index: Remove mail_index.index_lock_timeout

Nothing needs it.

lib-index: Move fields from struct mail_index to struct mail_index_settings

This clarifies which fields are settings related.

lib-index: Remove mail_index_view.index_sync_view

Nothing was using it.

lib-index: Remove mail_index_view.transactions and related functions

It's enough to have transaction_list, nothing needs the count.

lib-index: Change mail_index_view_get_transaction_count() into _have_transactions()

This allows removing mail_index_view.transactions in the next commit.

lib-index: Rename mail_index.last_read_log_* to main_index_hdr_log_*

Also update the comment to describe better what the variables do.

lib-index: Remove mail_index_map.hdr_base

It was just causing unnecessary complexity. Simpler to just keep
hdr_copy_buf always up-to-date and access it directly.

lib-index: MAIL_TRANSACTION_LOG_VERSION_* - Add also FEATURE_ suffix for feature macros

This more clearly differentiates them from the other
MAIL_TRANSACTION_LOG_VERSION_* macros

lib-index: Verify that keywords in dovecot.index header don't change unexpectedly

Previously this was behind DEBUG for performance reasons, but that was only
because dovecot.index file used to be modified directly. Nowadays it's rare
that the index is being re-read within the same session (most changes are
read via dovecot.index.log), so it's better to verify that things are
working correctly.

lib-index: Add and use MAIL_INDEX_MAP_HDR_OFFSET() helper macro

lib-index: Fill mail_index_map.hdr_copy_buf also when mmap()ing index

This doesn't seem to have been necessary so far, but will be required by
the following changes.

imap: Fix using SETMETADATA NIL to unset value

Broken by 923362d27d9b2428e301614673cb0efba3bf928f

master: Explain how "client_limit is lower than required" is calculated in the warning