lib-index: mail_index_modseq_update_to_highest() - Prepare function to replace modseq manipulation functions

With dropping the in-memory per-flag tracking of the modseqs the
manipulation functions will lose their benefit. This commit prepares a
switch to using mail_index_modseq_update_to_highest() in their stead.

lib-index: Remove noop function mail_index_modseq_expunge()

lib-index: Remove noop function mail_index_modseq_sync_map_replaced()

lib-index: mail-index-modseq - Remove unused mail_index_modseq_lookup_* functions

lib-storage: search_arg_match_index() - Simplify mail index modseq lookup call

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_free()

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_clone()

lib-index: mail-index-map - Remove modseq map from index record map

lib-index: mail-index-modseq - Remove modseq map from sync context

lib-index: mail-index-modseq - Remove session-based modseq tracking flag

lib-index: mail-index-modseq - Explicitly track whether modseqs have been enabled in an index

lib-index: mail-index-modseq - Clarify whether modseq tracking was requested in session

lib-storage, global: Remove unnecessary MAILBOX_SYNC_FLAG_FULL_WRITE

It was only set by IMAP CHECK and POP3 QUIT commands, which made no sense.
Also it only changed the behavior for mbox format.

fs-api: fs_iter_init_with_event() - Initialize iter->event also if iter_init is not implemented

fts: Adding setting for maximum message body size

Solr maximum message size for indexing Set a limit fts_message_max_size
on message body size. Messages are capped at the maximum size for indexing.
This Defaults to zero which means no limit (the existing behaviour).
Example setting:

fts_message_max_size = 10M

Based on work by John Fawcett <john@voipsupport.it>

fts-solr: Limit fetches to SOLR_MAX_MULTI_ROWS

Solr place upper bound on number of rows to be returned from solr for single
mailbox search When dovecot sends a search to solr it uses the rows parameter.
For multiple mailbox search the value used is SOLR_MAX_MULTI_ROWS , hardcoded to
100000. For single mailbox search the value used is uidnext. This patch
introduces an upper limit for single mailbox search using the same upper bound
as for multiple mailbox searches, SOLR_MAX_MULTI_ROWS, while leaving the
existing functionality of sending the uidnext value if it is smaller. This is
just to place a more reasonable upper bound since uidnext can get much larger
than 100000. The following url points to the Solr documentation for query
parameters that describes the rows parameter:
https://solr.apache.org/guide/solr/latest/query-guide/common-query-parameters.html

fts-tika: Allow username and password in fts_tika

Allows specification of username and password in the fts_tika setting for basic
auth against tika server. For example
fts_tika = https://user:password@tika_server:443/tika

imapc, lib-imap-client: Add imapc_features=no-qresync to disable QRESYNC

This can be used to silently work around the Zimbra bug of not sending
[CLOSED] imap-resp-code.

lib-imap-client: Handle better when QRESYNC capable server doesn't send CLOSED imap-resp-code

QRESYNC RFC specifies that the [CLOSED] imap-resp-code MUST always be sent
if server advertises CONDSTORE or QRESYNC capability. However, at least some
Zimbra versions don't do this. Workaround by reconnecting to the server
automatically.

lib-imap-client: Fix automatic reconnecting with delayed logins

reconnect_command_count was always set to 1, because there was always
the command that triggered the connection. It was never reset to 0,
which caused reconnects to never happen.

fs-metawrap, fs-compress, fs-crypt: fs_set_metadata() - Pass metadata to both parent files

These fses have a "super_read" file, which is used for some purposes.
The metadata should be also passed to them, so they get the same useful
internal metadata that can be used to optimize reads.

lib-sql: cassandra - Add log_retries setting to enable logging retry policy

lib-sql: cassandra - Differentiate between requested and received consistency in log messages

They should normally be the same.

lib-sql: cassandra - Add "consistency" and "error_consistency" fields to sql_query_finished event

lib-sql: cassandra - If query isn't sent, don't include confusing details in error message

When query isn't sent, there is no time for how long the query took and
especially the consistency is not set.

doveadm: doveadm_mail_next_user() - Restore privileges before returning

lib-storage: mail_storage_service_restore_privileges() - Allow also for restore to non root euid(s)

lmtp: lmtp_local_data() - Split off mail_storage_service_restore_privileges()

lib-storage: Fix leaking internal error messages to clients on failed list index rebuild

fs-metawrap, fs-compress, fs-crypt: fs_read_stream() - return parent stream error immediately

Earlier behavior was to delay until i_stream_read() was called, which caused
problems with some error handling.

lib-sql: Fix dependencies for building sql-drivers-register.c

lib: istream-multiplex - Fix potential hang when channel buffer gets full

If some bytes were read into the wanted channel, but more input was
attempted to be read into another channel's buffer that was already full,
the read should have returned what bytes were already successfully read.
Instead, 0 (more input needed) was returned.

auth: Fix error message if user doesn't have permission to list users

Broken by 812af4bc58424b7c14ed595810a1dd4dad761ab5

master: Redirect stdout to /dev/null, unless logging is configured to /dev/stdout

Previous behavior was to redirect to /dev/null, unless -F parameter was
used. This made its behavior rather inconsistent, because -F is commonly
used with e.g. systemd.

lib: Add i_failure_have_stdout_logs()

lib: Explicitly support /dev/stdout logging to stdout

This way it goes to stdout file descriptor instead of actually opening
the /dev/stdout device.

pop3: Free event if mail storage initialization fails

Broken in de9c5f8b651b08bf08a6ac75a7fdceec5976b0ff

lib-mail: istream-dot - Implement ISTREAM_DOT_STRICT_EOT

lib-mail: i_stream_create_dot() - Replace boolean send_last_lf with enumerated flags

lib-mail: istream-dot - Change state into type enum dot_state

lib-lua: dlua-dovecot-http - Do synchronous payload only if asked

config: Fix potential crash parsing configuration with obsolete settings

lib-storage: mail_user_var_expand_table() - Fix excessive memory usage

It was supposed to return a cached table, but instead it now allocated a new
one every time from mail_user's pool. This kept growing memory usage after
every mail_user_var_expand_table() call.

Broken by 10eaf04197cfe7f6ab1fd4ab57c9f38e75b2889d

login-common: Add client_vfuncs.iostream_change_pre/post()

doveadm: Add doveadm_mail_server_handle_full()

This allows changing the proxied mail command's command or parameters.

push-notification: fix typo 'module' to '-module'

There is a typo in the Makefile.am where it has 'module` instead of '-module' which causes a build failure with slibtool.

  ld: cannot find module: No such file or directory

With GNU libtool the typo is silently ignored.

*-login: Fix error code for "Maximum number of connections from user+IP exceeded"

IMAP now reports it as [LIMIT] rather than [UNAVAILABLE].

This change also causes proxy_session_finished event's error_code to
change: [UNAVAILABLE] maps to proxy_dest_auth_temp_failed, while [LIMIT]
maps to proxy_dest_auth_failed.

login-common: proxy_session_finished event - Don't add error_code for successful sessions

If the proxy's login to backend succeeded, it was already successful
regardless of what happens afterwards.

auth: Use connection API with auth_master_connection

auth: Splice off handshaking to auth_master_handshake_args()

auth: Change return type to int for auth master input handling

auth: Refactor auth master input handling functions

auth: Rename list to args in auth-master-connection

auth: Constify iovec in auth_master_request_callback()

auth: Use connection structures with auth_master_connection

Prepares for connection usage

auth: Reformat src/auth/auth-master-connection.c

clang-format and touchups.

auth: Add auth-master-connection test

auth: Add auth-client-connection test

lib-auth-client: Add AUTH_MASTER_FLAG_NO_INNER_IOLOOP for testing

auth: test-mech - Remove unneeded code

auth: Extract test_auth_init() and test_auth_deinit()

lib: connection - Record connect_finished for server connections too

lib: connection - Remove unused boolean handshake_received

global: Use connection_set_handshake_ready() and connection_handshake_received()

lib: connection - Add connection_handshake_received()

lib: connection - Add connection_set_handshake_ready()

lib: connection - Record handshake finished time

lib: connection - Indicate if peer credentials have been gotten

lib: connection - Record remote_gid too

lib: connection - Clear timestamps on init

lib: connection - Document connection members

lib-imap-urlauth: imap-urlauth-fetch - Fix comparing out of scope pointer

Practically this wouldn't matter, but Coverity still complains.

Broken by bf8165cea2450c854da39710715983e5ed44b480

lib-http: http_client_init_shared() - Remove unnecessary event==NULL check

The event is always created by http_client_context_create().

lib-imap-urlauth: imap-urlauth-fetch - Fix potential NULL dereference

Found by Coverity.

lib-imap-urlauth: Reformat imap-urlauth-fetch.c

lib: test-event-filter - Add missing event_filter_parse() return value checks

lib-master: Don't log "Killed with signal" warning if kicked via USER-KICK-SIGNAL

imap, pop3, submission: Log MASTER_SERVICE_USER_KICKED_MSG for kicks via USER-KICK-SIGNAL

lib-master: Add master_service_is_user_kicked()

lib-master, global: Add and use MASTER_SERVICE_USER_KICKED_MSG

Use it only for log messages, not for user-visible messages.

submission: client_destroy() - Decouple reply reason from log reason

lib-smtp: Add smtp_server_connection_terminate_full()

lmtp, login-common: Use MASTER_SERVICE_SHUTTING_DOWN_MSG

For consistency.

lib: Replace LFs in log prefixes with spaces

lib: Fix syslog writing if log prefix contains LF

lib: Remove unused failure_handler_vfuncs.post_handler()

lib: Fix CORE_ERROR to work with all log types

It only worked when logging to a file, which practically made it nonworking.

lib: Merge failure_handler_vfuncs.format() into .write()

lib: failures - Rename str variables to data

This simplifies the following commit.

lib: test-event-log - Use temporary file for testing log file contents

This allows removal of failure_handler_vfuncs.format() in the following
commit.

lib-lua: Add unit test for dovecot.http

lib-lua: dlua-dovecot-http - Default to script event if script provides no event for HTTP client

lib-lua: dlua-dovecot-http - Allow setting dns_client_socket_path from script

lib-http: http-client-request - Add "http-client" category to any event set for request

lib-http: http-client-connection - Fix detection of erroneous early response after 100 Continue

lib: If log line contains LFs, add log prefix before each line

lib-sql: sqlite - Add query to error strings

lib-imap-storage: Fix Content-Transfer-Encoding in converted BODYPARTSTRUCTURE

If the part was converted, it should be "binary" rather than "base64".

lib-storage: mail - Group binary part properties into a struct for mail_get_binary_stream().

This makes several additional properties available from
mail_get_binary_stream(). This also changes mail_get_binary_size() into
mail_get_binary_properties().

imap: URLFETCH - Fix returning both BODYPARTSTRUCTURE and BODY/BINARY

It should return (BODYPARTSTRUCTURE ...) (BINARY ...),
not (BODYPARTSTRUCTURE ... BINARY ...)