lib-dns: dns_lookup_abort() - If client isn't destroyed, delay freeing the lookup

The lookup can't be removed from the linked list until its response has been
received, or the response could become matched against a wrong lookup.

lib-dns: Cleanup code by removing impossible code path

lib-dns: Move dns client cache to its own file

lib-dns: Avoid dereferencing struct dns_lookup in dns_client_cache_*()

lib-dns: Extract caching fields from struct dns_client to dns_client_cache

lib-dns: Remove unnecessary includes and a define

configure: Drop unused DOVECOT_IPV6

auth: Ensure internal failures are failed when doing proxying

Otherwise the user will drop into a local session, which is not
what should happen.

auth: Drop hostip field in auth_fields_remove()

Forgotten in 8be0af2dd41283fdd250b9a0d8fad28bfe80ca85

auth: Check that host and hostip match if they are both IP addresses

login-common: Use temporary failure in client_auth_reply_args

If we cannot parse the arguments, it must be TEMPFAIL, not AUTHFAILED.
Otherwise we get a stuck login process.

Broken in 49b5e7c44f034b1c4341409ffef205042bd46b56

login-common: proxy - Check reply IP address family

login-common: Check that host and hostip match if they are both IP addresses

login-common: Choose next source address with correct address family

When login_source_ips contains both IPv4 and IPv6 addresses,
outgoing connections attempts to use them in respect of family
of destination IPs.

login-common: Fix infinite proxy loop if hostip is used

If host and hostip are set to different IP addresses, loop detection
fails to detect this as loop.

login-common: Remove duplicate logging of remote host

login-common: Log how many seconds host has been down

login-common: Remove unused includes

login-common: Include hostname in log prefix

lib: Use sa_family_t in struct ip_addr

configure: Add --enable-pro-build option to configure

m4: Separate .m4 file for dovecot pro defines

imap: Force ID name value when running pro edition

imap: Use DOVECOT_NAME instead of PACKAGE_NAME for ID command

config: Fix writing delayed errors for filters

The index number was moved elsewhere, it shouldn't be here.

doveadm: Add --no-userdb-lookup parameter

This is likely mainly useful with doveadm sync/backup.

master: Fix assert-crash after "Process .. is ignoring idle SIGINT" error

The timeout was called multiple times, which caused internal state to break.

Fixes:
Panic: file service-monitor.c: line 60 (service_kill_idle): assertion failed: (processes_to_kill <= service->process_avail)

auth: Drop passdb/userdb dict

Lua driver can be used instead.

lib: iostream-rawlog - Flush final buffered data when the stream doesn't end with LF

auth: "Auth request was queued .. secs" log message should be warning, not error

lib, global: timeval_diff_msecs() - Return long long

This makes it less likely to hit accidental bugs due to comparing timestamps
with large differences.

master: Add assert to make sure the same process isn't destroyed twice

master: Add asserts to make sure service state is clean at deinit

master: Add asserts to make sure service's idling process count is never higher than avail count

anvil: test-connect-limit - Fix memory leak

anvil: Fix memory leak when unused alt username field was reused for another field

imap-hibernate: Send alt usernames to anvil

lib-storage: mail_user_get_alt_usernames() - Fix returning garbage

The first call returned usable usernames in data stack. However, these
were permanently stored to struct mail_user and returned also in the
following calls. At that point the pointers contained some garbage data.

Broken by 3c97a221b9365e1300f08f6b789f8bae7ef23601

anvil: test-connect-limit - Add randomness test

lib: i_stream_read() - Fix for runtime error: applying zero offset to null pointer

(found in clang under --enable-devel-checks)

lib-imap-client: imapc_command_abort() - Remove command from connection's arrays before freeing it

Broken by db8a542f3d9

doveadm: Remove unused function hardlink_replace

doveadm: Remove unused function file_contents_equal

doveadm: Remove all mentions of sis deduplicate

lib-index: mail-index-modseq - Remove unused in-memory datastructures

lib-index: mail-index-modseq - Remove unused mail index modseq-manipulation functions

lib-index: mail-index-sync - Simplify modseq update function calls

lib-index: mail_index_modseq_update_to_highest() - Prepare function to replace modseq manipulation functions

With dropping the in-memory per-flag tracking of the modseqs the
manipulation functions will lose their benefit. This commit prepares a
switch to using mail_index_modseq_update_to_highest() in their stead.

lib-index: Remove noop function mail_index_modseq_expunge()

lib-index: Remove noop function mail_index_modseq_sync_map_replaced()

lib-index: mail-index-modseq - Remove unused mail_index_modseq_lookup_* functions

lib-storage: search_arg_match_index() - Simplify mail index modseq lookup call

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_free()

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_clone()

lib-index: mail-index-map - Remove modseq map from index record map

lib-index: mail-index-modseq - Remove modseq map from sync context

lib-index: mail-index-modseq - Remove session-based modseq tracking flag

lib-index: mail-index-modseq - Explicitly track whether modseqs have been enabled in an index

lib-index: mail-index-modseq - Clarify whether modseq tracking was requested in session

lib-storage, global: Remove unnecessary MAILBOX_SYNC_FLAG_FULL_WRITE

It was only set by IMAP CHECK and POP3 QUIT commands, which made no sense.
Also it only changed the behavior for mbox format.

fs-api: fs_iter_init_with_event() - Initialize iter->event also if iter_init is not implemented

fts: Adding setting for maximum message body size

Solr maximum message size for indexing Set a limit fts_message_max_size
on message body size. Messages are capped at the maximum size for indexing.
This Defaults to zero which means no limit (the existing behaviour).
Example setting:

fts_message_max_size = 10M

Based on work by John Fawcett <john@voipsupport.it>

fts-solr: Limit fetches to SOLR_MAX_MULTI_ROWS

Solr place upper bound on number of rows to be returned from solr for single
mailbox search When dovecot sends a search to solr it uses the rows parameter.
For multiple mailbox search the value used is SOLR_MAX_MULTI_ROWS , hardcoded to
100000. For single mailbox search the value used is uidnext. This patch
introduces an upper limit for single mailbox search using the same upper bound
as for multiple mailbox searches, SOLR_MAX_MULTI_ROWS, while leaving the
existing functionality of sending the uidnext value if it is smaller. This is
just to place a more reasonable upper bound since uidnext can get much larger
than 100000. The following url points to the Solr documentation for query
parameters that describes the rows parameter:
https://solr.apache.org/guide/solr/latest/query-guide/common-query-parameters.html

fts-tika: Allow username and password in fts_tika

Allows specification of username and password in the fts_tika setting for basic
auth against tika server. For example
fts_tika = https://user:password@tika_server:443/tika

imapc, lib-imap-client: Add imapc_features=no-qresync to disable QRESYNC

This can be used to silently work around the Zimbra bug of not sending
[CLOSED] imap-resp-code.

lib-imap-client: Handle better when QRESYNC capable server doesn't send CLOSED imap-resp-code

QRESYNC RFC specifies that the [CLOSED] imap-resp-code MUST always be sent
if server advertises CONDSTORE or QRESYNC capability. However, at least some
Zimbra versions don't do this. Workaround by reconnecting to the server
automatically.

lib-imap-client: Fix automatic reconnecting with delayed logins

reconnect_command_count was always set to 1, because there was always
the command that triggered the connection. It was never reset to 0,
which caused reconnects to never happen.

fs-metawrap, fs-compress, fs-crypt: fs_set_metadata() - Pass metadata to both parent files

These fses have a "super_read" file, which is used for some purposes.
The metadata should be also passed to them, so they get the same useful
internal metadata that can be used to optimize reads.

lib-sql: cassandra - Add log_retries setting to enable logging retry policy

lib-sql: cassandra - Differentiate between requested and received consistency in log messages

They should normally be the same.

lib-sql: cassandra - Add "consistency" and "error_consistency" fields to sql_query_finished event

lib-sql: cassandra - If query isn't sent, don't include confusing details in error message

When query isn't sent, there is no time for how long the query took and
especially the consistency is not set.

doveadm: doveadm_mail_next_user() - Restore privileges before returning

lib-storage: mail_storage_service_restore_privileges() - Allow also for restore to non root euid(s)

lmtp: lmtp_local_data() - Split off mail_storage_service_restore_privileges()

lib-storage: Fix leaking internal error messages to clients on failed list index rebuild

fs-metawrap, fs-compress, fs-crypt: fs_read_stream() - return parent stream error immediately

Earlier behavior was to delay until i_stream_read() was called, which caused
problems with some error handling.

lib-sql: Fix dependencies for building sql-drivers-register.c

lib: istream-multiplex - Fix potential hang when channel buffer gets full

If some bytes were read into the wanted channel, but more input was
attempted to be read into another channel's buffer that was already full,
the read should have returned what bytes were already successfully read.
Instead, 0 (more input needed) was returned.

auth: Fix error message if user doesn't have permission to list users

Broken by 812af4bc58424b7c14ed595810a1dd4dad761ab5

master: Redirect stdout to /dev/null, unless logging is configured to /dev/stdout

Previous behavior was to redirect to /dev/null, unless -F parameter was
used. This made its behavior rather inconsistent, because -F is commonly
used with e.g. systemd.

lib: Add i_failure_have_stdout_logs()

lib: Explicitly support /dev/stdout logging to stdout

This way it goes to stdout file descriptor instead of actually opening
the /dev/stdout device.

pop3: Free event if mail storage initialization fails

Broken in de9c5f8b651b08bf08a6ac75a7fdceec5976b0ff

lib-mail: istream-dot - Implement ISTREAM_DOT_STRICT_EOT

lib-mail: i_stream_create_dot() - Replace boolean send_last_lf with enumerated flags

lib-mail: istream-dot - Change state into type enum dot_state

lib-lua: dlua-dovecot-http - Do synchronous payload only if asked

config: Fix potential crash parsing configuration with obsolete settings

lib-storage: mail_user_var_expand_table() - Fix excessive memory usage

It was supposed to return a cached table, but instead it now allocated a new
one every time from mail_user's pool. This kept growing memory usage after
every mail_user_var_expand_table() call.

Broken by 10eaf04197cfe7f6ab1fd4ab57c9f38e75b2889d

login-common: Add client_vfuncs.iostream_change_pre/post()

doveadm: Add doveadm_mail_server_handle_full()

This allows changing the proxied mail command's command or parameters.

push-notification: fix typo 'module' to '-module'

There is a typo in the Makefile.am where it has 'module` instead of '-module' which causes a build failure with slibtool.

  ld: cannot find module: No such file or directory

With GNU libtool the typo is silently ignored.

*-login: Fix error code for "Maximum number of connections from user+IP exceeded"

IMAP now reports it as [LIMIT] rather than [UNAVAILABLE].

This change also causes proxy_session_finished event's error_code to
change: [UNAVAILABLE] maps to proxy_dest_auth_temp_failed, while [LIMIT]
maps to proxy_dest_auth_failed.

login-common: proxy_session_finished event - Don't add error_code for successful sessions

If the proxy's login to backend succeeded, it was already successful
regardless of what happens afterwards.

auth: Use connection API with auth_master_connection

auth: Splice off handshaking to auth_master_handshake_args()

auth: Change return type to int for auth master input handling

auth: Refactor auth master input handling functions

auth: Rename list to args in auth-master-connection