lib: ostream-multiplex - Use ostream_private.corked instead of duplicating it

This also fixes o_stream_is_corked() to work correctly.

lib: ostream-multiplex - Split off o_stream_multiplex_send_packet()

lib: ostream-multiplex - Make sure parent stream write errors are noticed early

lib: ostream-multiplex - Fix propagating parent stream error messages

lib, global: o_stream_create_multiplex() - Add format parameter

lib: ostream-multiplex - Remove unused multiplex_ostream.remain

lib: ostream-multiplex - Remove unnecessary check

It's already checked above to be >0.

lib: istream-multiplex - Split off i_stream_multiplex_add()

lib: istream-multiplex - Allow destroying stream without closing it

lib: istream-multiplex - Fix propagating parent stream error messages

lib: istream-multiplex - Rename struct multiplex_istream.remain to packet_bytes_left

lib: istream-multiplex - Rename struct multiplex_ichannel.pending_pos to pending_count

lib: iostream-pump - Call o_stream_finish() when input is finished

This is required to cleanly finish ostreams that have "end of stream"
marker.

README.md: Remove dead link to doc/documentation.txt

lib-dns: Fix potential timeout leak

README.md: Fix link to mailing lists

lib: istream-seekable - Allow in-memory fallback only for up to 10 MB streams

lib: istream-seekable - Improve logging after write() errors

Also don't silently handle out of disk space errors - log a warning instead.

lib: istream-seekable - Assert that write() won't return 0

lib: istream-seekable - Fix moving stream to memory on write() failure

Fixes:
Panic: file istream-seekable.c: line 238 (read_from_buffer): assertion failed: (*ret_r > 0)

doveadm save: Fix potential assert-crash if saving failed

The input stream may not have been fully read at failure time.

Fixes:
Panic: file doveadm-mail-save.c: line 91 (cmd_save_to_mailbox): assertion failed: (input->eof)

imap: Remove unused includes from imap-settings.c

imap: Enable imap hibernation in Dovecot Pro build

m4: Define DOVECOT_PRO_EDITION if pro build is enabled

lib-dns: Fix dns_lookup_abort(&NULL) to not crash

Broken by f9e7f71e48dd4fe2b9af23796022fc256db3866d

dict: Check that dict client provides username when using private dict keys

Prevents assert-crashes later on.

config: Fix potential crash when parsing invalid values for settings

config: Add assert to avoid scan-build warning

anvil: test-connect-limit - Add asserts to avoid scan-build warnings

lib-dns: Fix clearing dns requests list at disconnect

lib-dns: Move cache entry refreshing out of dns-client-cache

lib-dns: Fix error handling if background dns refresh lookup fails

If we got disconnected from dns-client, the background dns refresh callback
was never called.

lib-dns: Fix error handling when disconnection aborts requests

lib-dns: Abort pending requests when disconnecting, even when not connected

lib-dns: Remove lookup from linked list independently of freeing it

This probably doesn't fix anything, but makes it clearer how it's intended
to work.

lib-dns: Disconnect from server on lookup timeout

Since the timeout removed the lookup from the responses linked list, any
following replies could become matched against a wrong lookup.

lib-dns: dns_lookup_abort() - If client isn't destroyed, delay freeing the lookup

The lookup can't be removed from the linked list until its response has been
received, or the response could become matched against a wrong lookup.

lib-dns: Cleanup code by removing impossible code path

lib-dns: Move dns client cache to its own file

lib-dns: Avoid dereferencing struct dns_lookup in dns_client_cache_*()

lib-dns: Extract caching fields from struct dns_client to dns_client_cache

lib-dns: Remove unnecessary includes and a define

configure: Drop unused DOVECOT_IPV6

auth: Ensure internal failures are failed when doing proxying

Otherwise the user will drop into a local session, which is not
what should happen.

auth: Drop hostip field in auth_fields_remove()

Forgotten in 8be0af2dd41283fdd250b9a0d8fad28bfe80ca85

auth: Check that host and hostip match if they are both IP addresses

login-common: Use temporary failure in client_auth_reply_args

If we cannot parse the arguments, it must be TEMPFAIL, not AUTHFAILED.
Otherwise we get a stuck login process.

Broken in 49b5e7c44f034b1c4341409ffef205042bd46b56

login-common: proxy - Check reply IP address family

login-common: Check that host and hostip match if they are both IP addresses

login-common: Choose next source address with correct address family

When login_source_ips contains both IPv4 and IPv6 addresses,
outgoing connections attempts to use them in respect of family
of destination IPs.

login-common: Fix infinite proxy loop if hostip is used

If host and hostip are set to different IP addresses, loop detection
fails to detect this as loop.

login-common: Remove duplicate logging of remote host

login-common: Log how many seconds host has been down

login-common: Remove unused includes

login-common: Include hostname in log prefix

lib: Use sa_family_t in struct ip_addr

configure: Add --enable-pro-build option to configure

m4: Separate .m4 file for dovecot pro defines

imap: Force ID name value when running pro edition

imap: Use DOVECOT_NAME instead of PACKAGE_NAME for ID command

config: Fix writing delayed errors for filters

The index number was moved elsewhere, it shouldn't be here.

doveadm: Add --no-userdb-lookup parameter

This is likely mainly useful with doveadm sync/backup.

master: Fix assert-crash after "Process .. is ignoring idle SIGINT" error

The timeout was called multiple times, which caused internal state to break.

Fixes:
Panic: file service-monitor.c: line 60 (service_kill_idle): assertion failed: (processes_to_kill <= service->process_avail)

auth: Drop passdb/userdb dict

Lua driver can be used instead.

lib: iostream-rawlog - Flush final buffered data when the stream doesn't end with LF

auth: "Auth request was queued .. secs" log message should be warning, not error

lib, global: timeval_diff_msecs() - Return long long

This makes it less likely to hit accidental bugs due to comparing timestamps
with large differences.

master: Add assert to make sure the same process isn't destroyed twice

master: Add asserts to make sure service state is clean at deinit

master: Add asserts to make sure service's idling process count is never higher than avail count

anvil: test-connect-limit - Fix memory leak

anvil: Fix memory leak when unused alt username field was reused for another field

imap-hibernate: Send alt usernames to anvil

lib-storage: mail_user_get_alt_usernames() - Fix returning garbage

The first call returned usable usernames in data stack. However, these
were permanently stored to struct mail_user and returned also in the
following calls. At that point the pointers contained some garbage data.

Broken by 3c97a221b9365e1300f08f6b789f8bae7ef23601

anvil: test-connect-limit - Add randomness test

lib: i_stream_read() - Fix for runtime error: applying zero offset to null pointer

(found in clang under --enable-devel-checks)

lib-imap-client: imapc_command_abort() - Remove command from connection's arrays before freeing it

Broken by db8a542f3d9

doveadm: Remove unused function hardlink_replace

doveadm: Remove unused function file_contents_equal

doveadm: Remove all mentions of sis deduplicate

lib-index: mail-index-modseq - Remove unused in-memory datastructures

lib-index: mail-index-modseq - Remove unused mail index modseq-manipulation functions

lib-index: mail-index-sync - Simplify modseq update function calls

lib-index: mail_index_modseq_update_to_highest() - Prepare function to replace modseq manipulation functions

With dropping the in-memory per-flag tracking of the modseqs the
manipulation functions will lose their benefit. This commit prepares a
switch to using mail_index_modseq_update_to_highest() in their stead.

lib-index: Remove noop function mail_index_modseq_expunge()

lib-index: Remove noop function mail_index_modseq_sync_map_replaced()

lib-index: mail-index-modseq - Remove unused mail_index_modseq_lookup_* functions

lib-storage: search_arg_match_index() - Simplify mail index modseq lookup call

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_free()

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_clone()

lib-index: mail-index-map - Remove modseq map from index record map

lib-index: mail-index-modseq - Remove modseq map from sync context

lib-index: mail-index-modseq - Remove session-based modseq tracking flag

lib-index: mail-index-modseq - Explicitly track whether modseqs have been enabled in an index

lib-index: mail-index-modseq - Clarify whether modseq tracking was requested in session

lib-storage, global: Remove unnecessary MAILBOX_SYNC_FLAG_FULL_WRITE

It was only set by IMAP CHECK and POP3 QUIT commands, which made no sense.
Also it only changed the behavior for mbox format.

fs-api: fs_iter_init_with_event() - Initialize iter->event also if iter_init is not implemented

fts: Adding setting for maximum message body size

Solr maximum message size for indexing Set a limit fts_message_max_size
on message body size. Messages are capped at the maximum size for indexing.
This Defaults to zero which means no limit (the existing behaviour).
Example setting:

fts_message_max_size = 10M

Based on work by John Fawcett <john@voipsupport.it>

fts-solr: Limit fetches to SOLR_MAX_MULTI_ROWS

Solr place upper bound on number of rows to be returned from solr for single
mailbox search When dovecot sends a search to solr it uses the rows parameter.
For multiple mailbox search the value used is SOLR_MAX_MULTI_ROWS , hardcoded to
100000. For single mailbox search the value used is uidnext. This patch
introduces an upper limit for single mailbox search using the same upper bound
as for multiple mailbox searches, SOLR_MAX_MULTI_ROWS, while leaving the
existing functionality of sending the uidnext value if it is smaller. This is
just to place a more reasonable upper bound since uidnext can get much larger
than 100000. The following url points to the Solr documentation for query
parameters that describes the rows parameter:
https://solr.apache.org/guide/solr/latest/query-guide/common-query-parameters.html

fts-tika: Allow username and password in fts_tika

Allows specification of username and password in the fts_tika setting for basic
auth against tika server. For example
fts_tika = https://user:password@tika_server:443/tika