login-common, *-login: Rename login_proxy_get_[io]stream() to login_proxy_get_server_[io]stream()

imap: COMPRESS - Fail if client pipelines data without waiting for OK reply

imap, imap-hibernate: Preserve multiplex ostream while hibernating

login-common, imap: Allow imap process to handle multiplex ostream

imap: client_create*() - Change unhibernated boolean to enum flags

imap-login: Support starting multiplex iostream using ID command

This is automatically attempted by IMAP proxying, as long as the destination
isn't untrusted.

login-common: Add support for multiplex iostreams

This is an internal protocol between two trusted Dovecots.

lib: ostream-multiplex - Fix working with small buffer sizes

For example imap FETCH command sets buffer size to 0 to avoid growing the
ostream buffers. This broke ostream-multiplex, because it always needs to
buffer the data internally before sending it to parent stream. Fix this
by always keeping the internal buffer size at least IO_BLOCK_SIZE bytes.

lib: ostream-multiplex - Allow destroying with a different flush callback

This is needed to fix a crash (after the changes in following commits):

 - login-proxy aborts multiplex ostream because both sides of the proxy
   want multiplexing.
 - login-proxy creates iostream-proxy, which sets ostream flush callback
 - proxy_input() had multiplex ostream still referenced, and now unrefs it
 - ostream-multiplex is destroyed with a different flush callback

lib: iostream-multiplex - Implement streaming format

lib: ostream-multiplex - Use ostream_private.corked instead of duplicating it

This also fixes o_stream_is_corked() to work correctly.

lib: ostream-multiplex - Split off o_stream_multiplex_send_packet()

lib: ostream-multiplex - Make sure parent stream write errors are noticed early

lib: ostream-multiplex - Fix propagating parent stream error messages

lib, global: o_stream_create_multiplex() - Add format parameter

lib: ostream-multiplex - Remove unused multiplex_ostream.remain

lib: ostream-multiplex - Remove unnecessary check

It's already checked above to be >0.

lib: istream-multiplex - Split off i_stream_multiplex_add()

lib: istream-multiplex - Allow destroying stream without closing it

lib: istream-multiplex - Fix propagating parent stream error messages

lib: istream-multiplex - Rename struct multiplex_istream.remain to packet_bytes_left

lib: istream-multiplex - Rename struct multiplex_ichannel.pending_pos to pending_count

lib: iostream-pump - Call o_stream_finish() when input is finished

This is required to cleanly finish ostreams that have "end of stream"
marker.

README.md: Remove dead link to doc/documentation.txt

lib-dns: Fix potential timeout leak

README.md: Fix link to mailing lists

lib: istream-seekable - Allow in-memory fallback only for up to 10 MB streams

lib: istream-seekable - Improve logging after write() errors

Also don't silently handle out of disk space errors - log a warning instead.

lib: istream-seekable - Assert that write() won't return 0

lib: istream-seekable - Fix moving stream to memory on write() failure

Fixes:
Panic: file istream-seekable.c: line 238 (read_from_buffer): assertion failed: (*ret_r > 0)

doveadm save: Fix potential assert-crash if saving failed

The input stream may not have been fully read at failure time.

Fixes:
Panic: file doveadm-mail-save.c: line 91 (cmd_save_to_mailbox): assertion failed: (input->eof)

imap: Remove unused includes from imap-settings.c

imap: Enable imap hibernation in Dovecot Pro build

m4: Define DOVECOT_PRO_EDITION if pro build is enabled

lib-dns: Fix dns_lookup_abort(&NULL) to not crash

Broken by f9e7f71e48dd4fe2b9af23796022fc256db3866d

dict: Check that dict client provides username when using private dict keys

Prevents assert-crashes later on.

config: Fix potential crash when parsing invalid values for settings

config: Add assert to avoid scan-build warning

anvil: test-connect-limit - Add asserts to avoid scan-build warnings

lib-dns: Fix clearing dns requests list at disconnect

lib-dns: Move cache entry refreshing out of dns-client-cache

lib-dns: Fix error handling if background dns refresh lookup fails

If we got disconnected from dns-client, the background dns refresh callback
was never called.

lib-dns: Fix error handling when disconnection aborts requests

lib-dns: Abort pending requests when disconnecting, even when not connected

lib-dns: Remove lookup from linked list independently of freeing it

This probably doesn't fix anything, but makes it clearer how it's intended
to work.

lib-dns: Disconnect from server on lookup timeout

Since the timeout removed the lookup from the responses linked list, any
following replies could become matched against a wrong lookup.

lib-dns: dns_lookup_abort() - If client isn't destroyed, delay freeing the lookup

The lookup can't be removed from the linked list until its response has been
received, or the response could become matched against a wrong lookup.

lib-dns: Cleanup code by removing impossible code path

lib-dns: Move dns client cache to its own file

lib-dns: Avoid dereferencing struct dns_lookup in dns_client_cache_*()

lib-dns: Extract caching fields from struct dns_client to dns_client_cache

lib-dns: Remove unnecessary includes and a define

configure: Drop unused DOVECOT_IPV6

auth: Ensure internal failures are failed when doing proxying

Otherwise the user will drop into a local session, which is not
what should happen.

auth: Drop hostip field in auth_fields_remove()

Forgotten in 8be0af2dd41283fdd250b9a0d8fad28bfe80ca85

auth: Check that host and hostip match if they are both IP addresses

login-common: Use temporary failure in client_auth_reply_args

If we cannot parse the arguments, it must be TEMPFAIL, not AUTHFAILED.
Otherwise we get a stuck login process.

Broken in 49b5e7c44f034b1c4341409ffef205042bd46b56

login-common: proxy - Check reply IP address family

login-common: Check that host and hostip match if they are both IP addresses

login-common: Choose next source address with correct address family

When login_source_ips contains both IPv4 and IPv6 addresses,
outgoing connections attempts to use them in respect of family
of destination IPs.

login-common: Fix infinite proxy loop if hostip is used

If host and hostip are set to different IP addresses, loop detection
fails to detect this as loop.

login-common: Remove duplicate logging of remote host

login-common: Log how many seconds host has been down

login-common: Remove unused includes

login-common: Include hostname in log prefix

lib: Use sa_family_t in struct ip_addr

configure: Add --enable-pro-build option to configure

m4: Separate .m4 file for dovecot pro defines

imap: Force ID name value when running pro edition

imap: Use DOVECOT_NAME instead of PACKAGE_NAME for ID command

config: Fix writing delayed errors for filters

The index number was moved elsewhere, it shouldn't be here.

doveadm: Add --no-userdb-lookup parameter

This is likely mainly useful with doveadm sync/backup.

master: Fix assert-crash after "Process .. is ignoring idle SIGINT" error

The timeout was called multiple times, which caused internal state to break.

Fixes:
Panic: file service-monitor.c: line 60 (service_kill_idle): assertion failed: (processes_to_kill <= service->process_avail)

auth: Drop passdb/userdb dict

Lua driver can be used instead.

lib: iostream-rawlog - Flush final buffered data when the stream doesn't end with LF

auth: "Auth request was queued .. secs" log message should be warning, not error

lib, global: timeval_diff_msecs() - Return long long

This makes it less likely to hit accidental bugs due to comparing timestamps
with large differences.

master: Add assert to make sure the same process isn't destroyed twice

master: Add asserts to make sure service state is clean at deinit

master: Add asserts to make sure service's idling process count is never higher than avail count

anvil: test-connect-limit - Fix memory leak

anvil: Fix memory leak when unused alt username field was reused for another field

imap-hibernate: Send alt usernames to anvil

lib-storage: mail_user_get_alt_usernames() - Fix returning garbage

The first call returned usable usernames in data stack. However, these
were permanently stored to struct mail_user and returned also in the
following calls. At that point the pointers contained some garbage data.

Broken by 3c97a221b9365e1300f08f6b789f8bae7ef23601

anvil: test-connect-limit - Add randomness test

lib: i_stream_read() - Fix for runtime error: applying zero offset to null pointer

(found in clang under --enable-devel-checks)

lib-imap-client: imapc_command_abort() - Remove command from connection's arrays before freeing it

Broken by db8a542f3d9

doveadm: Remove unused function hardlink_replace

doveadm: Remove unused function file_contents_equal

doveadm: Remove all mentions of sis deduplicate

lib-index: mail-index-modseq - Remove unused in-memory datastructures

lib-index: mail-index-modseq - Remove unused mail index modseq-manipulation functions

lib-index: mail-index-sync - Simplify modseq update function calls

lib-index: mail_index_modseq_update_to_highest() - Prepare function to replace modseq manipulation functions

With dropping the in-memory per-flag tracking of the modseqs the
manipulation functions will lose their benefit. This commit prepares a
switch to using mail_index_modseq_update_to_highest() in their stead.

lib-index: Remove noop function mail_index_modseq_expunge()

lib-index: Remove noop function mail_index_modseq_sync_map_replaced()

lib-index: mail-index-modseq - Remove unused mail_index_modseq_lookup_* functions

lib-storage: search_arg_match_index() - Simplify mail index modseq lookup call

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_free()

lib-index: mail-index-modseq - Remove unused mail_index_map_modseq_clone()