lib-ssl-iostream: Add stream/context comments to all ssl_iostream_settings

login-proxy: Use iostream-proxy API to perform proxying

lib: Add o_stream_get_last_write_time()

lib: Add i_stream_get_last_read_time()

login-proxy: Move client fd closing to client_unref()

login-common: Move code in client_destroy_internal_failure() to its only caller

No need to have a function that has only a single caller.

login-common: Avoid using client_destroy_success() when mail_max_userip_connections is reached

This was currently the only way how data != NULL here.

This change destroys ssl_proxy on client_destroy() instead of
client_unref(), but that doesn't make much of a practical difference. This
new behavior is a bit more correct though.

iostream-openssl: Refactor stream sync code

When doing input or stream sync, specify
the type of operation that we are doing
to make sure we do IO correctly.

lib-ssl-iostream: Set error on clean connection closing during handshake.

Set the error to "SSL connection closed during handshake".

lib-ssl-iostream: Cleanup disconnection handling

Avoid code duplication. Set error to "Connection closed" if there's no
other error.

doveadm: Remove dead code

ret can never be >0 at this point. If there are any unexpected JSON
elements, doveadm_http_server_json_parse_v1() returns -1.

director: Make sure HOST-RESET-USERS isn't used with max_moving_users=0

The reset command would just hang in that case. doveadm would never have
sent this, so this is just an extra sanity check.

director: Show in process title how many users are being kicked.

director: Show in process title how many requests are being delayed.

director: Log an error if login process sends unexpected reply to KICK* commands

director: Log whenever HOST-RESET-USERS is used

director: Include used CPU secs in director connection log messages

It's counting the process's full CPU seconds used since the handshake
started, so it's not specific to the connection itself. Still, this is
likely to be very useful in debugging whether a slow handshake was due
to CPU usage or something else.

director: Deduplicate code into director_connection_set_connected()

director: Include peak output buffer size in director connection log messages

cassandra: Include the used timestamp in logged queries

cassandra: Rename cassandra_sql_statement.pending_timestamp to just timestamp

lib-storage: When copying mails, copy also empty cache fields

This mainly means that it copies cache fields for nonexistent message
headers. Those are still important, because otherwise Dovecot doesn't know
whether they exist or not.

director: Don't block too long when sending users during director handshake

All the other work is blocked while the users are being sent.

auth: Disabling SMTP authentication in vpopmail users with NO_SMTP flag

lib: str_parse/to_*int*() - minor optimization

director: Avoid str_printfa() in director_connection_send_users()

Optimizes the CPU usage.

director: Avoid str_printfa() in login_host_callback()

Optimizes the CPU usage.

director: Change request callback to take mail_host parameter

This allows accessing the IP address both as struct and as string without
any conversions.

director: Use *_host.ip_str to avoid net_ip2addr() calls

director: Add director_host.ip_str

This avoids having to use net_ip2addr() all the time to convert it into a
string.

director: Add mail_host.ip_str

This avoids having to use net_ip2addr() all the time to convert it into a
string.

director: Use t_strsplit_tabescaped_inplace() for director connection input

lib: net_addr2ip() - Optimize for parsing IPv4 addresses

lib: net_ip2addr() - Optimize by allocating destination memory immediately

It doesn't really matter if we allocate a few extra bytes.

lib: *_strsplit() - implement more efficient version for a single separator char

lib: test-strfuncs - Improve *_strsplit*() unit tests

lib: Implement t_strsplit_tabescaped_inplace()

This is a more efficient version of t_strsplit_tabescaped(), which modifies
the input string instead of duplicating it.

lib: test-strescape - Refactor the unit test to use an array of tests

lib: t_strsplit_tabescaped() - don't create unnecessary data stack mempool

unsafe_data_stack_pool is more efficient to use

lib: str_tabunescape() - optimize initial escape char lookup

strchr() is faster than looping ourself.

director: Don't recreate timeout on every user lookup

Recreate it only when the timeout should change.

director: Fix off-by-one when checking if user weakness is stuck

When the weakness was exactly at the second, the weakness wasn't detected
and the next expiration timeout was removed entirely. This shouldn't have
caused any bigger problems, because another user lookup on the following
second would have then detected the weakness, removed the user and restored
the next expiration timeout.

mbox: Add assert to make static analyzer happier

lib-http: Remove dead code

This code branch became dead after 22ee6e1e6193299034ab99f77a650290de2fd6ca

lib-ssl-iostream: Fix alt cert support

It was only partially implemented in 0577701d04beea222fc49a7318851ddcea3b99d3

lib: istream - Avoid panic in snapshot() with nonpersistent buffers

lib: istream - Don't leak snapshot memory if close() triggers a read

Also move the line_str freeing just before stream is freed. That didn't
cause any known memory leaks though.

lib: istream-jsonstr - Fix potential infinite loop if parent stream's max_buffer_size is tiny

global: i_stream_read_memarea() - Remove impossible ret==-2 checks

If the stream's buffer is empty, i_stream_read_memarea() would have already
assert-crashed at this point.

imap, pop3: Don't access login_set.*_socket_path after they're freed from data stack

Call master_login_init() before master_service_init_finish(), which frees
all the data stack done in initialization.

This didn't normally cause any visible problems, because data stack wasn't
currently being used in a way that the strings were invalidated. However,
it was causing failures if --enable-devel-checks was used.

config: Properly fix ssl-parameters.dat handling

It was done only partially right in a70d867d1fe3584149811c65eb6213deb72be824

login-common: client_unref() - always set client pointer to NULL

This is the common coding practise elsewhere as well.

pop3-login: Cleanup - uncork output unconditionally before client_unref()

login-common: Remove unnecessary client_ref/unref from STARTTLS handling

There used to be code between them that could have destroyed the connection,
but that was removed long time ago.

doveadm: Send hostname without ":port" as TLS SNI name for outgoing SSL connections.

config: Do not run ssl_dh check always

Do it only when CONFIG_DUMP_FLAG_CHECK_SETTINGS is set. Fixes

"Warning: You can generate it with: dd if=ssl-parameters.dat bs=1 skip=88..."

dict-redis: Include last_reply in communications failure error

This way it's possible to determine what went wrong.

dict-redis: Added support for authentication.

Patch by David Zambonini

lib: i_stream_w_buffer_realloc() - avoid passing NULL to memcpy()

It happened only with size=0, so it shouldn't have mattered much.

imap-proxy: Don't discard the first pipelined command after LOGIN

lib-storage: imapc - Fix spelling mistakes

Original work by @jsoref

lib-fs: Fix spelling mistakes

Original work by @jsoref

test-quota: Fix spelling mistakes

Original work by @jsoref

lazy-expunge: Fix spelling mistakes

Original work by @jsoref

plugin-fts: Fix spelling mistakes

Original work by @jsoref

fts-squat: Fix spelling mistakes

Original work by @jsoref

imap: Fix spelling mistakes

Original work by @jsoref

director: Fix spelling mistakes

Original work by @jsoref

mech-apop: Fix spelling mistake

Original work by @jsoref

man: Fix spelling mistakes

Original work by @jsoref

global: Fix spelling mistakes in comments

Original work by @andreasschulze and @jsoref

fts-lucene: Do not clobber return value

Found by scanbuild

director: Show each director connection in doveadm DIRECTOR-LIST

Previously the host was shown only once, regardless of how many connections
it had. This especially helps when there are just two directors, but also
can be useful when showing incoming/outgoing connections that are still
in handshaking phase.

doveadm director ring status: Add more fields related to connection status

director: Track show long the last ring sync took.

director: Track connections' last ping time

director: Add director_connection_get_status()

Can be used to access connection-specific status information.

director: Fix updating director connection's last_output timestamp

It was previously updated only in ostream's flush callback, which was called
only when there were a lot of output. This only caused the "last output"
timestamp in disconnection log lines to be wrong.

doveadm director: Parse timestamp parameters with str_to_time()

director: Close director connection immediately when output buffer is full

Only the ostream was closed, which didn't actually cause the disconnection
until the other side closed the connection.

director: Add director_output_buffer_size setting

This allows configuring the max buffer size for outgoing connections.
Previously it was hardcoded to 10 MB, which wasn't necessarily enough for
very busy directors.

lib-ssl-iostream: Verify SSL server's hostname against cert if it's non-NULL

The hostname verification was skipped when handshake-callback wasn't used.
All of the existing code used the callback though, so this doesn't fix
any bugs.

lib-ssl-iostream: Fix checking cert validity when handshake callback isn't used

lib-ssl-iostream: Split host to connected_host and sni_host

Using the same variable for both was causing confusion.

global: start relying on [io]_stream_close(NULL) being a no-op

Cleanup performed with the following semantic patch (and a bit of
hand-editing):

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_close(E);
- }
+ i_stream_close(E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_close(E);
- }
+ o_stream_close(E);

lib: [io]_stream_close(NULL) should be no-ops

lib-index: Fix -Wstrict-bool warnings with --enable-devel-checks

global: Use i_stream_read_memarea() wherever possible

lib: i_stream_compress() - assert-crash if trying to compress shared memarea

The caller is always expected to check the refcount before calling this.

lib: i_stream_read() - Add buffer validity checks if DEBUG is enabled

lib: i_stream_read() - Use snapshots

This guarantees that data returned by i_stream_get_data() won't be freed
until the next i_stream_read() returns >0. This is mainly important,
because often the error handling for <=0 doesn't update the buffer
pointers correctly and it leads to complicated bugs where already freed
memory is attempted to be read (but never written).

lib: Use ISTREAM_CREATE_FLAG_NOOP_SNAPSHOT where useful

lib: Add ISTREAM_CREATE_FLAG_NOOP_SNAPSHOT flag

global: Add flags parameter to i_stream_create() and set it to 0

This just changes the API - the following changes add the new flag.

lib-ssl-iostream: Simplify istream-openssl

Partially reverts 739125f23e3312045e620014812fe2249a309cc4. This is no
longer needed because of the io_set_pending() changes.

lib-compression: Use i_stream_try_alloc*()

lib: Add i_stream_try_alloc_avoid_compress()

lib-compression: istream-lz4 - Use i_stream_alloc()

lib-mail: istream-attachment-extractor - Don't modify buffer during failure

If i_stream_read() returns -1 because the attachment file couldn't be
created, don't add the trailing data to the main istream. It's not useful,
and the following extra checks will cause it to assert-crash.

lib: istream-mmap - Use memarea API