director: Include peak output buffer size in director connection log messages

cassandra: Include the used timestamp in logged queries

cassandra: Rename cassandra_sql_statement.pending_timestamp to just timestamp

lib-storage: When copying mails, copy also empty cache fields

This mainly means that it copies cache fields for nonexistent message
headers. Those are still important, because otherwise Dovecot doesn't know
whether they exist or not.

director: Don't block too long when sending users during director handshake

All the other work is blocked while the users are being sent.

auth: Disabling SMTP authentication in vpopmail users with NO_SMTP flag

lib: str_parse/to_*int*() - minor optimization

director: Avoid str_printfa() in director_connection_send_users()

Optimizes the CPU usage.

director: Avoid str_printfa() in login_host_callback()

Optimizes the CPU usage.

director: Change request callback to take mail_host parameter

This allows accessing the IP address both as struct and as string without
any conversions.

director: Use *_host.ip_str to avoid net_ip2addr() calls

director: Add director_host.ip_str

This avoids having to use net_ip2addr() all the time to convert it into a
string.

director: Add mail_host.ip_str

This avoids having to use net_ip2addr() all the time to convert it into a
string.

director: Use t_strsplit_tabescaped_inplace() for director connection input

lib: net_addr2ip() - Optimize for parsing IPv4 addresses

lib: net_ip2addr() - Optimize by allocating destination memory immediately

It doesn't really matter if we allocate a few extra bytes.

lib: *_strsplit() - implement more efficient version for a single separator char

lib: test-strfuncs - Improve *_strsplit*() unit tests

lib: Implement t_strsplit_tabescaped_inplace()

This is a more efficient version of t_strsplit_tabescaped(), which modifies
the input string instead of duplicating it.

lib: test-strescape - Refactor the unit test to use an array of tests

lib: t_strsplit_tabescaped() - don't create unnecessary data stack mempool

unsafe_data_stack_pool is more efficient to use

lib: str_tabunescape() - optimize initial escape char lookup

strchr() is faster than looping ourself.

director: Don't recreate timeout on every user lookup

Recreate it only when the timeout should change.

director: Fix off-by-one when checking if user weakness is stuck

When the weakness was exactly at the second, the weakness wasn't detected
and the next expiration timeout was removed entirely. This shouldn't have
caused any bigger problems, because another user lookup on the following
second would have then detected the weakness, removed the user and restored
the next expiration timeout.

mbox: Add assert to make static analyzer happier

lib-http: Remove dead code

This code branch became dead after 22ee6e1e6193299034ab99f77a650290de2fd6ca

lib-ssl-iostream: Fix alt cert support

It was only partially implemented in 0577701d04beea222fc49a7318851ddcea3b99d3

lib: istream - Avoid panic in snapshot() with nonpersistent buffers

lib: istream - Don't leak snapshot memory if close() triggers a read

Also move the line_str freeing just before stream is freed. That didn't
cause any known memory leaks though.

lib: istream-jsonstr - Fix potential infinite loop if parent stream's max_buffer_size is tiny

global: i_stream_read_memarea() - Remove impossible ret==-2 checks

If the stream's buffer is empty, i_stream_read_memarea() would have already
assert-crashed at this point.

imap, pop3: Don't access login_set.*_socket_path after they're freed from data stack

Call master_login_init() before master_service_init_finish(), which frees
all the data stack done in initialization.

This didn't normally cause any visible problems, because data stack wasn't
currently being used in a way that the strings were invalidated. However,
it was causing failures if --enable-devel-checks was used.

config: Properly fix ssl-parameters.dat handling

It was done only partially right in a70d867d1fe3584149811c65eb6213deb72be824

login-common: client_unref() - always set client pointer to NULL

This is the common coding practise elsewhere as well.

pop3-login: Cleanup - uncork output unconditionally before client_unref()

login-common: Remove unnecessary client_ref/unref from STARTTLS handling

There used to be code between them that could have destroyed the connection,
but that was removed long time ago.

doveadm: Send hostname without ":port" as TLS SNI name for outgoing SSL connections.

config: Do not run ssl_dh check always

Do it only when CONFIG_DUMP_FLAG_CHECK_SETTINGS is set. Fixes

"Warning: You can generate it with: dd if=ssl-parameters.dat bs=1 skip=88..."

dict-redis: Include last_reply in communications failure error

This way it's possible to determine what went wrong.

dict-redis: Added support for authentication.

Patch by David Zambonini

lib: i_stream_w_buffer_realloc() - avoid passing NULL to memcpy()

It happened only with size=0, so it shouldn't have mattered much.

imap-proxy: Don't discard the first pipelined command after LOGIN

lib-storage: imapc - Fix spelling mistakes

Original work by @jsoref

lib-fs: Fix spelling mistakes

Original work by @jsoref

test-quota: Fix spelling mistakes

Original work by @jsoref

lazy-expunge: Fix spelling mistakes

Original work by @jsoref

plugin-fts: Fix spelling mistakes

Original work by @jsoref

fts-squat: Fix spelling mistakes

Original work by @jsoref

imap: Fix spelling mistakes

Original work by @jsoref

director: Fix spelling mistakes

Original work by @jsoref

mech-apop: Fix spelling mistake

Original work by @jsoref

man: Fix spelling mistakes

Original work by @jsoref

global: Fix spelling mistakes in comments

Original work by @andreasschulze and @jsoref

fts-lucene: Do not clobber return value

Found by scanbuild

director: Show each director connection in doveadm DIRECTOR-LIST

Previously the host was shown only once, regardless of how many connections
it had. This especially helps when there are just two directors, but also
can be useful when showing incoming/outgoing connections that are still
in handshaking phase.

doveadm director ring status: Add more fields related to connection status

director: Track show long the last ring sync took.

director: Track connections' last ping time

director: Add director_connection_get_status()

Can be used to access connection-specific status information.

director: Fix updating director connection's last_output timestamp

It was previously updated only in ostream's flush callback, which was called
only when there were a lot of output. This only caused the "last output"
timestamp in disconnection log lines to be wrong.

doveadm director: Parse timestamp parameters with str_to_time()

director: Close director connection immediately when output buffer is full

Only the ostream was closed, which didn't actually cause the disconnection
until the other side closed the connection.

director: Add director_output_buffer_size setting

This allows configuring the max buffer size for outgoing connections.
Previously it was hardcoded to 10 MB, which wasn't necessarily enough for
very busy directors.

lib-ssl-iostream: Verify SSL server's hostname against cert if it's non-NULL

The hostname verification was skipped when handshake-callback wasn't used.
All of the existing code used the callback though, so this doesn't fix
any bugs.

lib-ssl-iostream: Fix checking cert validity when handshake callback isn't used

lib-ssl-iostream: Split host to connected_host and sni_host

Using the same variable for both was causing confusion.

global: start relying on [io]_stream_close(NULL) being a no-op

Cleanup performed with the following semantic patch (and a bit of
hand-editing):

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_close(E);
- }
+ i_stream_close(E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_close(E);
- }
+ o_stream_close(E);

lib: [io]_stream_close(NULL) should be no-ops

lib-index: Fix -Wstrict-bool warnings with --enable-devel-checks

global: Use i_stream_read_memarea() wherever possible

lib: i_stream_compress() - assert-crash if trying to compress shared memarea

The caller is always expected to check the refcount before calling this.

lib: i_stream_read() - Add buffer validity checks if DEBUG is enabled

lib: i_stream_read() - Use snapshots

This guarantees that data returned by i_stream_get_data() won't be freed
until the next i_stream_read() returns >0. This is mainly important,
because often the error handling for <=0 doesn't update the buffer
pointers correctly and it leads to complicated bugs where already freed
memory is attempted to be read (but never written).

lib: Use ISTREAM_CREATE_FLAG_NOOP_SNAPSHOT where useful

lib: Add ISTREAM_CREATE_FLAG_NOOP_SNAPSHOT flag

global: Add flags parameter to i_stream_create() and set it to 0

This just changes the API - the following changes add the new flag.

lib-ssl-iostream: Simplify istream-openssl

Partially reverts 739125f23e3312045e620014812fe2249a309cc4. This is no
longer needed because of the io_set_pending() changes.

lib-compression: Use i_stream_try_alloc*()

lib: Add i_stream_try_alloc_avoid_compress()

lib-compression: istream-lz4 - Use i_stream_alloc()

lib-mail: istream-attachment-extractor - Don't modify buffer during failure

If i_stream_read() returns -1 because the attachment file couldn't be
created, don't add the trailing data to the main istream. It's not useful,
and the following extra checks will cause it to assert-crash.

lib: istream-mmap - Use memarea API

lib: istream-seekable - Implement snapshot()

lib: istream-seekable - Change to use i_stream_*alloc()

This simplifies implementing the snapshotting.

lib: istream-seekable - Fix fd leak if initial temp file couldn't be read back

That should normally never happen.

lib: Add istream.snapshot() method for referencing the current memarea

It will be used by following commits.

lib-test: istream-test - use memarea API

lib: Use memarea for default istream memory allocations.

global: Use i_stream_free_buffer() instead of freeing w_buffer directly

lib: Add i_stream_free_buffer() to free i_stream_*alloc()ed memory

lib: Add memarea API

This can be used to create reference counted memory areas where a callback
is called once the refcount drops to zero.

lib: istream-chain/concat cleanup - return early if no new data is read

There's no need to change the buffer or other variables. This simplifies
the following changes.

This cleanup is identical for istream-concat and istream-chain.

lib-mail: istream-header-filter - Fix header read() when max_buffer_size=0

If the buffer was too small to read anything into it, read_header() returned
-2, but then it continued reading the header as if it was the body already.
This should instead be an error situation - max buffer size just shouldn't be
0 at this point.

This was originally changed in a72355fef49c512c13b7d8c3e07f4f76ebd57a10 as
some kind of a workaround, but since then we implemented support for reading
a mixed header/body in c2afdbf963d0564a542d71ca784deb0c2f7776d0.

imap: Set max buffer size for CATENATE istream-chain

This fixes a crash with mbox when nonexistent CATENATE URL is attempted to
be used. The istream doesn't get any size, and istream-header-filter panics
due to having reached the maximum buffer size (0), even though the stream is
empty and there's nothing to read.

lib: Add assert to io_stream_ref()

This makes an assert-crash likely to happen if iostream was already freed.

doveadm: Ignore errors also on outgoing SSL connection ostreams

Setting the errors as ignored on the plain ostream was done too late, so ssl
ostream didn't inherit the error handling flag.

lib: iostream-proxy - Specify what failed in completion callback parameter

lib: iostream-pump - Specify what failed in completion callback parameter

This makes it easier for the caller to find out whether the failure was due
to istream or ostream.

lib: iostream-proxy - Add iostream_proxy_is_waiting_output()

lib: iostream-pump - Add iostream_pump_is_waiting_output()