imap, pop3: Don't access login_set.*_socket_path after they're freed from data stack

Call master_login_init() before master_service_init_finish(), which frees
all the data stack done in initialization.

This didn't normally cause any visible problems, because data stack wasn't
currently being used in a way that the strings were invalidated. However,
it was causing failures if --enable-devel-checks was used.

config: Properly fix ssl-parameters.dat handling

It was done only partially right in a70d867d1fe3584149811c65eb6213deb72be824

login-common: client_unref() - always set client pointer to NULL

This is the common coding practise elsewhere as well.

pop3-login: Cleanup - uncork output unconditionally before client_unref()

login-common: Remove unnecessary client_ref/unref from STARTTLS handling

There used to be code between them that could have destroyed the connection,
but that was removed long time ago.

doveadm: Send hostname without ":port" as TLS SNI name for outgoing SSL connections.

config: Do not run ssl_dh check always

Do it only when CONFIG_DUMP_FLAG_CHECK_SETTINGS is set. Fixes

"Warning: You can generate it with: dd if=ssl-parameters.dat bs=1 skip=88..."

dict-redis: Include last_reply in communications failure error

This way it's possible to determine what went wrong.

dict-redis: Added support for authentication.

Patch by David Zambonini

lib: i_stream_w_buffer_realloc() - avoid passing NULL to memcpy()

It happened only with size=0, so it shouldn't have mattered much.

imap-proxy: Don't discard the first pipelined command after LOGIN

lib-storage: imapc - Fix spelling mistakes

Original work by @jsoref

lib-fs: Fix spelling mistakes

Original work by @jsoref

test-quota: Fix spelling mistakes

Original work by @jsoref

lazy-expunge: Fix spelling mistakes

Original work by @jsoref

plugin-fts: Fix spelling mistakes

Original work by @jsoref

fts-squat: Fix spelling mistakes

Original work by @jsoref

imap: Fix spelling mistakes

Original work by @jsoref

director: Fix spelling mistakes

Original work by @jsoref

mech-apop: Fix spelling mistake

Original work by @jsoref

man: Fix spelling mistakes

Original work by @jsoref

global: Fix spelling mistakes in comments

Original work by @andreasschulze and @jsoref

fts-lucene: Do not clobber return value

Found by scanbuild

director: Show each director connection in doveadm DIRECTOR-LIST

Previously the host was shown only once, regardless of how many connections
it had. This especially helps when there are just two directors, but also
can be useful when showing incoming/outgoing connections that are still
in handshaking phase.

doveadm director ring status: Add more fields related to connection status

director: Track show long the last ring sync took.

director: Track connections' last ping time

director: Add director_connection_get_status()

Can be used to access connection-specific status information.

director: Fix updating director connection's last_output timestamp

It was previously updated only in ostream's flush callback, which was called
only when there were a lot of output. This only caused the "last output"
timestamp in disconnection log lines to be wrong.

doveadm director: Parse timestamp parameters with str_to_time()

director: Close director connection immediately when output buffer is full

Only the ostream was closed, which didn't actually cause the disconnection
until the other side closed the connection.

director: Add director_output_buffer_size setting

This allows configuring the max buffer size for outgoing connections.
Previously it was hardcoded to 10 MB, which wasn't necessarily enough for
very busy directors.

lib-ssl-iostream: Verify SSL server's hostname against cert if it's non-NULL

The hostname verification was skipped when handshake-callback wasn't used.
All of the existing code used the callback though, so this doesn't fix
any bugs.

lib-ssl-iostream: Fix checking cert validity when handshake callback isn't used

lib-ssl-iostream: Split host to connected_host and sni_host

Using the same variable for both was causing confusion.

global: start relying on [io]_stream_close(NULL) being a no-op

Cleanup performed with the following semantic patch (and a bit of
hand-editing):

@@
expression E;
@@

- if (E != NULL) {
-  i_stream_close(E);
- }
+ i_stream_close(E);

@@
expression E;
@@

- if (E != NULL) {
-  o_stream_close(E);
- }
+ o_stream_close(E);

lib: [io]_stream_close(NULL) should be no-ops

lib-index: Fix -Wstrict-bool warnings with --enable-devel-checks

global: Use i_stream_read_memarea() wherever possible

lib: i_stream_compress() - assert-crash if trying to compress shared memarea

The caller is always expected to check the refcount before calling this.

lib: i_stream_read() - Add buffer validity checks if DEBUG is enabled

lib: i_stream_read() - Use snapshots

This guarantees that data returned by i_stream_get_data() won't be freed
until the next i_stream_read() returns >0. This is mainly important,
because often the error handling for <=0 doesn't update the buffer
pointers correctly and it leads to complicated bugs where already freed
memory is attempted to be read (but never written).

lib: Use ISTREAM_CREATE_FLAG_NOOP_SNAPSHOT where useful

lib: Add ISTREAM_CREATE_FLAG_NOOP_SNAPSHOT flag

global: Add flags parameter to i_stream_create() and set it to 0

This just changes the API - the following changes add the new flag.

lib-ssl-iostream: Simplify istream-openssl

Partially reverts 739125f23e3312045e620014812fe2249a309cc4. This is no
longer needed because of the io_set_pending() changes.

lib-compression: Use i_stream_try_alloc*()

lib: Add i_stream_try_alloc_avoid_compress()

lib-compression: istream-lz4 - Use i_stream_alloc()

lib-mail: istream-attachment-extractor - Don't modify buffer during failure

If i_stream_read() returns -1 because the attachment file couldn't be
created, don't add the trailing data to the main istream. It's not useful,
and the following extra checks will cause it to assert-crash.

lib: istream-mmap - Use memarea API

lib: istream-seekable - Implement snapshot()

lib: istream-seekable - Change to use i_stream_*alloc()

This simplifies implementing the snapshotting.

lib: istream-seekable - Fix fd leak if initial temp file couldn't be read back

That should normally never happen.

lib: Add istream.snapshot() method for referencing the current memarea

It will be used by following commits.

lib-test: istream-test - use memarea API

lib: Use memarea for default istream memory allocations.

global: Use i_stream_free_buffer() instead of freeing w_buffer directly

lib: Add i_stream_free_buffer() to free i_stream_*alloc()ed memory

lib: Add memarea API

This can be used to create reference counted memory areas where a callback
is called once the refcount drops to zero.

lib: istream-chain/concat cleanup - return early if no new data is read

There's no need to change the buffer or other variables. This simplifies
the following changes.

This cleanup is identical for istream-concat and istream-chain.

lib-mail: istream-header-filter - Fix header read() when max_buffer_size=0

If the buffer was too small to read anything into it, read_header() returned
-2, but then it continued reading the header as if it was the body already.
This should instead be an error situation - max buffer size just shouldn't be
0 at this point.

This was originally changed in a72355fef49c512c13b7d8c3e07f4f76ebd57a10 as
some kind of a workaround, but since then we implemented support for reading
a mixed header/body in c2afdbf963d0564a542d71ca784deb0c2f7776d0.

imap: Set max buffer size for CATENATE istream-chain

This fixes a crash with mbox when nonexistent CATENATE URL is attempted to
be used. The istream doesn't get any size, and istream-header-filter panics
due to having reached the maximum buffer size (0), even though the stream is
empty and there's nothing to read.

lib: Add assert to io_stream_ref()

This makes an assert-crash likely to happen if iostream was already freed.

doveadm: Ignore errors also on outgoing SSL connection ostreams

Setting the errors as ignored on the plain ostream was done too late, so ssl
ostream didn't inherit the error handling flag.

lib: iostream-proxy - Specify what failed in completion callback parameter

lib: iostream-pump - Specify what failed in completion callback parameter

This makes it easier for the caller to find out whether the failure was due
to istream or ostream.

lib: iostream-proxy - Add iostream_proxy_is_waiting_output()

lib: iostream-pump - Add iostream_pump_is_waiting_output()

lib: iostream-pump - Fix crash in iostream_pump_switch_ioloop() if io is NULL

This would happen when the pump's ostream is full and it has stopped
listening for input.

lib: iostream-pump - Cork the ostream when writing

This reduces latency for TCP connections by disabling Nagle algorithm.

doveadm-server: Deinitialize log proxying before closing SSL iostream

Otherwise the SSL iostream destroying may trigger debug/error logging,
which attempts to proxy logs when the stream is already closed. This
caused a panic.

dbox: Don't finish dbox's ostream when mail is saved

Fixes assert-crash when saving mail when using zlib plugin.

lib-compression: Fix unit test to not crash

lib-mail: ostream-dot - Set o_stream_set_finish_also_parent(FALSE) by default

ostream-dot is always used inside another ostream to implement some kind of
data escaping. The ostream-dot always has to be finished to write the "."
line, but the caller never wants it to finish the parent stream.

lib-fs: fs-metawrap - Don't try to write to an already finished ostream

Fixes a crash after recent changes when trying to write an empty file via
fs-metawrap.

lib: connection - Use o_stream_set_finish_via_child(FALSE)

This allows o_stream_finish() calls on child streams without closing this
parent stream. Since the stream has no error checking by default anyway,
this allows the connection stream to be used more easily.

lib: Add o_stream_set_finish_also_parent() and _finish_via_child()

These allow controlling on both directions whether o_stream_finish() should
be finishing the parent stream. If either one is set to FALSE, the parent
stream isn't finished. Which one of these to use depends on the situation.

global: Use o_stream_flush_parent()

lib: Add o_stream_flush_parent()

lib: istream-base64-encoder - Fix getting size for empty stream

lib-master: Use skip_crl_check for ssl context

lib-master: Load SSL module if wanted by service

lib-master: Add master_service_ssl_settings_to_iostream_set

lib-master: Support alternative cert in master_service_ssl_ctx_init

lib-ssl-iostream: Seed OpenSSL RNG earlier

Make sure we give the RNG a chance to
seed before we chroot.

lib-ssl-iostream: Expose ssl_module_load

We need to load SSL module before we chroot in
login-common.

lib-ssl-iostream: Use named initializers

lib-ssl-iostream: Remove input_handler flag

It is no longer needed after 87da941c

lib-ssl-iostream: Add get_compression accessor

This is needed by login-common

lib-ssl-iostream: Close ostream before istream

If i_stream is autoclose, then o_stream
close will fail if done after i_stream
close.

lib-ssl-iostream: Allow skipping CRL check

lib-ssl-iostream: Add alternate certificate support

global: Splice cert into separate struct from iostream_ssl_settings

lib-fs: test-fs-posix - Fix checking whether unlink_directory() failed

man: Update manpage for mailbox delete command

lib: Don't use NEEDS_LOCAL_CREDS undefined

global: Rename i_stream_is_eof() to i_stream_read_eof()

This describes its behavior a bit better.

global: Avoid i_stream_is_eof() where it's not necessary

lib: Improve i_stream_is_eof() comment