lib: Add i_stream_free_buffer() to free i_stream_*alloc()ed memory

lib: Add memarea API

This can be used to create reference counted memory areas where a callback
is called once the refcount drops to zero.

lib: istream-chain/concat cleanup - return early if no new data is read

There's no need to change the buffer or other variables. This simplifies
the following changes.

This cleanup is identical for istream-concat and istream-chain.

lib-mail: istream-header-filter - Fix header read() when max_buffer_size=0

If the buffer was too small to read anything into it, read_header() returned
-2, but then it continued reading the header as if it was the body already.
This should instead be an error situation - max buffer size just shouldn't be
0 at this point.

This was originally changed in a72355fef49c512c13b7d8c3e07f4f76ebd57a10 as
some kind of a workaround, but since then we implemented support for reading
a mixed header/body in c2afdbf963d0564a542d71ca784deb0c2f7776d0.

imap: Set max buffer size for CATENATE istream-chain

This fixes a crash with mbox when nonexistent CATENATE URL is attempted to
be used. The istream doesn't get any size, and istream-header-filter panics
due to having reached the maximum buffer size (0), even though the stream is
empty and there's nothing to read.

lib: Add assert to io_stream_ref()

This makes an assert-crash likely to happen if iostream was already freed.

doveadm: Ignore errors also on outgoing SSL connection ostreams

Setting the errors as ignored on the plain ostream was done too late, so ssl
ostream didn't inherit the error handling flag.

lib: iostream-proxy - Specify what failed in completion callback parameter

lib: iostream-pump - Specify what failed in completion callback parameter

This makes it easier for the caller to find out whether the failure was due
to istream or ostream.

lib: iostream-proxy - Add iostream_proxy_is_waiting_output()

lib: iostream-pump - Add iostream_pump_is_waiting_output()

lib: iostream-pump - Fix crash in iostream_pump_switch_ioloop() if io is NULL

This would happen when the pump's ostream is full and it has stopped
listening for input.

lib: iostream-pump - Cork the ostream when writing

This reduces latency for TCP connections by disabling Nagle algorithm.

doveadm-server: Deinitialize log proxying before closing SSL iostream

Otherwise the SSL iostream destroying may trigger debug/error logging,
which attempts to proxy logs when the stream is already closed. This
caused a panic.

dbox: Don't finish dbox's ostream when mail is saved

Fixes assert-crash when saving mail when using zlib plugin.

lib-compression: Fix unit test to not crash

lib-mail: ostream-dot - Set o_stream_set_finish_also_parent(FALSE) by default

ostream-dot is always used inside another ostream to implement some kind of
data escaping. The ostream-dot always has to be finished to write the "."
line, but the caller never wants it to finish the parent stream.

lib-fs: fs-metawrap - Don't try to write to an already finished ostream

Fixes a crash after recent changes when trying to write an empty file via
fs-metawrap.

lib: connection - Use o_stream_set_finish_via_child(FALSE)

This allows o_stream_finish() calls on child streams without closing this
parent stream. Since the stream has no error checking by default anyway,
this allows the connection stream to be used more easily.

lib: Add o_stream_set_finish_also_parent() and _finish_via_child()

These allow controlling on both directions whether o_stream_finish() should
be finishing the parent stream. If either one is set to FALSE, the parent
stream isn't finished. Which one of these to use depends on the situation.

global: Use o_stream_flush_parent()

lib: Add o_stream_flush_parent()

lib: istream-base64-encoder - Fix getting size for empty stream

lib-master: Use skip_crl_check for ssl context

lib-master: Load SSL module if wanted by service

lib-master: Add master_service_ssl_settings_to_iostream_set

lib-master: Support alternative cert in master_service_ssl_ctx_init

lib-ssl-iostream: Seed OpenSSL RNG earlier

Make sure we give the RNG a chance to
seed before we chroot.

lib-ssl-iostream: Expose ssl_module_load

We need to load SSL module before we chroot in
login-common.

lib-ssl-iostream: Use named initializers

lib-ssl-iostream: Remove input_handler flag

It is no longer needed after 87da941c

lib-ssl-iostream: Add get_compression accessor

This is needed by login-common

lib-ssl-iostream: Close ostream before istream

If i_stream is autoclose, then o_stream
close will fail if done after i_stream
close.

lib-ssl-iostream: Allow skipping CRL check

lib-ssl-iostream: Add alternate certificate support

global: Splice cert into separate struct from iostream_ssl_settings

lib-fs: test-fs-posix - Fix checking whether unlink_directory() failed

man: Update manpage for mailbox delete command

lib: Don't use NEEDS_LOCAL_CREDS undefined

global: Rename i_stream_is_eof() to i_stream_read_eof()

This describes its behavior a bit better.

global: Avoid i_stream_is_eof() where it's not necessary

lib: Improve i_stream_is_eof() comment

lib: Update struct istream comments

lib-http: If istream read fails, preserve the istream's full error message

lib-http: test-http-client-errors - fix typo in error message

lib-http: Detect istream errors correctly.

i_stream_is_eof() returns TRUE also when streams have an error, so all
errors were logged the same as a regular disconnection.

lib,lib-index: Use #ifdef with WORDS_BIGENDIAN

Some were missing from the last change.

global: Remove explicit o_stream_flush() calls from ostream.close() methods

It's now being done automatically.

lib: Automatically flush ostream when it's closed

Also verify that it unexpectedly didn't get fully flushed.

mail-filter: ostream-ext-filter - Require o_stream_finish() to be called

Similar to ostream-zlib.

lib-mail: ostream-dot - Require o_stream_finish() to write the trailer

Similar to ostream-zlib.

lib: ostream-multiplex - Don't close parent streams at destroy

The close() method is already called as needed.

lib-dcrypt: ostream-dcrypt - Require o_stream_finish() to write the trailer

Similar to ostream-zlib.

lib-compression: ostream-zlib - Require o_stream_finish() to write the trailer

It's now possible to call o_stream_flush() without the trailer getting
written.

It's also now required to call o_stream_finish() to write the trailer before
closing the ostream. This guarantees that the caller checks that the
trailer was successfully written. This isn't needed if the ostream already
failed before writing the trailer.

lib: Remove o_stream_nfinish()

global: Replace o_stream_nfinish() with o_stream_flush()

global: Replace o_stream_nfinish() with o_stream_finish() whenever possible

lib: Add o_stream_finish()

This marks the ostream as fully finished, with no further writes coming to
it. Otherwise it behaves like o_stream_flush().

The ostream.flush() methods are supposed to write their trailer (if the
ostream has one) when they see that ostream.finished is set. These will be
implemented by the following commits.

lib: o_stream_flush() - check for send overflows and reset error handling

This begins the removal of o_stream_nfinish().

lib: Remove o_stream_nflush()

None of its previous callers were calling it correctly, so it's better to
remove it entirely to avoid more of such wrong calls.

imap: Make sure long COPY commands send "* OK Hang in there" packets

o_stream_nflush() already flushed the writes to kernel, and Linux should
have sent them after 200ms delay, so this probably doesn't fix anything.
Using uncork+cork is a bit clearer way to indicate that the data really
is wanted to be sent now.

lib-imap: When sending "+ OK" to client, uncork ostream immediately

This makes sure that it's sent to the client as soon as possible.

Also removed o_stream_nflush(), since uncorking does that already.
If there is no corking, the "+ OK" was already attempted to be sent
by the o_stream_nsend() call and a flush is unlikely to help.

global: Remove unnecessary o_stream_nflush() calls

The following o_stream_nfinish() or o_stream_uncork() calls it anyway.

lib: o_stream_uncork() - call o_stream_nflush() instead of o_stream_flush()

Otherwise flush errors may be unintentionally ignored. This change requires
that all the o_stream_uncork() callers must call o_stream_nfinish()
afterwards, unless the ostream is set to ignore errors.

lib: test-ostream-* - Call o_stream_nfinish() after uncorking

configure: Add support for EXTRA_LDFLAGS

imapc: Add imapc_features=fetch-empty-is-expunged

When FETCH returns an empty mail, the mail is assumed to be expunged.

global: Use #ifdef instead of #if with WORDS_BIGENDIAN

This is to not rely on undefined WORDS_BIGENDIAN being evaluated as 0.

lib/compat.h: Undefine WORDS_BIGENDIAN when it's defined as 0

m4: Use AC_C_BIGENDIAN instead of custom m4

lib-storage: Replace DBOX_GUID_BIN_LEN with GUID_128_SIZE

DBOX_GUID_BIN_LEN define was removed in 0c909e, replace the use with
GUID_128_SIZE.

director: Don't use undefined DIRECTOR_CONNECTION_PING_TIMEOUT_MSECS

auth: Don't use undefined SASL_VERSION_MAJOR

global: Rename client_connection_type to doveadm_connection_type

doveadm: Rename client_connection_type to doveadm_client_connection_type

Move it to doveadm.h to allow plugins use doveadm-cmd.h

doveadm: Reorder includes

This makes next commit possible

quota: Improve error messages

quota-fs: Default to quota API v2 if _LINUX_QUOTA_VERSION is undefined.

glibc v2.25 drops v1 support in sys/quota.h and doesn't define
_LINUX_QUOTA_VERSION.

doveadm-server: http: Properly implemented error handling for requests.

doveadm-server: http: Mark the HTTP request for connection closure right away.

This means that the connection is closed once the request finishes.
Before, each response did that individually.
Once connection reuse is implemented/needed this can now be turned off at one place.

doveadm-server: http: Restructured JSON parsing to improve code clarity.

Made state machine more explicit and easier to understand.
Also added more comments.

doveadm-server: http: Wrapped long code lines.

doveadm-server: http: Joined JSON parsing and handling in one function.

doveadm-server: http: Split JSON handling into several sub-functions.

doveadm-server: http: Split JSON parsing into several sub-functions.

doveadm-server: http: Changed request parse error into an assertion.

The condition can never occur when json-parser and the request parsing state machine are behaving correctly.
At that point only an object key can be returned; the client cannot cause it to return anything else.

doveadm-server: http: Moved doveadm_http_server_command_execute().

doveadm-server: http: Renamed parse state enum.

doveadm-server: http: Split off request handling in separate struct, so that the connection can be reused.

doveadm-server: http: Added structural comments.

doveadm-server: http: Moved doveadm_http_server_request_destroy().

doveadm-server: http: Moved doveadm_http_server_send_response().

doveadm-server: http: Moved connection-related code to the bottom of the file.

doveadm-server: http: Make http_server_set a local variable of doveadm_http_server_init().

doveadm-server: http: Create the http_response once needed, not preemptively.

doveadm-server: http: Split authentication into multiple functions.

doveadm-server: http: Renamed conn->http_server_request to conn->http_request.

doveadm-server: http: Removed http_request field from struct client_connection_http.

Not useful to put it there.

doveadm-server: http: Renamed conn->http_client to conn->http_conn.

doveadm-server: Restructured client-connection code so that TCP and HTTP connection types are properly separated.