lib: istream-chain didn't update its max_buffer_size

I had this code at some point earlier, but looks like it got lost from the
final commit.

lib-compression: istream.max_buffer_size == 0 isn't unlimited.

fs-metawrap: Removed unnecessary code.

As mentioned in a0cf7d392, this can't happen.

lib-fs: Improved unit tests.

fs-metawrap: Removed unnecessary code.

The caller already set success==FALSE if ostream was closed.

lib-fs: Added more asserts

lib-fs: Clarified fs_write_stream_abort() API and dropped its _async().

We can't handle an abort after an async fs_write_stream_finish() is already
going.

lib-fs: Added fs_write_stream_abort_async()

lib: Fix to previous istream-chain max_buffer_size handling

We were casting the wrong stream.

fs-metawrap: Fixed buffer size while reading metadata header.

It's not enough to have the buffer size set to "large enough" at the time of
the stream creation, because i_stream_set_max_buffer_size() could be called
afterwards.

lib: Fixed max_buffer_size handling in istream-chain

The default max_buffer_size=256 was wrong in all situations.

We're now assuming that the underlying istreams' max_buffer_size is always
correct. While gluing together two streams we're now allocating enough
memory to hold all of the wanted data (instead of assert-crashing as could
have happened earlier). This means that the max memory usage is actually
the two streams' max_buffer_size summed together. Ideally this would be
fixed to limit the max_buffer_size to maximum of the two, but that would
require further changes.

[LEN] to [static LEN] on some function parameters

Also add STATIC_ARRAY macro to hide it in c++ compilation.

doveadm: Do not use INT64 with mail cmds yet

lib-dcrypt: Fixed check program dependencies

lib-dcrypt: Fixed dcrypt_openssl_generate_keypair()

lib: Fixed file_copy() after recent changes.

dict-client: Fixed idle_msecs setting.

lib-fs: Don't duplicate backend name in fs_init() errors.

fs_init() already adds the "backend: " prefix to the error_r, so the callers
shouldn't do it again.

lib-storage: Fixed error_r with mail_storage_service_lookup_next()

We no longer want to hide the actual error message.

lib: iostream-temp: Fixed o_stream_send_istream()

lib-dcrypt: Use base64 encoded test samples

lib-dcrypt: Fix strict type-punning warning

lib-dcrypt: Fix various OpenSSL API usage issues

lib-dcrypt: Remove duplication of samples

lib-dcrypt: Finish previous t_malloc() change.

Replace some t_malloc_no0 calls with t_malloc0

This might increase safety.

Use t_new in complicated t_malloc_no0 calls

Remove t_malloc in favour of t_malloc_no0

Using either t_malloc_no0 or t_malloc0 makes it clear whether the
allocated memory is zeroed or not.

o_stream_send_istream() API changed again

The new API enforces the caller to correctly handle all the possible
situations. It also makes in unambiguous whether to wait for input or
output stream.

lib-dcrypt: Always allow error_r to be NULL.

Especially dcrypt_openssl_private_to_public_key() was called with
error_r=NULL by the dcrypt.c itself.

lib-dcrypt: sample-v2.bin shouldn't be executable

lib-dcrypt: Compiler warning fixes

lib-storage: mail_storage_service_next() now returns error string.

lib-storage: mail_storage_service_lookup() now returns the full error.

lmtp, quota-status: Don't send mail_storage_service_lookup() error to client.

This is in preparation for changing the returned error to contain the full
error string. The current error string is pretty useless for any purpose.

doveadm mailbox delete: Added --unsafe option.

lib-storage: Added MAILBOX_FLAG_DELETE_UNSAFE

configure: Include lib-dcrypt in core

lib-dcrypt: Initial implementation

doveadm-director: Fix commands so that they compile

doveadm mailbox delete: Added -e parameter to delete only empty mailboxes.

doveadm-director: Convert to ver2 infra

imap: Implemented support for the LITERAL- capability.

This replaces the LITERAL+ capability when the imap_literal_minus setting is enabled.

lib-imap: imap-parser: Turned the fatal error flag into a proper error code.

lib-imap: imap-parser: Made the fatal result parameter of imap_parser_get_error() optional.

lib-imap: imap-parser: Renamed error field to error_msg.

dbox: Revert cache changes if some save/copy fails but transaction is committed.

lazy-expunge: Don't fail expunge if mail was already expunged.

lazy-expunge: Fixed error logging.

dsync: Debug logging improvement.

lib-fs: Fix to previous fs-metawrap commit

Argh. I was sure I compiled this before pushing it.

lib-fs: fs-metawrap: Improved error logging on corrupted files.

lib-http: Default port for http should be 80, not 443.

doveadm: Fixed sending command -parameters to doveadm-server

sdbox: Make sure we don't crash when altmove-flag is set but alt path is missing.

lib-http: Improved error logging for net_set_*_buffer_size() failures.

dict-sql: Fixed memory leak

lib-http: client: Created test program that triggers most possible error conditions.

lib-http: test-http-payload: Added tests for the use of nested ioloops.

lib-http: test-http-payload: Added cleanup code to make sure no child processes get orphaned at failures.

Also handles SIGSEGV and SIGABRT.

lib-http: test-http-payload: Added -D option to easily enable debug mode.

lib-http: test-http-client: Callback is not called for explicitly aborted requests.

Test request context was not freed in that case.

lib-http: client: Fixed bug in handling of lost connections while returning from another ioloop.

At one instance the http_client_connection_is_ready() function could have destroyed the connection while the caller still depended on it.
Renamed the http_client_connection_is_ready() function to http_client_connection_check_ready().
This now returns -1 when the connection got destroyed. Before it returned a bool that just indicated whether the connection was ready or not.
So, there is no need anymore to preserve a connection reference while calling this function.

lib-http: client: Reworked connection close handling.

Now, the peer is immediately notified of the lost connection.
Before, this step was only taken when the connection was fully dereferenced.
To prevent recursive notifications between peer and connection, handling the loss of a connection is deferred to the request handler.
When a peer is freed, any associated lingering connections have conn->peer set to NULL.

lib-http: client: Improved labeling of debug messages.

Request label is corrected.
Labels are now pre-composed and stored.

lib-http: client: Prevent useless and unexpected request callbacks during http_client_deinit().

Requests are now destroyed before queues, hosts, peers and connections.
As a side-effect, requests are now removed from the client request list at http_client_request_destroy(), so that requests with lingering references will no longer make http_client_wait() hang.

lib-http: client: Added settings to configure the connection's socket kernel buffer sizes.

This is mainly useful for use in the lib-http test suite.

lib: Implemented net_set_send_buffer_size() and net_set_recv_buffer_size().

These functions allow manipulating the kernel socket buffer sizes for a socket file descriptor.

lib-http: client: Removed curiously duplicated code.

Probably a patch got applied with sufficient fuzz that it duplicated this code fragment, while it actually already existed.

lib-http: client: peer: Improved debug message that shows the loss of a connection.

lib-http: client: Made peer object reference-counted to prevent invalid memory access in request handling routine.

Resetting the peer->handling_requests flag risked triggering a segfault, since the peer object could be deleted from within the request handler loop.

lib-http: client: Improved request reference counting in connection code.

It should now always be clear when the connection object holds a reference to a request and when it is released.
Only while the reference is held, req->conn points to a connection.
This also makes the assertion in http_client_request_unref() more robust and clear.

lib-http: client: Fixed reference counting for requests that are aborted due to an early server response.

An additional http_client_request_unref() is (now) unneccessary.

lib-http: client: Fixed reference counting for requests that are aborted due to having a broken outgoing payload stream.

lib-http: Changed http_client_request_error to set request to NULL

It's going to internally unreference it, so the caller should be aware of it
also.

I also changed request state check to be an assert, since I don't think
there's any safe way this could work otherwise.

lib-http: response parser: Added check for the range of the response status value.

A value of 666 was accepted inappropriately.

cassandra: Added metrics=path connect setting.

Cassandra's metrics are written to the path in JSON format. It can be a file
or a FIFO. The path supports expanding the standard global %variables, such
as %{pid}

dict: Added missing main.h from previous commit

dict: Show command statistics in process title.

lib: Fixed crashes in timing_get_median() and timing_get_95th()

These were writing outside allocated memory. They weren't actually used
anywhere yet though.

lib: Added timing_reset()

dsync: race condition where done/finish is received after one side has closed

We do not tell the remote we are closing if they have
already told us because they close the
connection after sending ITEM_FINISH or ITEM_DONE and will
not be ever receive anything else from us unless
it just happens to get combined into the same packet
as a previous response and is already in the buffer.

lib-stats: Allow unregistering + re-registering stats.

Fixes:
Panic: stats_register() called after stats_alloc_size() was already called - this will break existing allocations

This could have happened with doveadm HTTP API when using multiple commands
in same HTTP connection.

lib-index: Fixed assert-crash caused by previous cache compression change.

We can't call mail_cache_map() when cache file isn't open or we'll crash:

Panic: file mail-cache.c: line 468 (mail_cache_map): assertion failed: (cache->need_compress_file_seq != 0 || MAIL_INDEX_IS_IN_MEMORY(cache->index))

lib-index: Make sure cache compression doesn't clear the file unneededly.

This probably never happened with current code, except when the cache file
was already broken.

mail_cache_compress() unmapped cache when map_with_read==TRUE, but we never
mapped it back. This would cause cache copying code to think cache was
unusable and not copy anything.

auth: Support %variable expansion for LDAP field names.

For example this is now allowed:

user_attrs = \
  =namespace/%{ldap:enabledNamespace}/enabled=yes \
  ...

lib-ldap: Use ldap_unbind_ext() instead of ldap_destroy()

This allows it to compile with older LDAP libraries. Their behavior (at least
in OpenLDAP) is identical as long as LDAP_OPT_CLIENT_CONTROLS haven't been
changed, which we haven't.

lib-ldap: Support libldap without LDAP_OPT_X_TLS_NEWCTX.

doveadm backup: Fixed unnecessary mailbox deletion.

Broken by 79490ec1a. The idea is to delete the mailbox early to avoid
unnecessary work, but we deleted it too early. If the last mail(s) were
deleted instead of just expunging them we deleted the whole mailbox.

lib: Minor panic message improvement.

lib-mail: Fixed istream-header-filter calling callback(hdr=NULL)

It should do it on the following parsings as well if there were any
callbacks that were called, or if the hdr==NULL callback added any
headers. This is important because the hdr==NULL call could do some
cleanups.

lib: iostream-temp is a blocking ostream.

It goes either to in-memory buffer or to a file.

config: fix possible out-of-bound access in parsing function

Add low-bound check when decreasing string pointer from tail.

lib-fs: istream-metawrap can now safely have a readable fd

lib: Changed istream.abs_start_offset to be relative start_offset

i_stream_get_absolute_offset() walks through the stream's parents to get the
absolute offset. This allows streams to change their start_offset after
they have already created (e.g. istream-metawrap).

dict: Removed duplicate commit reply character

This broke dict-client with error:
Invalid commit reply, expected id=1: OO1

lib: Compiler warning fix

lib: Fixed memory leak in ostream-file unit test

Make libbsd optional

Also use setproctitle properly if libbsd is indeed used.

lib-fs: istream-metawrap can't have a readable fd currently