lib-http: client: Added settings to configure the connection's socket kernel buffer sizes.

This is mainly useful for use in the lib-http test suite.

lib: Implemented net_set_send_buffer_size() and net_set_recv_buffer_size().

These functions allow manipulating the kernel socket buffer sizes for a socket file descriptor.

lib-http: client: Removed curiously duplicated code.

Probably a patch got applied with sufficient fuzz that it duplicated this code fragment, while it actually already existed.

lib-http: client: peer: Improved debug message that shows the loss of a connection.

lib-http: client: Made peer object reference-counted to prevent invalid memory access in request handling routine.

Resetting the peer->handling_requests flag risked triggering a segfault, since the peer object could be deleted from within the request handler loop.

lib-http: client: Improved request reference counting in connection code.

It should now always be clear when the connection object holds a reference to a request and when it is released.
Only while the reference is held, req->conn points to a connection.
This also makes the assertion in http_client_request_unref() more robust and clear.

lib-http: client: Fixed reference counting for requests that are aborted due to an early server response.

An additional http_client_request_unref() is (now) unneccessary.

lib-http: client: Fixed reference counting for requests that are aborted due to having a broken outgoing payload stream.

lib-http: Changed http_client_request_error to set request to NULL

It's going to internally unreference it, so the caller should be aware of it
also.

I also changed request state check to be an assert, since I don't think
there's any safe way this could work otherwise.

lib-http: response parser: Added check for the range of the response status value.

A value of 666 was accepted inappropriately.

cassandra: Added metrics=path connect setting.

Cassandra's metrics are written to the path in JSON format. It can be a file
or a FIFO. The path supports expanding the standard global %variables, such
as %{pid}

dict: Added missing main.h from previous commit

dict: Show command statistics in process title.

lib: Fixed crashes in timing_get_median() and timing_get_95th()

These were writing outside allocated memory. They weren't actually used
anywhere yet though.

lib: Added timing_reset()

dsync: race condition where done/finish is received after one side has closed

We do not tell the remote we are closing if they have
already told us because they close the
connection after sending ITEM_FINISH or ITEM_DONE and will
not be ever receive anything else from us unless
it just happens to get combined into the same packet
as a previous response and is already in the buffer.

lib-stats: Allow unregistering + re-registering stats.

Fixes:
Panic: stats_register() called after stats_alloc_size() was already called - this will break existing allocations

This could have happened with doveadm HTTP API when using multiple commands
in same HTTP connection.

lib-index: Fixed assert-crash caused by previous cache compression change.

We can't call mail_cache_map() when cache file isn't open or we'll crash:

Panic: file mail-cache.c: line 468 (mail_cache_map): assertion failed: (cache->need_compress_file_seq != 0 || MAIL_INDEX_IS_IN_MEMORY(cache->index))

lib-index: Make sure cache compression doesn't clear the file unneededly.

This probably never happened with current code, except when the cache file
was already broken.

mail_cache_compress() unmapped cache when map_with_read==TRUE, but we never
mapped it back. This would cause cache copying code to think cache was
unusable and not copy anything.

auth: Support %variable expansion for LDAP field names.

For example this is now allowed:

user_attrs = \
  =namespace/%{ldap:enabledNamespace}/enabled=yes \
  ...

lib-ldap: Use ldap_unbind_ext() instead of ldap_destroy()

This allows it to compile with older LDAP libraries. Their behavior (at least
in OpenLDAP) is identical as long as LDAP_OPT_CLIENT_CONTROLS haven't been
changed, which we haven't.

lib-ldap: Support libldap without LDAP_OPT_X_TLS_NEWCTX.

doveadm backup: Fixed unnecessary mailbox deletion.

Broken by 79490ec1a. The idea is to delete the mailbox early to avoid
unnecessary work, but we deleted it too early. If the last mail(s) were
deleted instead of just expunging them we deleted the whole mailbox.

lib: Minor panic message improvement.

lib-mail: Fixed istream-header-filter calling callback(hdr=NULL)

It should do it on the following parsings as well if there were any
callbacks that were called, or if the hdr==NULL callback added any
headers. This is important because the hdr==NULL call could do some
cleanups.

lib: iostream-temp is a blocking ostream.

It goes either to in-memory buffer or to a file.

config: fix possible out-of-bound access in parsing function

Add low-bound check when decreasing string pointer from tail.

lib-fs: istream-metawrap can now safely have a readable fd

lib: Changed istream.abs_start_offset to be relative start_offset

i_stream_get_absolute_offset() walks through the stream's parents to get the
absolute offset. This allows streams to change their start_offset after
they have already created (e.g. istream-metawrap).

dict: Removed duplicate commit reply character

This broke dict-client with error:
Invalid commit reply, expected id=1: OO1

lib: Compiler warning fix

lib: Fixed memory leak in ostream-file unit test

Make libbsd optional

Also use setproctitle properly if libbsd is indeed used.

lib-fs: istream-metawrap can't have a readable fd currently

lib: ostream-file unit test: Test sendfile()

lib: ostream-file: Fixed o_stream_send_istream() within same file

When copying content backwards.

lib-imap-storage: Fixed fetching partial headers for message/rfc822 part

Again broken by 333602c40.

lib-imap-storage: Don't sort uninitialized array on invalid header list.

lib-imap-storage: Removed wrong assert.

Now that we're no longer putting the headers through istream-header-filter
it doesn't necessarily have CRLFs. Broken by 333602c40.

lib-mail: istream-header-filter - Don't return -2 too early

We returned -2 after we already added the data to the buffer. We should
have returned -2 only on the next read() call if nothing was skipped.

lib-mail: Added asserts to message_get_*_size()

lib-imap-storage: Don't double-filter HEADER.FIELDS (..) headers.

lib-imap-storage: Minor error logging cleanup/fix.

We read from input, not from mail_input. In theory it could have the actual
error instead of mail_input (although right now it couldn't).

lib: istream-file: Fixed o_stream_send_istream()

lib-http: Fixed checking if istream or ostream needs waiting.

lib: If epoll_ctl() fails, panic instead of just fatal.

This makes it easier to fix such bugs.

lib-mail: Improve ostream-dot unit test

lib: ostream-escaped: Fixed setting offset

lib: Added comment to what ostream.offset actually is

lib-fs: ostream-metawrap: Fixed o_stream_send_istream() offset updates

lib: Don't set ostream buffer as blocking

lib: iostream-temp: Fixed sending more output after o_stream_send_istream()

lib: iostream-temp: Fixed o_stream_send_istream()

Removed buffer_reset().

It was just a wrapper to buffer_set_used_size() and its comment was a bit
confusing (or obsolete), since it wasn't actually immediately zeroing out
the buffer.

lib: Updated buffer_set_used_size() comment and added unit test.

global: Simplify code with the new o_stream_send_istream() API

lib: istream-sized should log errors with its own name, not parent's name

imap: Code cleanup - use istream-sized for GETMETADATA reply

This avoids doing the same work explicitly.

global: Use o_stream_nsend_istream() where useful

We can skip all of the io error handling and just leave it to
o_stream_nfinish().

lib: Added o_stream_nsend_istream()

lib: Simplified and clarified o_stream_send_istream() API

lib: Added ostream.blocking boolean

Similar to istream.blocking.

lib: Don't silently ignore partial writes for o_stream_nsend()

Normally o_stream_nsend() should be used only for blocking streams or
streams with infinite (or "enough") buffer space.

lmtp: Fixed error logging when writing to temp file

lib: Removed ostream.last_failed_errno

It's been identical to ostream.stream_errno for a while now.

lib-compression: Changed impossible errors to asserts.

o_stream_flush() no longer calls the stream's flush() if stream has failed.

lib: istream-file: Code cleanup

No functional changes

global: Don't assume o_stream_send_istream() return bytes sent.

This won't be true soon after its API changes.

global: Use [io]_stream_get_error() insted of %m

global: Code cleanup - remove unnecessary errno changes.

These were left behind from changing %m to [io]_stream_get_error()

dbox: iostream error logging improvements.

global: Replaced all i_stream_read_data() with _more() and _bytes()

global: Fixed slighty wrong i_stream_read_data() with _read_bytes()

These calls were reading one byte more than they were intended to read.
This didn't really cause any problems, but now they're correct.

doveadm-mailbox-delete: Restore recursive parameter

dict: Fix crash when no dictionaries defined

imap: Include sync timing information in tagged command replies.
Show it only when it's larger than 0 to avoid unnecessary output.

doveadm-mail-mailbox: Whitespace fix

doveadm-mailbox: Add update subcommand

lib-mail: Fixed istream-header-filter callback's matched with eoh

Reversed the matched-parameter handling for hdr->eoh, so it's consistent
with non-eoh headers.

lib-ldap: Fixed assert-crash when killing LDAP connection.

libldap may have already closed the fd, so with epoll io_remove() would
try to remove it and crash with:

Panic: epoll_ctl(del, 12) failed: Bad file descriptor

uri-util: Changed URI host/authority parsing API to not use a boolean.

The boolean indicated whether the basic reg-name syntax or the more limited Internet host name syntax was to be expected.
This change creates separate functions for this.

uri-util: Two ATTR_NULL specifications were misplaced or wrong.

uri-util: The uri_parse_host_name_dns() would segfault if the hostname_r parameter was NULL.

lib: istream - migrate more to i_stream_read_more()

More coccinelle semantic patching, again hand-checked.

  git grep 'i_stream_read_data' | sed s/:.*// | \
    while read f; do spatch --sp-file istream0.cocci --in-place "$f" ; done

-- 8< --- istream0.cocci ---
@@
expression e1, e2, e3;
@@

- i_stream_read_data(e1, e2, e3, 0)
+ i_stream_read_more(e1, e2, e3)
-- 8< --- end

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - more migration to i_stream_read_bytes()

This time a coccinelle semantic patch, again hand checked:

   git grep 'i_stream_read_data' | sed s/:.*// | \
     while read f; do spatch --sp-file istream.cocci --in-place "$f" ; done

-- 8< --- istream.cocci ---
@@
expression e1, e2, e3, e4;
@@

- i_stream_read_data(e1, e2, e3, e4 - 1)
+ i_stream_read_bytes(e1, e2, e3, e4)

-- 8< --- end

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - migrate to i_stream_read_bytes()

Scripted to pick off the low hanging fruit, one liners with an explicit
'-1' in the final parameter, but hand-checked.

  git grep 'i_stream_read_data.*, [^,]*- \?1)' | sed s/:.*// | \
    xargs sed -i -e 's/i_stream_read_data(\(.*\), \(.*\), \(.*\), \(.*[^ ]\) \?- \?1)/i_stream_read_bytes(\1, \2, \3, \4)/'

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - migrate to i_stream_read_more()

Scripted to find all the low-hanging-fruit (single line calls), but hand-checked:

  git grep i_stream_read_data.*,\ 0\) | sed s/:.*// | \
    xargs sed -i -e 's/i_stream_read_data(\(.*\), \(.*\), \(.*\), 0)/i_stream_read_more(\1, \2, \3)/'

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - provide alternatives to i_stream_read_data()

Providing as a parameter the number of bytes that you would be
disappointed to receive was confusing compared to providing the
number that you would be happy to receive. This lets us get rid
of all the '-1's in the callers. The callers which used 0 as
a parameter were so common that it's worth providing a separate
API just to simplify their demands.

Deep down, these are still the same underlying function. Currently
we route the new API through the old one, but eventually, the old
API can be routed through the new one, so that the friendlier
interface has the simplest implementation.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

uri-util: Added documentation for all functions in header.

uri-util: Made URI encoding functions accept NULL pointer for additional escaped characters.

uri-util: Made uri_data_encode() public.

uri-util: Improved implementation of uri_data_encode().

uri-util: Reworked URI scheme parsing.

Made uri_cut_scheme() use uri_parse_scheme() internally rather than the other way around.

lib-imap: Started using struct uri_host in struct imap_url.

lib-http: Started using struct uri_host in struct http_url.

uri-util: Split struct uri_host from uri_authority.

Adds support for parsing host separately and manipulating host struct.

uri-util: Added complete syntax comment.

uri-util: Added support for initializing the URI parser from data.

uri-util: Parsing of unreserved syntax erroneously included percent encoding.

This functionality is currently not used, so no problems would occur.

uri-util: Implemented proper parsing of DNS-based host name for URI schemes that use DNS host names, such as http and imap.