lib-mail: Fixed istream-header-filter calling callback(hdr=NULL)

It should do it on the following parsings as well if there were any
callbacks that were called, or if the hdr==NULL callback added any
headers. This is important because the hdr==NULL call could do some
cleanups.

lib: iostream-temp is a blocking ostream.

It goes either to in-memory buffer or to a file.

config: fix possible out-of-bound access in parsing function

Add low-bound check when decreasing string pointer from tail.

lib-fs: istream-metawrap can now safely have a readable fd

lib: Changed istream.abs_start_offset to be relative start_offset

i_stream_get_absolute_offset() walks through the stream's parents to get the
absolute offset. This allows streams to change their start_offset after
they have already created (e.g. istream-metawrap).

dict: Removed duplicate commit reply character

This broke dict-client with error:
Invalid commit reply, expected id=1: OO1

lib: Compiler warning fix

lib: Fixed memory leak in ostream-file unit test

Make libbsd optional

Also use setproctitle properly if libbsd is indeed used.

lib-fs: istream-metawrap can't have a readable fd currently

lib: ostream-file unit test: Test sendfile()

lib: ostream-file: Fixed o_stream_send_istream() within same file

When copying content backwards.

lib-imap-storage: Fixed fetching partial headers for message/rfc822 part

Again broken by 333602c40.

lib-imap-storage: Don't sort uninitialized array on invalid header list.

lib-imap-storage: Removed wrong assert.

Now that we're no longer putting the headers through istream-header-filter
it doesn't necessarily have CRLFs. Broken by 333602c40.

lib-mail: istream-header-filter - Don't return -2 too early

We returned -2 after we already added the data to the buffer. We should
have returned -2 only on the next read() call if nothing was skipped.

lib-mail: Added asserts to message_get_*_size()

lib-imap-storage: Don't double-filter HEADER.FIELDS (..) headers.

lib-imap-storage: Minor error logging cleanup/fix.

We read from input, not from mail_input. In theory it could have the actual
error instead of mail_input (although right now it couldn't).

lib: istream-file: Fixed o_stream_send_istream()

lib-http: Fixed checking if istream or ostream needs waiting.

lib: If epoll_ctl() fails, panic instead of just fatal.

This makes it easier to fix such bugs.

lib-mail: Improve ostream-dot unit test

lib: ostream-escaped: Fixed setting offset

lib: Added comment to what ostream.offset actually is

lib-fs: ostream-metawrap: Fixed o_stream_send_istream() offset updates

lib: Don't set ostream buffer as blocking

lib: iostream-temp: Fixed sending more output after o_stream_send_istream()

lib: iostream-temp: Fixed o_stream_send_istream()

Removed buffer_reset().

It was just a wrapper to buffer_set_used_size() and its comment was a bit
confusing (or obsolete), since it wasn't actually immediately zeroing out
the buffer.

lib: Updated buffer_set_used_size() comment and added unit test.

global: Simplify code with the new o_stream_send_istream() API

lib: istream-sized should log errors with its own name, not parent's name

imap: Code cleanup - use istream-sized for GETMETADATA reply

This avoids doing the same work explicitly.

global: Use o_stream_nsend_istream() where useful

We can skip all of the io error handling and just leave it to
o_stream_nfinish().

lib: Added o_stream_nsend_istream()

lib: Simplified and clarified o_stream_send_istream() API

lib: Added ostream.blocking boolean

Similar to istream.blocking.

lib: Don't silently ignore partial writes for o_stream_nsend()

Normally o_stream_nsend() should be used only for blocking streams or
streams with infinite (or "enough") buffer space.

lmtp: Fixed error logging when writing to temp file

lib: Removed ostream.last_failed_errno

It's been identical to ostream.stream_errno for a while now.

lib-compression: Changed impossible errors to asserts.

o_stream_flush() no longer calls the stream's flush() if stream has failed.

lib: istream-file: Code cleanup

No functional changes

global: Don't assume o_stream_send_istream() return bytes sent.

This won't be true soon after its API changes.

global: Use [io]_stream_get_error() insted of %m

global: Code cleanup - remove unnecessary errno changes.

These were left behind from changing %m to [io]_stream_get_error()

dbox: iostream error logging improvements.

global: Replaced all i_stream_read_data() with _more() and _bytes()

global: Fixed slighty wrong i_stream_read_data() with _read_bytes()

These calls were reading one byte more than they were intended to read.
This didn't really cause any problems, but now they're correct.

doveadm-mailbox-delete: Restore recursive parameter

dict: Fix crash when no dictionaries defined

imap: Include sync timing information in tagged command replies.
Show it only when it's larger than 0 to avoid unnecessary output.

doveadm-mail-mailbox: Whitespace fix

doveadm-mailbox: Add update subcommand

lib-mail: Fixed istream-header-filter callback's matched with eoh

Reversed the matched-parameter handling for hdr->eoh, so it's consistent
with non-eoh headers.

lib-ldap: Fixed assert-crash when killing LDAP connection.

libldap may have already closed the fd, so with epoll io_remove() would
try to remove it and crash with:

Panic: epoll_ctl(del, 12) failed: Bad file descriptor

uri-util: Changed URI host/authority parsing API to not use a boolean.

The boolean indicated whether the basic reg-name syntax or the more limited Internet host name syntax was to be expected.
This change creates separate functions for this.

uri-util: Two ATTR_NULL specifications were misplaced or wrong.

uri-util: The uri_parse_host_name_dns() would segfault if the hostname_r parameter was NULL.

lib: istream - migrate more to i_stream_read_more()

More coccinelle semantic patching, again hand-checked.

  git grep 'i_stream_read_data' | sed s/:.*// | \
    while read f; do spatch --sp-file istream0.cocci --in-place "$f" ; done

-- 8< --- istream0.cocci ---
@@
expression e1, e2, e3;
@@

- i_stream_read_data(e1, e2, e3, 0)
+ i_stream_read_more(e1, e2, e3)
-- 8< --- end

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - more migration to i_stream_read_bytes()

This time a coccinelle semantic patch, again hand checked:

   git grep 'i_stream_read_data' | sed s/:.*// | \
     while read f; do spatch --sp-file istream.cocci --in-place "$f" ; done

-- 8< --- istream.cocci ---
@@
expression e1, e2, e3, e4;
@@

- i_stream_read_data(e1, e2, e3, e4 - 1)
+ i_stream_read_bytes(e1, e2, e3, e4)

-- 8< --- end

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - migrate to i_stream_read_bytes()

Scripted to pick off the low hanging fruit, one liners with an explicit
'-1' in the final parameter, but hand-checked.

  git grep 'i_stream_read_data.*, [^,]*- \?1)' | sed s/:.*// | \
    xargs sed -i -e 's/i_stream_read_data(\(.*\), \(.*\), \(.*\), \(.*[^ ]\) \?- \?1)/i_stream_read_bytes(\1, \2, \3, \4)/'

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - migrate to i_stream_read_more()

Scripted to find all the low-hanging-fruit (single line calls), but hand-checked:

  git grep i_stream_read_data.*,\ 0\) | sed s/:.*// | \
    xargs sed -i -e 's/i_stream_read_data(\(.*\), \(.*\), \(.*\), 0)/i_stream_read_more(\1, \2, \3)/'

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - provide alternatives to i_stream_read_data()

Providing as a parameter the number of bytes that you would be
disappointed to receive was confusing compared to providing the
number that you would be happy to receive. This lets us get rid
of all the '-1's in the callers. The callers which used 0 as
a parameter were so common that it's worth providing a separate
API just to simplify their demands.

Deep down, these are still the same underlying function. Currently
we route the new API through the old one, but eventually, the old
API can be routed through the new one, so that the friendlier
interface has the simplest implementation.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

uri-util: Added documentation for all functions in header.

uri-util: Made URI encoding functions accept NULL pointer for additional escaped characters.

uri-util: Made uri_data_encode() public.

uri-util: Improved implementation of uri_data_encode().

uri-util: Reworked URI scheme parsing.

Made uri_cut_scheme() use uri_parse_scheme() internally rather than the other way around.

lib-imap: Started using struct uri_host in struct imap_url.

lib-http: Started using struct uri_host in struct http_url.

uri-util: Split struct uri_host from uri_authority.

Adds support for parsing host separately and manipulating host struct.

uri-util: Added complete syntax comment.

uri-util: Added support for initializing the URI parser from data.

uri-util: Parsing of unreserved syntax erroneously included percent encoding.

This functionality is currently not used, so no problems would occur.

uri-util: Implemented proper parsing of DNS-based host name for URI schemes that use DNS host names, such as http and imap.

uri-util: Added public function for parsing single percent encoding instances.

uri-util: Removed have_port and have_host_ip flags.

Presence of port can be tested with port != 0.
Presence of IP can be tested with ip->family != 0.

lib-ldap: Do not create new context and lose settings

lib-mail: istream-qp-decoder: For efficiency, avoid copying data between decode buffer and stream buffer.

Instead, use the decode buffer directly as stream buffer.

lib-ldap: Compiling fix - don't pass through void return

imap: Set command start timestamps earlier.

Previously timing statistics in taglines weren't shown commands that didn't
read any parameters.

Also the timings now include the time speng reading command parameters from
client. For example:

a list "" {1}
+ OK
%
* LIST (\HasNoChildren) "/" INBOX
a OK List completed (0.001 + 1.214 secs).

lib: Fixed istream_seekable.stat() to return correct size.

It was supposed to read until end of the stream, but it did it only when
stat() was called while stream was still fully in memory.

lib-fs: Make sure fs-metawrap catches all write errors.

The full istream may not have been written in case ostream only partially
wrote the data (e.g. out of disk space?)

lib-fs: If fs-metawrap sees truncated header, it should return error.

lib: Fixed potential crash in i_stream_stat() failures.

We shouldn't have been copying parent's stream_errno here. Especially
because the parent can be NULL.

dict: Set default transaction commit callback

Removes need for NULL check on drivers

lib-storage: Fixed istream error handling while saving mails.

We might have logged them as write errors, or we might have ignored the
error if i_stream_read() failed. Now the behavior is consistent.

lib-storage: Moved common code to index_storage_save_continue()

Added LIBDOVECOT_SQL_INCLUDE to dovecot-config and dovecot.m4.

lib: remove failed bool from sized_istream struct

This is no longer needed as we are now checking for
stream_errno also in istream.c

doc: remove doveadm mount manpages

lib-fs: Added FS_PROPERTY_FASTCOPY_CHANGED_METADATA

lib-http: Queue's delayed timeout handler wasn't removed after work was done.

lib-fs: Minor code cleanup

lib-fs: Set fs error on fs_write_stream_abort()

Probably would be nice for fs_write_stream_abort() to have an error string
parameter, which could be used instead of this generic error.

lib-fs: Added asserts to make sure async writes are finished before close

fs-metawrap: Minor code cleanup

temp_output==NULL, so these calls are equal.

fs-metawrap: Propagate fs_write_stream_abort() to parent always

It needed to be done also when temp_output==NULL, because we had already
started sending it to parent, but async parent wasn't being finished.

fs-randomfail: Set fs error always when injecting failure.

It was done in some places, but not everywhere.