lib-imap-storage: Don't double-filter HEADER.FIELDS (..) headers.

lib-imap-storage: Minor error logging cleanup/fix.

We read from input, not from mail_input. In theory it could have the actual
error instead of mail_input (although right now it couldn't).

lib: istream-file: Fixed o_stream_send_istream()

lib-http: Fixed checking if istream or ostream needs waiting.

lib: If epoll_ctl() fails, panic instead of just fatal.

This makes it easier to fix such bugs.

lib-mail: Improve ostream-dot unit test

lib: ostream-escaped: Fixed setting offset

lib: Added comment to what ostream.offset actually is

lib-fs: ostream-metawrap: Fixed o_stream_send_istream() offset updates

lib: Don't set ostream buffer as blocking

lib: iostream-temp: Fixed sending more output after o_stream_send_istream()

lib: iostream-temp: Fixed o_stream_send_istream()

Removed buffer_reset().

It was just a wrapper to buffer_set_used_size() and its comment was a bit
confusing (or obsolete), since it wasn't actually immediately zeroing out
the buffer.

lib: Updated buffer_set_used_size() comment and added unit test.

global: Simplify code with the new o_stream_send_istream() API

lib: istream-sized should log errors with its own name, not parent's name

imap: Code cleanup - use istream-sized for GETMETADATA reply

This avoids doing the same work explicitly.

global: Use o_stream_nsend_istream() where useful

We can skip all of the io error handling and just leave it to
o_stream_nfinish().

lib: Added o_stream_nsend_istream()

lib: Simplified and clarified o_stream_send_istream() API

lib: Added ostream.blocking boolean

Similar to istream.blocking.

lib: Don't silently ignore partial writes for o_stream_nsend()

Normally o_stream_nsend() should be used only for blocking streams or
streams with infinite (or "enough") buffer space.

lmtp: Fixed error logging when writing to temp file

lib: Removed ostream.last_failed_errno

It's been identical to ostream.stream_errno for a while now.

lib-compression: Changed impossible errors to asserts.

o_stream_flush() no longer calls the stream's flush() if stream has failed.

lib: istream-file: Code cleanup

No functional changes

global: Don't assume o_stream_send_istream() return bytes sent.

This won't be true soon after its API changes.

global: Use [io]_stream_get_error() insted of %m

global: Code cleanup - remove unnecessary errno changes.

These were left behind from changing %m to [io]_stream_get_error()

dbox: iostream error logging improvements.

global: Replaced all i_stream_read_data() with _more() and _bytes()

global: Fixed slighty wrong i_stream_read_data() with _read_bytes()

These calls were reading one byte more than they were intended to read.
This didn't really cause any problems, but now they're correct.

doveadm-mailbox-delete: Restore recursive parameter

dict: Fix crash when no dictionaries defined

imap: Include sync timing information in tagged command replies.
Show it only when it's larger than 0 to avoid unnecessary output.

doveadm-mail-mailbox: Whitespace fix

doveadm-mailbox: Add update subcommand

lib-mail: Fixed istream-header-filter callback's matched with eoh

Reversed the matched-parameter handling for hdr->eoh, so it's consistent
with non-eoh headers.

lib-ldap: Fixed assert-crash when killing LDAP connection.

libldap may have already closed the fd, so with epoll io_remove() would
try to remove it and crash with:

Panic: epoll_ctl(del, 12) failed: Bad file descriptor

uri-util: Changed URI host/authority parsing API to not use a boolean.

The boolean indicated whether the basic reg-name syntax or the more limited Internet host name syntax was to be expected.
This change creates separate functions for this.

uri-util: Two ATTR_NULL specifications were misplaced or wrong.

uri-util: The uri_parse_host_name_dns() would segfault if the hostname_r parameter was NULL.

lib: istream - migrate more to i_stream_read_more()

More coccinelle semantic patching, again hand-checked.

  git grep 'i_stream_read_data' | sed s/:.*// | \
    while read f; do spatch --sp-file istream0.cocci --in-place "$f" ; done

-- 8< --- istream0.cocci ---
@@
expression e1, e2, e3;
@@

- i_stream_read_data(e1, e2, e3, 0)
+ i_stream_read_more(e1, e2, e3)
-- 8< --- end

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - more migration to i_stream_read_bytes()

This time a coccinelle semantic patch, again hand checked:

   git grep 'i_stream_read_data' | sed s/:.*// | \
     while read f; do spatch --sp-file istream.cocci --in-place "$f" ; done

-- 8< --- istream.cocci ---
@@
expression e1, e2, e3, e4;
@@

- i_stream_read_data(e1, e2, e3, e4 - 1)
+ i_stream_read_bytes(e1, e2, e3, e4)

-- 8< --- end

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - migrate to i_stream_read_bytes()

Scripted to pick off the low hanging fruit, one liners with an explicit
'-1' in the final parameter, but hand-checked.

  git grep 'i_stream_read_data.*, [^,]*- \?1)' | sed s/:.*// | \
    xargs sed -i -e 's/i_stream_read_data(\(.*\), \(.*\), \(.*\), \(.*[^ ]\) \?- \?1)/i_stream_read_bytes(\1, \2, \3, \4)/'

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - migrate to i_stream_read_more()

Scripted to find all the low-hanging-fruit (single line calls), but hand-checked:

  git grep i_stream_read_data.*,\ 0\) | sed s/:.*// | \
    xargs sed -i -e 's/i_stream_read_data(\(.*\), \(.*\), \(.*\), 0)/i_stream_read_more(\1, \2, \3)/'

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: istream - provide alternatives to i_stream_read_data()

Providing as a parameter the number of bytes that you would be
disappointed to receive was confusing compared to providing the
number that you would be happy to receive. This lets us get rid
of all the '-1's in the callers. The callers which used 0 as
a parameter were so common that it's worth providing a separate
API just to simplify their demands.

Deep down, these are still the same underlying function. Currently
we route the new API through the old one, but eventually, the old
API can be routed through the new one, so that the friendlier
interface has the simplest implementation.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

uri-util: Added documentation for all functions in header.

uri-util: Made URI encoding functions accept NULL pointer for additional escaped characters.

uri-util: Made uri_data_encode() public.

uri-util: Improved implementation of uri_data_encode().

uri-util: Reworked URI scheme parsing.

Made uri_cut_scheme() use uri_parse_scheme() internally rather than the other way around.

lib-imap: Started using struct uri_host in struct imap_url.

lib-http: Started using struct uri_host in struct http_url.

uri-util: Split struct uri_host from uri_authority.

Adds support for parsing host separately and manipulating host struct.

uri-util: Added complete syntax comment.

uri-util: Added support for initializing the URI parser from data.

uri-util: Parsing of unreserved syntax erroneously included percent encoding.

This functionality is currently not used, so no problems would occur.

uri-util: Implemented proper parsing of DNS-based host name for URI schemes that use DNS host names, such as http and imap.

uri-util: Added public function for parsing single percent encoding instances.

uri-util: Removed have_port and have_host_ip flags.

Presence of port can be tested with port != 0.
Presence of IP can be tested with ip->family != 0.

lib-ldap: Do not create new context and lose settings

lib-mail: istream-qp-decoder: For efficiency, avoid copying data between decode buffer and stream buffer.

Instead, use the decode buffer directly as stream buffer.

lib-ldap: Compiling fix - don't pass through void return

imap: Set command start timestamps earlier.

Previously timing statistics in taglines weren't shown commands that didn't
read any parameters.

Also the timings now include the time speng reading command parameters from
client. For example:

a list "" {1}
+ OK
%
* LIST (\HasNoChildren) "/" INBOX
a OK List completed (0.001 + 1.214 secs).

lib: Fixed istream_seekable.stat() to return correct size.

It was supposed to read until end of the stream, but it did it only when
stat() was called while stream was still fully in memory.

lib-fs: Make sure fs-metawrap catches all write errors.

The full istream may not have been written in case ostream only partially
wrote the data (e.g. out of disk space?)

lib-fs: If fs-metawrap sees truncated header, it should return error.

lib: Fixed potential crash in i_stream_stat() failures.

We shouldn't have been copying parent's stream_errno here. Especially
because the parent can be NULL.

dict: Set default transaction commit callback

Removes need for NULL check on drivers

lib-storage: Fixed istream error handling while saving mails.

We might have logged them as write errors, or we might have ignored the
error if i_stream_read() failed. Now the behavior is consistent.

lib-storage: Moved common code to index_storage_save_continue()

Added LIBDOVECOT_SQL_INCLUDE to dovecot-config and dovecot.m4.

lib: remove failed bool from sized_istream struct

This is no longer needed as we are now checking for
stream_errno also in istream.c

doc: remove doveadm mount manpages

lib-fs: Added FS_PROPERTY_FASTCOPY_CHANGED_METADATA

lib-http: Queue's delayed timeout handler wasn't removed after work was done.

lib-fs: Minor code cleanup

lib-fs: Set fs error on fs_write_stream_abort()

Probably would be nice for fs_write_stream_abort() to have an error string
parameter, which could be used instead of this generic error.

lib-fs: Added asserts to make sure async writes are finished before close

fs-metawrap: Minor code cleanup

temp_output==NULL, so these calls are equal.

fs-metawrap: Propagate fs_write_stream_abort() to parent always

It needed to be done also when temp_output==NULL, because we had already
started sending it to parent, but async parent wasn't being finished.

fs-randomfail: Set fs error always when injecting failure.

It was done in some places, but not everywhere.

lmtp: Removed (Dovecot) from Received header.

Some people want to hide it, and I don't really see much benefit in
including it anyway. So lets just hide it from everyone.

dict-sql: Cache reading settings files.

The settings were read for every dict init, which was done for every new
dict connection. This was using a lot of CPU. There are usually only a
couple dict-sql settings files, so we cache all of the ones we read.

lib-sql: Memory leak fix when freeing sql dbs from cache

Normally happened only at deinit.

dsync: Fixed potential crash

This seems to be possible with dsync_mailbox_find_common_expunged_uid() ->
dsync_mailbox_common_uid_found() -> dsync_mailbox_rewind_search() -> following
search doesn't find anything.

lib-ldap: Reverted previous commit for now.

We don't have libdovecot built at at this stage. But we can't build it
earlier, because it needs lib-dict-extra, which needs lib-ldap. So we have
cyclical dependencies now.

lib-ldap: Add libdovecot dependency to libdovecot-ldap

Required for linking to work on OSX.

lib: Fixed crash when closing a failed istream-concat

i_stream_concat_seek() could have set cur_input==NULL and we still
attempted to seek the cur_input at close time.

lib-index: "first saved UID of the day" wasn't updated right always.

It was using the UID of the first append. But it may not have been the
lowest UID. Do this after the appends are first sorted by their UID.

Added liblzma bug to Valgrind suppressions file.

It caused `make test` to fail with valgrind.
Occurred at least for Debian Jessie with liblzma package version 5.1.1alpha+20120614-2+b3.

lib-storage: Add %{session} to mail_log_prefix by default

Parameter is added to initialization string.

lib: check stream_errno too when checking whether istream is closed

lib: Use arc4random if present

lib: Do not use OpenSSL to read random bytes

README: Added missing supported RFCs

lib-dict: Compiler warning fix

I don't think it's possible that error was used uninitialized, but some gcc
version seems to think so.

dict-client: Use standard str_tabescape-functions

There's no reason to reimplement them here separately.

lib-dict: dict_transaction_commit*() returns now error string