lib-fs: Make sure fs-metawrap catches all write errors.

The full istream may not have been written in case ostream only partially
wrote the data (e.g. out of disk space?)

lib-fs: If fs-metawrap sees truncated header, it should return error.

lib: Fixed potential crash in i_stream_stat() failures.

We shouldn't have been copying parent's stream_errno here. Especially
because the parent can be NULL.

dict: Set default transaction commit callback

Removes need for NULL check on drivers

lib-storage: Fixed istream error handling while saving mails.

We might have logged them as write errors, or we might have ignored the
error if i_stream_read() failed. Now the behavior is consistent.

lib-storage: Moved common code to index_storage_save_continue()

Added LIBDOVECOT_SQL_INCLUDE to dovecot-config and dovecot.m4.

lib: remove failed bool from sized_istream struct

This is no longer needed as we are now checking for
stream_errno also in istream.c

doc: remove doveadm mount manpages

lib-fs: Added FS_PROPERTY_FASTCOPY_CHANGED_METADATA

lib-http: Queue's delayed timeout handler wasn't removed after work was done.

lib-fs: Minor code cleanup

lib-fs: Set fs error on fs_write_stream_abort()

Probably would be nice for fs_write_stream_abort() to have an error string
parameter, which could be used instead of this generic error.

lib-fs: Added asserts to make sure async writes are finished before close

fs-metawrap: Minor code cleanup

temp_output==NULL, so these calls are equal.

fs-metawrap: Propagate fs_write_stream_abort() to parent always

It needed to be done also when temp_output==NULL, because we had already
started sending it to parent, but async parent wasn't being finished.

fs-randomfail: Set fs error always when injecting failure.

It was done in some places, but not everywhere.

lmtp: Removed (Dovecot) from Received header.

Some people want to hide it, and I don't really see much benefit in
including it anyway. So lets just hide it from everyone.

dict-sql: Cache reading settings files.

The settings were read for every dict init, which was done for every new
dict connection. This was using a lot of CPU. There are usually only a
couple dict-sql settings files, so we cache all of the ones we read.

lib-sql: Memory leak fix when freeing sql dbs from cache

Normally happened only at deinit.

dsync: Fixed potential crash

This seems to be possible with dsync_mailbox_find_common_expunged_uid() ->
dsync_mailbox_common_uid_found() -> dsync_mailbox_rewind_search() -> following
search doesn't find anything.

lib-ldap: Reverted previous commit for now.

We don't have libdovecot built at at this stage. But we can't build it
earlier, because it needs lib-dict-extra, which needs lib-ldap. So we have
cyclical dependencies now.

lib-ldap: Add libdovecot dependency to libdovecot-ldap

Required for linking to work on OSX.

lib: Fixed crash when closing a failed istream-concat

i_stream_concat_seek() could have set cur_input==NULL and we still
attempted to seek the cur_input at close time.

lib-index: "first saved UID of the day" wasn't updated right always.

It was using the UID of the first append. But it may not have been the
lowest UID. Do this after the appends are first sorted by their UID.

Added liblzma bug to Valgrind suppressions file.

It caused `make test` to fail with valgrind.
Occurred at least for Debian Jessie with liblzma package version 5.1.1alpha+20120614-2+b3.

lib-storage: Add %{session} to mail_log_prefix by default

Parameter is added to initialization string.

lib: check stream_errno too when checking whether istream is closed

lib: Use arc4random if present

lib: Do not use OpenSSL to read random bytes

README: Added missing supported RFCs

lib-dict: Compiler warning fix

I don't think it's possible that error was used uninitialized, but some gcc
version seems to think so.

dict-client: Use standard str_tabescape-functions

There's no reason to reimplement them here separately.

lib-dict: dict_transaction_commit*() returns now error string

lib-dict: Changed internal transaction_commit() to return void

Somewhat simplifies the code now that it doesn't have to both call a
callback and return the same ret.

dict-memcached-ascii: Fixed async commit

dict-redis: Fixed memory leak in async commit

lib-dict: dict_iterate_deinit() returns now error string

lib-dict: Changed dict_wait() to return void.

If it encounters any failures, it should just make sure to abort any pending
async requests before returning.

dict-client: dict_wait() can't really fail

dict: Pass through dict_lookup() error from dict server to client

lib-dict: dict_lookup() returns now error string

lib-dict: Moved/removed explicit stack frames in dict drivers.

Added them back to dict_set/unset/atomic_inc() in dict.c. Others are
unlikely to be called many times.

lib-dict: Renamed dict_init_full() to dict_init()

lib-http: If connect fails, include attempt count and total time in error.

This will produce errors such as:
9002 connect(1.2.3.4:801) failed: Connection timed out in 1.001 secs (4 attempts in 4.706 secs)

lib-http: Allow http_client_settings.ssl==NULL

config: Added support for SET_TIME_MSECS

cassandra: Support milliseconds for request/connect_timeout

lib-settings: Added SET_TIME_MSECS type.

lib-settings: Added settings_get_time_msecs()

lib-settings: settings_get_time() requires explicit unit now, except for 0.

This means that all the time interval settings in dovecot.conf must no
longer be simply a number.

doveadm fetch: Translate commas to spaces in body|binary.<section> with

This way we can do e.g.:

doveadm fetch 'uid body.header.fields(from,to,subject)' ...

Although in theory we could also change the parser to allow spaces as long
as they're inside (..), but this is probably too much extra effort.

lib-imap-storage: Allow HEADER.FIELDS(..) without space before '('

This is to allow doveadm fetch to use it. Attempting to do this without a
space in IMAP already fails elsewhere:

x fetch 1 body.peek[header.fields(from to)]
x BAD Error in IMAP command FETCH: Invalid characters in atom

doveadm fetch: Fixed logging errors for istream failures

doveadm fetch: Added body.<section> and binary.<section> fields

These correspond to IMAP BODY[<section>].

dict-client: Added idle_msecs=<n> parameter

This can be useful when connected to dict-async server where extra idling
connections don't matter so much as with blocking dict servers.

doveadm: error to print formatted without format

This changes the segfault of `doveadm -f formatted ...` to an error.

lib: Fixed potential collision in guid_generate()

There wasn't enough padding for tv_nsec and it was also assuming 16 bit
PIDs. Because of these there was a tiny possibility of two
guid_generate() calls returning the same GUID.

This changes the GUID format a bit, but it was used only by sdbox code,
which doesn't assume anything about the GUID format.

lib-http: use ssl_iostream_settings in http_client_settings

lib-ssl-iostream: move ssl_iostream_settings_dup to iostream-ssl.c

lib-storage: remove mdbox_purge_preserve_alt setting

remove setting and its reference.

imap: Avoid assert-crash after a failed mailbox sync.

We didn't close the mailbox and we didn't update message counts, so we could
have crashed with:

Panic: Message count decreased

stats: Handle getrusage() errors better

I'm not aware of these errors actually happening anywhere, but its
error handling wouldn't have been correct if previous getrusage() calls
had succeeded. Now if it fails, log an error once and just keep on using
the last working rusage.

stats: Work around shrinking system CPU usage

Happening at least in Debian's Linux kernel 4.3.0-1-amd64.

getrusage() may returns ru_stime = 4000 or 8000, but later it drops to 0.
We'll just work around this by switching to the previous working ru_stime.

This fixes errors like:
Error: stats: session stats shrank: sys_cpu 0.0 < 0.4000

dict-ldap: Properly duplicate result

lib: Added t_str_tabunescape()

auth: Makefile dependency fix

Hopefully fixes:
mv: cannot stat '.deps/auth-stats.Tpo': No such file or directory

lib: Added i_stream_get_disconnect_reason()

lib: Improved connection_disconnect_reason()

lazy-expunge: Handle mailbox create race conditions.

Don't log an error if another process just created the lazy-expunge mailbox.

lib-fs: Fixes to stats count tracking

fs_exists(), fs_copy(), fs_rename() and fs_delete() could have increased the
count multiple times on async operations.

stats: Fixed ADD-USER stats tracking (auth stats)

lib-fs: fs-metawrap stat() error handling improvement.

We can't just treat i_stream_get_size() returning 0 as the reason being
istream is async and not fully read. It might be, but it might also be
because of other reasons. And since we're closing the istream we couldn't
even properly finish up the async handling. So for now just return an
error if we see this happening.

lib: istream's max_buffer_size=0 means 0, not unlimited.

Make sure we don't grow the buffer size then.

imap: Set client_command_context.tagline_reply before syncing.

Command post-hooks can't see it otherwise.

dsync: Fixed assert-crash if mailbox_attribute_set() fails

We shouldn't set importer->mail_error, because we're not going to
fail the import.

Fixes assert-crash:
dsync-mailbox-import.c: line 2812 (dsync_mailbox_import_deinit): assertion failed: (importer->failed == (importer->mail_error != 0))

lib-mail: Fixed istream-header-filter unit test names

doveadm who: Fixed listing LMTP sessions

lib: Added more unit tests to str_*()

config: Fixed namespaces to work again

Broken by 26a6ff7f0. old_settings_handle() should have returned FALSE for
settings it didn't handle.

global: Use mail_user_plugin_getenv_bool() wherever possible

New API is used to check boolean setting OR exsitence of an env variable.

lib-storage: add mail_user_plugin_getenv_bool

New API will check boolean-like env setting OR its exsitence.

Function returns FALSE when:
* Read out a null string,
"Or" * String starts with any letter in set {'N', 'n', 'F','f','0'}

To keep downward compatibility, For other cases including an empty
string, function returns TRUE.

lib: Optimize str_append_n()

lib: Make str_*() inline which are simple buffer_* wrappers.

global: Avoid using buffer_get_data()

Especially buffer_get_data(buf, NULL) generates worse code than just
using buf->data directly.

global: Replace buffer_get_used_size(buf) with buf->used

Doesn't make any diffence to code generation, but it's somewhat simpler code.
It's also more consistent since most of the code nowadays uses the ->used.

config: Remove old_namespace()

From config/old-set-parser.c, and its caller. The namespace section
named "private", "shared" or "public" is obsolete accordingly.

lib-imap, imap: BINARY [UNKNOWNCTE] to [PARSE]

lib-storage: Make it easier to debug mail's unclosed istream

lib-mail: istream-header-filter - fixed adding headers at eoh

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_HIDE_BODY

lib-mail: istream-header-filter HEADER_FILTER_ADD_MISSING_EOH fixes

When using HEADER_FILTER_CRLF_PRESERVE, add CR to the EOH if the previous
header line ended with CRLF.

When header ends to a header without newline, add two newlines so we can get
the actual EOH added.

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_END_BODY_WITH_LF

lib-mail: istream-header-filter - Check errors reading header

This probably doesn't affect the results much, since the stream_errno is set
anyway. But it's better to abort early, just in case the broken state might
end up asserting later.

lib: Added o_stream_unix_write_fd() assert: fd>=0

lib-storage: Fixed potential crash in mailbox_sync_deinit() error handling

If mailbox_sync*() was called before mailbox was opened, the automatic
mailbox opening could fail. mailbox_sync_deinit() would still try to access
box->view, which would be NULL.

lib-storage: Another fix to mail storage initialization.

Allow mail_namespaces_init_location() to add the namespace directly to user,
since that's what the current callers always want. But compared to the
original code we're now calling mail_namespaces_init_finish() rather than
doing the same things ourself.

lib-ldap: Handle various LDAP failures correctly

lib-ldap: Do not retry with bad credentials

lib-storage: Changed mail storage initialization.

Most importantly require mail_namespaces_init_finish() after
mail_storage_create(). This was needed so that
mail_namespaces_created/added hook would always have the ns->list set, which
is required for several of the hooks to work (e.g. mailbox list index)