lib-fs: Added FS_PROPERTY_FASTCOPY_CHANGED_METADATA

lib-fs: Allow multiple fs_read_stream() calls to seekable istreams.

This fixes for example calling fs_default_copy() for an istream which was
already opened:

Panic: file fs-api.c: line 528 (fs_read_stream): assertion failed: (!file->istream_open)

lib-fs: Fixed multiple concurrent fs_read_stream() calls

Return a new limit-istream, so each istream can have its own independent
offset.

lib-http: Queue's delayed timeout handler wasn't removed after work was done.

dict-sql: Cache reading settings files.

The settings were read for every dict init, which was done for every new
dict connection. This was using a lot of CPU. There are usually only a
couple dict-sql settings files, so we cache all of the ones we read.

lib-fs: Minor code cleanup

lib-fs: Set fs error on fs_write_stream_abort()

Probably would be nice for fs_write_stream_abort() to have an error string
parameter, which could be used instead of this generic error.

lib-fs: Added asserts to make sure async writes are finished before close

fs-metawrap: Minor code cleanup

temp_output==NULL, so these calls are equal.

fs-metawrap: Propagate fs_write_stream_abort() to parent always

It needed to be done also when temp_output==NULL, because we had already
started sending it to parent, but async parent wasn't being finished.

fs-randomfail: Set fs error always when injecting failure.

It was done in some places, but not everywhere.

lib-ldap: Reverted previous commit for now.

We don't have libdovecot built at at this stage. But we can't build it
earlier, because it needs lib-dict-extra, which needs lib-ldap. So we have
cyclical dependencies now.

lib-ldap: Add libdovecot dependency to libdovecot-ldap

Required for linking to work on OSX.

lib: Fixed crash when closing a failed istream-concat

i_stream_concat_seek() could have set cur_input==NULL and we still
attempted to seek the cur_input at close time.

lib-index: "first saved UID of the day" wasn't updated right always.

It was using the UID of the first append. But it may not have been the
lowest UID. Do this after the appends are first sorted by their UID.

Added liblzma bug to Valgrind suppressions file.

It caused `make test` to fail with valgrind.
Occurred at least for Debian Jessie with liblzma package version 5.1.1alpha+20120614-2+b3.

README: Added missing supported RFCs

lib-http: If connect fails, include attempt count and total time in error.

This will produce errors such as:
9002 connect(1.2.3.4:801) failed: Connection timed out in 1.001 secs (4 attempts in 4.706 secs)

dict-client: Added idle_msecs=<n> parameter

This can be useful when connected to dict-async server where extra idling
connections don't matter so much as with blocking dict servers.

imap: Avoid assert-crash after a failed mailbox sync.

We didn't close the mailbox and we didn't update message counts, so we could
have crashed with:

Panic: Message count decreased

stats: Handle getrusage() errors better

I'm not aware of these errors actually happening anywhere, but its
error handling wouldn't have been correct if previous getrusage() calls
had succeeded. Now if it fails, log an error once and just keep on using
the last working rusage.

stats: Work around shrinking system CPU usage

Happening at least in Debian's Linux kernel 4.3.0-1-amd64.

getrusage() may returns ru_stime = 4000 or 8000, but later it drops to 0.
We'll just work around this by switching to the previous working ru_stime.

This fixes errors like:
Error: stats: session stats shrank: sys_cpu 0.0 < 0.4000

dict-ldap: Properly duplicate result

auth: Makefile dependency fix

Hopefully fixes:
mv: cannot stat '.deps/auth-stats.Tpo': No such file or directory

lib: Added i_stream_get_disconnect_reason()

lib: Improved connection_disconnect_reason()

lazy-expunge: Handle mailbox create race conditions.

Don't log an error if another process just created the lazy-expunge mailbox.

lib-fs: Fixes to stats count tracking

fs_exists(), fs_copy(), fs_rename() and fs_delete() could have increased the
count multiple times on async operations.

stats: Fixed ADD-USER stats tracking (auth stats)

lib-fs: fs-metawrap stat() error handling improvement.

We can't just treat i_stream_get_size() returning 0 as the reason being
istream is async and not fully read. It might be, but it might also be
because of other reasons. And since we're closing the istream we couldn't
even properly finish up the async handling. So for now just return an
error if we see this happening.

lib-mail: Fixed istream-header-filter unit test names

doveadm who: Fixed listing LMTP sessions

lib-storage: Make it easier to debug mail's unclosed istream

lib-mail: istream-header-filter - fixed adding headers at eoh

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_HIDE_BODY

lib-mail: istream-header-filter HEADER_FILTER_ADD_MISSING_EOH fixes

When using HEADER_FILTER_CRLF_PRESERVE, add CR to the EOH if the previous
header line ended with CRLF.

When header ends to a header without newline, add two newlines so we can get
the actual EOH added.

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_END_BODY_WITH_LF

lib-mail: istream-header-filter - Check errors reading header

This probably doesn't affect the results much, since the stream_errno is set
anyway. But it's better to abort early, just in case the broken state might
end up asserting later.

lib-storage: Fixed potential crash in mailbox_sync_deinit() error handling

If mailbox_sync*() was called before mailbox was opened, the automatic
mailbox opening could fail. mailbox_sync_deinit() would still try to access
box->view, which would be NULL.

lib-ldap: Handle various LDAP failures correctly

lib-ldap: Do not retry with bad credentials

imap: Set client_command_context.tagline_reply before syncing.

Command post-hooks can't see it otherwise.

dsync: Fixed assert-crash if mailbox_attribute_set() fails

We shouldn't set importer->mail_error, because we're not going to
fail the import.

Fixes assert-crash:
dsync-mailbox-import.c: line 2812 (dsync_mailbox_import_deinit): assertion failed: (importer->failed == (importer->mail_error != 0))

lib-ldap: Added initial connection pooling code.

This is mainly about allowing multiple dict-ldaps to use the same
ldap-connection. In future we could support load balancing with multiple
concurrent LDAP connections.

dict-ldap: Removed caching of ldap-clients

With the previous per-username caching there could be a huge number of
dict-ldaps.

dict-ldap: Don't reuse dict for different usernames.

Fixes doing priv/* lookups for multiple usernames.

This currently also means that each username will create a separate LDAP
connection, which isn't ideal. But this is probably better fixed in
lib-ldap code similar to how lib-sql does connection pooling.

imap: Added struct client_command_context.tagline_reply

Can be used by plugins.

auth: Added %{auth_user/username/domain} variables

lib-storage: Clear list error before mailbox_list_get_hierarchy_sep()

With ACL plugin enabled the call could have triggered dovecot-acl-list
rebuild, which in turn could have set list errors if it didn't have
permissions to all the mailboxes. This caused IMAP logins to fail.

lib-mail: message-parser assert-crashfix

Crashes when multipart MIME header is missing end-of-headers line and the
boundary begins with the same prefix as one of the parent boundaries.
Broken by 7a12331c6

quota: Fix to earlier commit 62f2f6baf

expunge_uids may become empty with prev_idx > 0

lib-fs: Fixed fs_get_metadata() with fs-metawrap

If mail was already read to EOF.

man: Add stub for doveadm-fs command

lmtp: Connect to anvil earlier while still running as root

This was a problem only with lmtp_rcpt_check_quota=yes.

lib: Set timestamp part more accurately in guid_128_generate()

Previously a long-running process would keep the timestamp close to its
original start time. This doesn't really matter as long as GUIDs are treated
opaque, but some pieces of code prefer to try to use the timestamp fields
since they're already there. This makes such code work more nicely.

lib-ldap: Make static analyzer happier

Remove dead assignment.

auth: Fixed final result in multiple userdbs

We don't want to return the last result's success/failure, but
the entire userdb chain's success/failure.

auth: Session ID wasn't exported to auth workers.

Most importantly this means that log messages didn't contain them.

quota: Added quota_over_flag_lazy_check flag.

By default the quota_over_flag is checked immediately at startup. With this
option the check is done only at a time when the quota is anyway being read.

quota: dict-quota was broken by 464db6d9d

We can't assume that the quota_root given to quota_count() is
count_quota_root, because dict_quota_root also calls it.

quota: Cleanup - split quota_over_flag to init & run parts

In preparation for the next change.

quota: Fixed debug logging for quota_over_flag

quota: Fixed quota_over_flag handling when quota usage==limit

It couldn't really work correctly otherwise. If we've reached the quota, we
want to start rejecting new mails.

quota-count: Cache quota usage within the same ioloop run.

This mainly means that when both STORAGE and MESSAGES quota is looked up we
don't need to calculate them twice.

quota-count: Code cleanup - give consistent return value

Although the callers didn't care if it returned 0 or 1.

global: Use buffer_get_writable_size() where possible

With 09539f3db increasing buffer's init_size with +1 some fts-icu unit tests
started failing. And in general it's better to use the writable size since
that provides the true size that can be used.

quota: Optimize handling a large number of expunges.

This assumes that the mail_expunge() was called in the same order as
sync_notify(), which practically means that they were both done in
ascending uid order. This is usually true.

lib-ldap: Set minimum protocol if supported by library

imapc: Fixed EXPUNGE handling when imapc_features didn't have modseq

lib-index: Use a bit larger initial records buffer size

For example with a mailbox having 160k messages the buffer size is around
10MB. Adding just 1% more space to it allows a lot more appends before the
buffer needs to be realloced. This reduces CPU usage quite a lot.

lib: buffer_create_dynamic() now adds +1 to init_size

lib: Use p_malloc() explicitly in first buffer_alloc()

Although there is now code in p_realloc() that it should be just as
efficient, this makes profiling somewhat nicer since it can better
distinguish between actual reallocs and initial allocs.

lib: Implement i_realloc(mem==NULL) more efficiently

Various parts of code use this to allocate the initial buffer. We can
do this more efficiently by using calloc().

lib-index: Memory allocation optimization

configure: Fixed (again) --with-ldap=plugin

fts-lucene: Fixed crash on rescan

Broken by af2564c7f9e05ad245a032efdfbc5abbb9b70f1e - rescan_ctx can be NULL.

lib-charset: Do not use //IGNORE on non-GNU system

lib-storage: mailbox_set_subscribed() ignores duplicate changes now.

lib-storage: Added index_storage_list_index_has_changed_full()

This allows the caller to use it to implement a slightly different
mailbox.list_index_has_changed()

doveadm dump: Added more index ext records.

"msgs" and "vsize" are now expanded.

lazy-expunge: Open the mailbox with ACLs ignored.

lazy-expunge: Open mailbox with MAILBOX_FLAG_SAVEONLY flag.

man: Add more complete description of one-way sync

fts: Empty "fts" setting should be same as nonexistent.

stats: Support multiple FIFO listeners.

doveadm -u: Use mail_storage_service_all_init_mask()

lib-storage: Added mail_storage_service_all_init_mask()

This allows providing a usermask hint to the userdb iteration lookup. For example
with LDAP this allows setting the base based on the @domain.

lib-storage: fixup the broken search result with \seen or \delete

remove side effects of match_always flag during search.

lib-sql: Fixed building Cassandra as plugin

fts-lucene: Rescan skipped namespace roots.

fts-lucene: Cleanup - move code to a separate function

lib-mail: More fixes to istream-header-filter with large input.

Don't assume that when reading the header the second time we'll get exactly
the same header blocks as the first time.

This commit also prevents the filter callback from switching the
matching-decision on non-first header line. This shouldn't be needed and it
could just cause confusion. (It also made it a bit easier to implement this
fix.)

lib-mail: Improved istream-header-filter unit test.

Existing code already assumes that the callback is called for all the header
data. So it's not used just for filtering headers but also parsing the
header contents. Make this assumption now explicit as a unit test.

lib-mail: istream-header-filter didn't limit memory usage.

A large header was always added to hdr_buf, ignoring any max_buffer_size
limits.

lib-mail: Code cleanup to istream-header-filter unit test

The exclude_headers arrays were used in a confusing way. The X-Drop header
wasn't actually even used in the exclude_headers.

dsync: If state is invalid, exit with code 2 instead of tempfail.

We'll have dsync_mailbox_import_*() just return success to everything until
_deinit() is called. The _deinit() will return a failure and set "resync
needed"-flag, which caller will know how to handle.

dsync: If full resync is requested, return empty state string.

If the state is wrong, it's better to fully resync all the mailboxes rather
than just the one where a problem was noticed.

dsync: Improved detecting state state string.

lib-storage: Don't use same session ID for multiple mail_storage_service_next() calls.

dsync does multiple mail_storage_service_next() calls for the same
mail_storage_service_user. This causes stats plugin to send the same
session ID to stats process, which complains about duplicates. Solved this
in a generic way by having the following mail_storage_service_next() calls
append :counter to session ID.

fs-posix: If link() fails, preserve its errno through the following unlink()