auth: Makefile dependency fix

Hopefully fixes:
mv: cannot stat '.deps/auth-stats.Tpo': No such file or directory

lib: Added i_stream_get_disconnect_reason()

lib: Improved connection_disconnect_reason()

lazy-expunge: Handle mailbox create race conditions.

Don't log an error if another process just created the lazy-expunge mailbox.

lib-fs: Fixes to stats count tracking

fs_exists(), fs_copy(), fs_rename() and fs_delete() could have increased the
count multiple times on async operations.

stats: Fixed ADD-USER stats tracking (auth stats)

lib-fs: fs-metawrap stat() error handling improvement.

We can't just treat i_stream_get_size() returning 0 as the reason being
istream is async and not fully read. It might be, but it might also be
because of other reasons. And since we're closing the istream we couldn't
even properly finish up the async handling. So for now just return an
error if we see this happening.

lib: istream's max_buffer_size=0 means 0, not unlimited.

Make sure we don't grow the buffer size then.

imap: Set client_command_context.tagline_reply before syncing.

Command post-hooks can't see it otherwise.

dsync: Fixed assert-crash if mailbox_attribute_set() fails

We shouldn't set importer->mail_error, because we're not going to
fail the import.

Fixes assert-crash:
dsync-mailbox-import.c: line 2812 (dsync_mailbox_import_deinit): assertion failed: (importer->failed == (importer->mail_error != 0))

lib-mail: Fixed istream-header-filter unit test names

doveadm who: Fixed listing LMTP sessions

lib: Added more unit tests to str_*()

config: Fixed namespaces to work again

Broken by 26a6ff7f0. old_settings_handle() should have returned FALSE for
settings it didn't handle.

global: Use mail_user_plugin_getenv_bool() wherever possible

New API is used to check boolean setting OR exsitence of an env variable.

lib-storage: add mail_user_plugin_getenv_bool

New API will check boolean-like env setting OR its exsitence.

Function returns FALSE when:
* Read out a null string,
"Or" * String starts with any letter in set {'N', 'n', 'F','f','0'}

To keep downward compatibility, For other cases including an empty
string, function returns TRUE.

lib: Optimize str_append_n()

lib: Make str_*() inline which are simple buffer_* wrappers.

global: Avoid using buffer_get_data()

Especially buffer_get_data(buf, NULL) generates worse code than just
using buf->data directly.

global: Replace buffer_get_used_size(buf) with buf->used

Doesn't make any diffence to code generation, but it's somewhat simpler code.
It's also more consistent since most of the code nowadays uses the ->used.

config: Remove old_namespace()

From config/old-set-parser.c, and its caller. The namespace section
named "private", "shared" or "public" is obsolete accordingly.

lib-imap, imap: BINARY [UNKNOWNCTE] to [PARSE]

lib-storage: Make it easier to debug mail's unclosed istream

lib-mail: istream-header-filter - fixed adding headers at eoh

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_HIDE_BODY

lib-mail: istream-header-filter HEADER_FILTER_ADD_MISSING_EOH fixes

When using HEADER_FILTER_CRLF_PRESERVE, add CR to the EOH if the previous
header line ended with CRLF.

When header ends to a header without newline, add two newlines so we can get
the actual EOH added.

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_END_BODY_WITH_LF

lib-mail: istream-header-filter - Check errors reading header

This probably doesn't affect the results much, since the stream_errno is set
anyway. But it's better to abort early, just in case the broken state might
end up asserting later.

lib: Added o_stream_unix_write_fd() assert: fd>=0

lib-storage: Fixed potential crash in mailbox_sync_deinit() error handling

If mailbox_sync*() was called before mailbox was opened, the automatic
mailbox opening could fail. mailbox_sync_deinit() would still try to access
box->view, which would be NULL.

lib-storage: Another fix to mail storage initialization.

Allow mail_namespaces_init_location() to add the namespace directly to user,
since that's what the current callers always want. But compared to the
original code we're now calling mail_namespaces_init_finish() rather than
doing the same things ourself.

lib-ldap: Handle various LDAP failures correctly

lib-ldap: Do not retry with bad credentials

lib-storage: Changed mail storage initialization.

Most importantly require mail_namespaces_init_finish() after
mail_storage_create(). This was needed so that
mail_namespaces_created/added hook would always have the ns->list set, which
is required for several of the hooks to work (e.g. mailbox list index)

lib-ldap: Added initial connection pooling code.

This is mainly about allowing multiple dict-ldaps to use the same
ldap-connection. In future we could support load balancing with multiple
concurrent LDAP connections.

dict-ldap: Removed caching of ldap-clients

With the previous per-username caching there could be a huge number of
dict-ldaps.

dict-ldap: Don't reuse dict for different usernames.

Fixes doing priv/* lookups for multiple usernames.

This currently also means that each username will create a separate LDAP
connection, which isn't ideal. But this is probably better fixed in
lib-ldap code similar to how lib-sql does connection pooling.

imap: Added struct client_command_context.tagline_reply

Can be used by plugins.

auth: Added %{auth_user/username/domain} variables

lib: Added ostream-unix for writing fd sockets via ostream.

lib: ostream-file: Allow creating derived file output streams.

lib: ostream-file: Split o_stream_file_writev() from o_stream_file_writev_full().

lib: ostream-file: Renamed o_stream_writev() to o_stream_file_writev_full().

lib: ostream-file: Renamed iov_size to iov_count everywhere and made it unsigned int for consistency.

lib-http: server: Fixed assert failure occurring when closing the connection while a request payload was still being read.

.gitignore: Added *~

lib-storage: Clear list error before mailbox_list_get_hierarchy_sep()

With ACL plugin enabled the call could have triggered dovecot-acl-list
rebuild, which in turn could have set list errors if it didn't have
permissions to all the mailboxes. This caused IMAP logins to fail.

lib-mail: message-parser assert-crashfix

Crashes when multipart MIME header is missing end-of-headers line and the
boundary begins with the same prefix as one of the parent boundaries.
Broken by 7a12331c6

quota: Fix to earlier commit 62f2f6baf

expunge_uids may become empty with prev_idx > 0

lib-fs: Fixed fs_get_metadata() with fs-metawrap

If mail was already read to EOF.

lib-storage: mailbox_list_index yes by default

man: Add stub for doveadm-fs command

doveadm-server: Handle istream send error.

lib-http: server: Implemented means to gracefully shut down the server.

While shutting down, it will not accept new requests and connections are closed once they become idle.

lib-dict: Further remove APPEND

mail-log: log headers as utf8

lib-lda: remove forced logging of session_id

lib-master, doveadm: remove mountpoint-list.* and doveadm mount commands

lib-storage: write subscription file in version 2 format

Write subscriptions file in a format that only v2.2.17 or newer can read, so
after dovecot converts the files to the new format, downgrading to a version
older than v2.2.17 is not supported.

lib-dict-extra: Avoid out of scope data stack usage.

lib: Finished string trimming functions to trim characters from beginning and/or end of a string.

This also restructures the code to avoid code duplication as much as possible.

lib-http: client: Added ability to configure a specific proxy for individual requests.

This way, a request can be routed to a specific proxy (or origin server). The destination can also be a unix socket.

lib-fs: don't append '/' to prefix in posix-fs

lmtp: Connect to anvil earlier while still running as root

This was a problem only with lmtp_rcpt_check_quota=yes.

lib: Set timestamp part more accurately in guid_128_generate()

Previously a long-running process would keep the timestamp close to its
original start time. This doesn't really matter as long as GUIDs are treated
opaque, but some pieces of code prefer to try to use the timestamp fields
since they're already there. This makes such code work more nicely.

lib-ldap: Make static analyzer happier

Remove dead assignment.

auth: Fixed final result in multiple userdbs

We don't want to return the last result's success/failure, but
the entire userdb chain's success/failure.

auth: Session ID wasn't exported to auth workers.

Most importantly this means that log messages didn't contain them.

quota: Added quota_over_flag_lazy_check flag.

By default the quota_over_flag is checked immediately at startup. With this
option the check is done only at a time when the quota is anyway being read.

quota: dict-quota was broken by 464db6d9d

We can't assume that the quota_root given to quota_count() is
count_quota_root, because dict_quota_root also calls it.

quota: Cleanup - split quota_over_flag to init & run parts

In preparation for the next change.

quota: Fixed debug logging for quota_over_flag

quota: Fixed quota_over_flag handling when quota usage==limit

It couldn't really work correctly otherwise. If we've reached the quota, we
want to start rejecting new mails.

quota-count: Cache quota usage within the same ioloop run.

This mainly means that when both STORAGE and MESSAGES quota is looked up we
don't need to calculate them twice.

quota-count: Code cleanup - give consistent return value

Although the callers didn't care if it returned 0 or 1.

global: Use buffer_get_writable_size() where possible

With 09539f3db increasing buffer's init_size with +1 some fts-icu unit tests
started failing. And in general it's better to use the writable size since
that provides the true size that can be used.

quota: Optimize handling a large number of expunges.

This assumes that the mail_expunge() was called in the same order as
sync_notify(), which practically means that they were both done in
ascending uid order. This is usually true.

lib-ldap: Set minimum protocol if supported by library

imapc: Fixed EXPUNGE handling when imapc_features didn't have modseq

lib-index: Use a bit larger initial records buffer size

For example with a mailbox having 160k messages the buffer size is around
10MB. Adding just 1% more space to it allows a lot more appends before the
buffer needs to be realloced. This reduces CPU usage quite a lot.

lib: buffer_create_dynamic() now adds +1 to init_size

lib: Use p_malloc() explicitly in first buffer_alloc()

Although there is now code in p_realloc() that it should be just as
efficient, this makes profiling somewhat nicer since it can better
distinguish between actual reallocs and initial allocs.

lib: Implement i_realloc(mem==NULL) more efficiently

Various parts of code use this to allocate the initial buffer. We can
do this more efficiently by using calloc().

configure: Fixed (again) --with-ldap=plugin

lib-index: Memory allocation optimization

fts-lucene: Fixed crash on rescan

Broken by af2564c7f9e05ad245a032efdfbc5abbb9b70f1e - rescan_ctx can be NULL.

lib-charset: Do not use //IGNORE on non-GNU system

lib-storage: mailbox_set_subscribed() ignores duplicate changes now.

lib-storage: Added index_storage_list_index_has_changed_full()

This allows the caller to use it to implement a slightly different
mailbox.list_index_has_changed()

lib-charset: Revert f086fd065 - wrong version

This wasn't the version that was supposed to be merged..

lib-charset: Do not use //IGNORE on non-GNU system

lib: [io]stream-rawlog.h should auto-include iostream-rawlog.h

Otherwise compiler will warn about the missing enum.

doveadm dump: Added more index ext records.

"msgs" and "vsize" are now expanded.

lib-fs: Allow multiple fs_read_stream() calls to seekable istreams.

This fixes for example calling fs_default_copy() for an istream which was
already opened:

Panic: file fs-api.c: line 528 (fs_read_stream): assertion failed: (!file->istream_open)

lib-fs: Fixed multiple concurrent fs_read_stream() calls

Return a new limit-istream, so each istream can have its own independent
offset.

lazy-expunge: Open the mailbox with ACLs ignored.

lazy-expunge: Open mailbox with MAILBOX_FLAG_SAVEONLY flag.

man: Add more complete description of one-way sync

lib: Add PKCS#5 pbkdf1 and 2

auth: Add PBKDF2 password scheme