lib-http: server: Fixed assert failure occurring when closing the connection while a request payload was still being read.

.gitignore: Added *~

lib-storage: Clear list error before mailbox_list_get_hierarchy_sep()

With ACL plugin enabled the call could have triggered dovecot-acl-list
rebuild, which in turn could have set list errors if it didn't have
permissions to all the mailboxes. This caused IMAP logins to fail.

lib-mail: message-parser assert-crashfix

Crashes when multipart MIME header is missing end-of-headers line and the
boundary begins with the same prefix as one of the parent boundaries.
Broken by 7a12331c6

quota: Fix to earlier commit 62f2f6baf

expunge_uids may become empty with prev_idx > 0

lib-fs: Fixed fs_get_metadata() with fs-metawrap

If mail was already read to EOF.

lib-storage: mailbox_list_index yes by default

man: Add stub for doveadm-fs command

doveadm-server: Handle istream send error.

lib-http: server: Implemented means to gracefully shut down the server.

While shutting down, it will not accept new requests and connections are closed once they become idle.

lib-dict: Further remove APPEND

mail-log: log headers as utf8

lib-lda: remove forced logging of session_id

lib-master, doveadm: remove mountpoint-list.* and doveadm mount commands

lib-storage: write subscription file in version 2 format

Write subscriptions file in a format that only v2.2.17 or newer can read, so
after dovecot converts the files to the new format, downgrading to a version
older than v2.2.17 is not supported.

lib-dict-extra: Avoid out of scope data stack usage.

lib: Finished string trimming functions to trim characters from beginning and/or end of a string.

This also restructures the code to avoid code duplication as much as possible.

lib-http: client: Added ability to configure a specific proxy for individual requests.

This way, a request can be routed to a specific proxy (or origin server). The destination can also be a unix socket.

lib-fs: don't append '/' to prefix in posix-fs

lmtp: Connect to anvil earlier while still running as root

This was a problem only with lmtp_rcpt_check_quota=yes.

lib: Set timestamp part more accurately in guid_128_generate()

Previously a long-running process would keep the timestamp close to its
original start time. This doesn't really matter as long as GUIDs are treated
opaque, but some pieces of code prefer to try to use the timestamp fields
since they're already there. This makes such code work more nicely.

lib-ldap: Make static analyzer happier

Remove dead assignment.

auth: Fixed final result in multiple userdbs

We don't want to return the last result's success/failure, but
the entire userdb chain's success/failure.

auth: Session ID wasn't exported to auth workers.

Most importantly this means that log messages didn't contain them.

quota: Added quota_over_flag_lazy_check flag.

By default the quota_over_flag is checked immediately at startup. With this
option the check is done only at a time when the quota is anyway being read.

quota: dict-quota was broken by 464db6d9d

We can't assume that the quota_root given to quota_count() is
count_quota_root, because dict_quota_root also calls it.

quota: Cleanup - split quota_over_flag to init & run parts

In preparation for the next change.

quota: Fixed debug logging for quota_over_flag

quota: Fixed quota_over_flag handling when quota usage==limit

It couldn't really work correctly otherwise. If we've reached the quota, we
want to start rejecting new mails.

quota-count: Cache quota usage within the same ioloop run.

This mainly means that when both STORAGE and MESSAGES quota is looked up we
don't need to calculate them twice.

quota-count: Code cleanup - give consistent return value

Although the callers didn't care if it returned 0 or 1.

global: Use buffer_get_writable_size() where possible

With 09539f3db increasing buffer's init_size with +1 some fts-icu unit tests
started failing. And in general it's better to use the writable size since
that provides the true size that can be used.

quota: Optimize handling a large number of expunges.

This assumes that the mail_expunge() was called in the same order as
sync_notify(), which practically means that they were both done in
ascending uid order. This is usually true.

lib-ldap: Set minimum protocol if supported by library

imapc: Fixed EXPUNGE handling when imapc_features didn't have modseq

lib-index: Use a bit larger initial records buffer size

For example with a mailbox having 160k messages the buffer size is around
10MB. Adding just 1% more space to it allows a lot more appends before the
buffer needs to be realloced. This reduces CPU usage quite a lot.

lib: buffer_create_dynamic() now adds +1 to init_size

lib: Use p_malloc() explicitly in first buffer_alloc()

Although there is now code in p_realloc() that it should be just as
efficient, this makes profiling somewhat nicer since it can better
distinguish between actual reallocs and initial allocs.

lib: Implement i_realloc(mem==NULL) more efficiently

Various parts of code use this to allocate the initial buffer. We can
do this more efficiently by using calloc().

configure: Fixed (again) --with-ldap=plugin

lib-index: Memory allocation optimization

fts-lucene: Fixed crash on rescan

Broken by af2564c7f9e05ad245a032efdfbc5abbb9b70f1e - rescan_ctx can be NULL.

lib-charset: Do not use //IGNORE on non-GNU system

lib-storage: mailbox_set_subscribed() ignores duplicate changes now.

lib-storage: Added index_storage_list_index_has_changed_full()

This allows the caller to use it to implement a slightly different
mailbox.list_index_has_changed()

lib-charset: Revert f086fd065 - wrong version

This wasn't the version that was supposed to be merged..

lib-charset: Do not use //IGNORE on non-GNU system

lib: [io]stream-rawlog.h should auto-include iostream-rawlog.h

Otherwise compiler will warn about the missing enum.

doveadm dump: Added more index ext records.

"msgs" and "vsize" are now expanded.

lib-fs: Allow multiple fs_read_stream() calls to seekable istreams.

This fixes for example calling fs_default_copy() for an istream which was
already opened:

Panic: file fs-api.c: line 528 (fs_read_stream): assertion failed: (!file->istream_open)

lib-fs: Fixed multiple concurrent fs_read_stream() calls

Return a new limit-istream, so each istream can have its own independent
offset.

lazy-expunge: Open the mailbox with ACLs ignored.

lazy-expunge: Open mailbox with MAILBOX_FLAG_SAVEONLY flag.

man: Add more complete description of one-way sync

lib: Add PKCS#5 pbkdf1 and 2

auth: Add PBKDF2 password scheme

fts: Empty "fts" setting should be same as nonexistent.

stats: Support multiple FIFO listeners.

lib-storage: Remove unused mail_storage_service_all_init()

doveadm -u: Use mail_storage_service_all_init_mask()

lib-storage: Added mail_storage_service_all_init_mask()

This allows providing a usermask hint to the userdb iteration lookup. For example
with LDAP this allows setting the base based on the @domain.

lib-storage: fixup the broken search result with \seen or \delete

remove side effects of match_always flag during search.

lib-sql: Fixed building Cassandra as plugin

fts-lucene: Rescan skipped namespace roots.

fts-lucene: Cleanup - move code to a separate function

lib-mail: More fixes to istream-header-filter with large input.

Don't assume that when reading the header the second time we'll get exactly
the same header blocks as the first time.

This commit also prevents the filter callback from switching the
matching-decision on non-first header line. This shouldn't be needed and it
could just cause confusion. (It also made it a bit easier to implement this
fix.)

lib-mail: Improved istream-header-filter unit test.

Existing code already assumes that the callback is called for all the header
data. So it's not used just for filtering headers but also parsing the
header contents. Make this assumption now explicit as a unit test.

lib-mail: istream-header-filter didn't limit memory usage.

A large header was always added to hdr_buf, ignoring any max_buffer_size
limits.

lib-mail: Code cleanup to istream-header-filter unit test

The exclude_headers arrays were used in a confusing way. The X-Drop header
wasn't actually even used in the exclude_headers.

dsync: If state is invalid, exit with code 2 instead of tempfail.

We'll have dsync_mailbox_import_*() just return success to everything until
_deinit() is called. The _deinit() will return a failure and set "resync
needed"-flag, which caller will know how to handle.

dsync: If full resync is requested, return empty state string.

If the state is wrong, it's better to fully resync all the mailboxes rather
than just the one where a problem was noticed.

dsync: Improved detecting state state string.

lib-mail: return void from message_parser_deinit()

lib-storage: Don't use same session ID for multiple mail_storage_service_next() calls.

dsync does multiple mail_storage_service_next() calls for the same
mail_storage_service_user. This causes stats plugin to send the same
session ID to stats process, which complains about duplicates. Solved this
in a generic way by having the following mail_storage_service_next() calls
append :counter to session ID.

fs-posix: If link() fails, preserve its errno through the following unlink()

fs-posix: Minor code cleanup - removed unnecessary code.

If success==TRUE, temp_path==NULL always also.

imapc: Fixed crash caused by pool_unref() API change.

Calling pool_unref() set the mail_private->pool=NULL, which crashed in
index_mail_free(). Fixed this by removing the unnecessary ref/unref
entirely. We're already waiting in imapc_mail_close() for all the
existing FETCHes to finish, so the callback will always have only
valid mails with valid pools.

cassandra: Added num_threads, connect_timeout and request_timeout settings.

lib-dovecot: Avoid duplication of listing *.la in both Makefile.am and configure

lib-dict: Moved dict-ldap to lib-dict-extra

This also allows moving lib-ldap away from LIBDOVECOT_SUBDIRS in
src/Makefile.am, which was wrong because it's not really part of
libdovecot.la.

Split parts of lib-dict into lib-dict-extra.

Otherwise there's a circular dependency because lib-dict/dict-fs.c depends
on lib-fs, while lib-fs/fs-dict.c depends on lib-dict. This becomes a problem
when compiling --without-shared-libs, although for some reason it works for
me while linking the Dovecot core, but not when linking external plugins.

.gitignore: Updated to include auto-added m4/*

configure, Makefile: Tell autoconf/automake about m4 directory

To finally get rid of the complaints:

libtoolize: Consider adding 'AC_CONFIG_MACRO_DIRS([m4])' to configure.ac,
libtoolize: Consider adding '-I m4' to ACLOCAL_AMFLAGS in Makefile.am.

doveadm user: Added -e <value> parameter to expand %variables in <value>

This allows expanding any %variable that the mail processes normally expand.
For example:

% doveadm user -e "%u's home is %h" testuser@example.com
testuser@example.com's home is /var/mail/testuser@example.com

doveadm user: Code cleanup - move field printing to its own function.

No functional changes.

lib-mail: Improved test-message-parser further

lib-mail: Fixed inner MIME part boundary being a prefix of outer boundary.

lib-mail: Fixed handling duplicate boundary prefixes.

If inner MIME part had the same --boundary prefix as its parent(s) and
the MIME part body started with the inner --boundary prefix, we didn't yet
have it in the list of valid boundaries, so we thought that the outer
boundary was found and the MIME headers were truncated. But due to an extra
bug we still treated it as if it were the inner boundary, except the MIME
part sizes/offsets were set wrong.

This for example fixes a situation where FETCH [1.2.MIME] returns an extra
newline before the actual headers.

dsync: Fixed assert-crash in rename algorithm

Fixes a crash:
Panic: file dsync-mailbox-tree-sync.c: line 1308 (sync_mailbox_child_dirs): assertion failed: (!node_is_existent(local_node))

dsync: Determine better when rename-algorithm might have gotten stuck.

A hardcoded value of 100 isn't necessarily enough if there are a lot of
mailboxes with a lot of renames. Base the max count on the total number
of mailboxes on both local and remote. And just in case multiple it by 3.
Probably smaller number would be fine too.

dsync: Fixed crash when rename algorithm thinks it has gone to infinite loop.

ctx->brain was NULL, so trying to access it crashed.

lib-fs: Assert-crash if file's istream isn't closed at fs_file_close()

Some backends can't guarantee that the istream stays usable after the file
is closed.

lib-fs: fs-metawrap stat() and get_metadata(): use existing istream if possible

This may reduce reads from parent fs, but it's at least required for the
following commit.

lib-fs: Added initial fs-metawrap unit test.

lib-fs: Added fs-test backend for helping with creation of fs-wrapper unit tests.

lib: var_expand() now expands %{nonexistent} to UNSUPPORTED_VARIABLE_nonexistent

Earlier it was expanded to "nonexistent}", which looked more like a bug.
This change hopefully makes it clear enough to understand when a variable isn't
supported.

lib-ssl-iostream: Return stacked errors as single combined string.

Instead of logging stacked errors as separate log lines, which don't provide
any context of what created them.

imapc: Added support for imapc_features=modseq

If the remote server supports CONDSTORE or QRESYNC extensions we'll use the
remote's MODSEQ and HIGHESTMODSEQ counts.

There are some situations where the HIGHESTMODSEQ isn't updated exactly
correctly on an open mailbox, so this feature shouldn't be fully relied on.
It was primarily implemented for dsync+imapc support - both for preserving
modseqs and also for HIGHESTMODSEQ lookups.

liblib: pool_unref() should always set pool=NULL (alloconly pool)

set pool to NULL before return.

Support multiple recipient_delimiters

The recipient_delimiter is treated as multiple one-character delimiters
rather than one multi-character delimiter if more than one character is
supplied. The address is split on the first character in
recipient_delimiter found.