lib-mail: Fixed handling duplicate boundary prefixes.

If inner MIME part had the same --boundary prefix as its parent(s) and
the MIME part body started with the inner --boundary prefix, we didn't yet
have it in the list of valid boundaries, so we thought that the outer
boundary was found and the MIME headers were truncated. But due to an extra
bug we still treated it as if it were the inner boundary, except the MIME
part sizes/offsets were set wrong.

This for example fixes a situation where FETCH [1.2.MIME] returns an extra
newline before the actual headers.

dsync: Fixed assert-crash in rename algorithm

Fixes a crash:
Panic: file dsync-mailbox-tree-sync.c: line 1308 (sync_mailbox_child_dirs): assertion failed: (!node_is_existent(local_node))

dsync: Determine better when rename-algorithm might have gotten stuck.

A hardcoded value of 100 isn't necessarily enough if there are a lot of
mailboxes with a lot of renames. Base the max count on the total number
of mailboxes on both local and remote. And just in case multiple it by 3.
Probably smaller number would be fine too.

dsync: Fixed crash when rename algorithm thinks it has gone to infinite loop.

ctx->brain was NULL, so trying to access it crashed.

lib-fs: Assert-crash if file's istream isn't closed at fs_file_close()

Some backends can't guarantee that the istream stays usable after the file
is closed.

lib-fs: fs-metawrap stat() and get_metadata(): use existing istream if possible

This may reduce reads from parent fs, but it's at least required for the
following commit.

lib-fs: Added initial fs-metawrap unit test.

lib-fs: Added fs-test backend for helping with creation of fs-wrapper unit tests.

lib: var_expand() now expands %{nonexistent} to UNSUPPORTED_VARIABLE_nonexistent

Earlier it was expanded to "nonexistent}", which looked more like a bug.
This change hopefully makes it clear enough to understand when a variable isn't
supported.

lib-ssl-iostream: Return stacked errors as single combined string.

Instead of logging stacked errors as separate log lines, which don't provide
any context of what created them.

imapc: Added support for imapc_features=modseq

If the remote server supports CONDSTORE or QRESYNC extensions we'll use the
remote's MODSEQ and HIGHESTMODSEQ counts.

There are some situations where the HIGHESTMODSEQ isn't updated exactly
correctly on an open mailbox, so this feature shouldn't be fully relied on.
It was primarily implemented for dsync+imapc support - both for preserving
modseqs and also for HIGHESTMODSEQ lookups.

liblib: pool_unref() should always set pool=NULL (alloconly pool)

set pool to NULL before return.

Support multiple recipient_delimiters

The recipient_delimiter is treated as multiple one-character delimiters
rather than one multi-character delimiter if more than one character is
supplied. The address is split on the first character in
recipient_delimiter found.

lib-http: Include information about number of request attempts and its timing in response reason.

Because the reason is usually logged as part of the error string, this
causes all of the error messages to include the attempts count and how long
the requests took in total. This should make it easier to understand problems
in error logs.

http_client_request_set_preserve_exact_reason() can be used to disable
modifying the reason string. This may also apply to other reason
modifications that may be done in the future.

configure: Move checks to separate m4 files

lib: Fix to previous istream-timeout commit

The one commit I didn't bother putting through all the automated testing
stages and I of course forgot to even compile after the last change :(

lib: Improved istream-timeout error message.

We're supposed to check that timeout isn't triggered after a long-running
code, but it's not perfect. So provide the actual timing information we
saw instead of the expected timeout.

cassandra: Added support for user and password settings.

push-notification: Small optimization - don't lookup uidvalidity for each message.

lib-ssl-iostream: Fixed reporting errors returned by OpenSSL.

We were always logging all errors as "Stacked error" and then returning
"Unknown error".

imap: add variables to default imap_logout_format

lib-http, lib-mail, lib-storage: parent unrefs

Remove some unneccesary parent unrefs from i_stream_*_destroys. Don't
know too many or too few were removed.

lib: remove unneccesary i_stream_unrefs of parent

lib: When istream is destroyed, it now always unrefs the parent istream if it exists.

This way the implementations don't have to do it themselves in their
destroy() function. This change doesn't necessarily require changing the
existing code, because if the istream implementation already unrefs the
parent it gets set to NULL so the auto-unref won't be done.

doveadm: \f\n only between pages in pager

No more \f\n in the end.

fixup: fix task for `lib-dict: remove dict_append()'

lib-dict: remove dict_append()

Remove all *_dict_append and redis_append functions and corresponding
command from lib-dict.

zlib: Compiling fix to a1630a3b3 - don't return a void function

lazy-expunge: Fixed using a mailbox (instead of namespace) as lazy_expunge destination.

The initial implementation in f2d7ae020bda762f78e8e639a69fb129230cbb7d was
completely broken.

lib-index: If opening a cache file fails, try again later.

The previous code would never retry opening the cache file within the same
session.

lib-index: Fixed calling mail_cache_open_and_verify() on an already open cache.

This was done at least by index_index_rebuild_init().

Either the currently open cache->fd was leaked, or if the cache file open()
failed we left the cache in an inconsistent state where cache->fd == -1, but
cache->hdr != NULL, so it caused MAIL_CACHE_IS_UNUSABLE() to also be TRUE. This
could have ended up in an assert:

Panic: file mail-index-lock.c: line 31 (mail_index_lock_fd): assertion failed: (MAIL_INDEX_IS_IN_MEMORY(index))

zlib plugin: Make sure we don't keep mail istream referenced after mail is closed.

expire-plugin: code cleanup

expire_mail_namespaces_created() will check dict_uri after namespace
validation check.

lib-http: client: Added pure attribute to some of the request property functions.

lib-http: client: Cleaned up headers and added some more documentation there.

lib-http: client: Implemented means to set request payload buffer rather than an input stream.

This is not purely a convenience function: there have been bugs caused by allocating a data input stream from a datastack buffer.
With this function, the buffer is copied to the request pool, so that it is durably allocated while the request exists.
This prevents futher mishaps. The server already has an equivalent function for its response object.

lib: Fixed bits_required64() with 32bit systems.

Broken by 84f697c5e30565823619abaaeb57164c789d4b66.

lazy-expunge: Allow lazy_expunge setting to point to a mailbox in any namespace.

This way we can use an existing namespace without having to create a new one
just for a single lazy_expunge mailbox.

lib: bits - GCC (and clang) provide bit-twiddle intrinsics, use them

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-bits - add fraclog test for most usual case, constant fracbits

Were there to be any difference between the constant and non-constant tests,
then it would be a compiler error, but it's better to be defensive and know
about that case.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-bits - test the new fractional log helpers

Ensure that the beginning and end of every bucket range are both mapped
into that bucket. It also checks that the bucket ranges are contiguous.
Assuming the function's weakly monatonic, this is as good as testing
every single value.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: bits - new fractional log-like helper

For stats gathering, where the data can have a wide range of values, you
don't necessarily need the same granularity along the full range of values.
For example, 1ms and 11ms latencies are very different, but 1.001s and
1.011s latencies are not worth distinguishing. Something logarithmic seems
more apt. Simply looking at power-of-2 sized bands (e.g. doing log2(n)),
however, is too granular, so these new helpers let you specify how fine
to (linearly) subdivide each of those bands. 1 fractional bit splits
each power of 2 band into 2 halves. 2 fractional bits splits each power
of 2 band into 4 quarters, and so on. 0 fractional bits is just log2().

Exact identification of percentiles is impossible, but it was anyway, as you
simply cannot store all the data required to calculate them. However, a mere
896 buckets will permit you to have 32 bands per power of 2, 5 fracional bits.
The above example would have buckets such as 2.432s-2.496s, and 55.3s-56.3s.
Assuming smooth distribution lets you calculate percentiles more accurately,
just assume within each bucket is a trapezial distribution. This holds even
if the distribution is multi-modal, which it will be. However, maths required.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-array - test new element-assigning iterator

Test that both (small) object copying and const/nonconst pointer copies work.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: array - new copy-making array iterator

Previously macros took a pointer, and that pointer was made to pointed
to each element of the array in turn. Typical use cases for things like
char* or struct* arrays were to immediately/repeatedly, dereference that
pointer.

This new iter (only one implementation done so far, more a proof of
concept) gets rid of the user-visable pointer, and performs the
dereference every time, and only when, a valid element is being
iterated over. Empty array => no assignment. No U.B.

NOTE: This cannot be done without assuming C99. It breaks the build
on compilers that old if any components that are enabled use the
macro. It strongly suggests we just need to make C99 mandatory.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

Require IPv6 to build

doveadm: print to stdout in table formatter

lib-sql: ssl_verify_server_cert=1 default on mysql

lib: Implement utc_mktime() with timegm() if it exists.

It should be more efficient than repeatedly calling gmtime() many times.

auth: Added passdb/userdb { auth_verbose } setting.

If this is explicitly set to yes or no, it overrides the global auth_verbose
setting. However, auth_debug=yes overrides all of the auth_verbose settings.

lib-storage: Added MAIL_STORAGE_CLASS_FLAG_NO_LIST_DELETES and MAILBOX_LIST_FLAG_NO_DELETES

director: director_consistent_hashing=yes default

director: Compiler warning fix

lib-storage: mdbox_rotate_size=10M default

director: Remove director_doveadm_port

the flag is obsoleted by inet_listener doveadm name.
And listener_get_socket_type_fallback() will fallback to token ring
when socket name is missing.

stats plugin: stats_notify_path can now specify path to the stats-mail FIFO

lib-stats: Handle better write() to stats process failing with EAGAIN

It only means that the stats process is too busy and the FIFO is filled up.
Retrying the write later should work. We also don't want to log too much about
the same warning, so do it only once per 30 seconds.

lib-http: server: Prevent aborting finished or already aborted requests again.

configure: Fixed building lib-ldap / dict-ldap --with-ldap=plugin

lib-dict: Don't build dict-ldap if --with-ldap=no

doveconf: Improved the warning message about global setting not overriding a filter

configure: Switched version number to 2.3.devel

lib-dict: Disable debug log unless debug enabled

lib-ldap: Allow disabling of TLS

lib-dict: Add option to enforce SSL

lib-ldap: Hard fail when SSL is required

lib-ldap: Allow and warn insecure LDAP connection

lib-ldap: Remove callback from connection_connect

lib-dict: Reuse LDAP connections

lib-ldap: Max idle time is seconds

lib-ldap: Do not call NULL callback

lib: Moved enum iostream_rawlog_flags to public iostream-rawlog.h

This allows using [io]stream-rawlog.h APIs directly.

lib: Added ostream-null

lib-storage: Fixed crash when using SEARCH INTHREAD

mail_search_args_init() -> mail_search_args_simplify() -> .. ->
mail_search_arg_one_equals(), which assumed SEARCH_INTHREAD was already
initialized.

doveconf: Log a warning if a global setting is updated after it was already set inside a filter

For example:

protocol imap {
  mail_plugins = $mail_plugins imap_quota
}
mail_plugins = $mail_plugins quota

Will result in:

doveconf: Warning: dovecot.conf line 4: Global setting mail_plugins won't
change the setting inside an earlier filter at dovecot.conf line 2

doveconf, config: Free all memory at deinit

imapc: Mark most of the commands retriable.

imapc: If root separator lookup fails, fail all further lookups.

We already returned a potentially wrong separator (since there's no way to
return error), so we don't want to continue and possibly make things worse.

imapc: Added missing error handling to subscriptions list refreshing.

imapc: Fixed mailbox_exists() error handling.

imapc: Support retrying after connect() failure.

imapc: Support retrying after connect/authentication timeouts.

imapc: Support retrying for non-mailbox commands.

imapc: Prepare for non-mailbox command retrying: Set reconnect_command_count earlier

This probably doesn't fix itself anything yet, but is needed for the
following changes.

imapc: Fixed checking of whether same IMAP command keeps crashing server.

reconnect_command_count was counting only the post-login commands, but we
were decreasing it also for pre-login commands. This caused it to shrink to
0 too early.

imapc: Code cleanup - imapc_connection_reconnect() is now always called when reconnect is ok.

imapc: Code cleanup - Use a common function for checking/logging if we want to reconnect or disconnect

lib-storage: Fixed error handling for mailbox_list_iter_init_namespaces()

If iteration for the first namespace failed, we tried to copy the error
string to error_list, which was the same first namespace's list. This caused
the error string to be freed while it was being copied, so the end result
was that the error became either an empty or garbage string.

dsync: Don't export header hashes if remote mailbox is empty.

This avoids doing a lot of work of reading through all mails' headers and
hashing them, when the hashes aren't actually going to be used for anything.

lib-http: server: Fixed bug in request reference counting caused by earlier fix (390b600a6f7fdb4ccc65950527ee30129f49a6ac).

The earlier change erroneously dropped two lines that unreferenced the request object after calling the callback.

lib-master: Fixed assert-crash when HAProxy aborts connections.

close() was called before io_remove(), which resulted in:

Panic: epoll_ctl(del, 14) failed: Bad file descriptor

dict-ldap: Compiler warning fix

lib-dict: Add ldap driver

configure: Add lib-ldap

lib-ldap: Add lib-ldap implementation

lib-master: Fixed memory leaks when failing to read settings.

virtual plugin: struct mail_vfuncs.close() wasn't implemented.

This wasn't a problem normally, because the core code wouldn't try to call
this. It became a problem only after other plugins were trying to call it.

lib-master: Preserve LOG_STDERR_TIMESTAMP environment through doveconf exec.

This should be needed only for standalone programs, so don't bother trying
to preserve it otherwise.

lmtp: Use separate session ID suffixes for each RCPT TO delivery.

Otherwise each delivery will use the same session ID when talking to stats
process, which results in errors like:

Error: stats: FIFO input error: CONNECT: Duplicate session ID ME3ZHCi+A1dUDQAAvAUe3g for user foobar service lmtp
Warning: stats: Couldn't find session ID: ME3ZHCi+A1dUDQAAvAUe3g

(There was a DISCONNECT for the session ID between these two log lines.)

lib-storage: Changed separator between session_id_prefix and unique part to be ':'

Although '-' wasn't used by default either, it's much more likely that
custom session IDs might contain it. ':' is hopefully less likely to be used.
This allows log parsers that actually want to find out the original session's
all log lines to cut out everything after the initial ':'.

lmtp: Changed default LMTP proxy timeout to 125 seconds.

The main problem with LMTP proxy timing out too early is that it causes
duplicates if the backend actually finishes the mail delivery.

The 30 seconds is bad, because there are various timeouts in backend set
to 30 seconds also. 125 seconds is hopefully large enough to hit most of
the 2 minute timeouts and we'll have a few extra seconds left to see the
failure.