login-common: Ensure we get username from certificate

LAYOUT=index: Fix rebuilding mailbox list index on force-resync

The if-check was a bit confusing because have_backend==TRUE means that there
the mailbox list index is only an index, while have_backend==FALSE means
that the mailbox list index is the only source for the list of mailboxes
(= list index is the backend).

lib-master: ipc-client: Don't free command too early

When multiple replies were received by IPC only the final reply should free
the command. This may have caused e.g. "doveadm proxy list" to crash.
Broken by 435f0545b200767c25a5daee17cd6b4998d03710

director: Allow fully freeing user while waiting for IPC kick to finish

director_user_move_free() will now just free the IPC command, so this isn't
a problem anymore.

director: Fix crash when user kill times out before IPC finishes

Abort the IPC kick command when freeing kill context so the IPC callback
won't be called.

lib-master: ipc-client: Support aborting commands

lib-master: ipc-client: Cleanup - avoid extra return in the function

Simplifies the following commit.

lib-master: ipc-client: Never call callback directly from ipc_client_cmd()

This may simplify the calling code, especially after the following commit
that returns the command pointer.

lib-master: ipc-client: Split code to ipc_client_abort_commands()

lib-master: ipc-client: Use linked list of commads instead of array

Needed for the following commit that returns the command pointer.

lib-master: ipc-client: Don't call callback twice if IPC proxy sends invalid input

ipc_client_disconnect() called it once, and the second time was done with
the cmds[0] that was already removed from the array.

pop3: Do not expunge \Deleted mails without QUIT

Prevents loss of email if connection
is unexpectedly terminated.

lib-storage: Fix bodystructure parsing crash if header is parsed twice

The second parsing will recreate the parser_ctx, discarding the old parsed
message_part.data for the header. On the second parsing
save_bodystructure_header=FALSE so the message_part.data isn't filled for
the header. Later on the bodystructure parsing assumes the data is set,
and crashes.

This only happened with mail_attachment_detection_options=add-flags-on-save
and Sieve script that first accessed a non-cached header and then used the
"body" extension.

Fixes segfault and also:
Panic: file imap-bodystructure.c: line 116 (part_write_body_multipart): assertion failed: (part->data != NULL)

lib-mail: Add asserts to message_part_*() to make sure part->data isn't NULL

This makes it easier to debug the crashes than just having a segfault.

lib: istream-try - Don't assert-crash with empty parent istream

Fixes:
Panic: file istream.c: line 327 (i_stream_read_memarea): assertion failed: (stream->eof)

lib-imap: Remove content_subtype==NULL checks

This can never happen after the previous commit. This also changes the
BODYSTRUCTURE output for invalid Content-Types, but since they're invalid
anyway it doesn't really matter what the output is.

lib-mail: If message_part_data.content_type is set, make sure content_subtype isn't NULL

This fixes a crash in index_mail_find_first_text_mime_part() where snippet
generation assumed that content_subtype isn't NULL.

lib: io_loop_context_new() - deactivate old context

Since it changes the current context, it needs to deactivate the old one.

lib-dcrypt: istream-decrypt - Add support for getting stream size

lib-dcrypt: istream-decrypt - Add support for seeking

lib: Add i_stream_nonseekable_try_seek()

This can be used by istreams to more easily implement seeking backwards when
it has to be done by first seeking back to offset 0 and reading from there.

pop3c: Ensure pop3c index directory is autocreated

Otherwise we might think that the box has been unexpectedly
autodeleted and pop3_migration will fail.

Broken by 91ee70ed04d33fecd7fc94621f236013d520d7b3

cassandra: Fix empty binary parameters with prepared statements

Fixes:
Panic: Trying to allocate 0 bytes

fs-posix: Support FS_METADATA_WRITE_FNAME for fs_copy()

Released v2.2.36.

man: doveadm-mailbox.1.in - Fix doveadm-search-query(7) section

lib-imap: imap_envelope_parse() - remove unnecessary data stack frame

imap_envelope_parse_args() isn't using data stack at all, so this
unnecessarily complicates the code. It also prevents using datastack-pool
as the pool parameter.

fs-posix: Fix fs_iter_next() to return any kinds of files.

Only regular files and symlinks were returned. It should return everything
else as well (fifos, sockets, devices).

lib-master: postlogin: Don't unreference already closed login-connection

If the login-connection was already closed, this caused too many
unreferences.

Fixes:
Panic: file master-login.c: line 544 (master_login_conn_unref): assertion failed: (conn->clients == NULL)

auth: Improve auth-master connections' error logging

Include connect and handshake times in the error message.

lib-master: Add auth connect & handshake times to master_login_auth_request errors

lib-master: Add request time also for internal failure error messages

lib-master: Use more exact timestamp in master_login_auth_request failures

lib-master: Improve error logging for master_auth_connection failures

lib-master: Improve error logging for post-login script failures

lib-master: Improve error logging when master_login_connection gets disconnected

lib-master: Keep linked list of master_login_clients per connection

This allows improving logging on connection errors.

lib-master: If connect() to backend UNIX socket is retried, log a warning

For example if imap-login process needs to retry before it successfully
connects to imap process's socket, a warning is logged. This warning is
important because it means that the imap-login process may have been
sleeping up to 0.5 seconds and causing all the other connections to hang
during it.

It would be better to make this retrying asynchronous, but before spending
time on doing that, lets see if this warning is ever even being logged.

lib-master: Add how long request took for "Internal auth failure" errors

lib/compat.h: Undefine WORDS_BIGENDIAN when it's defined as 0

cassandra: Fix consistency=quorum to work

Previously it could have been used by setting "consistency=", but this was
an accident.

cassandra: Use fallback_consistency on more types of errors

This could allow for example read_consistency=local-quorum with
read_fallback_consistency=quorum, so most of the time the reads are
from local datacenter, but in case it has problems you can switch to
other datacenters.

cassandra: Cleanup - Move code to query_error_want_fallback()

This allows extending it more easily.

dict-sql: dict doesn't support NULL values, so convert SQL NULLs to ""

lib-sql: Add comments about NULL values.

fs-posix: Strip trailing "/" from filenames

This is mainly because "doveadm fs delete -R" adds it to indicate to the
fs-driver that the whole directory is wanted to be deleted. This change
fixes fs-posix to work with NFS, where otherwise unlink("symlink-to-dir/")
fails with ENOTDIR. Without NFS the same call succeeds.

fts: When indexing virtual mailbox, index each real mailbox entirely

Index all the unindexed messages in them at once, instead of jumping between
real mailboxes and indexing them in small pieces.

fts: Indexing virtual mailbox didn't always index the last mails

fts: Make sure indexing virtual mailbox doesn't recurse and index mail multiple times

fs-posix: mkdir missing directory if it's changed by FS_METADATA_WRITE_FNAME

The temp file is created to the initial directory. If the directory is
changed by FS_METADATA_WRITE_FNAME, the new destination directory didn't
necessarily exist. If the link() or rename() fails with ENOENT, try to
mkdir the missing directories.

lib-storage: Replace DBOX_GUID_BIN_LEN with GUID_128_SIZE

DBOX_GUID_BIN_LEN define was removed in 0c909e, replace the use with
GUID_128_SIZE.

lib: Don't use NEEDS_LOCAL_CREDS undefined

lib,lib-index: Use #ifdef with WORDS_BIGENDIAN

Some were missing from the last change.

global: Use #ifdef instead of #if with WORDS_BIGENDIAN

This is to not rely on undefined WORDS_BIGENDIAN being evaluated as 0.

mdbox: Assume that empty uid maps found during sync are harmless

Instead of failing the sync and causing index rebuild, just skip over
the empty uid maps.  Chances are that they these records came from
various plugins that create fake mails.

lib-storage: Make sure index root is created when it's the same as root directory

Fixes errors about failing to create mailboxes.lock when the index root
directory doesn't exist yet.

configure: Released v2.2.36.rc1

NEWS: Update to v2.2.36.rc1

plugins/old-stats: Remove restrict_access_set_dumpable calls from process_io_open().

proc_io_fd is opened in preinit(), while process have root access, so
restrict_access_set_dumpable() calls are not needed.

lib: Call module's preinit function, when loading

plugins/old-stats: Add old-stats preinit() which opens mail stats io.

fs-posix: Fix iterating nonexistent symlinks when readdir() returns DT_UNKNOWN

This especially broke "doveadm fs delete -R" when the symlink destination
was deleted before the symlink.

lib-fs: fs-posix - Add accurate-mtime parameter

This is mainly useful for testing to find out whether one file was created
after another.

lib-fs: Update FS_METADATA_WRITE_FNAME comment

lib-fs: fs-posix - FS_METADATA_WRITE_FNAME replaces the full path

This is how all the other fs drivers work, although the macro name is a bit
confusing.

lib-fs: fs-metawrap - Pass FS_METADATA_WRITE_FNAME through to parent fs

fs-metawrap in the middle pervented the renaming from working.

lib-storage: Remove mail_attachment_detection_options=add-flags-on-fetch parsing

It wasn't actually used yet.

lib-storage: Fail if mail_attachment_detection_options has invalid options

lib-storage: Set $Has[No]Attachment earlier among other cached data

doveadm: mailbox cache decisions - Fatally fail if fields are missing

man: Document doveadm mailbox cache commands

doveadm: Add mailbox cache manipulation commands

This allows changing cache decisions and dropping cache pointer
for wanted mails.

doveadm-mail: Handle field conversion to short opt better

Convert non-string types as well

lib: introduce container_of

This is a simple but type safe implementation.

lib-index: mail_index_sync_map() - Don't try to-resync extension updates

This was done to call extension record sync handlers, but the previous
commit removes them. Fixes a problem where obsolete cache offsets were
used in some situations:

 - Some cache updates are from external transactions and some are from
non-external transactions. This is because cache offset updates are being
added by whatever the parent index transaction is.

 - When mail_index_sync_map() is mapping MAIL_INDEX_SYNC_HANDLER_FILE, it
has already synced the map. But it's calling mail_index_sync_record()
for non-external transactions to call expunge handlers and extension
update handlers. It's calling the regular mail_index_sync_record() to do
this work.

 - But mail_index_sync_record() is actually still updating the map. So now
mail_index_sync_record() is called for all non-external cache updates,
but not for external cache updates! And since these are somewhat
randomly either external or non-external, the end result is that the
cache offset may be obsolete.

lib-index: Remove extension record sync handlers

This is no longer used by anything, and it makes the fix in the following
commit much easier.

This was originally added in 6a19e109ee8c5a6f688da83a86a7f6abeb71abdd to
allow dovecot.index.cache updating to hook into updating cache offsets to
link cache records together. This was reimplemented in a different way in
131b073bdc3650083b00616dc778dd3017c2bbb5

.gitignore: Ignore doc/man/doveadm-rebuild.1

doveadm: Add rebuild attachments command

Goes thru given mails and resets the attachment indicator.

lib-storage: Parse mail parts in mail_set_attachment_keywords if not present

lib-storage: Add error reporting to mail_set_attachment_keywords

lib-fts: Minor fix to randomness test in test-fts-tokenizer

If the random input was entirely valid UTF-8, the input was truncated to
empty.

fts: Fix indexing input that contains NULs

Any message_block that contained NULs, but otherwise was valid UTF-8, was
simply dropped.

lib: Implement str_sanitize_utf8().

Unlike str_sanitize(), this function truncates strings based on a UTF8 code point
limit rather than a maximum size in bytes. Also, the Unicode replacement
character is used to mark invalid/control characters and an ellipsis character
is used to indicate the string truncation. For the normal str_sanitize() this is
done using a question mark and triple dots respectively.

lib: unichar: Add Horizontal Ellipsis character.

dsync: If lock file can't be created because home is missing, mkdir the home

lib-storage: Add mail_user_home_mkdir()

lib-lda: mail_send_rejection() - Don't assert-crash with empty input mail

Fixes: Panic: file mail-send.c: line 176 (mail_send_rejection): assertion failed: (ret != 0)

login-common: If no CRL check is required, allow revoked certs

login-common: ssl_require_crl works both ways

It applies for incoming and outgoing connections.

login-common: Fix boolean misuse in preverify_ok

Fixes problem where dovecot does not accept revoked cert
when CRL checking has been disabled.

imapc: Fix expunges+appends in same session with imapc_features=no-msn-updates

Since the EXPUNGEs were ignored, the sequence numbers weren't updated.
When a new mail arrived, the sequence number sent by the remote IMAP server
pointed to existing mails in imapc's mapping. Fix this by changing the
sequence number if the returned UID is >= next_uid.

Fixes "FETCH UID mismatch" errors.

po3pc: Handle unexpected server disconnections without assert-crash

Fixes: Panic: file pop3c-client.c: line 308 (pop3c_client_wait_one): assertion failed: (client->fd != -1 || client->state == POP3C_CLIENT_STATE_CONNECTING)

lib-mail: html2text: do not parse entity when quote_level > 0.

&entities inside blockquotes are added to text, while other text is
not, this leads to strange results.

lib-mail: Fix include guards for istream-nonuls.h

lib-program-client: Wait longer in test-program-client-local

Sometiems it can take longer than 1 second to execute, if the test
environment is loaded.

imapc: Fix crash when handling empty mailboxes.

Broken by c05b4ac76c4c6012958f1cc37e2fccf7a7d31c33

imapc: Fix local state if mailbox is empty after reconnection

If local indexes had more than 0 mails, but after reconnection the remote
IMAP server replied with "* 0 EXISTS", the mails in local index weren't
expunged. This could have resulted in:

Panic: file imapc-sync.c: line 328 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq) || seq_range_exists(&ctx->mbox->delayed_expunged_uids, luid))

imapc: If SELECT INBOX fails with NO, treat it as temporary failure

If it's treated as "mailbox doesn't exist", the INBOX autocreation code
will attempt to CREATE INBOX. This is very unlikely to work.

imapc: Fix crash when untagged FETCH reply doesn't have key-value pairs

The last key with the missing value is just silently ignored.

imapc: Ignore fetch-msn-workarounds/no-msn-updates during initial FETCH

Otherwise duplicate UIDs aren't detected and it causes an assert-crash:

Panic: file imapc-mailbox.c: line 533 (imapc_untagged_fetch): assertion failed: (lseq == mbox->sync_next_lseq)