cassandra: Fix empty binary parameters with prepared statements

Fixes:
Panic: Trying to allocate 0 bytes

fs-posix: Support FS_METADATA_WRITE_FNAME for fs_copy()

Released v2.2.36.

man: doveadm-mailbox.1.in - Fix doveadm-search-query(7) section

lib-imap: imap_envelope_parse() - remove unnecessary data stack frame

imap_envelope_parse_args() isn't using data stack at all, so this
unnecessarily complicates the code. It also prevents using datastack-pool
as the pool parameter.

fs-posix: Fix fs_iter_next() to return any kinds of files.

Only regular files and symlinks were returned. It should return everything
else as well (fifos, sockets, devices).

lib-master: postlogin: Don't unreference already closed login-connection

If the login-connection was already closed, this caused too many
unreferences.

Fixes:
Panic: file master-login.c: line 544 (master_login_conn_unref): assertion failed: (conn->clients == NULL)

auth: Improve auth-master connections' error logging

Include connect and handshake times in the error message.

lib-master: Add auth connect & handshake times to master_login_auth_request errors

lib-master: Add request time also for internal failure error messages

lib-master: Use more exact timestamp in master_login_auth_request failures

lib-master: Improve error logging for master_auth_connection failures

lib-master: Improve error logging for post-login script failures

lib-master: Improve error logging when master_login_connection gets disconnected

lib-master: Keep linked list of master_login_clients per connection

This allows improving logging on connection errors.

lib-master: If connect() to backend UNIX socket is retried, log a warning

For example if imap-login process needs to retry before it successfully
connects to imap process's socket, a warning is logged. This warning is
important because it means that the imap-login process may have been
sleeping up to 0.5 seconds and causing all the other connections to hang
during it.

It would be better to make this retrying asynchronous, but before spending
time on doing that, lets see if this warning is ever even being logged.

lib-master: Add how long request took for "Internal auth failure" errors

lib/compat.h: Undefine WORDS_BIGENDIAN when it's defined as 0

cassandra: Fix consistency=quorum to work

Previously it could have been used by setting "consistency=", but this was
an accident.

cassandra: Use fallback_consistency on more types of errors

This could allow for example read_consistency=local-quorum with
read_fallback_consistency=quorum, so most of the time the reads are
from local datacenter, but in case it has problems you can switch to
other datacenters.

cassandra: Cleanup - Move code to query_error_want_fallback()

This allows extending it more easily.

dict-sql: dict doesn't support NULL values, so convert SQL NULLs to ""

lib-sql: Add comments about NULL values.

fs-posix: Strip trailing "/" from filenames

This is mainly because "doveadm fs delete -R" adds it to indicate to the
fs-driver that the whole directory is wanted to be deleted. This change
fixes fs-posix to work with NFS, where otherwise unlink("symlink-to-dir/")
fails with ENOTDIR. Without NFS the same call succeeds.

fts: When indexing virtual mailbox, index each real mailbox entirely

Index all the unindexed messages in them at once, instead of jumping between
real mailboxes and indexing them in small pieces.

fts: Indexing virtual mailbox didn't always index the last mails

fts: Make sure indexing virtual mailbox doesn't recurse and index mail multiple times

fs-posix: mkdir missing directory if it's changed by FS_METADATA_WRITE_FNAME

The temp file is created to the initial directory. If the directory is
changed by FS_METADATA_WRITE_FNAME, the new destination directory didn't
necessarily exist. If the link() or rename() fails with ENOENT, try to
mkdir the missing directories.

lib-storage: Replace DBOX_GUID_BIN_LEN with GUID_128_SIZE

DBOX_GUID_BIN_LEN define was removed in 0c909e, replace the use with
GUID_128_SIZE.

lib: Don't use NEEDS_LOCAL_CREDS undefined

lib,lib-index: Use #ifdef with WORDS_BIGENDIAN

Some were missing from the last change.

global: Use #ifdef instead of #if with WORDS_BIGENDIAN

This is to not rely on undefined WORDS_BIGENDIAN being evaluated as 0.

mdbox: Assume that empty uid maps found during sync are harmless

Instead of failing the sync and causing index rebuild, just skip over
the empty uid maps.  Chances are that they these records came from
various plugins that create fake mails.

lib-storage: Make sure index root is created when it's the same as root directory

Fixes errors about failing to create mailboxes.lock when the index root
directory doesn't exist yet.

configure: Released v2.2.36.rc1

NEWS: Update to v2.2.36.rc1

plugins/old-stats: Remove restrict_access_set_dumpable calls from process_io_open().

proc_io_fd is opened in preinit(), while process have root access, so
restrict_access_set_dumpable() calls are not needed.

lib: Call module's preinit function, when loading

plugins/old-stats: Add old-stats preinit() which opens mail stats io.

fs-posix: Fix iterating nonexistent symlinks when readdir() returns DT_UNKNOWN

This especially broke "doveadm fs delete -R" when the symlink destination
was deleted before the symlink.

lib-fs: fs-posix - Add accurate-mtime parameter

This is mainly useful for testing to find out whether one file was created
after another.

lib-fs: Update FS_METADATA_WRITE_FNAME comment

lib-fs: fs-posix - FS_METADATA_WRITE_FNAME replaces the full path

This is how all the other fs drivers work, although the macro name is a bit
confusing.

lib-fs: fs-metawrap - Pass FS_METADATA_WRITE_FNAME through to parent fs

fs-metawrap in the middle pervented the renaming from working.

lib-storage: Remove mail_attachment_detection_options=add-flags-on-fetch parsing

It wasn't actually used yet.

lib-storage: Fail if mail_attachment_detection_options has invalid options

lib-storage: Set $Has[No]Attachment earlier among other cached data

doveadm: mailbox cache decisions - Fatally fail if fields are missing

man: Document doveadm mailbox cache commands

doveadm: Add mailbox cache manipulation commands

This allows changing cache decisions and dropping cache pointer
for wanted mails.

doveadm-mail: Handle field conversion to short opt better

Convert non-string types as well

lib: introduce container_of

This is a simple but type safe implementation.

lib-index: mail_index_sync_map() - Don't try to-resync extension updates

This was done to call extension record sync handlers, but the previous
commit removes them. Fixes a problem where obsolete cache offsets were
used in some situations:

 - Some cache updates are from external transactions and some are from
non-external transactions. This is because cache offset updates are being
added by whatever the parent index transaction is.

 - When mail_index_sync_map() is mapping MAIL_INDEX_SYNC_HANDLER_FILE, it
has already synced the map. But it's calling mail_index_sync_record()
for non-external transactions to call expunge handlers and extension
update handlers. It's calling the regular mail_index_sync_record() to do
this work.

 - But mail_index_sync_record() is actually still updating the map. So now
mail_index_sync_record() is called for all non-external cache updates,
but not for external cache updates! And since these are somewhat
randomly either external or non-external, the end result is that the
cache offset may be obsolete.

lib-index: Remove extension record sync handlers

This is no longer used by anything, and it makes the fix in the following
commit much easier.

This was originally added in 6a19e109ee8c5a6f688da83a86a7f6abeb71abdd to
allow dovecot.index.cache updating to hook into updating cache offsets to
link cache records together. This was reimplemented in a different way in
131b073bdc3650083b00616dc778dd3017c2bbb5

.gitignore: Ignore doc/man/doveadm-rebuild.1

doveadm: Add rebuild attachments command

Goes thru given mails and resets the attachment indicator.

lib-storage: Parse mail parts in mail_set_attachment_keywords if not present

lib-storage: Add error reporting to mail_set_attachment_keywords

lib-fts: Minor fix to randomness test in test-fts-tokenizer

If the random input was entirely valid UTF-8, the input was truncated to
empty.

fts: Fix indexing input that contains NULs

Any message_block that contained NULs, but otherwise was valid UTF-8, was
simply dropped.

lib: Implement str_sanitize_utf8().

Unlike str_sanitize(), this function truncates strings based on a UTF8 code point
limit rather than a maximum size in bytes. Also, the Unicode replacement
character is used to mark invalid/control characters and an ellipsis character
is used to indicate the string truncation. For the normal str_sanitize() this is
done using a question mark and triple dots respectively.

lib: unichar: Add Horizontal Ellipsis character.

dsync: If lock file can't be created because home is missing, mkdir the home

lib-storage: Add mail_user_home_mkdir()

lib-lda: mail_send_rejection() - Don't assert-crash with empty input mail

Fixes: Panic: file mail-send.c: line 176 (mail_send_rejection): assertion failed: (ret != 0)

login-common: If no CRL check is required, allow revoked certs

login-common: ssl_require_crl works both ways

It applies for incoming and outgoing connections.

login-common: Fix boolean misuse in preverify_ok

Fixes problem where dovecot does not accept revoked cert
when CRL checking has been disabled.

imapc: Fix expunges+appends in same session with imapc_features=no-msn-updates

Since the EXPUNGEs were ignored, the sequence numbers weren't updated.
When a new mail arrived, the sequence number sent by the remote IMAP server
pointed to existing mails in imapc's mapping. Fix this by changing the
sequence number if the returned UID is >= next_uid.

Fixes "FETCH UID mismatch" errors.

po3pc: Handle unexpected server disconnections without assert-crash

Fixes: Panic: file pop3c-client.c: line 308 (pop3c_client_wait_one): assertion failed: (client->fd != -1 || client->state == POP3C_CLIENT_STATE_CONNECTING)

lib-mail: html2text: do not parse entity when quote_level > 0.

&entities inside blockquotes are added to text, while other text is
not, this leads to strange results.

lib-mail: Fix include guards for istream-nonuls.h

lib-program-client: Wait longer in test-program-client-local

Sometiems it can take longer than 1 second to execute, if the test
environment is loaded.

imapc: Fix crash when handling empty mailboxes.

Broken by c05b4ac76c4c6012958f1cc37e2fccf7a7d31c33

imapc: Fix local state if mailbox is empty after reconnection

If local indexes had more than 0 mails, but after reconnection the remote
IMAP server replied with "* 0 EXISTS", the mails in local index weren't
expunged. This could have resulted in:

Panic: file imapc-sync.c: line 328 (imapc_initial_sync_check): assertion failed: (mail_index_is_expunged(view, lseq) || seq_range_exists(&ctx->mbox->delayed_expunged_uids, luid))

imapc: If SELECT INBOX fails with NO, treat it as temporary failure

If it's treated as "mailbox doesn't exist", the INBOX autocreation code
will attempt to CREATE INBOX. This is very unlikely to work.

imapc: Fix crash when untagged FETCH reply doesn't have key-value pairs

The last key with the missing value is just silently ignored.

imapc: Ignore fetch-msn-workarounds/no-msn-updates during initial FETCH

Otherwise duplicate UIDs aren't detected and it causes an assert-crash:

Panic: file imapc-mailbox.c: line 533 (imapc_untagged_fetch): assertion failed: (lseq == mbox->sync_next_lseq)

lib-master: Fix dns_wildcard_match usage

Broken by 446c0b02a7802b676e893ccc4934fc7318d950ea

NEWS: Add v2.2.35 release notes

lib-dcrypt: Add libssl_iostream.la to LIBADD

This allows running the tests in src/lib-dcrypt.

NEWS: Update up to 2.2.34

notify: Fix crash if NO_NOTIFY transaction is rolled back during commit

Fixes: Panic: no notify_mail_txn found

imapc: Update mail size also when RFC822.SIZE is smaller than fetched header size

If this isn't done, istream-mail will detect that the fetched header is
larger than RFC822.SIZE and fail with "Cached message size smaller than
expected"

imapc: Update mail size also when istream_opened() hook is called

When fetching a message body the cached message size was set. However,
if istream_opened() hook was used this wasn't done. If a client had
fetched both (RFC822.SIZE BODY.PEEK[]) and the server sent a wrong
RFC822.SIZE, that size was used for the message body size, which resulted
in "Cached message size larger than expected" errors.

lib-master: Correctly match when local_name has multiple names

Reported by J. Nick Koston <nick@cpanel.net>

lib-master: Reply from config process is tabescaped

Found by J. Nick Koston <nick@cpanel.net>

config: tabescape local name and service

config: Make local_name comparison faster

Based on patch by J. Nick Koston <nick@cpanel.net>

lib-master: Fix dns_match_wildcard result value check

It returns 0, not TRUE.

imapc: Don't try to add mails to index if they already exist there

Broken by 259a4ca5943123915a019799623d2e4a4ef7fd15 when imapc was used
with (not in-memory) index files.

This caused errors like "Append with UID 200, but next_uid = 201"

charset-alias: Don't return value from void functions

lib-dcrypt: test-stream - Ensure more is read when buffer becomes empty

lib-dcrypt: istream-decrypt - Read more if buffer is empty

If there is no more buffered data, try to decrypt more.

- Fixes Panic: file istream.c: line 192 (i_stream_read): assertion failed: (!stream->blocking)
- Fixes infinite loop when stream is not blocking

sdbox: Delete .temp* files on when save/copy transaction is rolled back

For example when copying was aborted due to user being over quota, temp
files were left behind.

global: Call rfc822_parser_deinit() wherever possible

lib-mail: Refactor code to make the next commit smaller

lib-mail: Add rfc822_parser_deinit()

It's not a strict requirement to call this, but it assert-crashes if the
state isn't valid.

lib-mail: Make sure parsers don't accidentally go much beyond end pointer

lib-mail: Fix out-of-bounds read when parsing an invalid email address

The included unit test doesn't fail, but running it with valgrind shows
"Invalid read of size 1" error.

Broken in d6737a17a27402e7a262f7ba8a2ed588d576f23c

Discovered by Aleksandar Nikolic of Cisco Talos