imap: Fix FETCH SNIPPET

1) _BUFFERED flag wasn't set, which caused a missing space before the "SNIPPET".
2) It caused \Seen flag to be added to the mail

doveadm sync/backup: Don't override BROKENCHAR if it's already set

This allows migrating invalid mailbox names by specifying BROKENCHAR.
Previously it would always try to use \003 control character, which isn't
valid character in mailbox names so the mailbox creation would fail.

charset-alias: Fix keyvalues iteration

charset-alias-plugin.c:113:27: error: comparison between pointer and zero
character constant [-Werror=pointer-compare]
  for (i = 0; keyvalues[i] != '\0'; i++) {
                           ^~
charset-alias-plugin.c:113:14: note: did you mean to dereference the pointer?
  for (i = 0; keyvalues[i] != '\0'; i++) {

charset-alias: Cleanup whitespace

Remove \r from end of lines and remove trailing whitespace.

lib-http: client: Simplified return code handling in http_client_request_send_real().

lib-http: client: Make sure output is used only when valid in http_client_request_send_real().

lib-http: client: Uncork and flush the output stream explicitly after continuing request payload.

This allows detecting any output stream errors.

lib-http: client: Hold reference to the connection while continuing request payload.

Subsequent changes may cause the connection to be destroyed while sending.

lib-http: client: Continue sending request payload in a separate function.

lib-http: client: Hold reference to the connection while sending the next request.

Subsequent changes may cause the connection to be destroyed while sending.

lib-http: client: Perform output stream error handling in one place.

lib-http: client: Make http_client_connection_lost() available outside http-client-connection.c.

lib-http: client: Handle output stream errors in a separate function.

lib-http: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Simplified return code handling in http_server_response_send_real().

lib-http: server: Make sure output is used only when valid in http_server_response_send_real().

This avoids the need to hold a reference to it.

lib-http: server: Perform output stream error handling in one place.

lib-http: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-http: server: Handle output stream errors in a separate function.

lib-smtp: client: Uncork and flush the output stream explicitly after sending commands.

This allows detecting any output stream errors.

lib-smtp: client: Perform output stream error handling in one place.

lib-smtp: client: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: client: Handle output stream errors in a separate function.

lib-smtp: server: Perform output stream error handling in one place.

lib-smtp: server: Remove undefined smtp_server_reply_send_more() from smtp-server-private.h.

lib-smtp: server: Flush and check output for errors after uncorking.

Otherwise, a disconnection event may be missed.

lib-smtp: server: STARTTLS command: Properly handle output stream flush error.

lib-smtp: server: Handle output stream errors in a separate function.

lib-smtp: server: Use the stream_errno to evaluate output stream errors.

Code was using global errno.

lib-smtp: server: Remove inappropriate assert from MAIL command.

When the MAIL command is next to reply, it is possible to have RCPT commands
that are still pending.

imap: Don't enforce sending SNIPPET reply as literal

Also change it to use "cur_str" since the reply is never very long.

imap: Add parenthesis to FETCH SNIPPET (FUZZY text) response

Otherwise it violates the RFC 3501 text about FETCH responses.

imap: Don't set storage callbacks before namespaces are created

This fixes sending untagged OK/NO notifications from storage (e.g. lock
waits/override notifications). It was broken by
e031d9aaae59a9f79710dc1138b76b69272615a3

imap: Add client_create_finish() to finish namespace creation.

imap: When running standalone, delay initializing namespaces until PREAUTH is sent

Most importantly this makes the code paths similar for standalone and
non-standalone clients, which is needed by the following commits.

lib: Fix compiler warning when arc4random_buf() is used for random_fill()

lib: Add o_stream_uncork_flush() to both uncork and flush

charset-alias-plugin

lib-mail: message-parser: Fixed Clang 6.0 compiler warning.

Warning was:

index-mail.c:1182:3: warning: arithmetic on a null pointer treated as a cast
from integer to pointer is a GNU extension [-Wnull-pointer-arithmetic]
                message_parser_parse_body(data->parser_ctx,
                ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../src/lib-mail/message-parser.h:95:28: note: expanded from macro
'message_parser_parse_body'
                (void *)((char *)context + CALLBACK_TYPECHECK(callback, \
                         ~~~~~~~~~~~~~~~ ^

lib-master: Don't dup errors to service->set_pool in master_service_settings_read

Use t_strdup() instead.

lib-http: server: Recreate connection IO after streams change.

lib-http: client: Recreate connection IO after streams change.

lib-smtp: server: Recreate connection IO after streams change.

lib-http: server: Use the new connection_input_halt/resume() functions.

lib-http: client: Use the new connection_input_halt/resume() functions.

lib-smtp: server: Use the new connection_input_halt/resume() functions.

lib-smtp: client: Use the new connection_input_halt/resume() functions.

lib-ssl-iostream: ostream-openssl: Fix behavior of o_stream_flush() so that 1 is only returned when buffer is empty.

lib-ssl-iostream: ostream-openssl: Create local variable for sstream->ssl_io->plain_output in o_stream_ssl_flush().

lib: connection: Add connection_input_halt() and connection_input_resume().

These are convenience functions that remove and add conn->io respectively.

lib-smtp: client: Moved smtp_client_init_ssl_ctx() from smtp-client.h to smtp-client-private.h.

lib-http: client: Use conn->conn.ioloop rather than cctx->ioloop in connection.

This leads to somewhat simpler code, and makes having connections on different
ioloops easier in the future.

lib: connection: Record the ioloop the connection was last switched to.

lib-http: client: Move connection to shared context's ioloop, rather than the current_ioloop.

This is an omission.

lib-smtp: server: Fix segfault occurring when XCLIENT command is handled.

Occurs only when the application (in this case LMTP) has a
conn_proxy_data_updated() callback. The context parameter was the struct
smtp_server_connection object itself, rather than the application context. This
caused the connection object to be overwritten.

lib-smtp: server: Fix segfault occurring during XCLIENT when no extension fields are configured.

lib-imap-storage: imap-msgpart-url: Perform the check for a proper messagepart URL in imap_msgpart_url_create().

Before, this was an assert in imap_msgpart_url_create(). The actual check was
performed only in imap_msgpart_url_parse(), meaning that
imap_msgpart_url_create() would fail with an assertion when provided with an
inappropriate URL.

This surfaced as a problem for the submission BURL command.

lib-smtp: server: Fix reporting of XCLIENT capability in EHLO response.

The trusted connection check logic was inverted.

replication: Don't trigger replication on changes not visible to dsync

For example if there's a write to .cache file, it doesn't require
replication.

lib-storage: Replace mail_transaction_commit_changes.changed with changes_mask

This allows better finding out what changed in the transaction.

lib-storage: Include mail-index.h from mail-storage.h

This makes it a bit more acceptable to use mail-index.h API, without having
to go through the lib-storage layer. This is also needed by the next patch
to avoid duplicating the same enum in both lib-index and lib-storage layer.

lib-storage: Remove mailbox_transaction_context.nontransactional_changes

Nothing cares about them. It was only set for POP3 UIDL change with
Maildir. In theory dsync replication would want to replicate such a change,
but it doesn't actually support changing UIDLs for existing mails. Other
mailbox formats don't support it anyway.

lib-index: Add mail_index_transaction_commit_result.changes_mask

This can be used to determine what type of changes were committed in a
transaction.

lib-index: Cleanup - return bool in log_append_keyword_updates()

Simplifies the next commit.

lib: Fix usec comparison in timeout_update_next

When tv_usec is exactly 1000000, call to kevent() will fail
because tv_sec does not get incremented.

Found by Adrian Gonzalez <adrianglz@globalpc.net>

global: Flip MAIL_STORAGE_SERVICE_FLAG_DISALLOW_ROOT to ..._ALLOW_ROOT

lib-storage: Flip disallow_root in service_drop_privileges()

master: Flip disallow_root in drop_privileges()

lib: Add restrict_access_flags enum to use with restrict_access[_by_env]()

Swap parameter locations in the functions to make sure plugins are
updated to use the new api.

lib: Flip drop_setuid_root in restrict_access_settings

lib-program-client: Remove extra drop_setuid_root flag copy

lib-program-client: Run local client tests with valgrind --trace-children=no.

Before, valgrind was omitted entirely.

Add support for running valgrind tests with --trace-children=no.

lib-program-client: test-program-client-local: Properly deallocate all streams for big I/O test.

auth: Set correct context type when bypassing reporting in auth_success

Broken in 41ff6e6a4a085786d4c15a58c7c50a28e2110c3f

global: Set extra_groups=$default_internal_group for various services

Services with user=$default_internal_user are expected to already set the
group properly. This change is adding the group for mail processes.

lib: restrict_access_by_env() - Preserve RESTRICT_SETEXTRAGROUPS if root isn't dropped

This way service { extra_groups } is preserved for the whole duration of the
process lifetime (e.g. lmtp, doveadm)

imap-hibernate: Change imap-hibernate default socket permissions to allow default_internal_group

It would be enough to allow only imap processes access to it, but it
shouldn't really harm to allow other processes access to it also.

stats: Change stats-writer default socket permissions to allow default_internal_group

It's important that all dovecot processes can send statistics to the stats
process.

dict: Change dict and dict-async default socket permissions to allow default_internal_group

Many mail processes need to talk to dict. This makes it easier to enable
dict without having to configure permissions.

master: Add default_internal_group setting, defaulting to "dovecot"

It's expected that this is the primary group of the default_internal_user.

This group will be used to provide access to sockets that are generally
required by all Dovecot processes, but aren't safe enough to be allowed
completely open access from untrusted processes.

auth: Support standard auth variables in LDAP subqueries

old-stats: Set process dumpable during stats gathering

/proc/self/io is not accessible otherwise

lib: Add restrict_access_get/set_dumpable

lib: Clarify restrict_access_allow_coredumps

config: Fix ssl_params.dat conversion warning

The command is dhparam, not dh.

lib-http: client: Fix using non-context SSL settings

The SSL settings were used for the SSL context, but they weren't used for
individual SSL streams. This broke stream-only settings, like
allow_invalid_cert=TRUE.

ipc: Change ipc socket's owner to $default_internal_user

This is mainly used by director process, which runs as
$default_internal_user. This setting change is always required for director
installations. Also the ipc process itself is already running as
$default_internal_user so this should be a rather safe change.

lib-ssl-iostream: Assert-crash if input stream has IO already set

lib: Add i_stream_get_root_io() and use it to deduplicate code

lib-smtp: Recreate connection IO after streams change

This fixes hangs after STARTTLS.

Originally by Stephan Bosch

lib: Add connection_streams_changed()

Originally by Stephan Bosch

doveadm: client: Set IO only after enabling SSL

io_add_istream() needs to be used with the SSL istream, otherwise it can
cause hangs.

lib-imap-client: Fix IO after enabling SSL

io_add_istream() needs to be used with the SSL istream, otherwise it can
cause hangs.

dsync: Log a warning if copying a mail fails unexpectedly

Don't log a warning if it happens because the source message was expunged.
That's an expected failure.

lib-storage: Lock mailbox_list for mailbox create/delete/rename

This is only required for mailbox creation to fix a race condition with
LAYOUT=index: If INBOX doesn't exist it will rescan the mailboxes to
find out if there are any missing ones. If INBOX creation isn't locked,
it's possible that the first process hasn't finished creating INBOX
before the second process find it and attempts to open it.

The delete and rename locking are probably useful to guard against race
conditions when clients intentionally issues create/delete/rename commands
concurrently.

lib-storage: Add mailbox_list_[un]lock()

lib-storage: mailbox_delete() - Fix cleanup in error handling

If removing index deletion mark failed, box->deleting wasn't set to FALSE
and the mailbox was left opened.

lib-storage: mailbox_rename() - Use source storage for errors

It was documented to use source storage for errors, but some of the errors
were set to destination storage.

lib-storage: Fix mailbox rename checking child mailbox name lengths

It was supposed to prevent allowing renames that would cause any child
mailbox name to be too long. However, the check wasn't working.