virtual: Fix calling mail_add_temp_wanted_fields() before mail is set

Fixes:
Panic: file virtual-mail.c: line 123 (backend_mail_get): assertion failed: (bbox != NULL)

virtual: Fix mail.add_temp_wanted_fields() to handle headers correctly

The header that was passed to backend contained wrong index numbers, causing
wrong headers to be used.

lib-storage: Update mail_add_temp_wanted_fields() comment

lib-storage: Move code to a new mailbox_header_lookup_merge()

lib: ostream-file - Don't try to set TCP_NODELAY for non-socket fds

Also log if there are any unexpected errors.

lib-storage: Don't try to set attachment keywords if bodystructure wasn't parsed

This was broken in 057028e3f5567e21c964005ffccda1055fa86508 as there are
code paths leading here that omit bodystructure processing.

Fixes Panic: file index-mail.c: line 1150 (index_mail_parse_body_finish): assertion failed: (mail->data.parsed_bodystructure)

lib: Make sure uncorking ostream-file flushes network output immediately

TCP_CORK and TCP_NODELAY are separate things, but we'll treat them similarly
for our ostream corking API. It was always intended that all data written
inside corking would be delayed until uncork, and immediately sent
afterwards.

This change removes unnecessary extra 40ms delays, which may happen when
proxying.

doveadm: Add error_r to server_connection_create()

lib: i_zero*() - Update comment, especially about arrays

lib: i_zero*() - Remove extra "+"

It was ignored by compilers though.

doveadm-dsync: Always cleanup after connection

Go through the same error handling path every time. Fixes
Panic: file ioloop.c: line 826 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

This happened because the ioloop wasn't destroyed
on error.

doveadm-dsync: Move actual command execution to dsync_server_run_command

Simplifies next commit

lib-storage: Attachment flag detection shouldn't cause mail body to be opened

Fetching cached mail headers with
mail_attachment_detection_options=add-flags-on-save caued IMAP BODYSTRUCTURE
to be fetched as well. If it wasn't already cached, this caused opening the
mail body to generate it. Also the result wasn't added to cache, so the
inefficient behavior continued.

global: Add asserts to make static analyzers happy

doveadm dict: Make it clear that *iter_flags can't dereference NULL pointer

It's not possible to dereference it anyway, because only "doveadm dict iter"
has these iter parameters. This change fixes warnings from static analyzers.

lib-storage: Fix mail_user_home_mkdir() crash when user has no home directory

This is used only by dsync when creating lock file. It wouldn't work
without a home directory anyway.

lib: net_*() - Make sure sockaddr_union is always cleared

Fixes scan-build warnings

lib: data-stack - Make STACK_BLOCK_DATA() behavior clearer

Otherwise scan-build thinks that it's pointing outside valid memory in the
struct and gives an error:

"Memory set function accesses out-of-bound array element"

global: Change CALLBACK_TYPECHECK() to used with subtraction

This is because clang's -Wstring-plus-int gave warnings when using
"string" + CALLBACK_TYPECHECK(), but there are no warnings when using
"string" - CALLBACK_TYPECHECK(). It would have been enough to change
only the string parameters to use "-", but for consistency this commit
changes all of them.

dict: Make sure connection IO is stopped when client is disconnected

I'm not sure if this fixes anything, but it makes the behavior closer to
what it was before 2ff2da52146609f4459bd0f7fd603e13400cb85e.

dict: Fix client connection reference counting

If the client disconnected while commands were still running, the destroy
callback could have been called multiple times.

Broken by 2ff2da52146609f4459bd0f7fd603e13400cb85e

Fixes:
Panic: file dict-connection.c: line 149 (dict_connection_unref): assertion failed: (array_count(&conn->cmds) == 0)

quota: Enable program-client debug when mail_debug is enabled

Makes it easier to see that program-client actually
executed a warning script.

quota: Do not skip noenforcing and auto_update quota roots when intializing

Doing so will break quota warnings.

quota: Do not set limits to infinity when not enforcing

Fixes quota enforcement to work even if secondary quota
is noenforcing.

lib: connection - Make sure the connection name is always available.

lib-storage: maildir: maildir-copy - Fix omission of keywords while copying message with hardlinking.

lib-storage: maildir: maildir-save - Move final copying of keywords to a separate function.

submission: Remove unnecessary client.session_id

It's also available in client.user.session_id

submission: Remove duplicate %{session} from submission_logout_format handling

It already comes from mail_user_var_expand_table()

pop3: Remove unnecessary client.session_id

It's also available in client.user.session_id

pop3: Remove duplicate %{session} from pop3_logout_format handling

It already comes from mail_user_var_expand_table()

login-common: Add a comment to remember to keep login %variables synced

pop3: Remove duplicate %d from pop3_logout_format handling

The first %d was always used as intended, so this didn't actually cause any
bugs. It was confusing though.

lib: event-log - Add support for logging with log_type as a parameter.

NEWS: Add news for 2.3.6

fts-solr: Add soft_commit setting

soft_commit=yes|no: send softCommit to the solr server, default yes is backwards compatible behaviour
If setting to no autoSoftCommit on solr should be set to something reasonable (e.g. 60 seconds)
in file solrconfig.xml

fts-solr: Add batch_size configuration option

batch_size: configure the number of emails sent in single requests to solr, default 1000

fts-solr: Only increment ctx->mails_since_flush after flush

Otherwise it gets wrongly increment before flush.

lib-http: client: Fix segfault occurring when an idle host times out.

This is most visible when the host is associated with an invalid host name: in
that case the idle timeout is only 100ms. For valid hosts, this problem can only
appear after 30 minutes idle time (default).

Problem is caused by the session host object starting a new idle timeout in the
shared host, while the shared and session host objects are both being destroyed.

fts: Enable turkish support

fts: Include turkish stopwords

Source https://github.com/stopwords-iso/stopwords-tr/

lib: json - Escape invalid UTF-8 as unicode bytes

This prevents dovecot from crashing if invalid UTF-8 input
is given.

mail-lua: Handle transaction commit error writing metadata

lib-smtp: smtp-server-cmd-auth - Fix AUTH response error handling so that it stops reading more input.

Otherwise, it may try to read more data from the stream as the next AUTH
response, which causes an assert crash in the command parser later on. Even when
the parser finds no input from the stream, it will advance its state
towards AUTH response parsing, which is a problem when the next command is
subsequently being parsed.

Panic was:

Panic: file smtp-command-parser.c: line 438 (smtp_command_parse_next): assertion failed: (!parser->auth_response || parser->state.state == SMTP_COMMAND_PARSE_STATE_INIT || parser->state.state == SMTP_COMMAND_PARSE_STATE_ERROR)

submission-login: client-authenticate - Fix crash occurring when client disconnects during authentication.

submission-login: Remove unused client->pending_starttls.

lib-lua: Fix bracing in table helper macros

Was left broken in c304bc76

mail-lua: Implement mailbox metadata API

Adds methods for accessing and manipulating mailbox metadata

 * user:metadata_get("key", "key", ..) - returns value for keys
 * user:metadata_set("key", "value") - sets value for key
 * user:metadata_unset("key", "value") - unsets key
 * user:metadata_list("prefix", "prefix", ...) - lists keys in dict for prefixes

 * mailbox:metadata_get("key", "key", ..) - returns value for keys
 * mailbox:metadata_set("key", "value") - sets value for key
 * mailbox:metadata_unset("key", "value") - unsets key
 * mailbox:metadata_list("prefix", "prefix", ...) - lists keys in dict for prefixes

User metadata is stored under /(private|shared)/vendor/vendor.dovecot/pvt/server to
mailbox INBOX, and is accessible with mailbox metadata methods with INBOX.

Also mail lua exports constants to simplify usage

dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT
"vendor/vendor.dovecot/"
dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT
"vendor/vendor.dovecot/pvt/"
dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT_SERVER
"vendor/vendor.dovecot/pvt/server/"

mail-lua: Properly refcount user object

Prevents user object from going away unexpectedly, and makes
sure it gets released correctly.

mail-lua: Use userdata for mailbox pointer

Makes it possible to unref mailbox on exit

lib-lua: Fix assigment helper macros

The macro names were conflicting with the table values.

NEWS: Update news with missing entries from other branches

lib-lda: mail-deliver - Emit events at start and finish of delivery.

lib-lda: Replace i_warning() with e_warning().

lib-lda: Replace i_info() with e_info().

lib-lda: Replace i_error() with e_error().

lib-lda: mail-deliver - Add message fields to the deliver event.

lib-lda: mail-deliver - Rename mail_deliver_cache to mail_deliver_fields.

Also make the fields public.

lda: Use LDA event as mail_*user's parent event.

lda: Add support for event API.

lda: Assign envelope fields in mail deliver context right away.

lmtp: lmtp-local - Use recipient event for mail delivery.

lib-lda: mail-deliver - Add support for event API.

lib-lda: Initialize/deinitialize mail_deliver_context in separate functions.

This changes the allocation of parsed SMTP addresses to initially use a
datastack pool rather than the mail_deliver context pool. This is necessary
because the context is created a bit later. Upon mail_deliver_init(), the
addresses are moved to the context pool.

lda: Move mail_deliver() invocation to a separate function.

lib-lda: mail-deliver - Split the mail_deliver() function to perform post-delivery cleanup in one place.

lib-storage: Fix NO-FS-VALIDATION in mail_location

The setting wasn't being preserved properly, so it was just ignored.

lib: event_filter_unref(NULL) is already a no-op

lib-http: Fix comment typo

doveadm: Add body.preview as a fetch field

Keep body.snippet as a fetch field for backward compatitibility reasons

RFC has changed SHOULD length of preview from 100 to 200

RFC draft has changed from SNIPPET to PREVIEW

The older SNIPPET command will remain for now - it is mostly the same
as the new PREVIEW code, so it's essentially an alias (the only
difference between the two versions is the SNIPPET/PREVIEW identifier
text).

dict: Remove unnecessary o_stream_flush()

Added recently by 89e4b2e7fbd17548f3c99fa66368c9b0bc8eb775

doveadm-dict: Add missing dict_deinit

Fixes event leak when set is missing parameter.

dict: Parse handshake using handshake_args

This ensures the input is properly tab unescaped, also
simplifies the handshake function.

dict: Remove obsolete check as getenv() is no longer used for getting dicts

dict: Use connection API

dict: Use connection struct

Prepares for moving into connection API

dict: Create connection with struct master_connection instead of fd

Prepares for moving into connection.c struct

fts: Fix buffer overflow when reading oversized fts header

lib-storage: Fix buffer overflow when reading oversized hdr-pop3-uidl header

fts: Add fts_enforced=body

Similar to "no", this doesn't enforce FTS indexing for header searches.
Similar to "yes", on FTS lookup failure it won't fallback to reading all
mails.

sdbox: Add "sdbox" event category

2cd16e24fb442a066c6c3051c1042c1091b927bb only added it to the "dbox" alias.

lmtp: Add mail_user_settings to struct client

lib-storage: Add mailbox_keywords_merge()

lib-storage: Add mailbox_search_mail_detach()

This allows keeping the struct mail open even after the mail_search_context
that created it is freed.

lib-storage: Move tracking mails to mail_search_context from index-specific code

This makes the next commit much easier to implement.

lib-storage: Move index_mail.search_mail to mail_private struct

lib-mail: istream-header-filter: Fix HEADER_FILTER_ADD_MISSING_EOH with callback

If mail already had EOH and callback returned matched=TRUE in the EOH
callback (e.g. adding more headers), the callback was called a second
time for the EOH.

Currently there doesn't seem to be any existing code that was affected by
this bug.

lib: Add test for backtrace-string

lib: Add libunwind support for getting backtrace

This actually resolves symbols to readable names
making the backtrace useful.

auth-request: Call auth_request_passdb_lookup_end() for all return paths of auth_request_handle_passdb_callback()

Fixes: Panic: file auth-request.c: line 367 (auth_request_unref):
assertion failed: (array_count(&request->authdb_event) == 0)
The panic happens when auth request results in PASSDB_RESULT_USER_DISABLED.

coccinelle: Add all semantic patches used in the past to a new dir

This commit merely imports the semantic patches without providing any
additional tooling to apply them.  It also includes macros.h header used by
coccinelle to properly handle some of the more complex macros we have.

auth: Make db_oauth2_callback debug print human readable

lib-oauth2: Don't crash when http response has no payload

ipc-server: Reconnect on socket input error.

ipc-server: Change reconnect timeout to 10 seconds.

ipc: Terminate IPC process with master.

ipc: Introduce ipc_groups_disconnect_all()

lib-ssl-iostream: Minor assert cleanup.

If stream->closed is TRUE then stream->stream_errno != 0 as well. And here
we really want to be sure that stream_errno isn't 0, so make the assert
reflect that.