mdbox: Always sync dovecot.map.index with MAIL_INDEX_SYNC_FLAG_UPDATE_TAIL_OFFSET

This avoids errors after the next commit.

lib-index: mail_index_sync_update_mailbox_offset() - Remove unnecessary code

The function call has no side effects, and the return values aren't used.

submission: submission_backend_relay_create() - Allow caller to specify SASL mechanism

submission: submission_backend_relay_create() - Allow caller to specify IP

This way the caller can already provide IP address for the host.

submission: Add recipient-delimiter to settings

This allows plugins to easily access it.

lib-storage: Add mail_storage_service_get_global()

This allows accessing the global mail storage service. Normally there is
only a single service created for the process at a time, so this allows
accessing it.

lib: Add net_get_hosterror_type()

lib-smtp: Remove SMTP_ADDRESS_LITERAL() macro

gcc 9 no longer stores compound literals in function scope, so this
macro is dangerous if you don't know it is a compound literal.

lda: Stop using SMTP_ADDRESS_LITERAL() macro

Change DEFAULT_ENVELOPE_SENDER to a const struct smtp_address instead.
gcc 9 no longer stores compound literals in function scope, so this is
safer.

lib-smtp: Expand SMTP_ADDRESS_LITERAL() macro

This makes the use of compound literal explicit.

lib-auth: add unit test for auth_user_info_export

The test verifies that fields are ending up in the auth request as
expected given a corresponding auth_user_info struct.

lib-auth: make auth_user_info_export global

To allow unit-testing this function it becomes global.

lmtp-proxy: set real_ variables in auth_user_info struct

Set the real_ variables from connection to the client struct and from
there to the auth_user_info. This allows to pass the real_ variables to
lib-auth and thereby to the auth process.

lib-auth: add real_[remote|local]_[ip|port] to auth_user_info

This allows the auth_user_info_export function to export all the real_
variables, if  available, to the auth request thereby enableing real_
variables for lib-auth.

doveadm-stats: Print numbers as numbers

Prevents treating numbers as string in JSON printer

acl: Use the last line from global ACL file even if it has no LF

Not all text editors add LF to the last line.

lib-settings: Note that settings.h is not what it appears to be

To avoid future confusion.

This also adds a note that the interface should be removed in dovecot 3.0.

stats: event export - Use transport_timeout in http-post transport

stats: event export - Introduce a per exporter block transport timeout setting

This commit adds a new per event_exporter { } block setting to specify the
transport timeout.  For example:

event_exporter {
transport = foo
transport_args = ...
transport_timeout = 123msecs

format = bar
format_args = ...
}

Note that this commit only introduces the setting.  The transports will be
changed to make use of it in future commits.

stats: event export - Increase default http-post timeout to 250ms

50ms just isn't enough.  A slightly higher latency link combined with a
handful of storage I/Os can easily use up 50ms.

If each event has approximately 4kB memory footprint, then a 250ms timeout
keeps the memory requirement relatively low (50MB on average / 200MB max at
50k events/sec) but still allows a decent amount of time for the HTTP POST
to get sent to and processed by a server in the same datacenter.

lib-storage: Sync mailbox after autoexpunging

This actually finishes expunging the mails. Previously the mails were
just marked to be expunged in the transaction log, and the next session
that opened the mailbox finished the expunging.

lib-index: Make sure tail_offset is updated after calling expunge handlers

Since it's a bit troublesome to track whether expunge handlers were actually
called, we can just assume that as long as syncing sees expunges, they were
called (and thet most likely were).

This fixes a bug where dovecot.index.cache header's record_count kept
shrinking and deleted_record_count kept increasing after each sync.
These values were only used to determine when to compress the cache, so
its only effect was that the cache could have been compressed earlier
than necessary.

doveadm-dsync: Clarify why ctx->replicator_notify is checked with noreplicate

doveadm-dsync: Handle NOREPLICATE error in client

doveadm-dsync: Do not attempt to sync noreplicate user

doveadm-cmd: Add NOREPLICATE error code

doveadm-dsync: Set NOREPLICATE error code instead of returning it

This is how the error handling is supposed to be done.

Broken in 7f0dcac9942910c2934ceab1230e539043167601

lib: istream-file - Ensure fd is in valid range

lib: fd-util - Ensure fd is in valid range

lib-http: Add http_client_request_add_missing_header()

lib-http: Add http_client_request_lookup_header()

lib-http: http_client_request_remove_header() - Don't crash if no headers are added

Fixes a crash if http_client_request_add_header() hasn't been called
before http_client_request_remove_header()

lib-http: http_client_request_add_header() - Replace existing header

If header with the same key already exists, just replace the value.
HTTP supports having multiple headers with the same key only when they
can be rewritten into a single comma-separated header. So practically
there's no reason for lib-http to need to support adding multiple
headers. Replacing an existing value is more useful generally.

lib-http: http_client_request_remove_header() - split off header finding

lib-http: Add Unit test for http_client_request_add/remove_header()

doveadm service status: Handle VERSION handshake line properly

It was thought to be part of the command response, which caused somewhat
broken replies. Broken by 5c1267b97367b666bd24e6aadfd85ad3902a5b05

lib-dict: dict-sql - Add username as parameter

SQL statement caching works better when the username is provided
as parameter instead of part of the query, since the caching
can now cache same statements despite username changes.

lib-dns: Remove unused Valgrind disable

lib: Add test-fd-util.c to test i_close() panic message

cassandra: Handle cass_future_set_callback() calling callback immediately

The previous code always assumed it would be called from another thread, but
due to race conditions this wasn't true always. The lookup could have
already finished by the time cass_future_set_callback() was called, in which
case it called the callback immediately.

If the callback was called from the main thread, it still wrote to the
fd_pipe. Because this was a blocking write, it was possible that the pipe
ended becoming full, which caused the whole dict process to hang.

cassandra: Move cassandra_callback_run() earlier

Simplifies the next commit.

lib: test-event-flatten - Fix initializators for value

Older gcc complains about using anonymous members directly,
so instead use nested braces. This fixes the issue.

Continues fix in ae3c9db544c40367cded872a5f46dbd6abc8cd78

lib: Add initializers to test-event-flatten

This is to fix a compiler warning.

lib: ostream-file - Use TCP_NODELAY when uncorking, not corking

lib: ostream-file - Don't try to set TCP options after stream is closed

Flushing the buffer could close the stream and the fd.

stats: event export - Add tabescaped plain text format support

This commit adds support for format=tab-text.

Since we don't care to select a native timestamp data type, one must specify
exactly one time-* format_args token.

stats: event export - Add http-post transport support

This commit adds support for transport=http-post.

The value of transport_args is used as the HTTP POST URL.

stats: event export - Add log transport support

This commit adds support for transport=log.

The log transport ignores transport_args.

stats: event export - Add json format support

This commit adds support for format=json.

Since JSON doesn't have a native timestamp data type, one must specify
exactly one time-* format_args token.

stats: event export - Implement core functionality

The core event exporter feature.  It extends the metric { } config blocks
and adds new event_exporter { } blocks.

event_exporter EXNAME {
        format = FMT                    # required, see below
        format_args = FMTARGS           # optional, see below
        transport = TRANSPORT           # required, see below
        transport_args = TRANSPORTARGS  # optional, see below
}
metric METNAME {
        ... normal metric fields ...
        exporter = EXNAME        # required to make export happen
        exporter_include = INCS  # optional, see below
}

FMT is a string identifying which format to serialize the event into. As of
this commit, the only valid value is "none" (always the empty string).

FMTARGS is a set of tokens that tweak how certain data types are encoded. If
not specified, the format's default is used ("none" always emits empty strings
so it doesn't care what this is set to, future formats will make use of this
setting).  Currently the only possible tokens are: "time-rfc3339" and
"time-unix" - as their names imply, they format all timestamps as either
RFC3339 or Unix-style seconds since 1970-01-01 00:00:00 UTC.

TRANSPORT is a string identifying how to transport the serialized event. As
of this commit, the only valid value is "drop" which simply drops the event.

TRANSPORTARGS is a string used by the transport to tweak its behavior. The
drop transport ignores the args.

INCS is a string made up of tokens ("name", "hostname", "timestamps",
"categories", and "fields") which control what parts of an event are
exported. It can be set to any set of those (including empty set) and the
order doesn't matter.  It defaults to all 5 tokens.

lib-master: Use event_minimize() to simplify the event before sending to stats

lib: Add event_minimize()

At times, we want to simplify the structure of events before sending them to
the stats process thereby minimizing the amount of data transfered and the
amount of work the stats process has to do.  This simplification before
sending allows us to incur the CPU penalty in the (many) sending processes
instead of in the (sole & single-threaded) stats process.

Unlike the code in lib-master, this implementation flattens part of the
parent chain backwards so that parents' fields are properly overridden by
their children.  It exists in lib because it shares code with the recently
added event_flatten().

lib-master: Fix event stats test compare function arg order

The arguments were backwards.

lib: Move event filter test's event categories from stack to .data

Event categories must not be allocated on the stack.  Categories must be
accessible for the duration of the program runtime.

stats: Rename stats filter to indicate what it is for

This makes the next commit a little cleaner.

lib-master: Add a comment clarifying when events must be sent to stats

lib-master: minor refactor of stats_client_send_event()

This makes later event exporting commits cleaner.

lib: Add event_flatten() to return a flattened event

lib: replace event_copy_categories_fields() into two

It is more flexible to allow to copy only categories or only fields.

lib: fixup str_append_tabescaped()'s { placement

This makes it consistent with the rest of the file.

lib: ostream-file - Ignore ENOPROTOOPT error also when setting TCP_NODELAY

This happens in some OSes.

lib: ostream-file - Don't use TCP_CORK or TCP_NODELAY for UNIX sockets

Either they fail or just don't do anything.

virtual: Fix calling mail_add_temp_wanted_fields() before mail is set

Fixes:
Panic: file virtual-mail.c: line 123 (backend_mail_get): assertion failed: (bbox != NULL)

virtual: Fix mail.add_temp_wanted_fields() to handle headers correctly

The header that was passed to backend contained wrong index numbers, causing
wrong headers to be used.

lib-storage: Update mail_add_temp_wanted_fields() comment

lib-storage: Move code to a new mailbox_header_lookup_merge()

lib: ostream-file - Don't try to set TCP_NODELAY for non-socket fds

Also log if there are any unexpected errors.

lib-storage: Don't try to set attachment keywords if bodystructure wasn't parsed

This was broken in 057028e3f5567e21c964005ffccda1055fa86508 as there are
code paths leading here that omit bodystructure processing.

Fixes Panic: file index-mail.c: line 1150 (index_mail_parse_body_finish): assertion failed: (mail->data.parsed_bodystructure)

lib: Make sure uncorking ostream-file flushes network output immediately

TCP_CORK and TCP_NODELAY are separate things, but we'll treat them similarly
for our ostream corking API. It was always intended that all data written
inside corking would be delayed until uncork, and immediately sent
afterwards.

This change removes unnecessary extra 40ms delays, which may happen when
proxying.

doveadm: Add error_r to server_connection_create()

lib: i_zero*() - Update comment, especially about arrays

lib: i_zero*() - Remove extra "+"

It was ignored by compilers though.

doveadm-dsync: Always cleanup after connection

Go through the same error handling path every time. Fixes
Panic: file ioloop.c: line 826 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

This happened because the ioloop wasn't destroyed
on error.

doveadm-dsync: Move actual command execution to dsync_server_run_command

Simplifies next commit

lib-storage: Attachment flag detection shouldn't cause mail body to be opened

Fetching cached mail headers with
mail_attachment_detection_options=add-flags-on-save caued IMAP BODYSTRUCTURE
to be fetched as well. If it wasn't already cached, this caused opening the
mail body to generate it. Also the result wasn't added to cache, so the
inefficient behavior continued.

global: Add asserts to make static analyzers happy

doveadm dict: Make it clear that *iter_flags can't dereference NULL pointer

It's not possible to dereference it anyway, because only "doveadm dict iter"
has these iter parameters. This change fixes warnings from static analyzers.

lib-storage: Fix mail_user_home_mkdir() crash when user has no home directory

This is used only by dsync when creating lock file. It wouldn't work
without a home directory anyway.

lib: net_*() - Make sure sockaddr_union is always cleared

Fixes scan-build warnings

lib: data-stack - Make STACK_BLOCK_DATA() behavior clearer

Otherwise scan-build thinks that it's pointing outside valid memory in the
struct and gives an error:

"Memory set function accesses out-of-bound array element"

global: Change CALLBACK_TYPECHECK() to used with subtraction

This is because clang's -Wstring-plus-int gave warnings when using
"string" + CALLBACK_TYPECHECK(), but there are no warnings when using
"string" - CALLBACK_TYPECHECK(). It would have been enough to change
only the string parameters to use "-", but for consistency this commit
changes all of them.

dict: Make sure connection IO is stopped when client is disconnected

I'm not sure if this fixes anything, but it makes the behavior closer to
what it was before 2ff2da52146609f4459bd0f7fd603e13400cb85e.

dict: Fix client connection reference counting

If the client disconnected while commands were still running, the destroy
callback could have been called multiple times.

Broken by 2ff2da52146609f4459bd0f7fd603e13400cb85e

Fixes:
Panic: file dict-connection.c: line 149 (dict_connection_unref): assertion failed: (array_count(&conn->cmds) == 0)

quota: Enable program-client debug when mail_debug is enabled

Makes it easier to see that program-client actually
executed a warning script.

quota: Do not skip noenforcing and auto_update quota roots when intializing

Doing so will break quota warnings.

quota: Do not set limits to infinity when not enforcing

Fixes quota enforcement to work even if secondary quota
is noenforcing.

lib: connection - Make sure the connection name is always available.

lib-storage: maildir: maildir-copy - Fix omission of keywords while copying message with hardlinking.

lib-storage: maildir: maildir-save - Move final copying of keywords to a separate function.

submission: Remove unnecessary client.session_id

It's also available in client.user.session_id

submission: Remove duplicate %{session} from submission_logout_format handling

It already comes from mail_user_var_expand_table()

pop3: Remove unnecessary client.session_id

It's also available in client.user.session_id

pop3: Remove duplicate %{session} from pop3_logout_format handling

It already comes from mail_user_var_expand_table()

login-common: Add a comment to remember to keep login %variables synced

pop3: Remove duplicate %d from pop3_logout_format handling

The first %d was always used as intended, so this didn't actually cause any
bugs. It was confusing though.

lib: event-log - Add support for logging with log_type as a parameter.

NEWS: Add news for 2.3.6

fts-solr: Add soft_commit setting

soft_commit=yes|no: send softCommit to the solr server, default yes is backwards compatible behaviour
If setting to no autoSoftCommit on solr should be set to something reasonable (e.g. 60 seconds)
in file solrconfig.xml

fts-solr: Add batch_size configuration option

batch_size: configure the number of emails sent in single requests to solr, default 1000

fts-solr: Only increment ctx->mails_since_flush after flush

Otherwise it gets wrongly increment before flush.