lib/datastack - remove useless thing

It was useless.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Add imapc_features=no-msn-updates

This is a stricter version of fetch-msn-workarounds. The MSNs aren't trusted
at all. This means any new untagged EXISTS and EXPUNGE replies are ignored,
as well as untagged FETCH replies that don't include UID.

A potential downside with this feature is that UID FETCH/STORE commands
sent to expunged messages will likely fail without the IMAP client being
notified of the EXPUNGEs. New mails are also not noticed, so this should
be used only when it's known that the clients don't keep the connection
open for long.

lib-storage: mail_storage_set_index_error() - handle NULL index error

This avoids assert-crashing later on in mail*_get_last_internal_error().

This could potentially be an assert instead of setting it as "BUG", but
it looks like there are various code paths in lib-index that return -1
without setting an error. (That's to avoid duplicate error logging,
although it could now be fixed with mail_index_set_error_nolog().)

lib-storage: Set index error on transaction commit() callback

The commit callback is setting errors to storage. However, it's being
called from mail_index_transaction_commit() whose callers are expecting
the error to be in index. If that index error was attempted to be used,
it could have been wrong or NULL. Fix this by setting the same storage
error also to the index.

lib-index: Add mail_index_set_error_nolog()

submission: Restructure handling of QUIT command.

- Avoid explicitly proxying QUIT command when the proxy connection is not ready: in that case the SMTP client connection will just send QUIT if appropriate, without waiting for reply.
- Add timeout for proxied QUIT command, so that there are no problems when the relay server hangs after QUIT (addresses FIXME).

submission: Dropped unused field from struct client.

submission-login: Fix pipelining of commands beyond AUTH.

The master_data_prefix was initialized wrong; it omitted the expected '\0' byte after the helo field.

submission: Initialize proxy connection before starting the SMTP server connection.

The smtp_server_connection_login() function gets pre-login connection data from login service, which can contain commands.
The execution of commands expects the proxy connection object to be initialized.

lib-smtp: client: Fix rawlog input stream inconsistency by updating streams right after initializing TLS.

Restructured the code to call a new function called smtp_client_connection_streams_changed() which performs all the necessary updates.
Before, enabling rawlog could break the TLS handshake.

lib-smtp: client: Add assertion to smtp_client_command_write().

Makes sure it is not used after the command is submitted.

lib-smtp: client: Fix smtp_client_command_name_equals() to work properly after the command is submitted.

At command submission, CRLF is appended to command data. This messed up the name comparison.
This in turn caused a spurious QUIT command to be sent to the server at connection close.

lib-smtp: client: Make smtp_client_connection_commands_abort() more reliable by copying the command lists.

Copy the current lists of queued and waiting commands and reference each command before calling smtp_client_command_abort().
Aborting one command can cause other dependent commands to be aborted (in a transaction or from submission service), which could have caused trouble in this function.

lib-smtp: client: Make smtp_client_connection_commands_fail_reply() more reliable by copying the command lists.

Copy the current lists of queued and waiting commands and reference each command before calling smtp_client_command_fail_reply().
Failing one command can cause other dependent commands to be aborted (in a transaction or from submission service), which could have caused trouble in this function.
Problems would likely occur at connection disconnect.

submission-login: Fixed handling of ssl=required for trusted connections.

Normally, SSL is not required for trusted connections (e.g. localhost), but submission-login did not follow this standard.

doveadm dump: Add "multiplex" dump type

This allows dumping all channels from istream-multiplex stream.

doveadm dump: Allow doveadm_cmd_dump.test() to be NULL

This means that there's no auto-detection for the dump type.

lib: istream-multiplex - Return error if the last packet wasn't fully read

doveadm: Fix potential crash or reading garbage from doveadm-server

The connection's input buffer may have been reallocated or otherwise moved
while checking for log input.

doveadm: Don't connect to stats-writer for the "quick init" commands

lib-master: Add master_service_init_stats_client()

This allows initializing the stats client after master_service_init() if
necessary.

lib-master: Hide connect(stats-writer) errors when running via CLI

Only hide errors that occur if the stats process isn't running, i.e. when
socket isn't found or there's no listener. This way e.g. permission errors
are still logged, which points to a wrong configuration.

auth: Fix password and scheme handling in Lua db

This was only partially fixed in c86575ac9776d0995355d03719c82e7ceac802e6

imap-old-stats plugin: Finish renaming the plugin

The init functions and dependency were named wrong, so it didn't work.

m4: Fix detecting libsodium to use LIBS instead of LDFLAGS

Patch by Eray Aslan

m4: Avoid _FORTIFY_SOURCE redefinition warnings

Some source based distros like Gentoo already enable -D_FORTIFY_SOURCE=2
by default resulting in the following warnings during build:

<command-line>:0:0: warning: "_FORTIFY_SOURCE" redefined
<built-in>: note: this is the location of the previous definition

Patch by Eray Aslan

example-config: Fix postmaster_address comment

The default value was wrong.

doveadm-server: Fix potential hangs with SSL connections

auth: Don't include LIBSODIUM_LIBS in dependencies

Put it into AUTH_LIBS among other libraries that are used by auth.

lib-auth: Require being connected before adding requests

lib-auth: Prevent double-disconnect

When disconnecting, it's possible that
disconnect gets called twice by some callback,
so protect it with a boolean.

Fixes Panic: file hash.c: line 152 (hash_table_clear): assertion failed: (table->frozen == 0)

lib-smtp: server: STARTTLS command: Call smtp_server_connection_set_ssl_streams() after calling the conn_start_tls() connection callback.

This is called instead smtp_server_connection_set_streams(), so that the connection is now marked as SSL-secured.
This fixes a submission-login bug that prevented client login when ssl=required.

lib-smtp: server: Add smtp_server_connection_set_ssl_streams().

It wraps smtp_server_connection_set_streams() and additionally marks the connection as SSL-secured.

lib-smtp: server: Change conn_start_tls() connection callback to return a success status.

man: Update version number to v2.3

lib-smtp: server: Fixed assertion in smtp_server_connection_next_reply() checking whether command is fully replied.

It did not handle LMTP DATA/BDAT command correctly, for which there can be multiple replies.

This fixes mixing local/remote recipients in LMTP, which used to crash:
Panic: file smtp-server-connection.c: line 610 (smtp_server_connection_next_reply): assertion failed: (cmd->state == SMTP_SERVER_COMMAND_STATE_READY_TO_REPLY && smtp_server_command_is_replied(cmd))

lib-smtp: server: Fix compile error in smtp-server-cmd-helo.c.

Error was:
"smtp-server-cmd-helo.c", line 140: void function cannot return value

lib-smtp: command parser: Fix error recovery.

Input characters were not skipped upon error, meaning that error recovery would encounter these again.
This would make the parser parse the same data over and over again, yielding the same error.
This in turn caused the SMTP server application to hang in an infinite input loop, submitting error replies in the process, thereby filling up the process memory until exhaustion.
Problem seen in submission service, but LMTP is also affected.

lib-smtp: server: Fix panic when disconnecting client aborting commands

This happened at least if the relay server simply disconnected without
sending any output.

Fixes: Panic: file submission-commands.c: line 39: unreached

lib-smtp: smtp_server_connection_pending_command_data() - don't crash if smtp_parser is NULL

doc: example-config: Properly document SSL configuration for submission relay server.

submission: Fix memory leaks at deinit when submission_relay_host setting is missing

lib-smtp: server: Fix panic when io_remove() is called too late

With submission-login the conn_disconnect() callback ends up in
login-common's client_disconnect(), which closes the file descriptor.
The io_remove() was done afterwards, which caused a crash:

submission-login: Panic: epoll_ctl(del, 18) failed: Bad file descriptor

lib-smtp: server: Fix infinite loop when client disconnects in initial state

old-stats plugin: Rename stats_* settings to old_stats_*

auth: Install stats plugin to old-stats/

Fixes using auth_stats=yes

lib: Fix using appended log prefixes for events when full prefix isn't replaced

lib: Fix using failure_context.log_prefix with internal log process communication

log: Add "disable log prefix" flag to log lines

lib: Add event_send()

lib: Rename event_send() to event_vsend()

lmtp: local: Properly handle a user being over quota.

Recent changes caused quota enforcement to be ineffective.

lmtp: local: Make sure pending recipient is always destroyed.

Before, the recipient was not freed when the server/connection ended prematurely.

configure: Switched version number to 2.4.devel

login-proxy: Add back support for ssl_client_cert/key

Forgot to add these while rewriting login-proxy to use lib-ssl-iostream.

lib-ssl-iostream: If allow_invalid_cert=TRUE, skip verifying hostname

lib-master: Fix master_service_ssl_settings_to_iostream_set() for client settings

ssl_verify_client_cert setting applies only to server side. For client side
we always verify the SSL certificate validity.

lib-http: Add http_client_init_private()

This allows creating a HTTP client without a shared context, in case it's
needed for some reason.

lib-http: Change http_client_init() to use the global shared client context

This is most likely what is usually wanted.

lib-http: Add http_client_get_global_context()

lib: array_idx_modifiable changed not to allocate space.

global: Change calls to array_idx_modifiable to array_idx_get_space.

Only calls that require space allocation are to be changed.

lib: array_idx_get_space is defined as alias to array_idx_modifiable

fts: Code cleanup

fts: Don't try to retry parsing if indexing already fails

fts: Use consistent naming for retriable_err_msg

It's only for retriable errors, not errors in general

fts: Make sure may_need_retry is reset between attempts.

It wasn't if the second attempt failed early.

fts: Add assert to make sure fts_parser.deinit() returns retriable_error_msg when needed

fts: fts-parser-tika - Add assert to make sure retriable_error_msg is set

fts: fts-parser-script - Fix deinit return value

fts: fts-parser-html - Fix deinit return value

fts: fts_parser_deinit() - Fix default return value

fts: Add comment to fts_parser_deinit() describing its API

lib: Fix static analyzer warning about uninitialized va_list

lib-storage: Delay error handing for invalid postmaster_address setting

cassandra: Fix crash when using prepared statements

Broken by cae3c6903c10682429f9849ab1a25093e3f538e4

*-login: Avoid unnecessary "OK Waiting for authentication process to respond"

These happened with SSL connections when the process was starting up.
The ssl-istream was triggering the IO callback, which was thinking that the
client was sending a command. If this happened early on before auth process
connection was finished, this caused several unnecessary notifications to
the client.

global: Finish fixing oldstats plugin/service rename

lib-http: client: Check whether client is running in a wait loop with the correct condition.

This used to check client->ioloop != NULL, but now it should check client->waiting.
Previous commit (e8a1b62fe4a81b211dcccd1a58b44f254074eab6) omitted a few instances where this should have been changed.

lda: Do not replace the NULL sender with a default <MAILER-DAEMON> address.

Only do this substitution locally where a NULL sender would cause problems, not everywhere else.
This e.g. causes problems when determining whether to send a rejection somewhere; attempts would be made to mail <MAILER-DAEMON>.
Also other envelope-based (Sieve) tests would get confused.

lib-lda: Properly check whether MAIL FROM is the NULL sender <>.

There's a function for that, since comparison with NULL pointer is not sufficient.

lib-master: stats-client - Fix reconnection if handshake wait fails

Fixes:
Warning: Timeout leak: 0x5555556ac8d0 (stats-client.c:132)

submission-login: Fix another NULL dereference occurring at an invalid reply from the backend server.

The text variable was still being used when it could be NULL. Made the offending code dependent on the reply validity check.

Problem found by Coverity.

oldstats plugin: Fix init/deinit function names

lib-storage: mailbox_list_index - Don't overwrite INBOX's flags with prefix/INBOX's

This made the real INBOX appear as if it was \NoSelect

lib-storage: mailbox_list_index - indentation cleanup

lib-storage: mailbox_list_index - List prefix/INBOX if it necessary

LAYOUT=fs: Fix listing prefix/INBOX

Removed some confusing special case code that didn't seem to work very well.
Implemented this now properly so that prefix/INBOX is listed as \NoSelect
mailbox whenever it has children.

It's not actually possible to differentiate between INBOX and prefix/INBOX
in the storage for a inbox=yes namespace, because they both are converted
into the same storage_name=INBOX.

LAYOUT=fs: List INBOX as \NoInferiors when necessary

LAYOUT=index: List INBOX as \NoInferiors when necessary

LAYOUT=Maildir++: List INBOX as \NoInferiors when necessary

lib-storage: Add mail_namespace_is_inbox_noinferiors()

imapc: Don't skip listing "INBOX" when INBOX/ namespace prefix is used.

The INBOX was still listed as part of the autocreated mailboxes, unless
MAILBOX_LIST_ITER_NO_AUTO_BOXES was used.

lib: mempool-allocfree - make static analyzer happier with pool clearing

It was thinking that already freed memory was being accessed.

dbox: Fix creating dbox-alt-root symlink when mail root directory doesn't exist

Broken by 74664ac6dcf88cfc2ae6378c87c20ba694385a23

lib-http: client: peer: Properly handle claiming an existing connection.

If no other connections were being created, request handling was not restarted.
This problem sometimes caused the client to hang.
Fixed by calling http_client_peer_connection_success() upon claiming an existing connection.

lib-http: test-http-payload: Terminate the test if it is hanging for some reason.

lib-http: test-http-payload: Amend shared client tests to do both download and echo tests.

Also, the original download tests were named wrong.

lib-http: test-http-payload: Fixed indent problems.

doveadm stats dump: Add -r parameter to reset stats after dumping