lib-master: Unit test for sending events to stats.

lib-master: ipc-client: Don't free command too early

When multiple replies were received by IPC only the final reply should free
the command. This may have caused e.g. "doveadm proxy list" to crash.
Broken by 435f0545b200767c25a5daee17cd6b4998d03710

dbox: cache pop3 order and uidl when saving mails

lib-storage/index: Add a helper to cache pop3 order and uidl

global: Use uint32_t for pop3 order

lib-ssl-iostream: If certificate check fails, suggest checking ssl ca settings

lib-ssl-iostream: Always fall back to default CAs for client contexts

When creating a client context, we always try to load the default
CA, if no CA settings have been provided. This makes it also possible
to allow invalid certs without specifying ssl_client_ca settings,
and also makes dovecot trust system store by default for outgoing
connections.

lib-smtp: client: Make the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream. In a similar HTTP client issue, this caused a segfault.

lib-http: client: Fix segfault by making the initialization of the connection after SSL handshake reliable.

Before, the connection was not guaranteed to be fully initialized after the SSL
handshake. The problem would occur when the handshake finished while writing the
SSL output stream.

doveadm-auth-server: Fix cmd_list output to use JSON

Fixes output for HTTP client

doveadm-auth-server: Do not use i_fatal on user listing error

Breaks error reporting to HTTP client

lib-smtp: reply-parser: Fix closing the text_lines array with NULL sentinel.

For (EHLO) replies with more than 7 lines, the text_lines array of the reply did
not end in NULL, causing a segfault.

lib-storage: Change default postmaster_address setting to "postmaster@<user domain or server hostname>".

The former "postmaster@<user domain>" default would only yield a valid
postmaster address when there is a domain part in the username. The new default
uses a conditional variable expansion choose "%d" when it is not empty and the
new "%{hostname}" otherwise.

lib-storage: mail-user: Add "%{hostname}" variable expansion.

lib-storage: mail-user: Add convenience functions for obtaining postmaster address.

lib-storage: Move postmaster_address setting from mail_storage_settings to mail_user_settings.

imap-login: Remove extra '+' from state strings in log output

If multiple outgoing commands were in progress, the state should have
said e.g. "state=capability+login", not "state=capability+++login".

director: Add assert to make sure doveadm connection's IO isn't added multiple times

doveadm: Make sure to stop running commands requiring synced ring when ring is no longer synced

A command could desync the ring, and no more commands should be run
afterwards.

This also fixes a bug where a command that desyncs the ring is supposed to
wait for the ring being synced before returning OK, but returns it
immediately instead.

global: Don't try to send stats from unit tests

lib: i_zero*() - Give compiler error if it's wrongly used on an array

lib-master, auth: Fix clearing memory

It doesn't look like these being wrong were causing any bugs.

doveadm stats dump: Fix potentially not writing all stats output

It depended on whether uninitialized stack memory was 0 or not.

man, doveadm: Rename "mailbox cache compress" to "mailbox cache purge"

The "compress" word makes it sound like e.g. zlib compression. The "purge"
word is used for a similar behavior with mdbox purging.

lib-http: test-http-client-errors: Address another reliability issue in "peer reuse failure" test.

lib-http: response: Add convenience functions for status evaluation.

lib-sql: Fix wrong sql_query_finished_event() success parameter use

driver-sqlite: Don't give false out of memory errors

Only log error from sqlite3_errmsg() when connected to the db, since
otherwise dovecot logs false "out of memory" errors.

driver-sqlite: Fix crash and event leak in driver_sqlite_query_s()

driver-sqlite: Add error to sql_query_finished event on error

driver-pgsql: Add error to sql_query_finished if it fails

driver-cassandra: Add error to sql_query_finished event on error

util: Fix compile with tcpwrap

lib-smtp: server: Change command hooks API to allow many parallel hooks with individual context.

This e.g. allows many server plugins to hook into command execution without
interfering with eachother.

push-notification: Fix initializing push notification mailbox triggers

None of the mailbox triggers were working, since the transaction was
not being correctly initialized.

driver-sqlite: Assign db in driver_sqlite_exec()

This fixes a crash.

stats: Wait for clients to disconnect at shutdown

global: Replace MASTER_SERVICE_FLAG_SEND_STATS with _DONT_SEND_STATS

Most services want to send statistics, so it's better to reverse the flag
behavior. Mark the few services that don't want stats with
MASTER_SERVICE_FLAG_DONT_SEND_STATS.

master: Start service processes only after adding all service listeners

Otherwise the processes could try to connect to services that aren't being
listened on, causing errors. Especially stats-writer socket needs to be
available early on.

lib-storage: Don't try to deserialize bodystructure if we already have it

Fixes:
Panic: file message-part-data.c: line 37 (message_part_data_is_plain_7bit): assertion failed: (data != NULL)

lib-storage: Simplify an assertion condition

Since the i_assert() is guarded by a check for save_bodystructure_header
being true, the whole condition can be simplified.

lib-storage: Don't try to process header if we haven't parsed the body structure

Fixes:
Panic: file index-mail-headers.c: line 294 (index_mail_parse_header): assertion failed: (part != NULL)

lib-http: client: peer: Log the number of pending connections consistently in relevant debug messages.

Use the same style everywhere and log it where it makes sense.

lib-http: client: peer: Maintain a list of connections pending on behalf of a peer.

Before, pending connections were only listed in the peer pool.

lib-http: client: connection: Unlist the connection as pending immediately in http_client_connection_failure().

lib-http: client: connection: Remove the connection from the peer pool pending list in a separate function.

lib-http: client: peer: Notify all peers in a peer pool about a successful connection.

This allows peers for which the last connection attempt failed (which was not
the last pending attempt in the pool) to try again. This solves a problem that
could potentially cause a hang with multiple parallel clients creating serveral
new connections at once.

lib-http: client: peer: Add debug message for http_client_peer_connection_failure().

lib-http: client: peer: Clarify debug message in http_client_peer_connection_failed_pool().

lib-http: client: peer: Log debug message before calling peer pool in http_client_peer_connection_success().

lib-http: client: peer: Rename http_client_peer_connection_failed_any() to http_client_peer_connection_failed_pool().

lib-http: client: peer: Always run http_client_queue_connection_failure() upon definitive connection failure.

The recorded peer->connecting flag was highly unreliable in a scenario involving
starting parallel connections. This way, the linked queues can update their
state accordingly. Also, this will not cause empty queues to initiate new
connection, because empty queues will do nothing after updating the connection
state.

This problem caused a client ioloop hang in high-load conditions.

lib-http: client: peer: Move http_client_peer_connection_failure().

lib-http: client: queue: Do not fail claimed requests unless the queue is being destroyed.

Before, connection failure would also abort requests already being sent on
another connection, which is premature at best.

lib-http: client: queue: Fix the number of pending requests listed in http_client_queue_connection_failure() debug message.

lib-http: client: peer: Determine number of pending peers in http_client_peer_shared_connection_failure() itself.

Before, the number of pending peers was a parameter, but that was only for a
single peer pool. This is wrong, since the one peer can have many different
pools (depending on how many clients with incompatible configs share this
peer).

lib-http: client: peer: Notify definitive connection failure only within a peer pool.

Other peer pools have different configuration, which may actually succeed and
will arrive at this point when their own connections fail anyway.

driver-sqlite: Fix event usage in driver_sqlite_exec

Broken in 850f874971a7afa4f1f7b47df37fca082dc415a1

pop3: Do not expunge \Deleted mails without QUIT

Prevents loss of email if connection
is unexpectedly terminated.

lib-sql: Do not create event for old drivers

They can't use it anyways

lib: Test event category parent matching

driver-sqlpool: Only strdup error on error

Satisfies static analyzers

driver-sqlite: Document why rollback is called when commit fails

driver-cassandra: Add events

driver-pgsql: Add events

driver-sqlite: Add events

driver-mysql: Add events

driver-sqlpool: Add events

lib-sql: Add events

auth: Use sql_init_full

global: Replace sql_db_cache_new with sql_db_cache_new2

dict-sql: Use sql_db_cache_new2

lib-sql: Add sql_db_cache_new2 that uses the new sql_init_full initializer

driver-cassandra: Add init_full

driver-cassandra: Return error from connection string parser

driver-cassandra: Add driver_cassandra_free

driver-pgsql: Add init_full

driver-pgsql: Add driver_pgsql_free

driver-sqlite: Add init_full

driver-mysql: Add init_full

driver-mysql: Allocate mysql connection ourselves

This allows reusing the same mysql object on reconnect,
and simplifies cleanup in case initialization fails.

driver-mysql: Return error in connection string parser

driver-sqlpool: Add driver_sqlpool_init_full

Needed by SQL API change

driver-sqlpool: Use init_full when available

lib-sql: Add init_full vfunction

driver-sqlite: Whitespace fix

auth: Add db_ prefix to sql in db-sql

Prevents clash with lib-sql

lib-master: Fix crash when stats events are merged all the way to the root

lib-master: stats_event_get_merged() - Remove unnecessary variable assignment

Fixes scan-build complaint.

lib: Move log type to be written before appended log prefix

This changes the logging format back to how it used to be before the event
logging changes.

lib: Add failure_context.log_prefix_type_pos

If non-zero, this specifies where the log type (e.g. "Info: ") is written
within the log prefix. By default it's appended.

lib, log: Add log prefix length to internal logging protocol

This way log process knows which part of the text is the log prefix, and
which part is the logged text.

log: Move data stack frame allocation to parent function

This simplifies the next commit, which requires data stack nearly always
when logging. The data stack frames are cheap enough that we don't really
need to optimize for avoiding the cases when they're not needed.

log: Avoid unnecessary global log prefix changes

If the context specifies a log prefix, the global prefix isn't going to be
used.

lib: failures - Use common log_prefix_add() for default and syslog formatters

lib: Add unit test for event log prefix handling

Some of the tests are commented out until they're fixed in a following
commit.

lib: failures - Move adding LF from default_format() to default_write()

This makes it similar to internal_format/write()

lib: Move failure handler structs and typedefs to failures-private.h

Also change the function typedefs to be non-pointers, like they usually are
in Dovecot code.

lib: Make failure handler variables static

lib: Rename handler_config variable to failure_handler

It's a global variable, so it needs to have a proper prefix.