imap: cmd-append - Fix assertion panic occurring upon invalid 'REPLACE 0' command

Panic was:
Panic: file mail-cache-lookup.c: line 354 (mail_cache_field_exists): assertion failed: (seq > 0)

imap: cmd-append - Properly consume message literal for invalid REPLACE message sequence

fts-solr: Fix use-after-free crash during DNS lookup

The solr_http_client singleton outlived the user session that created
it. Its event chain held a ref on the mail_storage_service_user event,
keeping it alive after the user was freed. The SETTINGS_EVENT_INSTANCE on
that event still pointed to the already-freed settings_instance. On the
next user session, dns_lookup() walked the stale event chain and
dereferenced the dangling pointer in settings_instance_get().

Fix this by using a shorter lived HTTP client.

lib-http: Calculate "other ioloop" statistics also when request wasn't sent

lib-http: Count lock and ioloop wait statistics beginning when request is queued

Previously they were counted only after the request was sent. However,
it's important to also know where time is spent while the request is still
queued.

This also fixes wrong output for lock wait statistics when the request
was never sent (e.g. DNS lookup failure).

lib-master, master: Fix inet_listener_reuse_port=yes handling

This only works properly if the listener sockets don't change and
there is always a process listening on each of the sockets.

Now master process creates the reuse_port=yes listeners for all of the
processes at startup (up to process_limit). Each child process inherits
exactly one unique listener socket based on its assigned process index.

Since with reuse_port=yes connections are assigned to a specific socket,
processes can no longer rely on other processes picking up connections when
they are full. Instead, each process is now responsible for rejecting
connections when they reach client_limit.

master: Add checks to services with inet_listener_reuse_port=yes

 * They must have process_min_avail = process_limit
 * All or none of the inet_listeners must have reuse_port=yes

Otherwise reuse_port=yes doesn't work very well.

lib-master, master: Replace inet_listener_reuse_port with service_reuse_port

All inet_listeners require the same value for reuse_port, so it's better to
be a service setting.

pop3: Fix memory leak when using DELE+RSET+DELE

This fixes a leak where calls to delete -> reset -> delete would leak memory because the
client->deleted flag is checked but the state of the client->deleted_bitmask isn't.

This removes client->deleted and uses the bitmask as a marker instead.

lmtp: Add back service_extra_groups=$SET:default_internal_group

Reverts 8ec25c24db9f1ad9be437ef266688272686daf42 for lmtp.

plugins/push-notification: push-notification-driver-ox - Remove trailing whitespace

plugins/push-notification: push-notification-driver-ox - Restore default http-client settings

This was dropped with the config-rewrite conversion.

plugins/push-notification: push-notification-driver-ox - Use settings_event_add_filter_name()

plugins/push-notification: push-notification-driver-lua - Use settings_event_add_filter_name()

plugins/push-notification: push-notification-driver-dlog - Add filter name for dlog driver

This makes this push notification driver work the same as the ox and lua ones.

plugins/quota: Use settings_event_add_filter_name()

auth: Use timing safe comparison for certificate and public key fingerprint

lmtp: lmtp-proxy - Make passdb lookup for recipient redirect asynchronous

lmtp: lmtp-proxy - Split off lmtp_proxy_rcpt_redirect_relookup_cb() from lmtp_proxy_rcpt_redirect_relookup()

This is not an actual callback yet.

lmtp: lmtp-proxy - Rename variable "ret" to "result" in lmtp_proxy_rcpt_redirect_relookup()

lmtp: lmtp-proxy - Make normal passdb lookup for recipient asynchronous

lmtp: lmtp-proxy - Split off lmtp_proxy_rcpt_user_lookup_cb() from lmtp_proxy_rcpt()

This is not an actual callback yet.

lmtp: lmtp-proxy - Drop orig_username variable in lmtp_proxy_rcpt()

lmtp: lmtp-proxy - Rename variable "ret" to "result" in lmtp_proxy_rcpt()

lmtp: Make RCPT command implementation suitable for asynchronous lookups

lib-smtp: smtp-server - Make smtp_server_command_ref/unref() public

lib-smtp: smtp-client-connection - Make sure all ioloop objects are created on the connection's ioloop

lib-dns-client: dns-lookup - Allow performing lookups on a specific ioloop

lib: connection - Retain pre-initialized ioloop

lib-auth-client: auth-master - Prevent hangs and crashes when lookups are nested

lmtp: Add debug log message indicating which backend will serve the recipient

lib-smtp: smtp-server-recipient - Add debug logging for submitted RCPT reply

lib-smtp: smtp-server-recipient - Add recipient index to event log once recipient is accepted

lib-smtp: smtp-server-recipient - Use public recipient struct as smtp_server_recipient_update_event() parameter

lib-smtp: smtp-server-reply - Fix presence of dash in smtp_server_reply_write_one_line() output

lib-smtp: Reformat smtp-server-reply.c

indexer-worker: Drop root privileges permanently

indexer-worker: Change default restart_request_count

For Pro, use default 1000 like with imap/pop3/etc processes.

For CE, use default 1 so that it works with multiple UIDs after the
following change.

Add settings history only for Pro, because with CE the old default
value might not work anymore now that root privileges are permanetly
dropped.

util: script-login - Don't allow running as root

Originally it it was forgotten to be prevented, and it was changed to be
explicitly allowed by e0dae5d76ea0a4aef849602750ce73dfae995bc8.

quota: quota-status - Don't allow running as root

Originally it it was forgotten to be prevented, and it was changed to be
explicitly allowed by e0dae5d76ea0a4aef849602750ce73dfae995bc8.

lib-auth-client: Avoid "unknown id" errors for aborted auth requests

Delay freeing aborted request until its response is received or auth server
is disconnected.

Fixes:
Error: auth-client: conn ...: Auth entication server sent unknown id ...

lib-auth-client, auth: CANCEL command now replies with CANCELLED reply

This is done when auth client protocol is >=v1.4. The CANCELLED reply is
used to free the auth request, if it still exists.

login-common: When process is full, don't destroy clients waiting on master auth

These clients have already successfully authenticated. Killing their client
is only going to cause errors.

login-common: Give better reason for auth_client_request_abort()

login-common: Remove unused client_auth_abort()

lib-master: Fix crash when reaching client_limit with restart_request_count>1 and client_limit>1

Fixes:
Panic: file master-service.c: line 1909 (master_service_listen): assertion failed: (service->master_status.available_count > 0)

lib-master, master: Fix behavior for services with client_limit>1 and restart_request_count

Especially login processes are commonly configured to use client_limit > 1
and process_limit = process_min_avail = number of CPUs. However, this
prevents using restart_request_count, because long lived connections
can reserve the process and prevent a new one from being launched.

Change the behavior so that when restart_request_count is reached for a
process whose service has client_limit > 1, the process is no longer
counted towards process_limit.

master: service_status_more() - Change status parameter to status_available_count

Simplifies the next commit.

lib-http: Count time spent in any ioloop waiting on HTTP request as "http ioloop"

Previously only http_client_wait() caused times to be counted in "http
ioloop". This isn't relevant though. The important difference is that
time spent on "http ioloop" is actually time spent on waiting for the
HTTP request, while "other ioloop" is time spent on waiting for an ioloop
without the HTTP request.

virtual: virtual_storage_create() - Deny index rather than allowing just fs

m4: want_mysql.m4 - Fix detecting SSL support with libmariadb

lib-regex: Fix memory leak when replace pattern doesn't match

lib-program-client: program-client - Assert that program_input is set in program_client_input_finish()

Even though all paths leading to this function make sure it is assigned,
Coverity is worried about it being NULL at some point (CID: 42244).

lib-json: json-istream - Assert that value_stream either both set or unset in json_istream_consume_value_stream()

This confuses Coverity otherwise (CID: 42255).

lib-http: http-server-request - Assert that response is set in http_server_request_finished()

Previous code suggested it may be NULL, which is not true.

Found by Coverity (CID: 42271)

lib-auth: auth-scram-server - Assert that hash method never gets to be NULL somehow

Stack-based buffer sizes are based on it a field in the hash method struct. An
assert is easier to debug than a segfault. Also, this makes code consistent with
auth-scram-client.

lib-auth: auth-scram-client - Check assertions earlier so that no segfault is triggered instead

Issue found by Coverity (CID: 42292)

lib-var-expand: Remove pointless assigment in var_expand_program_execute_one_real()

Forgotten from 2b8036fbb90c0c0d716ee419a5595a4328c118be

doveadm: Remove CORS headers from OPTIONS reply

lib-program-client: program-client-local - Drop any real root privileges before program execvp()

Running programs with real root privileges while the effective privileges are
user-level is risky and often unexpected.

auth: auth_request_validate_client_fp() - Ensure client certificate can be checked

lib-sasl: oauth2 - Send configured scope for failure responses

auth: sasl-mech-oauth2 - Add scope to sasl settings for failure responses

auth: db-oauth2 - Add accessor for space separated list of scopes

lib-sasl: Allow passing scope for failures

auth: Use Lua libraries conditionally in test-auth

m4: want_lua - Check that lualib header exists

NEWS: Add news for 2.4.3

lib-sql: driver-sqlite - Fail with empty query

By default SQLite happily accepts empty query, so we need to
error out.

auth: passdb-sql - Require update_query to be set when used

auth: Initialize set_credentials event properly

Fixes update_query

auth: Move passdb event lifecycle handling to auth_request_passdb_event_(begin|end)

auth: cache - Use translated username in auth_cache_remove()

lib-index: mail_index_try_read_map() - Add assert that header_size is small enough

lib-index: Fix detecting overly large mail_index_header.messages_count

The previous check overflowed the integer calculation, which prevented the
check from working correctly.

This commit also removes the unnecessary
mail_index_record_map.mmap_used_size.

doveadm: client-connection - Get API key from per-connection settings

doveadm: Use datastack for temporary b64 value

There is no need to allocate it from connection pool.

doveadm: client-connection - Use timing safe credential check

global: Use const for struct imap_parser_params params

imap-login: Limit the number of open IMAP parser lists

This prevents attackers from using a large number of '(' in a command to
grow memory usage excessively.

lib-imap: Add imap_parser_params.list_count_limit

lib-imap, global: Add params parameter to imap_parser_create()

auth: userdb sql - Fix escaping for user iteration

This is mostly a non-issue, since userdb iteration doesn't take any
untrusted input.

Broken by ef0c63b690e6ef9fbd53cb815dfab50d1667ba3a

auth: passdb sql - Fix escaping for set_credentials()

This was only used by OTP SASL mechanism after successful authentication, so
it practically couldn't be used for SQL injections.

Broken by ef0c63b690e6ef9fbd53cb815dfab50d1667ba3a

auth: Rewrite ldap_escape() with a unit test

auth: test-auth - Run Lua unit tests even when building Lua as plugin

lib-settings: settings_get_params() - Fix using provided escape_func

This fixes auth-sql and auth-ldap to actually do escaping.

auth: passdb/userdb ldap - Fix escaping ldap filter, base and bind_userdn

Broken by c2ccdab8d09dec65753ee42366f48d53d7f47cfd

auth: Make struct settings_get_params params const

lib-mail: Limit the number of RFC2231 parameters that can be parsed

This avoids excessive CPU usage especially in result_append().

fts: Remove decode2text.sh

The script is flawed and not fit for production use, should
recommend writing your own script, or using Apache Tika.

auth: Don't disconnect auth client when invalid base64 SASL input is received

The base64 input comes from untrusted client. It shouldn't cause the auth
client to disconnect, which causes other concurrent logins to be aborted.

Broken by 1486c30e191ff079bfa78e7950173bb33d8073d9

imap: test-imap-client-hibernate - Shorten test directory path

Helps to avoid errors:
net_listen_unix(.../imap-hibernate) failed: File name too long

lib-storage: mail-storage - Avoid checking new mailbox name for forbidden characters for implicit NFC rename

Since NFC normalization does not change a text to suddenly contain characters
that are forbidden in a mailbox name, the original mailbox name already
contained the forbidden characters. There is no point in forbidding the
characters in the implicit rename.

lib-dcrypt: Use clean version of cryptographic pools

Ensure blocks are safely cleaned on destruction.

auth: Use unique directory for base_dir for unit tests

Otherwise auth-token-secret.dat might get clobbered by other
tests when running in parallel.

auth: test-auth-cache - Fix error matching on older distros

lib-var-expand: Change var_expand_parameter_value to struct

lib-var-expand: Limit padding in hex and hexlify to 256 bytes

lib-var-expand: Add fuzz-var-expand-import