lib-smtp: Reformat smtp-server-reply.c

indexer-worker: Drop root privileges permanently

indexer-worker: Change default restart_request_count

For Pro, use default 1000 like with imap/pop3/etc processes.

For CE, use default 1 so that it works with multiple UIDs after the
following change.

Add settings history only for Pro, because with CE the old default
value might not work anymore now that root privileges are permanetly
dropped.

util: script-login - Don't allow running as root

Originally it it was forgotten to be prevented, and it was changed to be
explicitly allowed by e0dae5d76ea0a4aef849602750ce73dfae995bc8.

quota: quota-status - Don't allow running as root

Originally it it was forgotten to be prevented, and it was changed to be
explicitly allowed by e0dae5d76ea0a4aef849602750ce73dfae995bc8.

lib-auth-client: Avoid "unknown id" errors for aborted auth requests

Delay freeing aborted request until its response is received or auth server
is disconnected.

Fixes:
Error: auth-client: conn ...: Auth entication server sent unknown id ...

lib-auth-client, auth: CANCEL command now replies with CANCELLED reply

This is done when auth client protocol is >=v1.4. The CANCELLED reply is
used to free the auth request, if it still exists.

login-common: When process is full, don't destroy clients waiting on master auth

These clients have already successfully authenticated. Killing their client
is only going to cause errors.

login-common: Give better reason for auth_client_request_abort()

login-common: Remove unused client_auth_abort()

lib-master: Fix crash when reaching client_limit with restart_request_count>1 and client_limit>1

Fixes:
Panic: file master-service.c: line 1909 (master_service_listen): assertion failed: (service->master_status.available_count > 0)

lib-master, master: Fix behavior for services with client_limit>1 and restart_request_count

Especially login processes are commonly configured to use client_limit > 1
and process_limit = process_min_avail = number of CPUs. However, this
prevents using restart_request_count, because long lived connections
can reserve the process and prevent a new one from being launched.

Change the behavior so that when restart_request_count is reached for a
process whose service has client_limit > 1, the process is no longer
counted towards process_limit.

master: service_status_more() - Change status parameter to status_available_count

Simplifies the next commit.

lib-http: Count time spent in any ioloop waiting on HTTP request as "http ioloop"

Previously only http_client_wait() caused times to be counted in "http
ioloop". This isn't relevant though. The important difference is that
time spent on "http ioloop" is actually time spent on waiting for the
HTTP request, while "other ioloop" is time spent on waiting for an ioloop
without the HTTP request.

virtual: virtual_storage_create() - Deny index rather than allowing just fs

m4: want_mysql.m4 - Fix detecting SSL support with libmariadb

lib-regex: Fix memory leak when replace pattern doesn't match

lib-program-client: program-client - Assert that program_input is set in program_client_input_finish()

Even though all paths leading to this function make sure it is assigned,
Coverity is worried about it being NULL at some point (CID: 42244).

lib-json: json-istream - Assert that value_stream either both set or unset in json_istream_consume_value_stream()

This confuses Coverity otherwise (CID: 42255).

lib-http: http-server-request - Assert that response is set in http_server_request_finished()

Previous code suggested it may be NULL, which is not true.

Found by Coverity (CID: 42271)

lib-auth: auth-scram-server - Assert that hash method never gets to be NULL somehow

Stack-based buffer sizes are based on it a field in the hash method struct. An
assert is easier to debug than a segfault. Also, this makes code consistent with
auth-scram-client.

lib-auth: auth-scram-client - Check assertions earlier so that no segfault is triggered instead

Issue found by Coverity (CID: 42292)

lib-var-expand: Remove pointless assigment in var_expand_program_execute_one_real()

Forgotten from 2b8036fbb90c0c0d716ee419a5595a4328c118be

doveadm: Remove CORS headers from OPTIONS reply

lib-program-client: program-client-local - Drop any real root privileges before program execvp()

Running programs with real root privileges while the effective privileges are
user-level is risky and often unexpected.

auth: auth_request_validate_client_fp() - Ensure client certificate can be checked

lib-sasl: oauth2 - Send configured scope for failure responses

auth: sasl-mech-oauth2 - Add scope to sasl settings for failure responses

auth: db-oauth2 - Add accessor for space separated list of scopes

lib-sasl: Allow passing scope for failures

auth: Use Lua libraries conditionally in test-auth

m4: want_lua - Check that lualib header exists

NEWS: Add news for 2.4.3

lib-sql: driver-sqlite - Fail with empty query

By default SQLite happily accepts empty query, so we need to
error out.

auth: passdb-sql - Require update_query to be set when used

auth: Initialize set_credentials event properly

Fixes update_query

auth: Move passdb event lifecycle handling to auth_request_passdb_event_(begin|end)

auth: cache - Use translated username in auth_cache_remove()

lib-index: mail_index_try_read_map() - Add assert that header_size is small enough

lib-index: Fix detecting overly large mail_index_header.messages_count

The previous check overflowed the integer calculation, which prevented the
check from working correctly.

This commit also removes the unnecessary
mail_index_record_map.mmap_used_size.

doveadm: client-connection - Get API key from per-connection settings

doveadm: Use datastack for temporary b64 value

There is no need to allocate it from connection pool.

doveadm: client-connection - Use timing safe credential check

global: Use const for struct imap_parser_params params

imap-login: Limit the number of open IMAP parser lists

This prevents attackers from using a large number of '(' in a command to
grow memory usage excessively.

lib-imap: Add imap_parser_params.list_count_limit

lib-imap, global: Add params parameter to imap_parser_create()

auth: userdb sql - Fix escaping for user iteration

This is mostly a non-issue, since userdb iteration doesn't take any
untrusted input.

Broken by ef0c63b690e6ef9fbd53cb815dfab50d1667ba3a

auth: passdb sql - Fix escaping for set_credentials()

This was only used by OTP SASL mechanism after successful authentication, so
it practically couldn't be used for SQL injections.

Broken by ef0c63b690e6ef9fbd53cb815dfab50d1667ba3a

auth: Rewrite ldap_escape() with a unit test

auth: test-auth - Run Lua unit tests even when building Lua as plugin

lib-settings: settings_get_params() - Fix using provided escape_func

This fixes auth-sql and auth-ldap to actually do escaping.

auth: passdb/userdb ldap - Fix escaping ldap filter, base and bind_userdn

Broken by c2ccdab8d09dec65753ee42366f48d53d7f47cfd

auth: Make struct settings_get_params params const

lib-mail: Limit the number of RFC2231 parameters that can be parsed

This avoids excessive CPU usage especially in result_append().

fts: Remove decode2text.sh

The script is flawed and not fit for production use, should
recommend writing your own script, or using Apache Tika.

auth: Don't disconnect auth client when invalid base64 SASL input is received

The base64 input comes from untrusted client. It shouldn't cause the auth
client to disconnect, which causes other concurrent logins to be aborted.

Broken by 1486c30e191ff079bfa78e7950173bb33d8073d9

imap: test-imap-client-hibernate - Shorten test directory path

Helps to avoid errors:
net_listen_unix(.../imap-hibernate) failed: File name too long

lib-storage: mail-storage - Avoid checking new mailbox name for forbidden characters for implicit NFC rename

Since NFC normalization does not change a text to suddenly contain characters
that are forbidden in a mailbox name, the original mailbox name already
contained the forbidden characters. There is no point in forbidding the
characters in the implicit rename.

lib-dcrypt: Use clean version of cryptographic pools

Ensure blocks are safely cleaned on destruction.

auth: Use unique directory for base_dir for unit tests

Otherwise auth-token-secret.dat might get clobbered by other
tests when running in parallel.

auth: test-auth-cache - Fix error matching on older distros

lib-var-expand: Change var_expand_parameter_value to struct

lib-var-expand: Limit padding in hex and hexlify to 256 bytes

lib-var-expand: Add fuzz-var-expand-import

lib-var-expand: Harden program import

lib-var-expand: Use value for error in var_expand_parameter_bool_or_var()

lib-var-expand: Check that modulo is positive in special case for fn_calculate()

lib-var-expand: Fix delayed error handling

Broken by 2b8036fbb90c0c0d716ee419a5595a4328c118be

lib-mail: translation_buf_decode() - Fix comments

lib-mail: Fix another potential assert-crash when parsing illegal charset translation sequence

The fix in 110c19e44e95be6b6d2b09cf994ce5b502c8dd8c was incomplete.

lib-http: Limit chunked transfer trailer size

The HTTP chunked transfer parser (`http_transfer_chunked_parse_trailer`)
previously instantiated a header parser for the trailer without applying
any header limits, leading to potential resource exhaustion.

feat: Add IMAP4rev1 capability check to imap-login proxy

The imap-login proxy now checks if the remote server advertises the IMAP4rev1 capability. If the capability is not found, the proxying will fail with an error message.

lib-var-expand: Initialize providers to NULL

Satisifies older compilers

login-common: Add some unit tests

login-common: Create clients using master_service event

login-common: Use var_expand_template() to simplify logging

lib-var-expand: Add var_expand_program_to_string()

lib-var-expand: Add var_expand_program_has_variable()

Checks if the program has variable.

lib-var-expand: Add var_expand_program_template|split()

These functions can be used to separate literals and actual programs
from a expansion program, this can be useful when template needs
to be processed for SQL queries or similar purposes.

lib-var-expand: Add var_expand_program_execute_one()

Executes first program in expansion program.

lib-var-expand: Extract var_expand_program_execute_one_real()

Executes one expansion program.

lib-var-expand: Extract prepare_state()

lib-var-expand: Add small description to header

lib-var-expand: Reformat expansion-program.c

lib-dict-extra: Escape paths in username for private dict keys

Prevent path traversal issues in username when doing dict lookups with
private dict keys.

lib-dict-extra: test-dict-fs - Parametrize username testing

This will allow testing path traversal behavior in a follow-up commit.

lib-mail: Fix potential assert-crash when parsing illegal charset translation sequence

The assert was added by 7aad885a21e7b3832fa98f41613097383603929f

lib: UNICODE_*_CHAR_UTF8_LEN - Remove extra ; from macros

lib-var-expand: Reduce truncated buffer size only if necessary

lib-storage, imap: Fix token authentication when re-hibernating IMAP session

Preserve the original session's PID as auth_token_session_pid in userdb
fields next to auth_token field.

imap: Add logging details for auth tokens

auth: Add debug logging for auth token details

imap-hibernate: Explicitly copy individual state fields

This should reduce accidentally forgetting to strdup() some of the added
fields. Also it was confusing because mail_log_prefix was intentionally
not strdup()ed but the pointer was still copied.

imap: Fail hibernation early if auth_token is missing for user

lib-dcrypt: Use provided algorithm in dcrypt_openssl_digest()

Broken in 7dee2781943863ebebd9d8ee8602a0e97ff094a8

lib-settings: settings-history-core.txt - Add missing imap-master socket history

Forgotten in aaadfd97448c79310264e696ecf50f223cf3ff78

lib-settings: settings-history-core.txt - Fix anvil-auth-penalty history

Broken by a42c7271006750775b6751aa1b98242595e696b3

lib-dcrypt: Require encryption key hash length to match hash algorithm

fs-posix: Implement file_equals()