dsync: Fix dsync_features=no-header-hashes to match UIDs

Mails were previously assumed to be the same, even if their UIDs didn't
match. This caused the sync to misbehave in some situations.

lib-lua: Add DLUA_TABLE_STRING_SELF()

lib-dict: dict-lua - Export dovecot.dict.ITERATE_FLAG_*

lib-lua: Add DLUA_TABLE_ENUM_NOPREFIX()

lib-dict-backend: dict-sql - Implement dict_expire_scan()

dict: Add dict-expire service

If enabled with service dict-expire { process_min_avail=1 }, this service
will go through all configured dicts and delete all expired fields every
30 seconds.

lib-dict: Add dict_expire_scan()

dict-client: Fix potential crash if iteration fails to send the command

lib-lua: Fix atpanic error message with Lua threads

The function used the main thread's state for finding the error
instead of the thread-specific state.

lmtp: proxy - Add "dest_host" and "dest_ip" to lmtp recipient event

lib-dict: dict-lua - Support expire_secs parameter in dict_transaction_begin()

dict-sql: Add support for dict_op_settings.expire_secs

Add a new map { expire_field } to specify the expiration timestamp field in
sql table. This field is automatically updated when
dict_op_settings.expire_secs is used. Also when lookup/iteration sees an
expired row, it's skipped over.

dict-redis: Add support for dict_op_settings.expire_secs

dict-redis: Use %zu printf format for strlen()

dict-client, dict: Add support for dict_op_settings.expire_secs

doveadm dict set: Add -e <expire-secs> parameter

lib-dict: Add dict_op_settings.expire_secs

This may be implemented by dict drivers to provide built-in expiration.

lib-dict: Support early rollback if dict_transaction_context.error is set

lib-dict: Split off dict_transaction_rollback_run()

lib-dict*: Use named initializer for dict_vfuncs

lib-master: Use ssl_require_crl setting only for server-side SSL settings

We don't currently properly support checking CRLs when acting as SSL client.
The CRL would have to be stored as part of the CAs, which isn't commonly
done. This bug has been in the code ever since it was added in
30c5c1fc3608ae575f11960281d3e338b6bf7bc8, but it became more noticeable
with recent changes that started using lib-master for getting all SSL
client settings, e.g. 1e5324b5805bf7299cd8196f7b659fe935f027bd

config: old-set-parser - Handle CONFIG_LINE_TYPE_KEYFILE as well

This covers settings with value =< /file.

Forgotten in ff6c0588196da567197da323865821cd51af8f90

global: Remove pre OpenSSL v1.0.2 workarounds

These are also present in libressl 2.4.2

lib-dcrypt: Remove gnutls

It never worked

global: Make OpenSSL v1.0.2 mandatory requirement

m4: ssl.m4 - Modernize m4 syntax

lib-auth: Remove auth_client_cache_flush_started|finished event

This was being sent by just doveadm which isn't very useful.

doveadm deduplicate: Allocate memory properly for keys in hash table

This caused wrong mails to be deleted somewhat randomly.
Broken by 320844f50cd669b602d30210e2e5216f65d2050f

indexer: indexer_queue_append_request() - Reorganize the code for better readability

Isolate the section handling duplicated entries from the part creating creating new ones.

indexer: indexer_queue_deinit() - Assert queue->users last

In case of panic, this allows to discriminate if the mismatch is in the count
of requests between queue and queue->requests count or between queue->requests
and queue->users

indexer: indexer_queue_append_request() - Fix repeated insertions in queue->users indexer_queue(s)

The repeated insertion happens when invoking for an existing entry and
append=FALSE. At that point, the section dealing with queue->users is
erroneously executed. This will cause later a panic in indexer_queue_deinit()
due to the extra entries remaining in the table

indexer: Remove stray whitespaces

lib-fs: Remove assert for !file->writing_stream from fs_delete.

The assert is not particularly useful and disturbs obox uncertain
write objects remove attempts.

lib-storage: Add "service" field to user event

lib-storage: Override service->name with input->service when available

lib-storage: mail_storage_service_lookup_real() - Reformat very long line

lib-storage: mail_storage_service_read_settings() - Fix typo in comment

lib-storage: Remove stray whitespaces

lib: test-file-cache - Use RLIMIT_AS only if it's available

doveadm-cmd: Use PRId64 instead of %ld

int64_t is not guaranteed to be long.

doc: Use am__untar to get correct invocation across systems

Current one does not work always.

lib: ioloop-kqueue - Include time-util.h

Needed to compile on MacOS

global: Use ioloop_time32 more when ioloop_time is used as uint32_t

These were missing from 138bee2f638a53415a1729b6a9476eb342b40831.

plugins: Use container_of() in doveadm functions instead of hard casts

doveadm: Use container_of() instead of hard casts

doveadm: Remove doveadm_mail_cmd_context::full_args

doveadm: Refactor doveadm_cmd_ver2_to_mail_cmd_wrapper()

doveadm: Remove doveadm_mail_cmd_vfuncs::parse_arg

doveadm: Remove doveadm_mail_cmd_context::getopt_args

doveadm: Remove doveadm_mail_cmd_context::args

doveadm: Drop parameter args[] from doveadm_mail_cmd_vfuncs::init

doveadm: Remove ::parse_arg() and ::args from doveadm-mail.c handlers

doveadm: Remove ::parse_arg() and ::args from doveadm-dsync.c handlers

doveadm: Remove ::parse_arg() and ::args from most doveadm-mail-*.c files

plugins: Remove ::parse_arg() and ::args from doveadm handlers

doveadm: doveadm_cmd_ver2_to_mail_cmd_wrapper() - Allow v2 args parsing without parse_arg() hook

doveadm: Add doveadm_cmd_param_dump() doveadm_cmd_args_dump() debug functions

doveadm: Add flag CMD_PARAM_FLAG_KEY_VALUE (named positional parameters)

doveadm: Add doveadm_cmd_param_array_append() and doveadm_cmd_param_array_get()

doveadm: Add doveadm_cmd_param_uint64/uint32/int32()

doveadm: Add doveadm_cmd_param_flag()

doveadm: doveadm_fill_param() - Report error on invalid parameters

doveadm: doveadm_cmd_param_*() - Turn type checks into i_assert()s

Attempting to get a paramer by name with a type different from the one declared
in the command block is a logic error. The original behaviors turns that in a
"not found", which can be very misleading to diagnose.

doveadm: Split doveadm-cmd into doveadm-cmd-parse

doveadm: doveadm_cmd_expunge_ver2 - Fix .usage to reflect the actual parsed syntax

doveadm: doveadm_cmd_mailbox_cache_decision - Fix .usage to reflect the actual parsed syntax

lib: Add empty_str_array constant

doveadm: Remove command doveadm batch

No longer relevant and also in the way for next changes.

doveadm: Remove trailing whitespaces

doveadm: Assert-crash if empty referral is attempted to be sent

This shouldn't happen anymore after allocating referral from the context
pool.

doveadm: Allocate doveadm_cmd_context.referral from the context's pool

It's not safe to allocate from data stack.

doveadm: Add doveadm_cmd_context.pool

doveadm: Split off client_handle_command_ctx()

acl: acl_backend_vfile_read() - Drop unused param is_dir_r

acl: acl_backend_vfile_read_with_retry() - Drop logic for .DEFAULT

acl: acl_backend_vfile_refresh() - Drop logic for .DEFAULT

acl: acl_backend_vfile_read_with_retry() - Drop parameter global always FALSE

acl: acl_backend_vfile_refresh() - Remove stray spaces

lib-compression: istream-decompress - Copy parent stream name

This is needed, because istream-decompress doesn't actually use the parent
stream as the istream parent.

fts-flatcurve: Enforce 1st character to be non-uppercase in terms added to Xapian

backported from github xapian issue #27
A Xapian term that begins with a capital letter, like "Jim", is actually
treated by Xapian as the term "im" with the "J" prefix.
Since Xapian interally stores data ignore case, we simply enforce the 1st
letter to non-uppercase to inhibit the prefix processing.

util: Remove maildirlock

stats: stats-service-openmetrics - Always clear the stack before next metric body

If the attempt of generating output for the previous metric doesn’t completely
consume the stack, the next metric will start with a non-empty stack, which breaks
the metrics output.

doveadm: Add dsync_features=no-header-hashes

When this setting is enabled and one dsync side doesn't support mail GUIDs,
there is no fallback to using header hashes. Instead, dsync assumes that
all mails with identical IMAP UIDs contains the same mail contents. This
can significantly improve dsync performance with some IMAP servers that
don't support caching Date/Message-ID headers.

doc: Don't trigger documentation rebuild in make dist tarball

util: dovecot-sysreport - Add timestamps before/after "ps" output

Sometimes running "ps" can take a while, so make it clear in the output if
this has happened.

util: dovecot-sysreport - Wait 3 seconds between "ps" outputs

This allows showing more clearly in ps_output file whether a process is
using 100% CPU.

configure.ac: Use correct path in flex and bison checks

auth: Fix assert-crash in iterating multiple userdbs

Broken by 501e17ba6b448ba3c88338596e0e8f99f0693f79

Fixes:
Panic: file userdb-blocking.c: line 125 (userdb_blocking_iter_next): assertion failed: (ctx->conn != NULL)

doc: Remove build artifacts when bundling the distribution package

doc: Fix typo for default target

Rename the intended default target to the proper name to ensure the html
documentation is built in the default make step. Previously it ran only
when running the install target which yielded files owned by the root
user (if ran with sudo), which in turn couldn't be removed by non-root
users.

submission: Don't log write() errors that fail due to ECONNRESET

These happen only if client initialization fails.

imap: Don't log write() errors that fail due to ECONNRESET

These happen only before the client is fully initialized.

lmtp: Allow reauth to return referral

Previously reauth was required to do proxying on success. Now it can also
return "nologin" and "host" to do a referral instead.

lmtp: Add auth_ prefix to lmtp_proxy_recipient.forward_fields

This makes it easier to differentiate from lmtp_recipient.forward_fields

doveadm: Split incoming and outgoing forward_fields into separate arrays

The outgoing forward_fields should be sent to outgoing proxy connections,
but not used for reauth lookups.

doveadm: Allow reauth to return referral

Previously reauth was required to do proxying on success. Now it can also
return "nologin" and "host" to do a referral instead.

doveadm: Log an error if referral is used with non-tcp client

lib-auth: auth_proxy_parse_redirect() - Return failure if host is empty

lib-doveadm: Fix hang if read() fails from cmd_input

lib-doveadm: Log cmd_input stream name if read() from it fails