lib-doveadm: doveadm_client_cmd() - Don't close cmd_input after reading it

The caller may want to use cmd_input for other purposes as well.

lib-doveadm, doveadm: Add and use enum doveadm_protocol_cmd_flag

doveadm: Fail cleanly if referral host is empty

doveadm: Allow proxy redirects with hostnames when doing reauth

login-common: Allow reauth to return referral

Previously reauth was required to do proxying on success. Now it can also
return "nologin" and "host" to do a referral instead.

login-common: Allow proxy redirects with hostnames when doing reauth

login-common: Add debug logging when doing reauth

login-common: Send forward_* fields to reauth requests

login-common: Don't require "pass" field for reauth proxy requests

The pass is already known, and even if it was returned the current code
wouldn't use it.

m4: Fix flex/bison check for out-of-tree builds

global: Remove wiki from packaging

doc/example-config: Replace wiki references with web documentation

m4: Use documentation project in build pipeline

To replace the wiki as the main documentation in the distribution
package the documentation project needs to be pulled into this project
in a build step. This commit checks the environment (e.g. python/venv)
and downloads/builds the documentation for packaging.

m4: Rename BUILD_DOCS to INSTALL_DOCS

This communicates more clearly that the docs are packaged and installed
and not merely built.

general: Replace online wiki references

For all wiki references that have a currently available documentation
page, replace the link to them appropriately.

lib-master: master-service-haproxy - Correctly align memory

Previous version caused type punning warnings.

lib-master: master-service-haproxy - Remove unnecessary initialization

lib-master: Use pointer for haproxy data

Data does not need to be copied.

Fixes static analyser complaint about writing to const fields.

doveadm-mail-mailbox-cache: Replace indentation spaces with tab

doveadm: Distinguish error status of doveadm_mail_iter_init()

Make doveadm_mail_iter_init() return different status codes depending on
whether the mailbox exists or not to fix a crash when calling `doveadm
mailbox cache remove` with an invalid/non-existing mailbox.

run-test-valgrind.supp: Suppress iconv open failure with EUC-JP.so

lib-dict-backend: Fix crash when accessing shared dict keys with NULL username

director: Use time_to_uint32() to cast time_t to unsigned int where needed

director: Use ioloop_time32 when ioloop_time is used as unsigned int

global: Use time_to_uint32_trunc() to cast time_t to uint32_t where needed

This addresses Coverity complaints.

global: Use time_to_uint32() to cast time_t to uint32_t where needed

This addresses Coverity complaints.

global: Use ioloop_time32 when ioloop_time is used as uint32_t

lib: Add time_to_uint32() and time_to_uint32_trunc()

time_to_uint32() asserts the time_t value fits in uint32_t and
time_to_uint32_trunc() truncates the value.

fts-flatcurve: Fix unused parameter warning

master: Assume service is successful if its process has existed for 10 seconds

master code has a special check to start throttling services that are
rapidly dying and have never had any successful exits. However, this exit
check is a bit bad for services whose processes are supposed to never
exit. So if a service has a process that exists for at least 10 seconds
and has initial status notification sent, handle it the same as if the
service had already once exited successfully.

lib-master: Wait for initial status notification write to finish before continuing

Otherwise if the process dies early, master might think the service is
broken and start throttling it. This would only happen if the initial
write() failed with EAGAIN, meaning master was very busy and didn't have
time to read all the notification pipes.

lib-master: If status write() fails permanently, remove IO_WRITE handler

This prevents rapidly looping to the function in case the IO is set.

master: Add comment about services flooding status notifications

lib-storage: mbox_read_from_line() - Check size given to mbox_from_parse() is positive

This addresses a Coverity complaint.

fts: Fix optimizing searches in virtual mailboxes without up-to-date indexes

This could have caused header searches in virtual mailboxes to not return
all results when fts_enforced!=yes

Broken by 9705b81fb51b5bdeaba12932a390ced2cc9dcad7

fts-flatcurve: Fix for checks assuming errno faults are negative

fts-flatcurve: fts_flatcurve_xapian_mailbox_stats() - Add i_assert() on x->db_read

Found by coverity, but it seems to be a false catch

fts-flatcurve: fts_flatcurve_database_locate_dir() - Fix leak on readdir() faults

fts-flatcurve: Fix signedness of elapsed variable

fts-flatcurve: fts_flatcurve_xapian_db_populate() - Fix missing error_r value on failure

fts-flatcurve: fts_backend_flatcurve_rescan_box() - Fix missing error_r value on failure

fts-flatcurve: Remove unused variables

fts-flatcurve: fts_flatcurve_xapian_rename_db() - Cleanup redundant stuff and make code more readable

fts-flatcurve: fts_flatcurve_xapian_optimize_box_do() - Drop redundant struct flatcurve_xapian_db_path *newpath

fts-flatcurve: cmd_fts_flatcurve_mailbox_run() - Fix NULL check on fuser after pointer has been already dereferenced

Found by Coverity

lib: Fix for clang Wstrict-bool pragma failing on unpatched clang

Note that clang recognises GCC diagnostic pragmas too,
so there is no need for distinct pragmas in this case

quota: Fix for clang -Wstrict-bool clashing with #include <rpc/rpc.h>

m4: adding check for clang -Wstrict-bool availability

lib: write-full - Assert size <= SSIZE_T_MAX

Giving such big size parameters to these functions is almost certainly a
bug, and does not need to be supported. This also fixes a Coverity
warning that such a big size parameter given to write() is suspicious.

lib: read-full - Assert size <= SSIZE_T_MAX

Giving such big size parameters to these functions is almost certainly a
bug, and does not need to be supported. This also fixes a Coverity
warning that such a big size parameter given to read() is suspicious.

lib-lua: dlua-dovecot-http - Support more settings with HTTP client

lib-http: Rename max_auto_retry_delay to max_auto_retry_delay_secs

configure.ac: want_flatcurve - Change to want_flatcurve=auto, accept Xapian only if version >= 1.4

fts-flatcurve: Add doveadm plugin

fts-flatcurve: Add xapian-based FTS plugin

configure.ac: Take extra CXXFLAGS from EXTRA_CFLAGS

lib: struct file_lock_settings - Swap inverted comments

man: Remove fts-lucene in doveadm dump page

lib: net - Change ip to ip_r in net_addr2ip()

Coding style fix

lib: net - Set port only with known address families in sin_set_port()

lib: net - Set ip before port in net_listen_full()

sin_set_ip() sets address family which is required in sin_set_port().

In linux, sin_port and sin6_port are in same place of the sockaddr union,
so previous use did not break anything.

lib: net - Constify some pointers

lib: net - Use result from getaddrinfo() without copying

Fixes scan-build complaint.

Broken in dd7aacc76da40b24451b40b7c0429807d0345be8

doveadm dict set/unset/inc: Add -t timestamp parameter

lib-dict, last-login: Moved no_slowness_warning into dict_op_settings

Now that we have such op-specific settings, it makes no sense having a
separate function for this.

lib-dns, lib-lua: Add initial support for using lib-dns via Lua

For now only dns_client:lookup(host) is implemented. The dns_client is
expected to be provided by the calling C code.

lib-lua: test-dict-lua - Fix error handling

lib-dns: dns_lookup*() - Assert that at least one IP is returned on success

lib: net_gethostbyname() - Assert that at least one IP is returned on success

auth: auth_worker_call() - Return void instead of the connection

The return value is no longer necessary, and it most likely would just be
used wrong.

auth: Fix crash when user iteration request is queued

auth_worker_call() returns NULL when the request couldn't be handled
immediately, which would result in NULL pointer dereference later on.

auth: Add connection parameter to auth_worker_callback_t

auth: Fix assert-crash when handling user iteration in busy auth-workers

The auth process crashed during user iteration if some auth requests were
also queued.

Broken by f591498845fd7b5e11f1085b6e1f5e34dcc84767

Fixes:
Panic: file auth-worker-connection.c: line 128 (auth_worker_request_send): assertion failed: (worker->request == NULL)

doveadm: Fix hang when flushing a corked print-ostream

This could have happened at least with doveadm sync/backup command,
i.e. causing replication to hang until timeout is reached:

Error: write(<local>) failed: Timed out after 60 seconds

lib: macros - Remove VA_COPY handling

Should just use VA_COPY from config.h

lib: net - Remove WIN32 usage

This is not useful for anything.

lib-smtp: smtp-parser - Use net_addr2ip() to parse IPv6 addresses

lib: uri-util - Use memchr() instead of for-loop

lib: uri-util - Use net_addr2ip() to parse IPv6

lib-ssl-iostream: Use net_addr2ip() to validate IP address in address verification

lib: net - Add more tests for net_addr2ip()

lib: net - Remove is_ipv4_address() and is_ipv6_address()

Nothing is using these anymore.

config: old-set-parser - Use net_str2hostport() to check if host:port syntax was used

lib: test-net - Add more tests for net_str2hostport()

lib: test-net - Update tests for net_addr2ip() and net_ip2addr()

lib: net - Use getnameinfo() to convert addresses to string

lib: net - Use getaddrinfo() to parse addresses

This allows preserving scope id

lib: net - Add scope_id to struct ip_addr

This is needed for link-local IPv6 addresses.

lib: net - Do not accept arbitrary numbers as IPv4 addresses in net_addr2ip_inet4_fast()

Dovecot isn't currently using numbers as IPv4 addresses anywhere, so it doesn't need fast path
handling. The numbers are still accepted as IPv4 addresses by the libc code in slow path.

lib: net - Consolidate gai error handling to net_handle_gai_error()

Handles errors from getaddrinfo() and getnameinfo()

login-common: Fix crash with invalid login_trusted_networks setting

client_is_trusted() uses the event to log an error.

Broken in 95c63f3e9efdb7ba916dac3e6b013d131392c48a

lib-index: Always write tail offset the same as head offset

The mail_index_write() must not be called unless this is safe to do.
This prevents unnecessarily reading through dovecot.index.log between
tail..head offsets, which can be expensive due to modseq calculation.

lib-index: Optimize modseq scanning by using the modseq header in index

View is very commonly set to start reading new changes since dovecot.index
was last written. When reading the newer records in dovecot.index.log, the
modseq of each change is needed to be known. However, the initial modseq
calculation was usually done inefficiently by reading the whole
dovecot.index.log from the beginning of the file. This change prevents
that by using instead the "modseq" header in dovecot.index to get the
initial modseq.

lib-index: Handle 0-sized dovecot.index.log record properly

The previous behavior was to just silently ignore it and have the next write
to the transaction log silently truncate away the trailing garbage.

Now if the log file isn't locked the issue is still ignored, since it's
possible that this is just a race condition. But if the log is locked,
it's handled as corruption.

imap: SELECT - Fix unknown parameter error message

configure.ac: Remove stray DOVECOT_LIBWRAP

Forgotten in 8f0a991f41e5d94e919ef5aa0712dab972a1fa33

doc/man: Update doveadm-sync description

doc/man: Remove dsync manpage and all references

doveadm: Remove obsolete dsync-operation for doveadm command

As there is no way anymore to call doveadm as dsync this behavior can be
removed fully.

doveadm: Remove dsync symlink to doveadm