fts: Fix optimizing searches in virtual mailboxes without up-to-date indexes

This could have caused header searches in virtual mailboxes to not return
all results when fts_enforced!=yes

Broken by 9705b81fb51b5bdeaba12932a390ced2cc9dcad7

fts-flatcurve: Fix for checks assuming errno faults are negative

fts-flatcurve: fts_flatcurve_xapian_mailbox_stats() - Add i_assert() on x->db_read

Found by coverity, but it seems to be a false catch

fts-flatcurve: fts_flatcurve_database_locate_dir() - Fix leak on readdir() faults

fts-flatcurve: Fix signedness of elapsed variable

fts-flatcurve: fts_flatcurve_xapian_db_populate() - Fix missing error_r value on failure

fts-flatcurve: fts_backend_flatcurve_rescan_box() - Fix missing error_r value on failure

fts-flatcurve: Remove unused variables

fts-flatcurve: fts_flatcurve_xapian_rename_db() - Cleanup redundant stuff and make code more readable

fts-flatcurve: fts_flatcurve_xapian_optimize_box_do() - Drop redundant struct flatcurve_xapian_db_path *newpath

fts-flatcurve: cmd_fts_flatcurve_mailbox_run() - Fix NULL check on fuser after pointer has been already dereferenced

Found by Coverity

lib: Fix for clang Wstrict-bool pragma failing on unpatched clang

Note that clang recognises GCC diagnostic pragmas too,
so there is no need for distinct pragmas in this case

quota: Fix for clang -Wstrict-bool clashing with #include <rpc/rpc.h>

m4: adding check for clang -Wstrict-bool availability

lib: write-full - Assert size <= SSIZE_T_MAX

Giving such big size parameters to these functions is almost certainly a
bug, and does not need to be supported. This also fixes a Coverity
warning that such a big size parameter given to write() is suspicious.

lib: read-full - Assert size <= SSIZE_T_MAX

Giving such big size parameters to these functions is almost certainly a
bug, and does not need to be supported. This also fixes a Coverity
warning that such a big size parameter given to read() is suspicious.

lib-lua: dlua-dovecot-http - Support more settings with HTTP client

lib-http: Rename max_auto_retry_delay to max_auto_retry_delay_secs

configure.ac: want_flatcurve - Change to want_flatcurve=auto, accept Xapian only if version >= 1.4

fts-flatcurve: Add doveadm plugin

fts-flatcurve: Add xapian-based FTS plugin

configure.ac: Take extra CXXFLAGS from EXTRA_CFLAGS

lib: struct file_lock_settings - Swap inverted comments

man: Remove fts-lucene in doveadm dump page

lib: net - Change ip to ip_r in net_addr2ip()

Coding style fix

lib: net - Set port only with known address families in sin_set_port()

lib: net - Set ip before port in net_listen_full()

sin_set_ip() sets address family which is required in sin_set_port().

In linux, sin_port and sin6_port are in same place of the sockaddr union,
so previous use did not break anything.

lib: net - Constify some pointers

lib: net - Use result from getaddrinfo() without copying

Fixes scan-build complaint.

Broken in dd7aacc76da40b24451b40b7c0429807d0345be8

doveadm dict set/unset/inc: Add -t timestamp parameter

lib-dict, last-login: Moved no_slowness_warning into dict_op_settings

Now that we have such op-specific settings, it makes no sense having a
separate function for this.

lib-dns, lib-lua: Add initial support for using lib-dns via Lua

For now only dns_client:lookup(host) is implemented. The dns_client is
expected to be provided by the calling C code.

lib-lua: test-dict-lua - Fix error handling

lib-dns: dns_lookup*() - Assert that at least one IP is returned on success

lib: net_gethostbyname() - Assert that at least one IP is returned on success

auth: auth_worker_call() - Return void instead of the connection

The return value is no longer necessary, and it most likely would just be
used wrong.

auth: Fix crash when user iteration request is queued

auth_worker_call() returns NULL when the request couldn't be handled
immediately, which would result in NULL pointer dereference later on.

auth: Add connection parameter to auth_worker_callback_t

auth: Fix assert-crash when handling user iteration in busy auth-workers

The auth process crashed during user iteration if some auth requests were
also queued.

Broken by f591498845fd7b5e11f1085b6e1f5e34dcc84767

Fixes:
Panic: file auth-worker-connection.c: line 128 (auth_worker_request_send): assertion failed: (worker->request == NULL)

doveadm: Fix hang when flushing a corked print-ostream

This could have happened at least with doveadm sync/backup command,
i.e. causing replication to hang until timeout is reached:

Error: write(<local>) failed: Timed out after 60 seconds

lib: macros - Remove VA_COPY handling

Should just use VA_COPY from config.h

lib: net - Remove WIN32 usage

This is not useful for anything.

lib-smtp: smtp-parser - Use net_addr2ip() to parse IPv6 addresses

lib: uri-util - Use memchr() instead of for-loop

lib: uri-util - Use net_addr2ip() to parse IPv6

lib-ssl-iostream: Use net_addr2ip() to validate IP address in address verification

lib: net - Add more tests for net_addr2ip()

lib: net - Remove is_ipv4_address() and is_ipv6_address()

Nothing is using these anymore.

config: old-set-parser - Use net_str2hostport() to check if host:port syntax was used

lib: test-net - Add more tests for net_str2hostport()

lib: test-net - Update tests for net_addr2ip() and net_ip2addr()

lib: net - Use getnameinfo() to convert addresses to string

lib: net - Use getaddrinfo() to parse addresses

This allows preserving scope id

lib: net - Add scope_id to struct ip_addr

This is needed for link-local IPv6 addresses.

lib: net - Do not accept arbitrary numbers as IPv4 addresses in net_addr2ip_inet4_fast()

Dovecot isn't currently using numbers as IPv4 addresses anywhere, so it doesn't need fast path
handling. The numbers are still accepted as IPv4 addresses by the libc code in slow path.

lib: net - Consolidate gai error handling to net_handle_gai_error()

Handles errors from getaddrinfo() and getnameinfo()

login-common: Fix crash with invalid login_trusted_networks setting

client_is_trusted() uses the event to log an error.

Broken in 95c63f3e9efdb7ba916dac3e6b013d131392c48a

lib-index: Always write tail offset the same as head offset

The mail_index_write() must not be called unless this is safe to do.
This prevents unnecessarily reading through dovecot.index.log between
tail..head offsets, which can be expensive due to modseq calculation.

lib-index: Optimize modseq scanning by using the modseq header in index

View is very commonly set to start reading new changes since dovecot.index
was last written. When reading the newer records in dovecot.index.log, the
modseq of each change is needed to be known. However, the initial modseq
calculation was usually done inefficiently by reading the whole
dovecot.index.log from the beginning of the file. This change prevents
that by using instead the "modseq" header in dovecot.index to get the
initial modseq.

lib-index: Handle 0-sized dovecot.index.log record properly

The previous behavior was to just silently ignore it and have the next write
to the transaction log silently truncate away the trailing garbage.

Now if the log file isn't locked the issue is still ignored, since it's
possible that this is just a race condition. But if the log is locked,
it's handled as corruption.

imap: SELECT - Fix unknown parameter error message

configure.ac: Remove stray DOVECOT_LIBWRAP

Forgotten in 8f0a991f41e5d94e919ef5aa0712dab972a1fa33

doc/man: Update doveadm-sync description

doc/man: Remove dsync manpage and all references

doveadm: Remove obsolete dsync-operation for doveadm command

As there is no way anymore to call doveadm as dsync this behavior can be
removed fully.

doveadm: Remove dsync symlink to doveadm

submission-proxy: Add IPV6: prefix to IPv6 addresses

This is required by the Postfix XCLIENT protocol.

lib: test-event-flatten - Use __FILE__ to get correct expected filename

Fixes out of tree buids

Broken in 4f752d381c8e19dd07d1e593996d02294668c8b6

lib-dcrypt: test-stream - Allow EPIPE too in test_read_garbage()

lib-master: Finish fixing memory leak when handling master-admin clients

Finish properly the fix in 45232487a19c724b0e15a65e79005501d684e6ad

lib-master: Fix memory leak when handling master-admin clients

doveadm: Implement CMD_FLAG_HIDDEN to actually hide doveadm commands from usage

global: Use is_config_binary() where CONFIG_BINARY macro does not propagate

Not all the *-settings.c sources are embeded in the generated all-settings.c
source file, which is the only scope where the CONFIG_BINARY macro is defined.
This specifically applies to master-service-ssl-settings.c which contained
code never activated by the #ifdef(s) on the macro as this file is not part
of the synthesized code.

lib-master: master_service_ssl_settings_check() - Remove old obsolete checks in dead code

lib-settings: Remove stray whitespaces

quota: Only check vsize flag if quota driver succesfully initialized

Broken by 9926b729694421daeb97769a925f0f273b83b0a9

lib-master: Fix memory leak at deinit after kicking a user

Caused by 14da525deeb16d3e81b2b9cf24fc52092b33f88d

lib-dcrypt: test-stream.c - Remove pointer arithmetic in test_read_garbage()

Something is wrong with the pointer arithmetic given to random_fill(),
and easiest is to remove it altogether. This fixes a valgrind complaint
on use of uninitialized value.

config: Notify about obsolete auth_debug setting

doveadm-auth: Consolidate auth debug logging condition

This should enable the relevant places to check for any of the
`auth_debug` setting, enabling the debug mode via -D or an appropriate
`log_debug` value in a consistent manner.

auth: Remove extraneous debug check when calling e_debug()

Remove checks for debug setting when calling e_debug() as it is already
doing the necessary check.

lib-dcrypt: test-stream - Ensure file is v2 in test_read_garbage

login-common: Add login_auth_socket_path setting

This setting allows to set a default socket path for login processes
without the need to define it for each one individually. It can be
overwritten by explicitly giving it via the existing methods.

submission-login: Remove direct access of auth_debug

SMTP debugging is not related to authentication so using auth_debug has
been wrong to use in the first place.

config: old-set-parser - Remove quota_vsizes

No need to warn about obsolete plugin settings.

example-config: 90-quota.conf - Remove quota_vsizes

lib-storage: mailbox_match_plugin_exclude() - Consider namespaces while matching

For namespaces with inbox=yes, the match with the rule will be attempted with
both the virtual mailbox names and the bare mailbox name.

mail-crypt: Use mail_user_getenv_bool() for MAIL_CRYPT_REQUIRE_ENCRYPTED_USER_KEY

mail-crypt: Replace mail_crypt_acl_secure_sharing_enabled() with mail_user_getenv_bool()

lib-master: ssl_options - Remove support for no_compression

This has been default for a while now.

dict: Support only v4 protocol

Remove all code for old dict protocol versions.

dict: Remove DICT_PROTOCOL_CMD_COMMIT_ASYNC

Nothing is using it.

tcpwrap: Remove tcpwrap support

login-common: Merge client_connected() to client_connected_finish()

Does not need to be separate anymore

login-common: Remove login_access_sockets

auth: Remove checkpassword driver

quota: count - Always count with virtual size

This code was needed because it was used by dict quota,
which is now removed.

quota: Remove plugin/quota_vsizes setting

quota: Add use_vsize variable to quota_backend

quota-clone: Add quota_clone_unset

Unsets quota information first. Needed for dict backends that do not
support upserting.