lib-storage: Make sure mailbox autocreation doesn't get into infinite loop

If mailbox_create() -> mailbox_open() fails with MAIL_ERROR_NOTFOUND, it
would have looped back to mailbox_create() and continued this until
running out of stack.

lib-storage: Add INDEXCACHE=<path> to mail_location

This allows configuring a different directory for dovecot.index.cache files
than the rest of the index files.

lib-storage: mailbox_rename() - Improve debug logging when namespaces are incompatible

lib-index: Add mail_index_set_cache_dir() to change .cache's directory

lib-index: Add mail_cache_open_or_create_path()

This allows moving cache file to another directory.

virtual: Fix crash when saving to virtual mailbox whose physical box doesn't exist

For example if using "!foo" in dovecot-virtual and "foo" doesn't exist, it crashed.
Now it gives a nice error message instead.

lib: path-util: Made assertions in path_normalize() more reliable and less confusing to static analyzer.

lib: path-util - Add more code paths to test in path_normalize()

virtual: Wrap mail.get_binary_stream() to fix it

Fixes using FETCH BINARY[..] with virtual mailboxes crashing with:

Panic: file index-mail-binary.c: line 585 (index_mail_get_binary_stream): assertion failed: (mail->data.stream != NULL)

quota: Fix error handling if maildirsize rewrite fails after recalculation

error could have been left uninitialized, potentially causing a crash.

fts-lucene: Fix potential memory leak

lib-dcrypt: test-stream - Make static analyzer happier

Without this clang thinks it's possible that siz>sizeof(payload).

doveadm-auth-server: Further fix json problems

Remove excess comma from start, forgotten in 3e06a782584ea2c4ae2a8cb0451e9952f05f9dc8

lib-charset: Compile charset-utf8-only code always

Mainly so that this code always gets compiled, so any bugs are found.

lib-charset: Allow plugins to replace charset_* functions

They just need to point charset_utf8_vfuncs to their own implementation.

lib-charset: Move non-iconv UTF-8 only translation code to its own file

mail-crypt: Do not free global keys if no error has occured

director: Make sure a missing right-side connection is always reconnected

This code shouldn't be needed, but add it just to be sure.

director: Reconnect after detecting a write failure to director

If disconnection is detected during write failure, or "Output buffer full"
occurs, the connection is disconnected. However, if this was the right side
connection, it wasn't automatically reconnected to. This left the ring
nonworking.

global: Replace o_stream_ignore_last_errors() with o_stream_abort() wherever possible

lib: Add o_stream_abort()

lib-smtp: Remove unnecessary o_stream_ignore_last_errors() call

The stream is already marked with o_stream_set_no_error_handling(TRUE).

lib-storage: Fix MAILBOX_LIST_INDEX_HIERARHCY_SEP spelling

Original work by @jsoref

doveadm: client - Cleanup: Simplify the input loop

doveadm: client - Cleanup: Remove unnecessary stream_errno check

doveadm: client - Cleanup: Remove unnecessary code indentation

doveadm: client - Cleanup: Handle input NULL first

doveadm: client - Cleanup: Set authenticate_sent in a more proper location

doveadm: client - Cleanup: Don't check authenticate_sent twice

doveadm: client - Read any pipelined replies after authentication reply

This practically shouldn't happen.

doveadm: client - Cleanup: Read server input only once in the input handler

doveadm: client - Fail if server sends more than one VERSION reply in handshake

*-login: Close SSL connections cleanly

Don't close the socket before SSL "close notify" is sent.

lib-imap: imap_envelope_parse() - remove unnecessary data stack frame

imap_envelope_parse_args() isn't using data stack at all, so this
unnecessarily complicates the code. It also prevents using datastack-pool
as the pool parameter.

lib-storage: mailbox-list-index - disable if MAILBOX_LIST_PROP_NO_LIST_INDEX set

lib-storage: imapc - use MAILBOX_LIST_PROP_NO_LIST_INDEX

mailbox list index does not work with imapc, so disable it.

Panic: file mail-storage.c: line 1858 (mailbox_get_metadata): assertion failed: ((items & MAILBOX_METADATA_GUID) == 0 || !guid_128_is_empty(metadata_r->guid))

lib-storage: mailbox-list-none - use MAILBOX_LIST_PROP_NO_LIST_INDEX flag

lib-storage: Add MAILBOX_LIST_PROP_NO_LIST_INDEX

If set, disables mailbox list index for the given list.

doveadm-auth-server: Send comma only if we are sending field too

Fixes json output

lib-master: Drop support for SSL_TXT_SSLV2 in master-service-ssl-settings.c

OpenSSL headers are not included in master-service-ssl-settings.c, so
the check for SSL_TXT_SSLV2 is broken at the moment, and the feature is
not worth supporting since SSLv2 is obsolete.

m4: Refuse to build with OpenSSL version < 1.0.1

lib: Add unit test for dec2str_buf()

auth: Remove userdb nss

Its original purpose was because getpwnam() couldn't differentiate between
"user doesn't exist" and "temporary error", but this was solved by using
getpwnam_r() instead.

So all userdb nss users should be able to safely switch to userdb passwd.

imap: SELECT/EXAMINE - Send * OK [CLOSED] before tagged BAD parameters reply

man: doveadm proxy -a parameter doesn't support TCP sockets

fts-solr: Explicitly ask for XML responses

With recent solr versions (7.0+) the default response
writer changed from XML to JSON. This commit sets the
"wt" query parameter for all requests, so that the right
response type is written.

lib: fix illumos build issue

The recent performance improvements to the net_addr2ip() code broke
build on illumos which has a 's_addr' #define in netinit/in.h.

quota: Exit with EX_TEMPFAIL when doveadm quota get encounters an error

lib: use temp var in i_stream_unref for clarity

director: Fix director_max_parallel_moves/kicks type

Should be uint, not time.

doveadm: client - Fix connecting to UNIX sockets that don't need authentication

Trying to access doveadm UNIX socket that didn't require authentication
failed with:

Error: doveadm server sent invalid handshake: ...

doveadm: client - Cleanup: Rename handshaked to authenticate_sent

This better describes what it does.

quota: Include mailbox name in quota_transaction_set_limits() error_r

quota: Prefix quota errors with backend name in quota_get_resource()

Remove quota backend name error_r prefixing from get_resource() vfuncs.

quota: Add error_result_r parameter to quota_count()

quota: Add QUOTA_GET_RESULT_BACKGROUND_CALC enum value

quota: Add QUOTA_ALLOC_RESULT_BACKGROUND_CALC enum value

quota: Return quota_get_result from quota_backend_vfuncs.get_resource()

Add a QUOTA_UNKNOWN_RESOURCE_ERROR_STRING for returning error_r with
QUOTA_GET_RESULT_UNKNOWN_RESOURCE.

Forbid backends from returning QUOTA_GET_RESULT_UNLIMITED in
quota_get_resource() with an i_panic().

quota: Add error_result_r parameter to quota_transaction_set_limits()

quota: Make quota_get_result errors <= QUOTA_GET_RESULT_INTERNAL_ERROR

Reorder the enum to make a shortcut for distinguishing errors.

quota-dict: Cleanup dict_quota_get_resource() whitespace

quota-clone: Rename ret_bytes and ret_count to bytes_res and count_res

This is because the variables do not contain the actual quota resource
values but whether the lookup was successful.

lib: test-istream-jsonstr - Improve unit test

doveadm-server: Fix protocol handshake order

With version 1.1 protocol, server sent the authentication "+" or "-" line
before the VERSION. doveadm client accepts the VERSION reply either before
or after, so this change doesn't break it. It makes the protocol cleaner
though.

Based on patch by Manuel Mausz

doveadm-server: Add client_connection_tcp.preauthenticated

lib-ssl-iostream: Simplify ssl_iostream_settings_equals()

director: Add director_max_parallel_moves/kicks settings

The director_max_parallel_moves setting controls the default limit, which
can still be increased by explicitly using the doveadm director flush
--max-parallel" parameter.

lib: istream-jsonstr - Properly handle unicode input

Treat surrogates correctly, do not accept invalid codepoints

lib: istream-jsonstr - Move length check to unescape

lib: json-parser - check for valid hex in unicode escape

lib: json-parser - Insert properly escaped unicode

configure: Fix writing LIBDOVECOT[_DEPS] in dovecot-config

It needs to be in a single line or DC_DOVECOT's greping doesn't work
correctly.

director: Limit max kicking count

director: Add kick_callback to director

This callback gets called whenever director has performed
a kick.

*-login: Add login_proxy_notify_path setting to configure proxy-notify path

A single FIFO can be a bottleneck, so this could be set to e.g.:

login_proxy_notify_path = proxy-notify%1R{pid}

or:

login_proxy_notify_path = proxy-notify%10N{pid}

director: Allow proxy-notify to optionally be a socket

Dovecot isn't using this currently, but it can be useful if external
services want to send notifications.

director: Support multiple proxy-notify connections

quota-fs: Make it possible to set the mount= parameter

Also free root->storage_mount_path before copying the given parameter in
order not to leak memory when there are duplicate mount= parameters.

log: Fix log reopening on SIGUSR1

lib-ssl-iostream: Remove obsolete ssl_iostream_context_deinit()

global: Replace ssl_iostream_context_init_client() with ssl_iostream_client_context_cache_get()

lib-ssl-iostream: Call ssl_iostream_context_cache_free() automatically at exit

lib: Remove net_transmit()

Its API was confusing, and it's no longer used anywhere.

login-common: Remove ssl-proxy code

login-common: Stop using ssl-proxy entirely

*-login: Remove unnecessary ssl-proxy.h include

login-common: Call io_stream_ssl_global_init() early

login-common: Use lib-ssl-iostream for incoming SSL/TLS connections

lib-ssl-iostream: Add io_stream_ssl_global_init()

lib-ssl-iostream: io_stream_create_ssl_client() - Move code to set verify_remote_cert=TRUE

Enable it in the generic SSL code instead of OpenSSL-specific code.

*-login: Use io_add_istream() instead of io_add()

login-common: Change process title to show different connection types

Separate pre-login connections, proxy connections and post-login TLS
proxies.

login-common: Destroy all fd proxies at deinit.

login-common: Implement post-login proxying and use it with SSL connections

Note: This temporarily breaks the SSL connections a bit. If post-login
process disconnects the client, it's not noticed by the login process.
Client connections are noticed by the post-login though.

login-common: client_alloc() - remove unnecessary ssl parameter

login-common: Use client_init_ssl() to initialize all SSL connections

login-common: Extract SSL/TLS initialization into client_init_ssl()

login-common: Split client_create() to client_alloc() and client_init()

client_unref() can be used to free an allocated client that hasn't been
fully created.

lib-ssl-iostream: Add TLS SNI callback and a way to change SSL context

lib-ssl-iostream: ssl_iostream_cert_match_name() - add reason_r parameter

The callers were also changed to add the reason to error messages.