auth: Add lua passdb/userdb support

lib-lua: Add lua helper library

Provides a base lua library for lua extensibility

configure: Detect lua

auth: Add accessor for userdb-template fields

It's needed in lua

mempool-allocfree: Add linked-list malloc allocation

This is useful when you want to actually free memory from pool too

stats: Do not log errors if /proc/self/io is not accessible

Some security options, used notably in docker, can prevent
access to this file even from root, so do not log errors
if the error is EACCES.

lib: test-path-util - whitespace & coding style cleanup in create_links()

auth: Check that key is not empty in passdb or userdb template

Prevents nasty crash later on if template has 'key = value'

dovecot: auth: Panic: file auth-request.c: line 1746 (auth_request_set_field): assertion failed: (*name != '\0')

lib-storage: Add mailbox_set_critical() and mail_set_critical()

These add the mailbox vname and mail UID to the log prefix and then call
mail_storage_set_critical().

login-proxy: Fix hang in outgoing SSL connections

The handshaking needs to be started explicitly.

login-proxy: Log connection errors using IP, not hostname

The hostname can point to multiple IPs or there can be some other mismatch.
Logging the IP instead shows exactly what is happening.

lib: path-util: Improved conditional expressions in path_normalize() to match the earlier adjusted assertions.

Added some more assertions in the process to make sure subtractions are always valid.

lib: Improve test-path-util unit test to catch off-by-one memory allocation errors

lib: path-util - Allocate more space earlier

Fixes assert crash in path_normalize when termination
needs to happen at asize boundary.

Panic: file path-util.c: line 93 (path_normalize): assertion failed: ((size_t)((npath_pos - npath) + 1) < asize)

lib-storage: Add a fall through comment to fix gcc-7 warning

mdbox: Fix rebuilding when dovecot.map.index is missing map/ref extension

The rebuild kept just repeatedly failing with:
Error: mdbox map .../dovecot.map.index corrupted: missing map extension

lib-storage: Fix mailbox_create_missing_dir() with storages that have no mail root dir

The mailbox still exists even if the mail root directory doesn't, so there's
no point in even trying to stat() it.

lib-storage: Make sure mailbox autocreation doesn't get into infinite loop

If mailbox_create() -> mailbox_open() fails with MAIL_ERROR_NOTFOUND, it
would have looped back to mailbox_create() and continued this until
running out of stack.

lib-storage: Add INDEXCACHE=<path> to mail_location

This allows configuring a different directory for dovecot.index.cache files
than the rest of the index files.

lib-storage: mailbox_rename() - Improve debug logging when namespaces are incompatible

lib-index: Add mail_index_set_cache_dir() to change .cache's directory

lib-index: Add mail_cache_open_or_create_path()

This allows moving cache file to another directory.

virtual: Fix crash when saving to virtual mailbox whose physical box doesn't exist

For example if using "!foo" in dovecot-virtual and "foo" doesn't exist, it crashed.
Now it gives a nice error message instead.

lib: path-util: Made assertions in path_normalize() more reliable and less confusing to static analyzer.

lib: path-util - Add more code paths to test in path_normalize()

virtual: Wrap mail.get_binary_stream() to fix it

Fixes using FETCH BINARY[..] with virtual mailboxes crashing with:

Panic: file index-mail-binary.c: line 585 (index_mail_get_binary_stream): assertion failed: (mail->data.stream != NULL)

quota: Fix error handling if maildirsize rewrite fails after recalculation

error could have been left uninitialized, potentially causing a crash.

fts-lucene: Fix potential memory leak

lib-dcrypt: test-stream - Make static analyzer happier

Without this clang thinks it's possible that siz>sizeof(payload).

doveadm-auth-server: Further fix json problems

Remove excess comma from start, forgotten in 3e06a782584ea2c4ae2a8cb0451e9952f05f9dc8

lib-charset: Compile charset-utf8-only code always

Mainly so that this code always gets compiled, so any bugs are found.

lib-charset: Allow plugins to replace charset_* functions

They just need to point charset_utf8_vfuncs to their own implementation.

lib-charset: Move non-iconv UTF-8 only translation code to its own file

mail-crypt: Do not free global keys if no error has occured

director: Make sure a missing right-side connection is always reconnected

This code shouldn't be needed, but add it just to be sure.

director: Reconnect after detecting a write failure to director

If disconnection is detected during write failure, or "Output buffer full"
occurs, the connection is disconnected. However, if this was the right side
connection, it wasn't automatically reconnected to. This left the ring
nonworking.

global: Replace o_stream_ignore_last_errors() with o_stream_abort() wherever possible

lib: Add o_stream_abort()

lib-smtp: Remove unnecessary o_stream_ignore_last_errors() call

The stream is already marked with o_stream_set_no_error_handling(TRUE).

lib-storage: Fix MAILBOX_LIST_INDEX_HIERARHCY_SEP spelling

Original work by @jsoref

doveadm: client - Cleanup: Simplify the input loop

doveadm: client - Cleanup: Remove unnecessary stream_errno check

doveadm: client - Cleanup: Remove unnecessary code indentation

doveadm: client - Cleanup: Handle input NULL first

doveadm: client - Cleanup: Set authenticate_sent in a more proper location

doveadm: client - Cleanup: Don't check authenticate_sent twice

doveadm: client - Read any pipelined replies after authentication reply

This practically shouldn't happen.

doveadm: client - Cleanup: Read server input only once in the input handler

doveadm: client - Fail if server sends more than one VERSION reply in handshake

*-login: Close SSL connections cleanly

Don't close the socket before SSL "close notify" is sent.

lib-imap: imap_envelope_parse() - remove unnecessary data stack frame

imap_envelope_parse_args() isn't using data stack at all, so this
unnecessarily complicates the code. It also prevents using datastack-pool
as the pool parameter.

lib-storage: mailbox-list-index - disable if MAILBOX_LIST_PROP_NO_LIST_INDEX set

lib-storage: imapc - use MAILBOX_LIST_PROP_NO_LIST_INDEX

mailbox list index does not work with imapc, so disable it.

Panic: file mail-storage.c: line 1858 (mailbox_get_metadata): assertion failed: ((items & MAILBOX_METADATA_GUID) == 0 || !guid_128_is_empty(metadata_r->guid))

lib-storage: mailbox-list-none - use MAILBOX_LIST_PROP_NO_LIST_INDEX flag

lib-storage: Add MAILBOX_LIST_PROP_NO_LIST_INDEX

If set, disables mailbox list index for the given list.

doveadm-auth-server: Send comma only if we are sending field too

Fixes json output

lib-master: Drop support for SSL_TXT_SSLV2 in master-service-ssl-settings.c

OpenSSL headers are not included in master-service-ssl-settings.c, so
the check for SSL_TXT_SSLV2 is broken at the moment, and the feature is
not worth supporting since SSLv2 is obsolete.

m4: Refuse to build with OpenSSL version < 1.0.1

lib: Add unit test for dec2str_buf()

auth: Remove userdb nss

Its original purpose was because getpwnam() couldn't differentiate between
"user doesn't exist" and "temporary error", but this was solved by using
getpwnam_r() instead.

So all userdb nss users should be able to safely switch to userdb passwd.

imap: SELECT/EXAMINE - Send * OK [CLOSED] before tagged BAD parameters reply

man: doveadm proxy -a parameter doesn't support TCP sockets

fts-solr: Explicitly ask for XML responses

With recent solr versions (7.0+) the default response
writer changed from XML to JSON. This commit sets the
"wt" query parameter for all requests, so that the right
response type is written.

lib: fix illumos build issue

The recent performance improvements to the net_addr2ip() code broke
build on illumos which has a 's_addr' #define in netinit/in.h.

quota: Exit with EX_TEMPFAIL when doveadm quota get encounters an error

lib: use temp var in i_stream_unref for clarity

director: Fix director_max_parallel_moves/kicks type

Should be uint, not time.

doveadm: client - Fix connecting to UNIX sockets that don't need authentication

Trying to access doveadm UNIX socket that didn't require authentication
failed with:

Error: doveadm server sent invalid handshake: ...

doveadm: client - Cleanup: Rename handshaked to authenticate_sent

This better describes what it does.

quota: Include mailbox name in quota_transaction_set_limits() error_r

quota: Prefix quota errors with backend name in quota_get_resource()

Remove quota backend name error_r prefixing from get_resource() vfuncs.

quota: Add error_result_r parameter to quota_count()

quota: Add QUOTA_GET_RESULT_BACKGROUND_CALC enum value

quota: Add QUOTA_ALLOC_RESULT_BACKGROUND_CALC enum value

quota: Return quota_get_result from quota_backend_vfuncs.get_resource()

Add a QUOTA_UNKNOWN_RESOURCE_ERROR_STRING for returning error_r with
QUOTA_GET_RESULT_UNKNOWN_RESOURCE.

Forbid backends from returning QUOTA_GET_RESULT_UNLIMITED in
quota_get_resource() with an i_panic().

quota: Add error_result_r parameter to quota_transaction_set_limits()

quota: Make quota_get_result errors <= QUOTA_GET_RESULT_INTERNAL_ERROR

Reorder the enum to make a shortcut for distinguishing errors.

quota-dict: Cleanup dict_quota_get_resource() whitespace

quota-clone: Rename ret_bytes and ret_count to bytes_res and count_res

This is because the variables do not contain the actual quota resource
values but whether the lookup was successful.

lib: test-istream-jsonstr - Improve unit test

doveadm-server: Fix protocol handshake order

With version 1.1 protocol, server sent the authentication "+" or "-" line
before the VERSION. doveadm client accepts the VERSION reply either before
or after, so this change doesn't break it. It makes the protocol cleaner
though.

Based on patch by Manuel Mausz

doveadm-server: Add client_connection_tcp.preauthenticated

lib-ssl-iostream: Simplify ssl_iostream_settings_equals()

director: Add director_max_parallel_moves/kicks settings

The director_max_parallel_moves setting controls the default limit, which
can still be increased by explicitly using the doveadm director flush
--max-parallel" parameter.

lib: istream-jsonstr - Properly handle unicode input

Treat surrogates correctly, do not accept invalid codepoints

lib: istream-jsonstr - Move length check to unescape

lib: json-parser - check for valid hex in unicode escape

lib: json-parser - Insert properly escaped unicode

configure: Fix writing LIBDOVECOT[_DEPS] in dovecot-config

It needs to be in a single line or DC_DOVECOT's greping doesn't work
correctly.

director: Limit max kicking count

director: Add kick_callback to director

This callback gets called whenever director has performed
a kick.

*-login: Add login_proxy_notify_path setting to configure proxy-notify path

A single FIFO can be a bottleneck, so this could be set to e.g.:

login_proxy_notify_path = proxy-notify%1R{pid}

or:

login_proxy_notify_path = proxy-notify%10N{pid}

director: Allow proxy-notify to optionally be a socket

Dovecot isn't using this currently, but it can be useful if external
services want to send notifications.

director: Support multiple proxy-notify connections

quota-fs: Make it possible to set the mount= parameter

Also free root->storage_mount_path before copying the given parameter in
order not to leak memory when there are duplicate mount= parameters.

log: Fix log reopening on SIGUSR1

lib-ssl-iostream: Remove obsolete ssl_iostream_context_deinit()

global: Replace ssl_iostream_context_init_client() with ssl_iostream_client_context_cache_get()

lib-ssl-iostream: Call ssl_iostream_context_cache_free() automatically at exit

lib: Remove net_transmit()

Its API was confusing, and it's no longer used anywhere.