*-login: Fix potential hangs with SSL connections

1) Multi-step SASL authentication could hang when login process waits for
response from a client, but it has already pipelined it together with the
AUTH/AUTHENTICATE command.

2) After failed authentication commands could start hanging.

lib: backtrace_append() - If libunwind returns failure, fallback to libc's method

lib: backtrace_get/append() - skip stack frames only based name

It's not really safe to do anything else because functions may potentially
be inlined.

lib: test-backtrace - Remove unnecessary includes

lib: backtrace_append() - If libunwind fails to get any symbols, return error

lib-storage: mail-storage - Add mailbox_has_special_use().

Implements checking whether a mailbox has a particular special-use flag.

lib-storage: mail-storage - Add API for allocating a mailbox based on a special-use flag.

lib-storage: mail-storage - Merge mailbox_alloc_delivery() into mailbox_alloc_for_user().

Uses the MAILBOX_FLAG_POST_SESSION flag.

lib-storage: mail-storage - Add mailbox_alloc_for_user().

lib-index: Fix checking if log file can be rotated

This fixes a bug caused by 883a3022992d0f832f0aff21572caeb7c63b7668 where
dovecot.index.log file wasn't rotated as often as it was supposed to be. It
also could have caused dovecot.index to be rewritten much more often than
it was supposed to be.

The buggy commit was correct that the tail_offset wasn't updated previously
to the dovecot.index.log file after changes. However, I didn't realize that
the tail_offset was internally still updated and required by this rotation
check to work correctly.

The fix works by relaxing the tail_offset==head_offset requirement for
rotation. It's enough that all the changes are synced, which can be checked
from mail_index_sync_ctx.fully_synced. Any changes after tail_offset are
then supposed to be external transactions, which aren't synced anyway, so
rotation is allowed.

lmtp: lmtp-proxy - Support forwarding a broken sender address to the backend LMTP service.

This is subject to configuration.

lib-smtp: smtp-client - Add support for proxying MAIL command with broken path.

lmtp: Accept MAIL command with broken sender address.

The address is treated as <> in most cases. For logging, the unparsed broken
address is available in the `raw' field of the address.

lda: Accept -f argument with broken sender address.

lib-smtp: smtp-server - Support accepting broken path parameter in MAIL command.

lib-smtp: smtp-command-parser - Accept valid UTF-8 characters for command parameters.

lib-smtp: smtp-address - Add smtp_address_is_broken().

lib-smtp: smtp-address - Add SMTP_ADDRESS_PARSE_FLAG_IGNORE_BROKEN parse flag.

Makes the path parser try to skip over a broken address to allow working around
syntax errors in e.g. the sender address for the  MAIL command.

lib-smtp: smtp-address - Add SMTP_ADDRESS_PARSE_FLAG_PRESERVE_RAW parse flag.

It stores the unparsed representation of the address in the new raw field of
struct smtp_address. This is only relevant to smtp_address_parse_path().

lib-smtp: test-smtp-address - Restructure valid address tests.

lib-smtp: smtp-address - Add smtp_address_encode_raw*().

These are special variants of smtp_address_encode*(), which use the new raw
field when it is set.

lib-smtp: smtp-address - Also copy the new raw field when cloning struct smtp_address.

lib-smtp: smtp-address - Add raw field to struct smtp_address.

lib-smtp: smtp-address - Implement workarounds for parsing addresses with a bad localpart.

Always parse it as normal when it starts with `<' or `"'. The workaround
consists of parsing the address by splitting it on the last `@'. The address is
accepted when the resulting localpart and domain can be used to compose a valid
address. This workaround is now shared with username-to-address parsing, which
existed before.

lib-smtp: smtp-address - Allow parsing address from username that contains space, double quote or backslash.

Not allowing double quote and backslash was a bug, while space was explicitly
disallowed. However, these characters can be used in an RFC 5321 address when
inside a quoted string, so there is no reason to disallow those.

lib-smtp: smtp-address - Add smtp_address_parse_any().

This allows parsing any RFC5321 address as a string, even severely broken ones.

lib-smtp: smtp-address - Remove useless check in smtp_address_write().

lib-smtp: smtp-server-transaction - Create transaction using struct smtp_server_cmd_mail directly.

Before, it used separate parameters for the individual fields, but that makes it
hard to extend.

lib-smtp: smtp-address - Change return values of parse functions to be either 0 or -1.

Before it used 1 and -1, which does not match other parts of Dovecot.

lib-smtp: smtp-address - Document the parse functions.

lib-smtp: Reformat test-smtp-address.c.

lib-smtp: Reformat smtp-client-command.h.

lib-smtp: Reformat smtp-client-command.c.

lib-smtp: Reformat smtp-address.h.

lib-smtp: Reformat smtp-address.c.

lib-storage: Simplify mail_save_context.keywords reference counting

This change also makes it possible for plugins to change the keywords
without leaking memory.

login-common: Retrieve error from ssl context if handshake fails

Fixes

imap-login: Error: proxy: Failed to start SSL handshake to 127.0.0.2:43143: (null)

and

imap-login: Error: Failed to initialize SSL server context: Can't load SSL certificate: error:140AB18F:SSL routines:SSL_CTX_use_certificate:ee key too small
Fatal: master: service(imap-login): child 14764 killed with signal 11 (core dumped)

Broken in 9f1038760ca5ba154366176a7056aad1c7b6c77e

lib-sql: Add asserts to make sure refcount unexpectedly doesn't drop below 1

lib-sql: Initialize sqlpool db properly

Fixes a crash at sql_unref() caused by recent changes.

lib-storage: Include mailbox name and UID when logging about flag vs GUID mismatches

lib-storage: mailbox list index - detect if non-selectable mailbox has GUID

If it has, mark it as selectable.

lib-index: Add index alloc cache timeout to root ioloop

The cache is a global one and the timeout shouldn't trigger until the global
root ioloop is reached.

This fixes a timeout leak / crash when index was opened in an inner ioloop.

lib: Add io_loop_get_root()

lib-dict-backend: Remove cache for prepared statements

lib-sql: Rename sql_prepared_statement_deinit() to _unref()

lib-sql: Keep prepared statements in memory until db is deinitialized

There aren't supposed to be many different prepared statements.

lib-sql: Try to reuse prepared statements if possible

lib-sql: Fix the new sql_db refcounting to work with sql-db-cache

lib-sql: Add refcounting to sql_db

lib-sql: Move query_template to struct sql_prepared_statement directly

lib-storage: fix typo in mailbox-list-iter.h

imap-hibernate: Fix crash if unhibernation fd_send() fails

The imap-master connection needs to be freed when the client is freed.
Otherwise it attempts to free the client again.

lib: i_stream_get_data() - Mark invalid buffer code path unlikely

This really isn't expected to happen, so marking it unlikely optimizes
slightly callers that cause i_stream_get_data() to be called a huge number
of times.

doveadm fs: Use mail_temp_dir as temp_dir for fs operations' temp_dir

doveadm: Expand variables in doveadm_settings

Required by the next commit.

doveadm: Use a memory pool for duplicating settings

Required by the next commit.

auth: If user is already authenticated, passdb result shouldn't be password_mismatch

This caused confusion in the auth_request_passdb_finished event's result
parameter. Otherwise it shouldn't have caused any bugs.

auth: Add and use auth_request_password_missing() where possible

auth: Add passdb_id and userdb_id to auth_request_passdb/userdb_* events

lib-auth: Fix auth_client_is_connected() to work after disconnection

lib-http: test-http-client should use PKG_RUNDIR/dns-client

Instead of hardcoded /var/run/dovecot/dns-client

lib, lib-program-client: Fix i_stream_read_memarea() usage

Calling it may change the stream's buffer and free the old buffer. However,
some istreams didn't change the buffer if i_stream_read_memarea() returned
-2. The old buffer was kept referenced, which could have caused the istream
to read garbage or crash due to accessing freed memory.

This fixes:
 * istream-limit
 * istream-sized
 * istream-rawlog
 * program-client-istream
 * Anything using i_stream_read_copy_from_parent(), which includes:
   * istream-fs-file
   * istream-fs-stats
   * istream-metawrap
   * http-server-istream
   * istream-header-filter
   * istream-mail
   * istream-failure-at
   * istream-hash
   * istream-timeout
   * istream-try

lib-master: Event filter parsing - Accept "service:<name>"

This is short for "category:service:<name>"

lib-master: Code cleanup for handling event filter category parsing

lib, lib-master: Add service:<name> category for all events

lib: Add EVENT_CALLBACK_TYPE_CREATE to call a callback on event creation

It's not called for event_dup() or event_flatten(), because those are based
on events that were already created.

lib: Add and use event_create_internal() wrapper

This avoids p_strdup()ing the source_filename twice. Also it'll be extended
by the following commit.

lib: event_set_source() - Avoid p_strdup() if source filename doesn't change

lib: event_import_unescaped() - Use event_set_source() to set the source

lib: Add and use event_call_callbacks_noargs() helper

lib, lib-master: Remove event.call_free

Just call the EVENT_CALLBACK_TYPE_FREE always. Having this flag isn't
really going to affect the performance, and it might be useful in the
future to work this way.

Only the unit test was relying on call_free to be different from
id_sent_to_stats. This commit changes the unit test to check for the
END strings where necessary.

lib: Rename event_send_callbacks() to event_call_callbacks()

lib: Move event_send_callbacks() and event_send_free() earlier in the file

lib, lib-master: Rename EVENT_CALLBACK_TYPE_EVENT to _SEND

This describes the functionality better.

lib: test-istream-base64-decoder - Make random test also test CRLF vs LF line endings at random.

lib: test-istream-base64-decoder - Add explicit test cases for decoding the empty string.

lib: test-base64 - Add explicit test cases for encoding/decoding the empty string.

lib: base64 - Add assertion preventing calling base64_encode_more() after base64_encode_finish().

lib: test-istream-base64-decoder - Reduce minimum random stream buffer size to 1.

lib: test-istream-base64-decoder - Abort random test at first error and print parameters.

lib: test-istream-base64-encoder - Fix test names.

lib: test-base64 - Abort random test at first error and print parameters.

lib: test-base64 - Test Base64 encoding with maximum line length of 1.

This corner case is a useful test for problems in the line encoding.

lib: test-base64 - Better check output of incrementally encoded random Base64.

Check whether it is equal to the same data encoded as a single block and whether
the length matches the base64_get_full_encoded_size() output.

lib: base64 - Fix incremental/streaming Base64 encoding with CRLF line endings.

Line lengths became inconsistent due to a design error. The encoding itself
remained valid. The linefeed is no longer appended to the write buffer when the
destination buffer is full. Rather, a flag is set that makes the encoder emit
the linefeed immediately next time the encoder is called with more buffer
space. Appending it to the write buffer was wrong; it in fact needs to be
prepended and in that case a flag is more efficient.

lib: base64 - Restructure base64_encode_get_size().

lib: base64 - Use unsigned size type for base64_get_full_encoded_size().

Makes more sense.

lib: base64 - Truly fix dest buffer assertion in base64_decode_more().

Previous fix was inadequate in the presence of padding at the end of input.

lib: test-istream-base64-decoder - Use unsigned int for bit field in random test.

global: Clean up MAX_INT_STRLEN usage

A number of MAX_INT_STRLEN consumers did not realize that it already
includes space for the trailing nul.

lib: Add comment to MAX_INT_STRLEN macro

auth: Set auth_request successful before auth_request_finished event

Otherwise the event never has success=yes parameter.

doveadm fs iter[-dirs]: Add --object-ids and --no-cache parameters

imap-old-stats: Fix plugin dependency variable names

master: Don't log "Sent SIGKILL to .. processes" when actually sending SIGUSR1

The SIGUSR1 is sent when all login processes are full and can't accept any
more connections. This should be handled silently by the master.

lib-auth: Remove "BUG:" prefix from "Authentication server sent unknown id" error

It's not necessarily a bug.

lib-auth: Don't disconnect from auth server when receiving "unknown id"

It doesn't mean that the state between auth client and server is broken.
Just that the client had already forgotten about some of the IDs.

This also means that the "unknown id" lines aren't treated as invalid lines.
Previously the whole OK/FAIL line may have been logged, which could have
included e.g. passwords.

push-notification-lua: Use the new accessor functions instead of variables directly

This fixes plugin dependency checking. Instead of:

Fatal: Couldn't load required plugin .../lib22_push_notification_lua_plugin.so: dlopen() failed: /usr/local/lib/dovecot/lib22_push_notification_lua_plugin.so: undefined symbol: event_category_push_notification

The error is now clearer:

Fatal: Couldn't load required plugin .../lib22_push_notification_lua_plugin.so: Plugin push_notification must be loaded also

push-notification: Add accessor functions to global variables

These are enough for the current plugin. Maybe others will be needed in the
future.

lib: base64 - Fix dest buffer assertion in base64_decode_more().

The assertion is supposed to trigger when the encoder hits the buffer size limit
unexpectedly (src_pos_r==NULL means that all should be encoded at once). It
triggered erroneously when the destination buffer had the exact size needed
for the encoded data.