lib: mempool-alloconly - Use container_of instead of casts

lib: Rename a alloconly mempool helper function to make its scope obvious

pool_try_grow() makes it look like it is part of the mempool API, even
though it is an internal helper specific to the alloconly pool.

lib: Document the unsafe datastack mempool

lib: Document the system mempool

lib: Document datastack mempools

lib: Document allocfree mempools

lib: Document alloconly mempools

lib: mempool - Further reduce test code duplication

We have to use a macro because we need to pass a type as an argument.

lib: mempool - Reduce test code duplication

The 32 and 64 bit versions of the tests were identical.

lib: mempool - Generalize the test

Instead of hardcoding what appear to be arbitrary constants, use expressions
based on UINT{16,32,64}_MAX.

lib: str-sanitize: Use uni_utf8_data_truncate().

lib: Add str_truncate_utf8().

It works similar to str_truncate(), but it makes sure the truncated string
remains valid UTF-8.

lib: unichar: Add uni_utf8_data_truncate().

Returns the size of the data when truncated to be less than or equal to
a specified size, making sure UTF-8 character boundaries are respected.

lib-smtp: server: Make sure conn->state.data_failed is only set when no previous BDAT/BURL is pending.

Otherwise, the server would sometimes send 503 error for the first BDAT/BURL
command, while a subsequent command was actually failing earlier than the
initial one completed. Additionally, this caused a panic crash.

Panic was:

submission(stephan)<8353><C+7QBfysKluhIAAAmoV78g>: Panic: Input stream /home/stephan/Maildir/cur/1517515808.M176007P2993.johanna,S=1903,W=1956:2,DFS unexpectedly has references

lib-smtp: Allocate ORCPT addr_type from given memory pool, not data stack

This could have caused crashes when parsing ORCPT.

lib-smtp: client: Avoid sending an XCLIENT command longer than 512 bytes.

Send several separate XCLIENT commands instead. This way, it complies with the
base SMTP line length limit and with Postfix' original specification for the
XCLIENT command.

With the XCLIENT fields that Dovecot currently uses, this is very unlikely to
happen. Still, this needs to be fixed to make things reliable.

lib-smtp: client: Do not start authentication before initial XCLIENT gets reply.

lib-smtp: server: Provide full proxy data to the conn_proxy_data_updated() callback.

Before, it would only provide the fields that were updated, meaning that some
fields would remain unset, which caused problems for LMTP when more than one
XCLIENT command was sent or the ADDR field was not specified.

lib-smtp: Add test-smtp-payload, test-smtp-submit, test-smtp-client-errors, and test-smtp-server-errors to `make check`.

lib-http: Add test-http-payload, test-http-client-errors, and test-http-server-errors to `make check`.

lib-http: test-http-client-errors: Make the reconnect failure test less time-sensitive.

Easily breaks in Valgrind.

lib-smtp: test-smtp-payload: Terminate the test if it is hanging for some reason.

lib-smtp: test-smtp-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-payload: Add SSL tests.

lib-smtp: test-smtp-payload: Add SSL tests.

lib-http: test-http-payload: Ignore SIGPIPE.

lib-smtp: test-smtp-payload: Ignore SIGPIPE.

lib-http: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: client: Amend connection debug message with source ip:port.

Helps matching debug logs between client and server.

lib-smtp: test-smtp-payload: Keep the number of pending transactions constant.

Before, a window was used.

lib-smtp: test-smtp-payload: Make proper definition for the maximum number of parallel transactions.

lib-http: test-http-payload: Add test for exchanging payload with unknown size.

This will force using the chunked transfer encoding.

lib-http: test-http-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-smtp: test-smtp-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-ssl-iostream: Add support for creating server and client test SSL settings.

This is useful for building test cases with SSL support.

lib: Fix compiler warning when arc4random_buf() is used for random_fill()

lib-mail: message-parser: Fixed Clang 6.0 compiler warning.

Warning was:

index-mail.c:1182:3: warning: arithmetic on a null pointer treated as a cast
from integer to pointer is a GNU extension [-Wnull-pointer-arithmetic]
                message_parser_parse_body(data->parser_ctx,
                ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../src/lib-mail/message-parser.h:95:28: note: expanded from macro
'message_parser_parse_body'
                (void *)((char *)context + CALLBACK_TYPECHECK(callback, \
                         ~~~~~~~~~~~~~~~ ^

auth: Do not import empty certificate username

auth: Fail authentication if certificate username was unexpectedly missing

login-common: Ensure we get username from certificate

lib-storage: Fix event leak when failing to create storage

driver-sqlite: Fix event usage in driver_sqlite_exec

Broken in 850f874971a7afa4f1f7b47df37fca082dc415a1

Update NEWS to v2.3.4

doveadm force-resync: Add -f parameter to fsck index while opening it

This probably should be done by default, but for now keep it optional
just in case there are any bugs in the fsck implementation.

lib-storage: Add MAILBOX_FLAG_FSCK to fsck index immediately after opening it

This can be used to fix a broken index that is causing mailbox_open() to
fail.

dbox: cache pop3 order and uidl when saving mails

lib-storage/index: Add a helper to cache pop3 order and uidl

global: Use uint32_t for pop3 order

lib: uri-util: Add tests for URI character escape functions.

lib: uri-util: Add functions for escaping (almost) all reserved URI characters.

lib-storage: Change default postmaster_address setting to "postmaster@<user domain or server hostname>".

The former "postmaster@<user domain>" default would only yield a valid
postmaster address when there is a domain part in the username. The new default
uses a conditional variable expansion choose "%d" when it is not empty and the
new "%{hostname}" otherwise.

lib-storage: mail-user: Add "%{hostname}" variable expansion.

lib-storage: mail-user: Add convenience functions for obtaining postmaster address.

lib-storage: Move postmaster_address setting from mail_storage_settings to mail_user_settings.

auth: test-lua - Add test to ensure that values are not converted to number by mistake

auth: test-lua - Fix unit test to handle errors

auth: test-lua - Fix inconsistent whitespace

auth: db-lua - Use lua_type to detect type

Using lua_isnumber to detect numbers also considers
convertible strings as numbers.

auth: Store password with auth_set_field in Lua passdb

Makes caching work for passwords

auth: Use default scheme in Lua passdb lookup

Fixes a null pointer crash.

lib-lua: Use source instead of short_src

short_src is a limited value, and also an byte array
instead of a pointer so it should not be returned.

Found by coverity.

lib: Add unit test for event duration

Make sure event duration is non-zero when used without
ioloop.

lib-lua: Fix sizeof usage for struct event* storage

Found by coverity

lib-lua: Make sure events get right file:line information

mail-lua: Fix argument number checking for mailbox#sync

push-notification-driver-lua: Perform garbage collection after transaction

Ensure Lua releases resources here.

push-notification-driver-ox: Convert to event based logging

Also fixes the logging to be standard

push-notification-driver-lua: Add events

push-notification: Emit event on transaction end

push-notification: Add event to push notification transaction

push-notification: Add event category

lib-lua: Move __gc metamethod for event to userdata

Compability for lua 5.1

mail-lua: Check number of arguments

lib-lua: Add DLUA_REQUIRE_ARGS(s,x) and DLUA_REQUIRE_ARGS_IN(s,x,y)

First form requires that x arguments are provided for dlua script s.

Second form requires that at least x and at most y arguments are provided
for dlua script s

Automatically returns luaL_error.

mail-lua: Make flags optional for mailbox#sync

mail-lua: Make flags optional for user#mailbox

mail-lua: Change mailbox#status API to varargs

It's much easier to use this way

lib-lua: Check number of arguments

lib-lua: Add flag manipulation functions

lib-lua: Add test for event framework

lib-lua: Add event interface

lib-lua: Add events to scripts

lib-master: Fix test-event-stats

New stats uses gettimeofday that generated unpredictable values
for this test.

lib: event - Stop exporting ioloop time

It is not needed by stats process.

stats: Use duration field from events

lib: event - Record real duration

The old code only measured difference between successive
ioloop_time updates. The new code uses gettimeofday to
get current real time, making measurements accurate.

lib: event - Duplicate source_filename

Prevents crash on event leak when plugin that caused the leak
is unloaded.

lib: event - Rename tv_created as tv_created_ioloop

push-notification: Resolve confusion about msg->seq

It's not the same seq what the mail has, but a sequence that
is used to find out UID for saved mails. So rename it to
save_idx and treat it accordingly. Note that save_idx is 0
based, and mail sequence is 1 based.

push-notification-driver-lua: Include date from MessageAppend

push-notification-event-messageappend: Include date information parsed from headers

Consistency with MessageNew

push-notification: Make sure txn messages are unique

save_count is not reliable as it's not incremented for events like
flag changes.

push-notification-driver-lua: Always use DLUA_LOG_LABEL

push-notification-driver-lua: Properly register all events

mail-lua: Fix gc code to push key first then value

Otherwise it uses nil as key, which makes no sense and leads to eventual crash.

push-notification-driver-lua: tx begin pushed mail user not username

push-notification-driver-lua: Do not push user again

User is already pushed in tx begin, and can be stored there into the context.

push-notification-driver-lua: Move event push earlier

Simplifies code