dovecot.m4: Preserve original CFLAGS/LDFLAGS

Correct flags are detected during configure, so avoid
overwriting them here by accident.

dovecot.m4: Use _DC_EOF instead of EOF

Avoids messing with other scripts

dovecot.m4: Use AS_IF macro instead of if

It's safer with m4

dovecot.m4: Call DC_DOVECOT_CFLAGS and HARDENING earlier

Before SUBST

dovecot.m4: Rename DOVECOT_CFLAGS function to DC_DOVECOT_CFLAGS

Avoid conflict with variable of same name

dovecot.m4: Use dnl instead of hash for comments

configure: Use DC_DOVECOT_HARDENING

dovecot.m4: Add DC_DOVECOT_HARDENING to check hardening options

m4: Move various compiler and linker checks to dovecot.m4

We don't want to distribute CFLAGS or LDFLAGS that break
compiler, due to lack of support.

lib-master: test-event-stats - Use PRIu64 format

Forgotten in e16ba6f

lib-master: test-event-stats - Include signal.h

Forgotten in e16ba6f

lib-master: test-event-stats: Properly ensure cleanup of all files generated by tests.

lib-master: test-event-stats: Move launch_test_stats() to a more logical place.

lib-master: Create local .gitignore file for potential test output junk.

fts: Fix search query generation when one language ignores a token

The search query was changed to "NOT ALL", even though other languages
used the token.

lib-smtp: client: Fix potential segfault occurring after receiving RCPT reply.

Could occur when RCPT reply is received befor DATA command is sent in LMTP session.

Problem found by Coverity.

lib-smtp: test-smtp-client-errors: Add tests for transaction timeouts.

lib-smtp: client: Add debug message for the moment when all RCPT replies are received.

This helps in debugging transaction state transition problems.

lib-smtp: client: Fix transaction state transition for the DATA command.

It progressed to the DATA state too early. By the looks of things, this only
affected the correctness of error and debug messages. It does not affect the
transaction itself.

lib-smtp: client: Fix segmentation fault occurring at transaction timeout.

In the DATA command callback trans->cmd_data can be NULL when the command is
aborted from smtp_client_transaction_fail_reply().

lib-smtp: client: transaction: Prevent early transaction abort in smtp_client_transaction_fail_reply().

Can happen in one of the command callbacks of aborted commands.

lib-smtp: Remove trailing whitespace in smtp-cient-transaction.c.

lib-smtp: Remove trailing whitespace in test-smtp-client-errors.c.

lib-smtp: Read input before exiting in sendmail-exit-1.sh

This avoids a Broken pipe error that fails the unit test this script
belongs to.

lib-smtp: Include test-bin in dist

lib-test: Warn if test_run or test_run_named result is not used

Ensures hopefully that unit tests do not succeed when they fail
due to wrong exit code.

global: Ensure unit tests return value

lib-auth: Fix reconnect timeout leak at deinit

lib-http: client: Notify host object about submission of request before submitting the request to the queue.

This makes sure the host idle timeout is stopped before the request is submitted
and the host object's refresh function is called. If the idle timeout is still
running at that point, the refresh function will return success without
performing a lookup, which can lead to a panic.

Panic was:

Panic: file ./http-client-private.h: line 672 (http_client_host_get_ip): assertion failed: (idx < host->shared->ips_count)

lib-http: client: Reset ips count to zero before DNS lookup.

lib: mempool - Remove unnecessary check

The previous commit guarantees that we always have one of _ILP32 and _LP64
defined so we don't have to check ourselves.

lib: Make sure exactly one of _ILP32 and _LP64 is defined at all times

These defines are very common, but not universal.  For example, clang on
illumos and FreeBSD always defines one of them, while 32-bit Ubuntu 16.04
doesn't define either.

lib: mempool - Improve p_realloc() panic message

Most importantly, this differentiates it from the panic message that
p_malloc() prints.

lib: mempool - Centralize p_free() NULL pointer check

This changes the behavior of p_free(pool, some_null_pointer) slightly.

datastack mempools:

    Previously, the datastack frame id was checked regardless of whether or
    not the pointer was NULL.  Now, only non-NULL pointers perform this
    check.

system mempools:

    Previously, the process would SIGSEGV if a NULL pointer was freed in a
    debug binary on a system with malloc_usable_size().  Now, no SIGSEGV
    occurs.

allocfree, alloconly, and unsafe datastack:

    No change in behavior.

lib: mempool - Centralize p_realloc() NULL pointer check

Instead of each mempool implementation having to check the pointer passed in
for being NULL, we can check that the sizes are within the required bounds
in p_realloc().

lib: mempool - Centralize p_{m,re}alloc() size checks

Instead of each mempool implementation having to check the allocation sizes
for sanity, we can check that the sizes are within the required bounds in
p_malloc() and p_realloc().

Since p_malloc() and p_realloc() are static inlines, some consumers will see
a little bit of growth in binary size, but others will be able to optimize
the check away at compile time.

lib: mempool - Define a global max allocation size supported by all pools

Instead of relying on each mempool implementation to define its own limits
and checks, this commit defines a generic one that's sufficient to make any
mempool present or future happy.

lib: mempool-allocfree: Remove unused #define

This define was never actually used.

lib: mempool-datastack - Use container_of instead of casts

lib: mempool-alloconly - Use container_of instead of casts

lib: Rename a alloconly mempool helper function to make its scope obvious

pool_try_grow() makes it look like it is part of the mempool API, even
though it is an internal helper specific to the alloconly pool.

lib: Document the unsafe datastack mempool

lib: Document the system mempool

lib: Document datastack mempools

lib: Document allocfree mempools

lib: Document alloconly mempools

lib: mempool - Further reduce test code duplication

We have to use a macro because we need to pass a type as an argument.

lib: mempool - Reduce test code duplication

The 32 and 64 bit versions of the tests were identical.

lib: mempool - Generalize the test

Instead of hardcoding what appear to be arbitrary constants, use expressions
based on UINT{16,32,64}_MAX.

lib: str-sanitize: Use uni_utf8_data_truncate().

lib: Add str_truncate_utf8().

It works similar to str_truncate(), but it makes sure the truncated string
remains valid UTF-8.

lib: unichar: Add uni_utf8_data_truncate().

Returns the size of the data when truncated to be less than or equal to
a specified size, making sure UTF-8 character boundaries are respected.

lib-smtp: server: Make sure conn->state.data_failed is only set when no previous BDAT/BURL is pending.

Otherwise, the server would sometimes send 503 error for the first BDAT/BURL
command, while a subsequent command was actually failing earlier than the
initial one completed. Additionally, this caused a panic crash.

Panic was:

submission(stephan)<8353><C+7QBfysKluhIAAAmoV78g>: Panic: Input stream /home/stephan/Maildir/cur/1517515808.M176007P2993.johanna,S=1903,W=1956:2,DFS unexpectedly has references

lib-smtp: Allocate ORCPT addr_type from given memory pool, not data stack

This could have caused crashes when parsing ORCPT.

lib-smtp: client: Avoid sending an XCLIENT command longer than 512 bytes.

Send several separate XCLIENT commands instead. This way, it complies with the
base SMTP line length limit and with Postfix' original specification for the
XCLIENT command.

With the XCLIENT fields that Dovecot currently uses, this is very unlikely to
happen. Still, this needs to be fixed to make things reliable.

lib-smtp: client: Do not start authentication before initial XCLIENT gets reply.

lib-smtp: server: Provide full proxy data to the conn_proxy_data_updated() callback.

Before, it would only provide the fields that were updated, meaning that some
fields would remain unset, which caused problems for LMTP when more than one
XCLIENT command was sent or the ADDR field was not specified.

lib-smtp: Add test-smtp-payload, test-smtp-submit, test-smtp-client-errors, and test-smtp-server-errors to `make check`.

lib-http: Add test-http-payload, test-http-client-errors, and test-http-server-errors to `make check`.

lib-http: test-http-client-errors: Make the reconnect failure test less time-sensitive.

Easily breaks in Valgrind.

lib-smtp: test-smtp-payload: Terminate the test if it is hanging for some reason.

lib-smtp: test-smtp-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-payload: Add SSL tests.

lib-smtp: test-smtp-payload: Add SSL tests.

lib-http: test-http-payload: Ignore SIGPIPE.

lib-smtp: test-smtp-payload: Ignore SIGPIPE.

lib-http: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: client: Amend connection debug message with source ip:port.

Helps matching debug logs between client and server.

lib-smtp: test-smtp-payload: Keep the number of pending transactions constant.

Before, a window was used.

lib-smtp: test-smtp-payload: Make proper definition for the maximum number of parallel transactions.

lib-http: test-http-payload: Add test for exchanging payload with unknown size.

This will force using the chunked transfer encoding.

lib-http: test-http-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-smtp: test-smtp-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-ssl-iostream: Add support for creating server and client test SSL settings.

This is useful for building test cases with SSL support.

lib: Fix compiler warning when arc4random_buf() is used for random_fill()

lib-mail: message-parser: Fixed Clang 6.0 compiler warning.

Warning was:

index-mail.c:1182:3: warning: arithmetic on a null pointer treated as a cast
from integer to pointer is a GNU extension [-Wnull-pointer-arithmetic]
                message_parser_parse_body(data->parser_ctx,
                ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../src/lib-mail/message-parser.h:95:28: note: expanded from macro
'message_parser_parse_body'
                (void *)((char *)context + CALLBACK_TYPECHECK(callback, \
                         ~~~~~~~~~~~~~~~ ^

auth: Do not import empty certificate username

auth: Fail authentication if certificate username was unexpectedly missing

login-common: Ensure we get username from certificate

lib-storage: Fix event leak when failing to create storage

driver-sqlite: Fix event usage in driver_sqlite_exec

Broken in 850f874971a7afa4f1f7b47df37fca082dc415a1

Update NEWS to v2.3.4

doveadm force-resync: Add -f parameter to fsck index while opening it

This probably should be done by default, but for now keep it optional
just in case there are any bugs in the fsck implementation.

lib-storage: Add MAILBOX_FLAG_FSCK to fsck index immediately after opening it

This can be used to fix a broken index that is causing mailbox_open() to
fail.

dbox: cache pop3 order and uidl when saving mails

lib-storage/index: Add a helper to cache pop3 order and uidl

global: Use uint32_t for pop3 order

lib: uri-util: Add tests for URI character escape functions.

lib: uri-util: Add functions for escaping (almost) all reserved URI characters.

lib-storage: Change default postmaster_address setting to "postmaster@<user domain or server hostname>".

The former "postmaster@<user domain>" default would only yield a valid
postmaster address when there is a domain part in the username. The new default
uses a conditional variable expansion choose "%d" when it is not empty and the
new "%{hostname}" otherwise.

lib-storage: mail-user: Add "%{hostname}" variable expansion.

lib-storage: mail-user: Add convenience functions for obtaining postmaster address.

lib-storage: Move postmaster_address setting from mail_storage_settings to mail_user_settings.

auth: test-lua - Add test to ensure that values are not converted to number by mistake

auth: test-lua - Fix unit test to handle errors

auth: test-lua - Fix inconsistent whitespace

auth: db-lua - Use lua_type to detect type

Using lua_isnumber to detect numbers also considers
convertible strings as numbers.

auth: Store password with auth_set_field in Lua passdb

Makes caching work for passwords