doveconf: hide ssl_key and ssl_dh without -P

lib-storage: If chdir to home doesn't work, chdir to root instead.

Most importantly this fixes unlink_directory() when current directory
after dropping privileges can't be open()ed.

lib-storage: Minor error message fix

lib-mail: Compiling fix for message-snippet change - U'x' isn't standard.

fts-squat: fix Corrupted squat uidlist bug

config: Only require ssl_dh is ssl is turned on

lib-mail: Fix snippet generation

Now we won't add leading whitespace for no reason, and also
strip BOM when found.

dcrypt: Fix encrypted test keys

dcrypt: Update v2 sample

dcrypt: Retrieve key length correctly

lib-storage: remove set_cache_corrupted_reason from mail_vfuncs

Change set_cache_corrupted signature to what set_cache_corrupted_reason
used to be.

lib: Avoid compiler warning if off_t has the same size as ssize_t.

lib-storage: remove mailbox-recent-flags.h from index-storage.h

dsync: Further fixes to received_timestamp and virtual_size parsing (-t and -S parameters)

lib: move sort and search from strfuncs.h to sort.h

auth: remove #define default_cache_key cache_key

lib-http: rename http_header_field.key to name

lib-http: remove http_header_field from http_response

lib-lda: remove obsolete smtp-client code

lib-storage: remove obsolete constants

lib-storage: remove obsolete MAIL_FETCH_UIDL_FILE_NAME

dsync: Added missing fields to ibc-stream.

lib: Implemented i_stream_create_copy_from_data().

Unlike i_stream_create_from_data(), this function makes a copy of the provided data block. This way, the application does not need to worry about keeping it allocated for the lifetime of the stream.
The copied data is allocated durably on the system pool and freed once the stream is destroyed.

lib,lib-test: stop calling memcmp and memcpy with NULL in tests

lib-mail: stop calling str_append_n and memcmp with NULL in tests

lib: iterate all fds in fd_debug_verify_leaks, fail with i_fatal

There is no benefit in failing with i_panic here since the error is most
likely not in the stack trace here.

lib: stop using first_fd as loop counter in fd_debug_verify_leaks

Use a separate int fd to iterate [first_fd, last_fd] instead.

Moved cc-wrapper.sh handling to dovecot.m4

When configuring Dovecot --without-shared-libs and pointing external plugins
to uninstalled sources --with-dovecot, any binaries complied for plugins
weren't using cc-wrapper.sh, which could have caused runtime failures when
they attempted to load plugins dynamically. Now it's possible to add
DC_CC_WRAPPER to plugins' configure.ac to build with the cc-wrapper.sh.

configure: Fix dcrypt build conditionals

lib-storage: don't crash when pop3c-client timeouts

doveadm-dump: Add missing include

-Wstrict-bool warning fixes

doveadm sync: Fixed -S parameter parsing to actually work.

doveadm sync/backup: Added -S <max size> parameter to skip too large mails.

auth-db-dict: Allow key name expansion

This allows expansion of dictionary keys based on userdb
variables on dict lookup mapping. Example:
key userdb {
  key = %{userdb:nspace:default}/userdb
  format = json
}

lib-test: test-exit helper to stop valgrind complaining about fork()s

fork()s that want to _exit() will cause valgrind's full memory leak
checker to complain a lot - this performs a quick cleanup first.

Before:
  phil@phil:~/repos/dovecot-core$ valgrind --trace-children=yes --leak-check=full --show-leak-kinds=all src/lib/test-lib --match unix
  ==19576==   total heap usage: 4 allocs, 0 frees, 17,858 bytes allocated
  istream unix ......................................................... : ok
  0 / 1 tests failed
  ==19575==   total heap usage: 7 allocs, 7 frees, 19,327 bytes allocated

After:
  phil@phil:~/repos/dovecot-core$ valgrind --trace-children=yes --leak-check=full --show-leak-kinds=all src/lib/test-lib --match unix
  istream unix ......................................................... : ok
  ==4993==   total heap usage: 4 allocs, 4 frees, 17,858 bytes allocated
  0 / 1 tests failed
  ==4992==   total heap usage: 7 allocs, 7 frees, 19,327 bytes allocated

Signed-off-by: Phil Carmody <phil@dovecot.fi>

openssl: Fix v1.1 compability

OpenSSL: link against OpenSSL libs explicitly

doveadm: add doveadm-dump-dcrypt-key

config: Use ssl-parameters.dat if ssl_dh is missing

ssl-proxy: Use ssl_dh setting from config

lib-master: Load DH string from config file

lib-ssl-iostream: Read dh parameters from PEM string

dovecot: Remove ssl-params

quota: If quota lookup updates vsize header, lock it earlier to avoid a deadlock.

quota: Fixed handling when mail size lookup fails due to mail already being expunged.

We don't want to fail it as a quota allocation failure, but just pass
through the "mail is expunged" error to the original caller.

dict-client: Improved timeout error message.

lib: Added connection_input_timeout_reason()

lib: Added connection.connect_started/finished timestamps.

Fixed copyright notices.

lib-storage: Added mail_user_set_plugin_getenv_bool()

global: Update mailbox_attribute_get API usage

lib-storage: Change mailbox_attribute_get* API

lib-storage/mailbox-attribute.h: mailbox_attribute_get() and
mailbox_attribute_get_stream() now has struct mailbox_transaction_context
as their first parameter. This isn't good for performance, because opening
a transaction requires opening mailbox indexes first. But reading
attributes wouldn't actually require opening the indexes, so this is just
wasteful.

quota: Don't get message sizes when updating mailbox that ignores quotas.

Nothing is done with the size anyway.

lib-storage: Fixed potential .vsize.lock deadlock.

auth: Removed redundant noauthenticate checks.

Now that noauthenticate also adds nopassword field.

auth: When setting noauthenticate=yes, also set nopassword=yes

There are various places which check only "nopassword", but not
"noauthenticate".

lib: Added connection.last_input_tv for more accuracy

lib: connection_disconnect() now resets last_input

If we reconnect, its value would otherwise be wrong.

auth: Blocking userdb lookup shouldn't reset extra fields.

login-proxy: Fixed assert-crash/hang on connect errors.

The internal BUG would have left the host hanging. "Host is down" or any
immediate connect() error would have assert-crashed with:

Panic: file login-proxy.c: line 470 (login_proxy_disconnect): assertion failed: (proxy->state_rec->num_waiting_connections > 0)

lmtp: Fixed using default port 24

Broken by dfe53c824.

doveadm: Fixed -A and -u wildcard handling with server connections.

doveadm: Fixed hanging when printing output from different server connections.

doveadm: Avoid recursively calling server input callback

Probably doesn't fix anything, but it could cause confusing backtraces at
least.

doveadm-server: Fixed potential hang when reading replies to multiple commands

doveadm: Revert earlier NUL-printing change 793b024bf.

It changes the output in ways that are a bit difficult to fix. Also the
the important part where NULs printing is useful is in a message body,
which should work even without this change. So for now just revert it.

lib-auth: Avoid crash after user iteration if connection failed.

doveadm: Removed unused code.

dsync: Fixed empty-header-workaround

dsync_features: For consistency use '-' and not '_'

Other _features and _workarounds settings use also '-'.

lib: Small improvements to iostream-temp unit test.

doveadm: When printing input from doveadm-server, don't truncate at NUL.

doveadm: Pass connection to mail context

doveadm: Use str_append_tabescaped_n

lib: Add binary-safe tabescape

doveadm: Streamline tabunescape

doveadm: Extra safety - initialize cmd_input_fd to -1

Just to be sure it's never attempted to be accessed as 0 (stdin) before
being initialized. (It didn't happen with current code as far as I know.)

lib: tests - give the tests names, using the new macros

The lists of test function declarations and of test functions to call was
basically the same list. Use the new test macros to squash them into one
list, and then chose to name all the tests, so that you can select which
ones to run. This can simplify the debug cycle when some of the tests are
lengthy.

e.g.:
  phil@phil:~/repos/dovecot-core$ src/lib/test-lib --match crc
  crc32 ................................................................ : ok
  0 / 1 tests failed

src/lib is clearly the most complicated case, conversions of others where
filtering would be useful should be trivial following this example.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: enable naming of tests, such that only a subset is run

How to use these will become clear in a subsequent patch. Even if you
don't want to name tests, the macros can reduce redundancy in the code,
as the list of test function prototypes and the list of test functions
to call become the same lists, expanded through 2 different macros.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-test: improve expected error handling

If we expect a specific error string, then when we see it, suppress it.

We do not suppress errors expected by count, because if we get unexpected
errors, then we do not want them suppressed, and we have no way of
distinguishing between the expected and unexpected errors.

This of course favours the use of the expected string version of the helper,
but alas that's not always usable, as you can only expect one at a time.

Additionally, if we failed to see an expected message, then when we no longer
expect to see it, reset the expected message state to not cascade further
test assertion failures.

Signed-off-by: Phil Carmody <phil@dovecot.fi>
Conflicts:
src/lib-test/test-common.c

doveadm: add doveadm dump dcrypt-file

lib-dcrypt: make decrypt_istream format and flags visible

lib-dcrypt: add dcrypt-iostream.h

Move everything from dcrypt-iostream-private.h and enum
io_stream_encrypt_flags to the new dcrypt-iostream.h file.

dsync: Add support for features

Add empty_header_workaround as first feature

quota_clone plugin: quota_clone_mail_user_created warned without debug

"The quota_clone_dict setting is missing from configuration" warning
would be thrown when debug mode was not enabled.  This warning
happens under normal circumstances when prefix="" namespace is not
defined (usually when set to INBOX.)

See http://dovecot.org/list/dovecot-cvs/2012-October/021981.html for
more details on the automagic prefix="" namespace.

This change suppresses the spurious warning.

lmtp: Use port 24 if no port has been provided

This allows using the LMTP, IMAP and POP3 proxy on the same
Dovecot installation without the userdb providing the port
to connect to.

TCP port 24 is registered at IANA as: "any private mail system"

LMTP being the Local Mail Transfer Protocol classifies as a private
mail system and thus justifies the usage of port 24.

Prior to this patch the LTMP client would connect to TCP port 0 by
default if the userdb did not provide a port to connect to.

istream-base64-encoder: Implemented proper stat function that returns the encoded size of the stream.

For Base64 encoding, the size of the encoded data can be determined from the input data size exactly.

dict-client: Fixed error message for failed synchronous dict_lookup()

The error message was allocated from data stack, but freed too early.

lib-dcrypt: Fixed test-stream unit test not to leak memory

Broken by previous change.

lib-auth: Unescape passdb/userdb extra fields.

This only affected \001, \t, \r and \n characters which were left
tab-escaped (e.g. \t as "\001t").

lib-dcrypt: Added unit tests to nonblocking istream-decrypt

lib-dcrypt: test-stream writes now to buffer, not to temp-iostream

This simplifies the following change.

lib-dcrypt: Support nonblocking istreams.

lib-dcrypt: add 0 to 400 byte stream test

Remove 8 byte speacial case also.

lib-dcrypt: error message on missing decrypt key or password

Return a sensible error message when loading an encrypted private key is
attempted but the decrypt key or password is missing.

lib-http: Support per-request timeout and max_attempts

director: Throttle user move/kill failure errors after 100/sec.

If it happened to a lot of users, they can take a lot of space in logs.

lib: Added log throttling API.

lib-dcrypt: don't give strstr NULL in test-crypto