lib: If DEBUG is enabled, use a pointer type for data_stack_frame_t

This allows telling static analyzers to treat t_push() and t_pop() similarly
to malloc()/free() and check for leaks.

lib: Changed t_pop() API to make it a bit more like free()

lib-master: master_service_init_finish() now verifies that t_pop() wasn't leaked

lib: Created data_stack_frame_t type for data_stack_frame

lib: Small code cleanup to data-stack - use explicit data_stack_initialized

This will make it easier to change data_stack_frame's type.

lib: Minor t_push() optimization - use unlikely()

lib: var-expand: Removed var_expand_table_build().

Replaced it with explicit table construction at the one place it was used.
Clang -Wvargargs complained about passing a char argument to va_start().

Fix control flow and T_BEGIN/T_END hygiene

You mustn't goto, break, continue, or return from out of a
T_BEGIN {...} T_END block, as that will lose a t_pop().
This has been seen in the wild: Panic: Leaked t_pop() call

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-fs: Do not abort parent of parent

configure.ac: Forgot to invoke DOVECOT_WANT_VPOPMAIL.

It was thereby impossible to enable Vpopmail support.

doveadm-server: Reset error code between calls

stats: Reset nearly all global mail stats

We leave num_connected_sessions alone.

stats: Fix user login counters

Before we would count all users twice,
because the same counters would get increment
in both CONNECT and ADD-USER. Now we do not
increment them at all on ADD-USER.

auth: GSSAPI mechanism: Fix CLang -Wstrict-bool warnings.

The GSS_ERROR() macro yields an integer rather than an actual bool value.
The krb5_kuserok() function returns a krb_boolean type, which is unsigned int rather than a bool.

lib-master: don't leak config path

The config path can already be non-NULL thanks to the default config path
code or the CONFIG_PATH environmental variable.

lib-fs: abort parent in fs_file_write_stream_abort_parent

imap: Track how much time was spent on waiting for locks.

dict-client: In slow query warnings, log time spent in ioloop and lock waits.

Possibly we want to remove the warnings entirely if most of the time has been
spent on lock waits (or alternatively: not spent in ioloop).

lib: Track how much time has been spent on waiting for locks.

lib-fts: Add missing include

imap: Fixed expunge handling when un-hiberanting

Fixes these errors:

Failed to import client state: Message count mismatch after handling expunges
Message UIDs CRC32 mismatch

lib: Changed unlink_directory() API to return error string.

There are many different reasons why it could fail, which a simple errno
can't very clearly indicate.

global: Added uchar_empty_ptr and use it instead of &uchar_nul.

This makes Coverity happier about not treating a char as an array.
For now this is a pointer to a 0, but could as well become a pointer
that crashes if dereferenced. Shouldn't be NULL anyway because clang's
-fsanitize=nonnull-attribute will complain about them.

lib-fs: Fixes to previous fs_write_stream_abort*() changes.

lib-storage: Fixed istream-attachment-extractor error handling.

lib-mail: Clarify istream-attachment-extractor's error handling API usage.

lib-fs: Add fs_write_stream_abort_parent and use it

Will do all the things abort_error does, but leaves
error untouched. You are expected to set one yourself.

lib-fs: Remove fs_write_stream_abort

Do not use fs_write_stream_abort anymore, instead use
fs_write_stream_abort_error to provide upstream some
reason when it's used.

fs-api: Add and use fs_write_stream_abort_error

This lets caller to specify error instead of setting it
with fs_error. Doing it like this lets us percolate the
error upwards.

lib-storage: Added mailbox_recent_flags_expunge_uid()

For storage backends where it's useful.

lib-fts: Change normalizer filter to use new truncate.

lib-fts: Cut overlong strings in lowercase filter.

Added new common truncate function for filters. It also removes any partial
characters, that would remain from plain truncation.

lib-fts: Add max_length to common filter struct. Reorder fields.

The latter is for for imaginary alignment enhancements.

fs-metawrap: Added assert to make sure we don't create empty files.

It seems like this could be happening in some situation.

quota-dict: Make sure all transactions complete

systemd.service: Add required attributes

pop3: Fix deleted_count expansion

lib: test-json-tree - decouple from internals

Use the new helper functions, so that implementation can change without
needing to change the tests.

Patch best viewed with git diff/show --color-words.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: json-tree - API change to permit more featureful implementation

Provide accessors for the innards of the tree's nodes, so that the node
internals can be changed freely (needed for DAPI). Constify params where
sensible.

NOTE: this enforced const-correctness may *break* (cause a failure to build)
some clients that didn't use const where they could have. Only obox2 is known
to break.

Add sibling functions with more parameters to expand the range of functionality,
and inline rewire the old simple functions to call the more generic ones.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lmtp: Support %{userdb:*} variables in mail_log_prefix

quota, last-login: Disable "slow dict commit" warnings

Anything (especially long lock waits) can happen between the commit and when
we read their replies.

lib-dict: Added dict_transaction_no_slowness_warning()

dict-client: Keep transaction's pointer in command until it's finished.

dict-client: Improve "slow dict operation" warnings in error conditions.

There's no need to log both an error and a warning.

imap-hibernate: fix input_pending check in client_unhibernate_cmp

Check c2->input_pending instead of c1->input_pending when calculating
comparison value for c2.

lib-dcrypt: Fixed accessing out-of-bounds data in istream.

Also some small cleanups to make it clearer what's actually happening.

lib-dcrypt: Fixed partial reads in header and limit header's max size.

Also fixes test-stream to actually test nonblocking reads correctly.

fts-squat: Ensure child is not NULL

Makes static analysers happy

lib-master: Check for NULL in input/output

Makes static analysers happy

auth: Ensure username can't be left unset in APOP

Makes static analysers happy

imapc: Make sure imail.stream is not NULL

Makes static analysers happy

lib-storage: Make sure data->stream isn't NULL

Makes static analysers happy

auth: Check for NULL auth token

Makes static analysers happy

lib: Fix SENTRY_CHAR to different kind of number

Makes static analysers happier

lib-http: Ensure fstream is not NULL in test

Makes static analysers happier

lib-index: Do not do pointless memmove

Makes static analysers happier, since moving the data
when days is 0 or days is 8 is effectively non-op.

test-priorityq: Ensure item is not NULL

Makes static analysers happy

md5: Initialize block

Makes static analysers happy

config: Fixed pkgsysconfdir path in ssl_dh warnings.

doveconf: Fix ssl_dh parameter handling some more

Move empty check to master-service ssl settings,
also handle ENOENT in read as well. Do not touch
the setting if it could not be composed due to
no such file.

doveconf: hide ssl_key and ssl_dh without -P

lib-storage: If chdir to home doesn't work, chdir to root instead.

Most importantly this fixes unlink_directory() when current directory
after dropping privileges can't be open()ed.

lib-storage: Minor error message fix

lib-mail: Compiling fix for message-snippet change - U'x' isn't standard.

fts-squat: fix Corrupted squat uidlist bug

config: Only require ssl_dh is ssl is turned on

lib-mail: Fix snippet generation

Now we won't add leading whitespace for no reason, and also
strip BOM when found.

dcrypt: Fix encrypted test keys

dcrypt: Update v2 sample

dcrypt: Retrieve key length correctly

lib-storage: remove set_cache_corrupted_reason from mail_vfuncs

Change set_cache_corrupted signature to what set_cache_corrupted_reason
used to be.

lib: Avoid compiler warning if off_t has the same size as ssize_t.

lib-storage: remove mailbox-recent-flags.h from index-storage.h

dsync: Further fixes to received_timestamp and virtual_size parsing (-t and -S parameters)

lib: move sort and search from strfuncs.h to sort.h

auth: remove #define default_cache_key cache_key

lib-http: rename http_header_field.key to name

lib-http: remove http_header_field from http_response

lib-lda: remove obsolete smtp-client code

lib-storage: remove obsolete constants

lib-storage: remove obsolete MAIL_FETCH_UIDL_FILE_NAME

dsync: Added missing fields to ibc-stream.

lib: Implemented i_stream_create_copy_from_data().

Unlike i_stream_create_from_data(), this function makes a copy of the provided data block. This way, the application does not need to worry about keeping it allocated for the lifetime of the stream.
The copied data is allocated durably on the system pool and freed once the stream is destroyed.

lib,lib-test: stop calling memcmp and memcpy with NULL in tests

lib-mail: stop calling str_append_n and memcmp with NULL in tests

lib: iterate all fds in fd_debug_verify_leaks, fail with i_fatal

There is no benefit in failing with i_panic here since the error is most
likely not in the stack trace here.

lib: stop using first_fd as loop counter in fd_debug_verify_leaks

Use a separate int fd to iterate [first_fd, last_fd] instead.

Moved cc-wrapper.sh handling to dovecot.m4

When configuring Dovecot --without-shared-libs and pointing external plugins
to uninstalled sources --with-dovecot, any binaries complied for plugins
weren't using cc-wrapper.sh, which could have caused runtime failures when
they attempted to load plugins dynamically. Now it's possible to add
DC_CC_WRAPPER to plugins' configure.ac to build with the cc-wrapper.sh.

configure: Fix dcrypt build conditionals

lib-storage: don't crash when pop3c-client timeouts

doveadm-dump: Add missing include

-Wstrict-bool warning fixes

doveadm sync: Fixed -S parameter parsing to actually work.

doveadm sync/backup: Added -S <max size> parameter to skip too large mails.

auth-db-dict: Allow key name expansion

This allows expansion of dictionary keys based on userdb
variables on dict lookup mapping. Example:
key userdb {
  key = %{userdb:nspace:default}/userdb
  format = json
}

lib-test: test-exit helper to stop valgrind complaining about fork()s

fork()s that want to _exit() will cause valgrind's full memory leak
checker to complain a lot - this performs a quick cleanup first.

Before:
  phil@phil:~/repos/dovecot-core$ valgrind --trace-children=yes --leak-check=full --show-leak-kinds=all src/lib/test-lib --match unix
  ==19576==   total heap usage: 4 allocs, 0 frees, 17,858 bytes allocated
  istream unix ......................................................... : ok
  0 / 1 tests failed
  ==19575==   total heap usage: 7 allocs, 7 frees, 19,327 bytes allocated

After:
  phil@phil:~/repos/dovecot-core$ valgrind --trace-children=yes --leak-check=full --show-leak-kinds=all src/lib/test-lib --match unix
  istream unix ......................................................... : ok
  ==4993==   total heap usage: 4 allocs, 4 frees, 17,858 bytes allocated
  0 / 1 tests failed
  ==4992==   total heap usage: 7 allocs, 7 frees, 19,327 bytes allocated

Signed-off-by: Phil Carmody <phil@dovecot.fi>

openssl: Fix v1.1 compability

OpenSSL: link against OpenSSL libs explicitly

doveadm: add doveadm-dump-dcrypt-key

config: Use ssl-parameters.dat if ssl_dh is missing