imapc: Don't trust mail stream to have correct CRLFs

It's not that expensive to just recalculate them. If they're not correct in
the stream, it can result in e.g. truncated emails due to wrong virtual_size
being used in body_size calculation. The wrong CRLFs can especially happen
if plugins modify the stream in istream_opened() hook.

doveadm dump: Fix dumping "vsize" header in dovecot.index

It was trying to print it as the "vsize" header in dovecot.list.index.
This caused confusing output, as well as potentially accessing memory
out of bounds.

doveadm log find: Fix memory leak

doveadm user: Fix memory leak

dsync: Fix memory leak - unreference iostreams at deinit

Only some of the code paths need unreferencing, so also add a reference to
the other code paths.

dsync: ibc - reference iostreams internally

This makes it clearer who needs to reference and unreference the streams.

str_data(): cast return to correct type to fix include in c++ code

/usr/include/dovecot/str.h: In function ‘const unsigned char* str_data(const string_t*)’:
/usr/include/dovecot/str.h:22:14: warning: invalid conversion from ‘const void*’ to ‘const unsigned char*’ [-fpermissive]
  return str->data;
         ~~~~~^~~~

Signed-off-by: Danny Al-Gaaf <danny.al-gaaf@bisect.de>

lib: istream-try - Don't assert-crash with empty parent istream

Fixes:
Panic: file istream.c: line 327 (i_stream_read_memarea): assertion failed: (stream->eof)

lib-master: Allow calling master_service_deinit() without _init_finish()

lib: restrict-access: Free chroot_dir at deinit

lib: Free global_event_stack array at deinit

virtual: Fix memory leak when selecting mailboxes with '-' or /metadata

mail-crypt-acl: Fix memory leak when updating ACLs

lib-dcrypt, mail-crypt: Fix leaking memory when using non-global keys

The users' private keys had one reference too much. Because of key cache,
most likely the keys were leaked only once at deinit.

Changed the i_stream_create_decrypt_callback() API so that it allows the
callback to create the key itself without having to store it anywhere.

In this case the key was already added to cache, which increased its
refcount. So an alternative fix would have been to simply unreferenced the
key before returning it. It's a bit ugly though to rely on such caches,
since without the cache the code would be buggy.

mail-crypt: Fix memory leak in "doveadm mailbox cryptokey generate"

lib-smtp: server: Fix memory leak when handling BDAT command

imapc: Fix leaking memory when sending imapc commands after authentication failure

lib-storage: Fix memory leak when mail_storage_service_next() is called multiple times

dsync uses it twice for the same mail_storage_service_user.

doveadm-dict: Initialize set variable in cmd_dict_init

Makes valgrind happy with clang's optimizations

doveadm-dict: Remove spurious `key =` debug logging

Was added in 42db3821

imap: Finish client ostream at disconnect

With IMAP COMPRESS this sends the EOF marker, indicating cleanly closed
connection.

doveadm: Fix compiler warning

doveadm: Simplify destroying ioloop using o_stream_switch_ioloop_to()

doveadm-server: Fix hang when sending a lot of output to clients

Nowadays ostream adds its io to the stream's specified ioloop, not to
current ioloop.

lib-compression: Use i_stream_nonseekable_try_seek() instead of reimplementing it

lib-compression: Use i_stream_default_stat() instead of reimplementing it

lib-compression: deflate ostream - Use Z_FINISH on final flush

Nowadays we have o_stream_finish(), so we can differentiate between
intermediate flush and final flush. Using this allows istream-zlib to
cleanly see that the stream ends.

lib: i_stream_default_stat() - Get seekable streams' sizes by reading the stream

After the stream size is found, seek back to original offset.

lib-dcrypt: istream-decrypt - Add support for seeking

lib: Add i_stream_nonseekable_try_seek()

This can be used by istreams to more easily implement seeking backwards when
it has to be done by first seeking back to offset 0 and reading from there.

quota-clone: Fix CONTEXT_REQUIRE use

Fixes Panic: Module context quota_clone_user_module missing

Broken in 7f7e7c16d956de8e92376a0633ca6e4cb85e8d84

lib-storage: Set index_mail_data.body_size if it can be calculated easily

Probably doesn't help with anything currently, but makes the code more
consistent in how it works.

imapc: Don't use RFC822.SIZE values for message body size calculation

If the RFC822.SIZE doesn't match the exact stream size, the body size
calculation will become wrong. The only downside to this patch is that
now the body size will need to be calculated by parsing the stream, but
there shouldn't be any need to do that unless the body was already
FETCHed, so it shouldn't cause any extra IMAP traffic.

lib-storage: Move code to index_mail_try_set_body_size()

This also adds a check to make sure virtual_size is set. With the current
caller it was already guaranteed to be set.

lib-storage: Don't set virtual_size from index record if it's already set

The existing virtual_size may be a correct one, while the one in the index
may be wrong. This will be an especially important fix with the next
commit, because it would make the existing inexact_total_sizes=FALSE wrong.

lib-storage: Don't enforce creation of vsize header.

It's useful for caching quota=count and for STATUS (X-SIZE). If neither is
used the header shouldn't be created and kept up-to-date. If the header is
enabled, it also triggers creation of per-email vsize records.

push-notification: Add lua driver

mail-lua: Add Lua support plugin for mail storage

lib-lua: Add lua_pushboolean helper to push real booleans

Makes boolean handling in dovecot code slightly easier

push-notification: Fix mailbox unsubscribe event

Subscribe should be FALSE here.

imap: Fix assert-crash when client is disconnected during a long COPY/MOVE

Similar fix than 481992bfe2740bdec70fcd7366dea50ed9128966

Fixes:
Panic: file cmd-copy.c: line 50 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output))

dovecot.service: Update LimitNOFILE=65535

Current value of 8192 is too low for most production setups and it needs
to be changed every time something is deployed. Setting the default to
65535 is enough for most production environments so this would be one
task less when deploying a production platform.

auth: pass overriden auth_debug setting to auth process

lib-storage: Replace "if(mail_debug)" with "if(event_want_debug_log)"

plugins: replace "if(mail_debug){i_debug}" with "e_debug"

lib-storage: Replace "if(mail_debug){i_debug}" "e_debug"

lib-storage: Force mail_storage_service_user event debug when mail_debug=yes

lda & lib-lda: "if(mail_debug){i_debug}" with "e_debug"

indexer: Replace "if(mail_debug){i_debug}" with "e_debug"

imap: Replace "if(mail_debug){i_debug}" with "e_debug"

lib-imap-urlauth & imap-urlauth: replace "if(mail_debug){i_debug}" with "e_debug(client->event)"

imap-urlauth: Add event with "imap-urlauth" category to struct client of imap-urlauth

global: Replace check for auth_debug with event_want_debug_log in doveadm-auth::auth_connected()

These functions will create event with "auth" category and unref it in
the end.

global: Replace "if(auth_debug){i_debug(...)}" with e_debug(event, ...)

event is one of: global auth::auth_event,
auth_client_connection->event, auth_request->event,
login-common::event_auth. These event have category "auth".

global: Remove unnecessary checks for mail_debug and auth_request->debug

These checks are performed before calling auth_request_log_debug() and
push_notification_driver_debug(), while the same checks are performed
inside of these functions, and they return without doing anything.

auth: Add event with category "auth" to struct auth_request.

auth: Add event with category "auth" to struct auth_client_connection.

login-common: Add global event_auth with "auth" category.

lib: Add event_want_debug and event_want_debug_log macros

auth: Add global auth_event with category "auth".

pop3c: Ensure pop3c index directory is autocreated

Otherwise we might think that the box has been unexpectedly
autodeleted and pop3_migration will fail.

Broken by 91ee70ed04d33fecd7fc94621f236013d520d7b3

lib-dict-backend: Fix building --with-cdb --without-shared-libs

lib: Fix filtering by event name in log_core_filter

event->sending_name was already cleared by the time it was checked, so any
event:* filters never matched.

push-notification: Add SSL support for OX driver

imap: Log unhibernation debug message only with mail_debug=yes

lib-smtp: client: Avoid sending an XCLIENT command longer than 512 bytes.

Send several separate XCLIENT commands instead. This way, it complies with the
base SMTP line length limit and with Postfix' original specification for the
XCLIENT command.

With the XCLIENT fields that Dovecot currently uses, this is very unlikely to
happen. Still, this needs to be fixed to make things reliable.

lib-smtp: client: Do not start authentication before initial XCLIENT gets reply.

lib-smtp: server: Provide full proxy data to the conn_proxy_data_updated() callback.

Before, it would only provide the fields that were updated, meaning that some
fields would remain unset, which caused problems for LMTP when more than one
XCLIENT command was sent or the ADDR field was not specified.

global: start relying on http_client_request_abort(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  http_client_request_abort(&E);
- }
+ http_client_request_abort(&E);

lib-http: http_client_request_abort(NULL) should be a no-op

lda: Allow -f sender to omit domain.

Several people complained about the original enforcement of the presence of a
domain (added for v2.3.0) to be too restrictive. Apparently, this legitimately
happens with bounce messages on certain platforms.

lib-fs: fs_unlock(NULL) should be a no-op

global: start relying on fs_iter_deinit(NULL) being a no-op

lib-fs: fs_iter_deinit(NULL) should be a no-op

global: start relying on fs_deinit(NULL) and fs_unref(NULL) being no-ops

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  fs_unref(&E);
- }
+ fs_unref(&E);

@@
expression E;
@@

- if (E != NULL) {
-  fs_deinit(&E);
- }
+ fs_deinit(&E);

lib-fs: fs_unref(NULL) should be a no-op

global: start relying on fs_file_close(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  fs_file_close(E);
- }
+ fs_file_close(E);

lib-fs: fs_file_close(NULL) should be a no-op

global: start relying on fs_file_deinit(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  fs_file_deinit(&E);
- }
+ fs_file_deinit(&E);

lib-fs: fs_file_deinit(NULL) should be a no-op

lib-smtp: Add test-smtp-payload, test-smtp-submit, test-smtp-client-errors, and test-smtp-server-errors to `make check`.

lib-http: Add test-http-payload, test-http-client-errors, and test-http-server-errors to `make check`.

lib-http: test-http-client-errors: Make the reconnect failure test less time-sensitive.

Easily breaks in Valgrind.

lib-smtp: test-smtp-payload: Terminate the test if it is hanging for some reason.

lib-smtp: test-smtp-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-payload: Add SSL tests.

lib-smtp: test-smtp-payload: Add SSL tests.

lib-http: test-http-payload: Ignore SIGPIPE.

lib-smtp: test-smtp-payload: Ignore SIGPIPE.

lib-http: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: client: Amend connection debug message with source ip:port.

Helps matching debug logs between client and server.

lib-smtp: test-smtp-payload: Keep the number of pending transactions constant.

Before, a window was used.

lib-smtp: test-smtp-payload: Make proper definition for the maximum number of parallel transactions.

lib-http: test-http-payload: Add test for exchanging payload with unknown size.

This will force using the chunked transfer encoding.

lib-http: test-http-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-smtp: test-smtp-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-ssl-iostream: Add support for creating server and client test SSL settings.

This is useful for building test cases with SSL support.

lib-master: If stats process wants no events, send nothing to it

Instead of sending everything to it..