lib-dcrypt: istream-decrypt - Add support for seeking

lib: Add i_stream_nonseekable_try_seek()

This can be used by istreams to more easily implement seeking backwards when
it has to be done by first seeking back to offset 0 and reading from there.

quota-clone: Fix CONTEXT_REQUIRE use

Fixes Panic: Module context quota_clone_user_module missing

Broken in 7f7e7c16d956de8e92376a0633ca6e4cb85e8d84

lib-storage: Set index_mail_data.body_size if it can be calculated easily

Probably doesn't help with anything currently, but makes the code more
consistent in how it works.

imapc: Don't use RFC822.SIZE values for message body size calculation

If the RFC822.SIZE doesn't match the exact stream size, the body size
calculation will become wrong. The only downside to this patch is that
now the body size will need to be calculated by parsing the stream, but
there shouldn't be any need to do that unless the body was already
FETCHed, so it shouldn't cause any extra IMAP traffic.

lib-storage: Move code to index_mail_try_set_body_size()

This also adds a check to make sure virtual_size is set. With the current
caller it was already guaranteed to be set.

lib-storage: Don't set virtual_size from index record if it's already set

The existing virtual_size may be a correct one, while the one in the index
may be wrong. This will be an especially important fix with the next
commit, because it would make the existing inexact_total_sizes=FALSE wrong.

lib-storage: Don't enforce creation of vsize header.

It's useful for caching quota=count and for STATUS (X-SIZE). If neither is
used the header shouldn't be created and kept up-to-date. If the header is
enabled, it also triggers creation of per-email vsize records.

push-notification: Add lua driver

mail-lua: Add Lua support plugin for mail storage

lib-lua: Add lua_pushboolean helper to push real booleans

Makes boolean handling in dovecot code slightly easier

push-notification: Fix mailbox unsubscribe event

Subscribe should be FALSE here.

imap: Fix assert-crash when client is disconnected during a long COPY/MOVE

Similar fix than 481992bfe2740bdec70fcd7366dea50ed9128966

Fixes:
Panic: file cmd-copy.c: line 50 (fetch_and_copy): assertion failed: (o_stream_is_corked(client->output))

dovecot.service: Update LimitNOFILE=65535

Current value of 8192 is too low for most production setups and it needs
to be changed every time something is deployed. Setting the default to
65535 is enough for most production environments so this would be one
task less when deploying a production platform.

auth: pass overriden auth_debug setting to auth process

lib-storage: Replace "if(mail_debug)" with "if(event_want_debug_log)"

plugins: replace "if(mail_debug){i_debug}" with "e_debug"

lib-storage: Replace "if(mail_debug){i_debug}" "e_debug"

lib-storage: Force mail_storage_service_user event debug when mail_debug=yes

lda & lib-lda: "if(mail_debug){i_debug}" with "e_debug"

indexer: Replace "if(mail_debug){i_debug}" with "e_debug"

imap: Replace "if(mail_debug){i_debug}" with "e_debug"

lib-imap-urlauth & imap-urlauth: replace "if(mail_debug){i_debug}" with "e_debug(client->event)"

imap-urlauth: Add event with "imap-urlauth" category to struct client of imap-urlauth

global: Replace check for auth_debug with event_want_debug_log in doveadm-auth::auth_connected()

These functions will create event with "auth" category and unref it in
the end.

global: Replace "if(auth_debug){i_debug(...)}" with e_debug(event, ...)

event is one of: global auth::auth_event,
auth_client_connection->event, auth_request->event,
login-common::event_auth. These event have category "auth".

global: Remove unnecessary checks for mail_debug and auth_request->debug

These checks are performed before calling auth_request_log_debug() and
push_notification_driver_debug(), while the same checks are performed
inside of these functions, and they return without doing anything.

auth: Add event with category "auth" to struct auth_request.

auth: Add event with category "auth" to struct auth_client_connection.

login-common: Add global event_auth with "auth" category.

lib: Add event_want_debug and event_want_debug_log macros

auth: Add global auth_event with category "auth".

pop3c: Ensure pop3c index directory is autocreated

Otherwise we might think that the box has been unexpectedly
autodeleted and pop3_migration will fail.

Broken by 91ee70ed04d33fecd7fc94621f236013d520d7b3

lib-dict-backend: Fix building --with-cdb --without-shared-libs

lib: Fix filtering by event name in log_core_filter

event->sending_name was already cleared by the time it was checked, so any
event:* filters never matched.

push-notification: Add SSL support for OX driver

imap: Log unhibernation debug message only with mail_debug=yes

lib-smtp: client: Avoid sending an XCLIENT command longer than 512 bytes.

Send several separate XCLIENT commands instead. This way, it complies with the
base SMTP line length limit and with Postfix' original specification for the
XCLIENT command.

With the XCLIENT fields that Dovecot currently uses, this is very unlikely to
happen. Still, this needs to be fixed to make things reliable.

lib-smtp: client: Do not start authentication before initial XCLIENT gets reply.

lib-smtp: server: Provide full proxy data to the conn_proxy_data_updated() callback.

Before, it would only provide the fields that were updated, meaning that some
fields would remain unset, which caused problems for LMTP when more than one
XCLIENT command was sent or the ADDR field was not specified.

global: start relying on http_client_request_abort(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  http_client_request_abort(&E);
- }
+ http_client_request_abort(&E);

lib-http: http_client_request_abort(NULL) should be a no-op

lda: Allow -f sender to omit domain.

Several people complained about the original enforcement of the presence of a
domain (added for v2.3.0) to be too restrictive. Apparently, this legitimately
happens with bounce messages on certain platforms.

lib-fs: fs_unlock(NULL) should be a no-op

global: start relying on fs_iter_deinit(NULL) being a no-op

lib-fs: fs_iter_deinit(NULL) should be a no-op

global: start relying on fs_deinit(NULL) and fs_unref(NULL) being no-ops

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  fs_unref(&E);
- }
+ fs_unref(&E);

@@
expression E;
@@

- if (E != NULL) {
-  fs_deinit(&E);
- }
+ fs_deinit(&E);

lib-fs: fs_unref(NULL) should be a no-op

global: start relying on fs_file_close(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  fs_file_close(E);
- }
+ fs_file_close(E);

lib-fs: fs_file_close(NULL) should be a no-op

global: start relying on fs_file_deinit(NULL) being a no-op

Cleanup performed with the following semantic patch:

@@
expression E;
@@

- if (E != NULL) {
-  fs_file_deinit(&E);
- }
+ fs_file_deinit(&E);

lib-fs: fs_file_deinit(NULL) should be a no-op

lib-smtp: Add test-smtp-payload, test-smtp-submit, test-smtp-client-errors, and test-smtp-server-errors to `make check`.

lib-http: Add test-http-payload, test-http-client-errors, and test-http-server-errors to `make check`.

lib-http: test-http-client-errors: Make the reconnect failure test less time-sensitive.

Easily breaks in Valgrind.

lib-smtp: test-smtp-payload: Terminate the test if it is hanging for some reason.

lib-smtp: test-smtp-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-client-errors: Terminate the test if it is hanging for some reason.

lib-http: test-http-payload: Add SSL tests.

lib-smtp: test-smtp-payload: Add SSL tests.

lib-http: test-http-payload: Ignore SIGPIPE.

lib-smtp: test-smtp-payload: Ignore SIGPIPE.

lib-http: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: server: Allow creating server with custom SSL settings.

Normally, the settings are obtained through lib-master, but that is not
really suitable for the test suite.

lib-smtp: client: Amend connection debug message with source ip:port.

Helps matching debug logs between client and server.

lib-smtp: test-smtp-payload: Keep the number of pending transactions constant.

Before, a window was used.

lib-smtp: test-smtp-payload: Make proper definition for the maximum number of parallel transactions.

lib-http: test-http-payload: Add test for exchanging payload with unknown size.

This will force using the chunked transfer encoding.

lib-http: test-http-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-smtp: test-smtp-payload: server: Fix asynchronous listening.

The listening socket was blocking and the io handler only accepted one connection per run.

lib-ssl-iostream: Add support for creating server and client test SSL settings.

This is useful for building test cases with SSL support.

lib-master: If stats process wants no events, send nothing to it

Instead of sending everything to it..

lib-charset: test-charset can now be used to convert input file

Usage: test-charset <charset> [<input path>]

If <input path> isn't specified, read input from stdin.  The input is
converted to UTF-8 and written to stdout.

doveadm director: Remove unnecessary extra newlines from output

lib-master: Move const char *error declaration inside ifdef HAVE_SSL

This is so you can compile dovecot without ssl.

lib: io_loop_stop() should stop the ioloop immediately

Other timeouts or IOs shouldn't be called anymore.

lib: test-multiplex - Make sure alt istream's final input is read

Previously the code trusted that the the alt istream's final IO callback was
called even after io_loop_stop().

cassandra: Fix empty binary parameters with prepared statements

Fixes:
Panic: Trying to allocate 0 bytes

lib-smtp: server: Fix the enforcement of the maximum DATA command message size.

The global setting from the server object was used, rather than the
per-connection setting. The latter is usually the one that is properly set,
while the global server setting is left at zero. For LMTP this meant that the
40 Mb implicit limit was still in force.

lib-smtp: client: Increase the default BDAT chunk size.

Reduces the number of roundtrips and keeps the TCP window filled better.
The default is now based on the NET_BLOCK_SIZE definition.

lib: Define NET_BLOCK_SIZE.

This defines the default size for data blocks transferred over the network. It
should be large enough to guarantee filling up the TCP window (for efficiency),
while still preventing sending much data while the peer has already rejected
the rest of the transfer.

fs-posix: Support FS_METADATA_WRITE_FNAME for fs_copy()

auth: db-lua - Remove unnecessary pushnil usage

lua_pushstring is NULL-safe

log: Fix the default prefix

"listen_fd(123): foo" is better than "listen_fd 14foo"

man: doveadm-mailbox.1.in - Fix doveadm-search-query(7) section

lib-storage: maildir - Remove unnecessary variable

lib-storage: maildir - Use index keywords only when saving mail

This fixes mail attachment keywords to work with maildir too.

lib-storage: maildir - Use array code for keywords when saving mail

This is safer alternative and makes following change easier.

director: Make sure host's last_updown_change never shrinks.

Otherwise the ring might get into a loop where two HOST updates keep
fighting each others. This could probably happen if one update comes at
"desynced" state and other one in non-desynced state.

I'm not entirely sure if this is fixing such a loop or not, but it at least
shouldn't hurt.

auth: Fix assert-crash if auth client sends 0 as ID

This could be triggered by anyone having (local) write access to the auth
socket.

lib-index: Remove #if'ed out code

Originally added by 0b2d4626c6fb4e40bc81c56d8227191f3c7e1ea3. Possibly
accidentally.

lib: Fix ioloop-poll and ioloop-select to work with io_add_istream()

example-config: Add log_debug and log_core_filter

lib-master: Add improved log filter parsing

It now supports parenthesis to perform ANDs within a query. For example:
"(ruleA1 ruleA2) ruleB (ruleC1 ruleC2 ruleC3)" has 3 ORed rules.

Rules can contain:

 - event:<name>
 - source:<filename>[:<line number>]
 - field:<key>=<value> can be used multiple times
 - cat[egory]:<value> can be used multiple times

For example:

event:http_request_finished (cat:error cat:storage)

This matches either the "http_request_finished" named event, or
alternatively any error event that belongs to "storage" category.

lib: Event filter - Source line number 0 now means "any"

lib: Event filter - Support wildcards in event names

This allows for example log_debug=event:*

lib: event_add_str() - Ignore calls when value is NULL

Alternative could be to assert-crash instead. But perhaps this makes it
easier to use and avoids unnecessary assert-crashes?

doveadm: Add mailbox cache compress

lib-index: Add mail_cache_compress_forced()

lib-iostream-ssl: Use default CA locations with client context

If no CA settings are provided, fall back to default CA
settings from openssl library.