lib-program-client: Use i_close_fd() rather than close() when error is not supposed to happen.

lib-program-client: Make debug mode for test suite optional.

It is now disabled by default.

lib-program-client: local: Cleanup any kill timeout while program client is destroyed.

lib-program-client: local: Make sure the child is dead once the program client is destroyed.

lib-program-client: Simplify disconnect handling.

Perform all of the cleanups in a separate shared function.
Always close all fds, since there is nothing left to be read or written at
disconnect.

lib-program-client: remote: Don't try to read remaining input at disconnect.

This code is no longer relevant. At disconnect, there is nothing left to be read
by definition.

lib-program-client: Use iostream-pump for streaming data from program.

lib-program-client: Destroy timeout once client is passively disconnected.

lib-program-client: remote: Initialize program_client_istream with parent FD.

This way, io_add_istream() works as expected.

lib-program-client: local: Stop immediately when child program without I/O ends.

Particularly, don't perform this by calling the input handler.

lib-program-client: Change return type of program_client_connected() to void.

Returning an int status code is no longer useful.

lib-program-client: Use iostream-pump for streaming data towards program.

lib-program-client: Initialize dot streams right after the connection is established.

This avoids creating the dot streams in the input/output handlers, which makes
the code cleaner and easier to port to using iostream-pump.

lib-program-client: Use iostream-temp rather than istream-seekable for seekable output.

This considerably simplifies the code.

lib-program-client: test-program-client-net: Read the client input stream to EOF after the dot stream is closed.

The low-level file stream is not necessarily read to EOF when the body dot
stream sees EOF.

lib-program-client: test-program-client-unix: Properly recognize the noreply script protocol option.

Somehow the equivalent test-program-client-net code does not have this problem.
And somehow this test did not fail before.

lib-program-client: test-program-client-net: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-unix: Destroy test client upon error.

This prevents infinite input event loop when something goes wrong.

lib-program-client: test-program-client-net: Handle test client connections non-blocking.

lib-program-client: test-program-client-unix: Handle test client connections non-blocking.

lib-program-client: test-program-client-net: Create body streams only once in test_program_input_handle().

lib-program-client: test-program-client-unix: Create body stream only once in test_program_input_handle().

lib-program-client: test-program-client-net: Match client input handling code with test-program-client-unix.

lib-program-client: test-program-client-unix: Further fix error handling in test_program_input().

lib-program-client: remote: Always shut down the output when all is written.

Before, this step was omitted when dot streams were used. However, shutting down
the output is necessary no matter what. Otherwise, the receiving end will not
see that no more input will follow, causing deadlock.

lib-program-client: Make sure program client callback is called only once.

lib-program-client: remote: Use struct program_client_remote as parameter where possible.

Avoids the need to cast it everywhere.

lib-program-client: remote: Call program client variable "prclient" consistently.

lib-program-client: local: Call program client variable "plclient" consistently.

lib-program-client: Reformat test-program-client-unix.c.

lib-program-client: Reformat test-program-client-net.c.

lib-program-client: Reformat program-client-private.h.

lib-program-client: Reformat test-program-client-local.c.

lib-program-client: Reformat program-client-remote.c.

lib-program-client: Reformat program-client-local.c.

lib-program-client: Reformat program-client.h.

lib-program-client: Reformat program-client.c.

lib: iostream-pump: Properly implement running a pump with one of the streams blocking.

Having both streams blocking is not useful and that is now explicitly forbidden.

lib: iostream-pump: Add iostream_pump_destroy().

This functions always stops the pump and dereferences the streams before
dereferencing the pump itself.

lib: iostream-pump: Make iostream_pump_unref() implementation match other similar code.

This also means that iostream_pump_unref(NULL) is now a no-op.

lib: iostream-pump: Use refcount as name and int as type for reference count field.

This is what the rest of Dovecot uses.

lib: Reformat test-iostream-pump.c.

lib: Reformat iostream-pump.c.

lib: Reformat iostream-pump.h.

lib-index: Make sure tail_offset is updated after calling expunge handlers

Since it's a bit troublesome to track whether expunge handlers were actually
called, we can just assume that as long as syncing sees expunges, they were
called (and thet most likely were).

This fixes a bug where dovecot.index.cache header's record_count kept
shrinking and deleted_record_count kept increasing after each sync.
These values were only used to determine when to compress the cache, so
its only effect was that the cache could have been compressed earlier
than necessary.

lib-dict: dict-sql - Add username as parameter

SQL statement caching works better when the username is provided
as parameter instead of part of the query, since the caching
can now cache same statements despite username changes.

lib-dns: Remove unused Valgrind disable

lib: Add test-fd-util.c to test i_close() panic message

cassandra: Handle cass_future_set_callback() calling callback immediately

The previous code always assumed it would be called from another thread, but
due to race conditions this wasn't true always. The lookup could have
already finished by the time cass_future_set_callback() was called, in which
case it called the callback immediately.

If the callback was called from the main thread, it still wrote to the
fd_pipe. Because this was a blocking write, it was possible that the pipe
ended becoming full, which caused the whole dict process to hang.

cassandra: Move cassandra_callback_run() earlier

Simplifies the next commit.

lib: ostream-file - Use TCP_NODELAY when uncorking, not corking

lib: ostream-file - Don't try to set TCP options after stream is closed

Flushing the buffer could close the stream and the fd.

lib: ostream-file - Ignore ENOPROTOOPT error also when setting TCP_NODELAY

This happens in some OSes.

lib: ostream-file - Don't use TCP_CORK or TCP_NODELAY for UNIX sockets

Either they fail or just don't do anything.

virtual: Fix calling mail_add_temp_wanted_fields() before mail is set

Fixes:
Panic: file virtual-mail.c: line 123 (backend_mail_get): assertion failed: (bbox != NULL)

virtual: Fix mail.add_temp_wanted_fields() to handle headers correctly

The header that was passed to backend contained wrong index numbers, causing
wrong headers to be used.

lib-storage: Update mail_add_temp_wanted_fields() comment

lib-storage: Move code to a new mailbox_header_lookup_merge()

lib: ostream-file - Don't try to set TCP_NODELAY for non-socket fds

Also log if there are any unexpected errors.

lib-storage: Don't try to set attachment keywords if bodystructure wasn't parsed

This was broken in 057028e3f5567e21c964005ffccda1055fa86508 as there are
code paths leading here that omit bodystructure processing.

Fixes Panic: file index-mail.c: line 1150 (index_mail_parse_body_finish): assertion failed: (mail->data.parsed_bodystructure)

lib: Make sure uncorking ostream-file flushes network output immediately

TCP_CORK and TCP_NODELAY are separate things, but we'll treat them similarly
for our ostream corking API. It was always intended that all data written
inside corking would be delayed until uncork, and immediately sent
afterwards.

This change removes unnecessary extra 40ms delays, which may happen when
proxying.

doveadm: Add error_r to server_connection_create()

doveadm-dsync: Always cleanup after connection

Go through the same error handling path every time. Fixes
Panic: file ioloop.c: line 826 (io_loop_destroy): assertion failed: (ioloop == current_ioloop)

This happened because the ioloop wasn't destroyed
on error.

doveadm-dsync: Move actual command execution to dsync_server_run_command

Simplifies next commit

lib-storage: Attachment flag detection shouldn't cause mail body to be opened

Fetching cached mail headers with
mail_attachment_detection_options=add-flags-on-save caued IMAP BODYSTRUCTURE
to be fetched as well. If it wasn't already cached, this caused opening the
mail body to generate it. Also the result wasn't added to cache, so the
inefficient behavior continued.

dict: Make sure connection IO is stopped when client is disconnected

I'm not sure if this fixes anything, but it makes the behavior closer to
what it was before 2ff2da52146609f4459bd0f7fd603e13400cb85e.

dict: Fix client connection reference counting

If the client disconnected while commands were still running, the destroy
callback could have been called multiple times.

Broken by 2ff2da52146609f4459bd0f7fd603e13400cb85e

Fixes:
Panic: file dict-connection.c: line 149 (dict_connection_unref): assertion failed: (array_count(&conn->cmds) == 0)

lib-storage: maildir: maildir-copy - Fix omission of keywords while copying message with hardlinking.

lib-storage: maildir: maildir-save - Move final copying of keywords to a separate function.

lib-http: client: Fix segfault occurring when an idle host times out.

This is most visible when the host is associated with an invalid host name: in
that case the idle timeout is only 100ms. For valid hosts, this problem can only
appear after 30 minutes idle time (default).

Problem is caused by the session host object starting a new idle timeout in the
shared host, while the shared and session host objects are both being destroyed.

fts: Enable turkish support

fts: Include turkish stopwords

Source https://github.com/stopwords-iso/stopwords-tr/

mail-lua: Handle transaction commit error writing metadata

lib-lua: Fix bracing in table helper macros

Was left broken in c304bc76

mail-lua: Implement mailbox metadata API

Adds methods for accessing and manipulating mailbox metadata

 * user:metadata_get("key", "key", ..) - returns value for keys
 * user:metadata_set("key", "value") - sets value for key
 * user:metadata_unset("key", "value") - unsets key
 * user:metadata_list("prefix", "prefix", ...) - lists keys in dict for prefixes

 * mailbox:metadata_get("key", "key", ..) - returns value for keys
 * mailbox:metadata_set("key", "value") - sets value for key
 * mailbox:metadata_unset("key", "value") - unsets key
 * mailbox:metadata_list("prefix", "prefix", ...) - lists keys in dict for prefixes

User metadata is stored under /(private|shared)/vendor/vendor.dovecot/pvt/server to
mailbox INBOX, and is accessible with mailbox metadata methods with INBOX.

Also mail lua exports constants to simplify usage

dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT
"vendor/vendor.dovecot/"
dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT
"vendor/vendor.dovecot/pvt/"
dovecot.storage.MAILBOX_ATTRIBUTE_PREFIX_DOVECOT_PVT_SERVER
"vendor/vendor.dovecot/pvt/server/"

mail-lua: Properly refcount user object

Prevents user object from going away unexpectedly, and makes
sure it gets released correctly.

mail-lua: Use userdata for mailbox pointer

Makes it possible to unref mailbox on exit

lib-lua: Fix assigment helper macros

The macro names were conflicting with the table values.

lib-storage: Fix NO-FS-VALIDATION in mail_location

The setting wasn't being preserved properly, so it was just ignored.

lib: event_filter_unref(NULL) is already a no-op

lib-http: Fix comment typo

doveadm: Add body.preview as a fetch field

Keep body.snippet as a fetch field for backward compatitibility reasons

RFC has changed SHOULD length of preview from 100 to 200

RFC draft has changed from SNIPPET to PREVIEW

The older SNIPPET command will remain for now - it is mostly the same
as the new PREVIEW code, so it's essentially an alias (the only
difference between the two versions is the SNIPPET/PREVIEW identifier
text).

dict: Remove unnecessary o_stream_flush()

Added recently by 89e4b2e7fbd17548f3c99fa66368c9b0bc8eb775

doveadm-dict: Add missing dict_deinit

Fixes event leak when set is missing parameter.

dict: Parse handshake using handshake_args

This ensures the input is properly tab unescaped, also
simplifies the handshake function.

dict: Remove obsolete check as getenv() is no longer used for getting dicts

dict: Use connection API

dict: Use connection struct

Prepares for moving into connection API

dict: Create connection with struct master_connection instead of fd

Prepares for moving into connection.c struct

fts: Add fts_enforced=body

Similar to "no", this doesn't enforce FTS indexing for header searches.
Similar to "yes", on FTS lookup failure it won't fallback to reading all
mails.

sdbox: Add "sdbox" event category

2cd16e24fb442a066c6c3051c1042c1091b927bb only added it to the "dbox" alias.

auth-request: Call auth_request_passdb_lookup_end() for all return paths of auth_request_handle_passdb_callback()

Fixes: Panic: file auth-request.c: line 367 (auth_request_unref):
assertion failed: (array_count(&request->authdb_event) == 0)
The panic happens when auth request results in PASSDB_RESULT_USER_DISABLED.

coccinelle: Add all semantic patches used in the past to a new dir

This commit merely imports the semantic patches without providing any
additional tooling to apply them.  It also includes macros.h header used by
coccinelle to properly handle some of the more complex macros we have.

auth: Make db_oauth2_callback debug print human readable

ipc-server: Reconnect on socket input error.

ipc-server: Change reconnect timeout to 10 seconds.

ipc: Terminate IPC process with master.

ipc: Introduce ipc_groups_disconnect_all()