lib-http: server: Make sure provided connection FDs are non-blocking.

lib-http: server: Wrap request payload in a timeout input stream.

The server cannot reset the timeout properly while the payload is being read by the application.
The HTTP client solved this same problem by identical means.

lib-http: server: Fixed handling of idle timeout when request just starts processing on the server.

lib-http: server: Added more detailed debugging about when idle timeouts are started/stopped.

lib-http: client: Added tests for manual handling of connection loss retries to test-http-client-errors.

lib-http: client: Implemented no_auto_retry setting that disables all automatic request retries.

This currently only applies to requests sent over a connection that is subsequently lost before a response is received.
Before, such requests were always implicitly resumbitted for a new connection, without the application knowing about it.
By enabling the no_auto_retry client setting, the application is always notified of connection loss through the request's response callback.
As a consequence, requests need to be retried explicitly using the http_client_request_try_retry().

lib-http: client: Allow retrying requests that failed internally.

lib-http: client: Added test for http_client_request_delay_msecs() in test_http_client_errors.

lib-http: Improved error logging for net_set_*_buffer_size() failures.

lib-http: client: Created test program that triggers most possible error conditions.

lib-http: test-http-payload: Added tests for the use of nested ioloops.

lib-http: test-http-payload: Added cleanup code to make sure no child processes get orphaned at failures.

Also handles SIGSEGV and SIGABRT.

lib-http: test-http-payload: Added -D option to easily enable debug mode.

lib-http: test-http-client: Callback is not called for explicitly aborted requests.

Test request context was not freed in that case.

lib-http: client: Fixed bug in handling of lost connections while returning from another ioloop.

At one instance the http_client_connection_is_ready() function could have destroyed the connection while the caller still depended on it.
Renamed the http_client_connection_is_ready() function to http_client_connection_check_ready().
This now returns -1 when the connection got destroyed. Before it returned a bool that just indicated whether the connection was ready or not.
So, there is no need anymore to preserve a connection reference while calling this function.

lib-http: client: Reworked connection close handling.

Now, the peer is immediately notified of the lost connection.
Before, this step was only taken when the connection was fully dereferenced.
To prevent recursive notifications between peer and connection, handling the loss of a connection is deferred to the request handler.
When a peer is freed, any associated lingering connections have conn->peer set to NULL.

lib-http: client: Prevent useless and unexpected request callbacks during http_client_deinit().

Requests are now destroyed before queues, hosts, peers and connections.
As a side-effect, requests are now removed from the client request list at http_client_request_destroy(), so that requests with lingering references will no longer make http_client_wait() hang.

lib-http: client: Added settings to configure the connection's socket kernel buffer sizes.

This is mainly useful for use in the lib-http test suite.

lib: Implemented net_set_send_buffer_size() and net_set_recv_buffer_size().

These functions allow manipulating the kernel socket buffer sizes for a socket file descriptor.

lib-http: client: Removed curiously duplicated code.

Probably a patch got applied with sufficient fuzz that it duplicated this code fragment, while it actually already existed.

lib-http: client: peer: Improved debug message that shows the loss of a connection.

lib-http: client: Made peer object reference-counted to prevent invalid memory access in request handling routine.

Resetting the peer->handling_requests flag risked triggering a segfault, since the peer object could be deleted from within the request handler loop.

lib-http: client: Improved request reference counting in connection code.

It should now always be clear when the connection object holds a reference to a request and when it is released.
Only while the reference is held, req->conn points to a connection.
This also makes the assertion in http_client_request_unref() more robust and clear.

lib-http: client: Fixed reference counting for requests that are aborted due to an early server response.

An additional http_client_request_unref() is (now) unneccessary.

lib-http: client: Fixed reference counting for requests that are aborted due to having a broken outgoing payload stream.

lib-http: Changed http_client_request_error to set request to NULL

It's going to internally unreference it, so the caller should be aware of it
also.

I also changed request state check to be an assert, since I don't think
there's any safe way this could work otherwise.

lib-http: response parser: Added check for the range of the response status value.

A value of 666 was accepted inappropriately.

lib-dict-extra: Compiler warning fix

lib-dict: Added dict_switch_ioloop()

lib-dict: dict-client rewrite to support async operations

lib: Added t_str_tabunescape()

lib-dcrypt: Use a more supported EC curve in unit test

Fixes running the test on CentOS 6.

lib-index: Don't break indexes on syscall failures during index refreshing.

Especially mmap() failures due to out of memory could have triggered this.
We treated the open as successful, which meant that an empty index was
opened.

lib-dcrypt: Fixed running unit tests in build directory.

mailbox-alias: Fixed renaming mailboxes when the plugin is loaded.

lib-dcrypt: Fixed memory leak in test-crypto unit test

doveadm dump: Updated obox's oid output.

lib-http: client: Added more debug logging about the submission of delayed requests.

time-util: Fixed usec comparison in timeval_cmp_margin().

lib-dcrypt: Fix error_r pointer verification.

lib-fs: Added write_bytes to statistics

[LEN] to [static LEN] on some function parameters

Also add STATIC_ARRAY macro to hide it in c++ compilation.

dcrypt: Arm deinitialization code

dcrypt: Add test for public key loading

dcrypt-openssl: Pass pointer safely

lib-index: Fixed test-mail-index-sync-ext

lib-index: Fixes to handling resized records.

dict: Increased max number of pipelined requests from 5 to 1000.

The client is supposed to be the one throttling the requests. We mainly
want to avoid accidental abuses. Using 1000 is hopefully "large enough"
without being "too large".

dict: Avoid potentially using 100% CPU

Continuing 65c570f18 fix.

lib-fs: Added fs_switch_ioloop()

lib-fs: Code cleanup for fs-sis: Use struct fs.parent

lib-dcrypt: Use hex encoded public key ID in callback

Fixed linking with OSX.

lib-dcrypt: Use dcrypt_key_id_private when applicable

ldap: Fix cyclic dependency

dovecot-config: Add lib-dcrypt to LIBDOVECOT_INCLUDE

Since lib-dcrypt is part of libdovecot.

master: make setting listen empty an error

lib-index: mail_index_ext_resize() was broken when record_size wasn't changed.

lib-dcrypt: Fix various problems

lib-mail: Improved message-parser unit tests.

lib-mail: Fixed message_parser_init_from_parts() with truncated MIME headers

lib-mail: message-header-parser now keeps istream referenced.

lib-storage: mail_set_cache_corrupted*() now sets internal error to storage.

At least index_mail_set_message_parts_corrupted() assumed that this was
being done.

cassandra: Try fallback_consistency also for write timeout failures.

doveadm-server: Disable idle timeout for now

lib-dcrypt: Fixed library dependencies

_DEPENDENCIES needs an explicit paths, not "-lssl" and such. Fixes building
with e.g. OSX.

lib-lda: Don't assert-crash if home directory isn't set.

mbox: Code cleanup - use bool instead of int for tracking locked-status

quota: Differentiate between forced and non-forced quota recalc

The "count" backend doesn't need to recalc quota unless an explicit "doveadm
quota recalc" command is called.

quota: Skip reading mail sizes when quota backend doesn't need it.

If quota backend is updating the quota internally, it's just going to ignore
the looked up size. The only reason for looking up the sizes is to check
with quota_try_alloc() whether user is going over quota.

fs-randomfail: Support failures after asynchronous commands have already finished.

dict: Fixed hang when pipelining multiple commands.

lib-index: Extension record size resizing was still broken.

Fixes assert-crash:
Panic: file mail-index-util.c: line 143 (mail_index_seq_array_add): assertion failed: (array->arr.element_size == sizeof(seq) + aligned_record_size)

lib-mail: Added comment about invalid timezones in message_date_parse()

director: Fixed error handling when directors support incompatible tags

Connection should have been disconnected immediately, not after the next
command that would have produced "Incompatible protocol".

lib-dcrypt: Fixed error handling in dcrypt_key_id_public()

lib-storage: Fixed error handling in list=children checking

fts-lucene: Fixed error handling when checking if settings had changed.

mailbox-alias plugin: Fixed error handling

lib-storage: Search args equalness checks didn't compare keywords correctly.

This may have broken the search in some situations.

mbox: Fixed expunging first mail with CRLF linefeeds.

mdbox: Fix want_altpath flags/boolean mixup

There was only a single flag, so this wasn't actually currently broken.

auth: Fixed error handling in passdb/userdb dict config parsing

director: Fixed ignoring an obsolete up/down change while host is desynced.

lib-dcrypt: Fixed function return type.

lazy-expunge: Fixed crash on error handling

lib-index: Fix duplicate fields in mail_cache_register_fields()

Broken by hash_table_insert() API change. The earlier code was also a bit
wrong by allocating a bit too much memory when there were duplicate fields
being registered.

lib-index: Fixed extension resizing

Broken by 8483af4ff.

lib-index: Added header-size asserts

lib-index: Fixed fsck handling extension with invalid header size

Fixes:

Panic: file mail-index-sync-ext.c: line 393 (mail_index_sync_ext_init_new): assertion failed: (hdr_buf->used == map->hdr.header_size)

lib-storage: Detect duplicate mailbox GUIDs in guid-cache.

Also fixes assert-crashing in hash_table_insert() when it happens.

maildir: Detect duplicate keywords in dovecot-keywords file

Use the first such keyword's index, not the last.

Also fixes assert-crashing in hash_table_insert() when it happens.

maildir: Avoid extra memory usage on duplicate uidlist entries

Also fixes assert-crashing in hash_table_insert() when it happens.

lib-index: Allow growing ext record_size after mail_index_update_ext()

The existing records will just get some zero-padding at the end of records.

lib-index: Fixed changing extension record sizes.

map needs to be cloned before any extension record size changes are done.
Otherwise the map cloning will crash or do something broken.

lib-index: Minor code cleanup - use better variable names

lib-storage: add no_fts in struct mail_search_arg

When flag is set, FTS will not be performed.

fts plugin: handle no_fts flag

No fts will be performed once flag is set.
Original patch from Timo Sirainen <timo.sirainen@dovecot.fi>

virtual: Moved virtual_mailbox_vfuncs to lib-storage.

This allows implementing other virtual storage backends.

master: Give a nicer error if unix/fifo_listener path is empty.

The previous error was simply:

unlink(/var/run/dovecot/) failed: Is a directory

dict-sql: Improve error message for invalid value fields.

It'll now show which map's pattern matched, making it easier to find
from the config file.