lib-http: client/server: Enable the TCP_NODELAY option for all connections.

This disables the TCP Nagle algorithm. With the Nagle algorithm enabled, TCP waits a little to accumulate more data in a small segment before it is sent. For transfer of large continuous payloads, this is not useful and even harmful.
If the final remaining bit of the payload is small, the TCP layer will wait for a significant amount of time at the end of the payload. For many sequential transfers, this amounts to much waiting time.
This is particularly evident in the test-http-payload test suite tool. Setting TCP_NODELAY decreases its run time from up to 20 minutes to about half a minute my system.

lib: Created net_set_tcp_nodelay(), which enables the TCP_NODELAY socket option.

This disables the TCP Nagle algorithm.

lib-ssl-iostream: Changed require_valid_cert -> allow_invalid_cert

We should default to being safe.

lib-http: client: Added test for http_client_request_delay_msecs() in test_http_client_errors.

lib-http: client: Added more debug logging about the submission of delayed requests.

time-util: Fixed usec comparison in timeval_cmp_margin().

lib-dcrypt: Fix error_r pointer verification.

lib-fs: Added write_bytes to statistics

dcrypt: Arm deinitialization code

dcrypt: Add test for public key loading

dcrypt-openssl: Pass pointer safely

lib-index: Fixed test-mail-index-sync-ext

lib-index: Fixes to handling resized records.

dict: Increased max number of pipelined requests from 5 to 1000.

The client is supposed to be the one throttling the requests. We mainly
want to avoid accidental abuses. Using 1000 is hopefully "large enough"
without being "too large".

dict: Avoid potentially using 100% CPU

Continuing 65c570f18 fix.

lib-fs: Added fs_switch_ioloop()

lib-fs: Code cleanup for fs-sis: Use struct fs.parent

lib-dcrypt: Use hex encoded public key ID in callback

lib-dcrypt: Use dcrypt_key_id_private when applicable

ldap: Fix cyclic dependency

dovecot-config: Add lib-dcrypt to LIBDOVECOT_INCLUDE

Since lib-dcrypt is part of libdovecot.

master: make setting listen empty an error

lib-fs: fs_wait_async() can't fail, so make it return void.

The individual requests can timeout, but not the waiting itself.

lmtp: Don't permanently allocate from data stack during init.

lib-index: mail_index_ext_resize() was broken when record_size wasn't changed.

lib-dcrypt: Fix various problems

lib-mail: Improved message-parser unit tests.

lib-mail: Fixed message_parser_init_from_parts() with truncated MIME headers

lib-mail: message-header-parser now keeps istream referenced.

lib-storage: mail_set_cache_corrupted*() now sets internal error to storage.

At least index_mail_set_message_parts_corrupted() assumed that this was
being done.

doveadm: Don't use already-freed data stack after init.

Broken by 0679f8a70.

cassandra: Try fallback_consistency also for write timeout failures.

doveadm-server: Disable idle timeout for now

Fixed linking with OSX.

-Wstrict-bool warning fixes

lib-dcrypt: Fixed library dependencies

_DEPENDENCIES needs an explicit paths, not "-lssl" and such. Fixes building
with e.g. OSX.

lib-lda: Don't assert-crash if home directory isn't set.

lib-mail: Fixed to 91fdb25b5

Caused by my manual edits to avoid the -Wstrict-bool warnings.

lib-master: Add automatic data stack frame to init unless disabled.

mbox: mbox_index_header.dirty_flag isn't boolean, so don't use TRUE/FALSE with it.

lib: define FALSE to be (!1)

This allows the patched clang to treat FALSE as a boolean expression.

global: Use only explicit int -> bool conversions

These were checked with a patched clang.

global: Require comparisons to be strict boolean expressions

 * No implicit integer -> boolean or pointer -> boolean conversions
 * !expr can be used only if expr is boolean type

These were checked with a patched clang. It found various actual bugs,
which were fixed by the previous commits.

global: uint32_t:1 -> bool:1

They were uint32_t because I wanted to be sure that there wouldn't be any
padding added to the struct. But this should be true also with bool:1.

global: unsigned int:1 -> bool:1

perl -i -pe 's/unsigned int ([^,:;]+):1;/bool $1:1;/' **/*.[ch]

mbox: Code cleanup - use bool instead of int for tracking locked-status

lib: remove autoclose parameter from [io]_stream_create_fd

Use [io]_stream_create_fd_autoclose() for autoclose.

quota: Differentiate between forced and non-forced quota recalc

The "count" backend doesn't need to recalc quota unless an explicit "doveadm
quota recalc" command is called.

quota: Skip reading mail sizes when quota backend doesn't need it.

If quota backend is updating the quota internally, it's just going to ignore
the looked up size. The only reason for looking up the sizes is to check
with quota_try_alloc() whether user is going over quota.

lib-mail: Update tests for message address

lib-mail: message_address_write: Quote and escape strings if needed

ATEXT characters must be properly quoted when are in phrase.

Test case:

  { name = "test\"test", mailbox = "user", domain = "host" }

converts to:

  "test\"test" <user@host>

lib-mail: parse_mailbox: Set display name instead mailbox when parsing failed

It does not make sense to set mailbox without domain on incorrect input.
Rather set display name which is more likely useable value.

Test case:

  test

is parsed as:

  { name = "test", mailbox = NULL, domain = NULL }

lib-mail: parse_addr_spec: Email address without local-part is invalid

Add explicit invalid_syntax flag also when end of input occure because
address is without domain invalid and in this case it was not correctly
propagated.

lib-mail: parse_addr_spec: Like in rfc822_skip_comment() check if last_comment is not NULL

This will fix possible NULL pointer dereference when caller does not set last_comment.

lib-mail: message_address_write: Fix generating group list with empty name

Empty name for group list must be quoted.

Test case:

  { { name = NULL, mailbox = "", domain = NULL }, { name = NULL, mailbox = NULL, domain = NULL } }

converts to:

  "":;

lib-mail: message_address_write: Fix generating empty group list

Empty group list ends with ": " not with ", ".

Test case:

  { { name = NULL, mailbox = "group", domain = NULL }, { name = NULL, mailbox = NULL, domain = NULL } }

converts to:

  group:;

fs-randomfail: Support failures after asynchronous commands have already finished.

dict: Fixed hang when pipelining multiple commands.

lib-index: Extension record size resizing was still broken.

Fixes assert-crash:
Panic: file mail-index-util.c: line 143 (mail_index_seq_array_add): assertion failed: (array->arr.element_size == sizeof(seq) + aligned_record_size)

global: More fixes to mismatched bool vs int handling

global: Fixed mismatched bool vs. int/pointer handling

I don't think these fix any actual bugs.

lib-mail: Added comment about invalid timezones in message_date_parse()

director: Fixed error handling when directors support incompatible tags

Connection should have been disconnected immediately, not after the next
command that would have produced "Incompatible protocol".

lib-dcrypt: Fixed error handling in dcrypt_key_id_public()

lib-storage: Fixed error handling in list=children checking

fts-lucene: Fixed error handling when checking if settings had changed.

mailbox-alias plugin: Fixed error handling

lib-storage: Search args equalness checks didn't compare keywords correctly.

This may have broken the search in some situations.

mbox: Fixed expunging first mail with CRLF linefeeds.

mdbox: Fix want_altpath flags/boolean mixup

There was only a single flag, so this wasn't actually currently broken.

auth: Fixed error handling in passdb/userdb dict config parsing

director: Fixed ignoring an obsolete up/down change while host is desynced.

lib-dcrypt: Fixed function return type.

lazy-expunge: Fixed crash on error handling

lib-index: Fix duplicate fields in mail_cache_register_fields()

Broken by hash_table_insert() API change. The earlier code was also a bit
wrong by allocating a bit too much memory when there were duplicate fields
being registered.

lib-index: Fixed extension resizing

Broken by 8483af4ff.

lib-index: Added header-size asserts

lib-index: Fixed fsck handling extension with invalid header size

Fixes:

Panic: file mail-index-sync-ext.c: line 393 (mail_index_sync_ext_init_new): assertion failed: (hdr_buf->used == map->hdr.header_size)

global: Use hash_table_update() instead of _insert() where necessary.

lib-storage: Detect duplicate mailbox GUIDs in guid-cache.

Also fixes assert-crashing in hash_table_insert() when it happens.

maildir: Detect duplicate keywords in dovecot-keywords file

Use the first such keyword's index, not the last.

Also fixes assert-crashing in hash_table_insert() when it happens.

maildir: Avoid extra memory usage on duplicate uidlist entries

Also fixes assert-crashing in hash_table_insert() when it happens.

lib-index: Allow growing ext record_size after mail_index_update_ext()

The existing records will just get some zero-padding at the end of records.

lib-index: Fixed changing extension record sizes.

map needs to be cloned before any extension record size changes are done.
Otherwise the map cloning will crash or do something broken.

lib-index: Minor code cleanup - use better variable names

lib-storage: add no_fts in struct mail_search_arg

When flag is set, FTS will not be performed.

fts plugin: handle no_fts flag

No fts will be performed once flag is set.
Original patch from Timo Sirainen <timo.sirainen@dovecot.fi>

hash: refactor hash_table_insert_node() and its callers reference

Refactor *changes* the behavior of hash_table_insert().
* hash_table_insert() will assert when a key already exsists.
And hash_table_update() remains updating value when a key already exsists.

Refactor also changes the argument list referred by all its callers:
* hash_table_insert/update/resize().

lib-fts: fixup misuse of hash_table_insert()

Instead use hash_table_update() to replace value when a key exsists.

virtual: Moved virtual_mailbox_vfuncs to lib-storage.

This allows implementing other virtual storage backends.

master: Give a nicer error if unix/fifo_listener path is empty.

The previous error was simply:

unlink(/var/run/dovecot/) failed: Is a directory

print CFLAGS on ./configure

lib: net_get_ip_any[46]() to struct net_ip[46]_any

Also add struct net_ip[46]_loopback.

lib: remove useless NULL check after calling vstrconcat

behavior change accordingly.

liblib: *_strndup() and *_strconcat() shouldn't pass through NULLs.

Assert NULL string pointer in below functions:
i_strndup(), t_strndup() and p_strconcat(), t_strconcat(), i_strconcat() and
vstrconcat.
Replace former NULL condition check accordingly.

lib-fs: do NOT feed i_strconcat() with NULL

fill the string with valid content beforehand.

storage: do NOT feed p_strconcat() with NULL.

p_strconcat will never take NULL as an valid argument.
So ns->list->set.alt_dir has to be checked NULL.

auth: do NOT feed p_strconcat() with NULL

p_strconcat will never take NULL as an valid argument.
Check possible NULL string before calling it.

lib-fts: Improved stopword file reading.

The reading tries to be a little bit stricter now. Only stopwords at the
start of a new line are accepted now. Changed fi stopwords accordingly.
Also removed superfluous stack allocation in parsing.

lib-fts: Add stopword files for more languages.

lib-fts: Move stopwords to subdirectory.

All files incluided in dist are explicitly mentioned. The whole
subdirectory 'stopwords' could also be distributed, but that is
more error prone.