lib-mail: parse_mailbox: Set display name instead mailbox when parsing failed

It does not make sense to set mailbox without domain on incorrect input.
Rather set display name which is more likely useable value.

Test case:

  test

is parsed as:

  { name = "test", mailbox = NULL, domain = NULL }

lib-mail: parse_addr_spec: Email address without local-part is invalid

Add explicit invalid_syntax flag also when end of input occure because
address is without domain invalid and in this case it was not correctly
propagated.

lib-mail: parse_addr_spec: Like in rfc822_skip_comment() check if last_comment is not NULL

This will fix possible NULL pointer dereference when caller does not set last_comment.

lib-mail: message_address_write: Fix generating group list with empty name

Empty name for group list must be quoted.

Test case:

  { { name = NULL, mailbox = "", domain = NULL }, { name = NULL, mailbox = NULL, domain = NULL } }

converts to:

  "":;

lib-mail: message_address_write: Fix generating empty group list

Empty group list ends with ": " not with ", ".

Test case:

  { { name = NULL, mailbox = "group", domain = NULL }, { name = NULL, mailbox = NULL, domain = NULL } }

converts to:

  group:;

fs-randomfail: Support failures after asynchronous commands have already finished.

dict: Fixed hang when pipelining multiple commands.

lib-index: Extension record size resizing was still broken.

Fixes assert-crash:
Panic: file mail-index-util.c: line 143 (mail_index_seq_array_add): assertion failed: (array->arr.element_size == sizeof(seq) + aligned_record_size)

global: More fixes to mismatched bool vs int handling

global: Fixed mismatched bool vs. int/pointer handling

I don't think these fix any actual bugs.

lib-mail: Added comment about invalid timezones in message_date_parse()

director: Fixed error handling when directors support incompatible tags

Connection should have been disconnected immediately, not after the next
command that would have produced "Incompatible protocol".

lib-dcrypt: Fixed error handling in dcrypt_key_id_public()

lib-storage: Fixed error handling in list=children checking

fts-lucene: Fixed error handling when checking if settings had changed.

mailbox-alias plugin: Fixed error handling

lib-storage: Search args equalness checks didn't compare keywords correctly.

This may have broken the search in some situations.

mbox: Fixed expunging first mail with CRLF linefeeds.

mdbox: Fix want_altpath flags/boolean mixup

There was only a single flag, so this wasn't actually currently broken.

auth: Fixed error handling in passdb/userdb dict config parsing

director: Fixed ignoring an obsolete up/down change while host is desynced.

lib-dcrypt: Fixed function return type.

lazy-expunge: Fixed crash on error handling

lib-index: Fix duplicate fields in mail_cache_register_fields()

Broken by hash_table_insert() API change. The earlier code was also a bit
wrong by allocating a bit too much memory when there were duplicate fields
being registered.

lib-index: Fixed extension resizing

Broken by 8483af4ff.

lib-index: Added header-size asserts

lib-index: Fixed fsck handling extension with invalid header size

Fixes:

Panic: file mail-index-sync-ext.c: line 393 (mail_index_sync_ext_init_new): assertion failed: (hdr_buf->used == map->hdr.header_size)

global: Use hash_table_update() instead of _insert() where necessary.

lib-storage: Detect duplicate mailbox GUIDs in guid-cache.

Also fixes assert-crashing in hash_table_insert() when it happens.

maildir: Detect duplicate keywords in dovecot-keywords file

Use the first such keyword's index, not the last.

Also fixes assert-crashing in hash_table_insert() when it happens.

maildir: Avoid extra memory usage on duplicate uidlist entries

Also fixes assert-crashing in hash_table_insert() when it happens.

lib-index: Allow growing ext record_size after mail_index_update_ext()

The existing records will just get some zero-padding at the end of records.

lib-index: Fixed changing extension record sizes.

map needs to be cloned before any extension record size changes are done.
Otherwise the map cloning will crash or do something broken.

lib-index: Minor code cleanup - use better variable names

lib-storage: add no_fts in struct mail_search_arg

When flag is set, FTS will not be performed.

fts plugin: handle no_fts flag

No fts will be performed once flag is set.
Original patch from Timo Sirainen <timo.sirainen@dovecot.fi>

hash: refactor hash_table_insert_node() and its callers reference

Refactor *changes* the behavior of hash_table_insert().
* hash_table_insert() will assert when a key already exsists.
And hash_table_update() remains updating value when a key already exsists.

Refactor also changes the argument list referred by all its callers:
* hash_table_insert/update/resize().

lib-fts: fixup misuse of hash_table_insert()

Instead use hash_table_update() to replace value when a key exsists.

virtual: Moved virtual_mailbox_vfuncs to lib-storage.

This allows implementing other virtual storage backends.

master: Give a nicer error if unix/fifo_listener path is empty.

The previous error was simply:

unlink(/var/run/dovecot/) failed: Is a directory

print CFLAGS on ./configure

lib: net_get_ip_any[46]() to struct net_ip[46]_any

Also add struct net_ip[46]_loopback.

lib: remove useless NULL check after calling vstrconcat

behavior change accordingly.

liblib: *_strndup() and *_strconcat() shouldn't pass through NULLs.

Assert NULL string pointer in below functions:
i_strndup(), t_strndup() and p_strconcat(), t_strconcat(), i_strconcat() and
vstrconcat.
Replace former NULL condition check accordingly.

lib-fs: do NOT feed i_strconcat() with NULL

fill the string with valid content beforehand.

storage: do NOT feed p_strconcat() with NULL.

p_strconcat will never take NULL as an valid argument.
So ns->list->set.alt_dir has to be checked NULL.

auth: do NOT feed p_strconcat() with NULL

p_strconcat will never take NULL as an valid argument.
Check possible NULL string before calling it.

lib-fts: Improved stopword file reading.

The reading tries to be a little bit stricter now. Only stopwords at the
start of a new line are accepted now. Changed fi stopwords accordingly.
Also removed superfluous stack allocation in parsing.

lib-fts: Add stopword files for more languages.

lib-fts: Move stopwords to subdirectory.

All files incluided in dist are explicitly mentioned. The whole
subdirectory 'stopwords' could also be distributed, but that is
more error prone.

dict-sql: Improve error message for invalid value fields.

It'll now show which map's pattern matched, making it easier to find
from the config file.

dict: Pipelined iteration replies may have been hanging.

For example:
 - lookup start
 - iterate start
 - iterate finished, but can't reply yet
 - lookup finished
 - iterate reply can be sent now, but wasn't previously

dict: Fixed crash when reaching max (5) pending commands.

global: Use i_stream_get_max_buffer_size() wherever possible

After 7be8ba0c0 it's no longer correct to access stream->max_buffer_size
directly. These changes fix using istream-chain with various wrapper
streams.

lib: i_stream_get_max_buffer_size() checks also parents' max sizes

This fixes i_stream_get_max_buffer_size() to work correctly with
istream-chain.

lib: istream-chain didn't update its max_buffer_size

I had this code at some point earlier, but looks like it got lost from the
final commit.

lib-compression: istream.max_buffer_size == 0 isn't unlimited.

fs-metawrap: Removed unnecessary code.

As mentioned in a0cf7d392, this can't happen.

lib-fs: Improved unit tests.

fs-metawrap: Removed unnecessary code.

The caller already set success==FALSE if ostream was closed.

lib-fs: Added more asserts

lib-fs: Clarified fs_write_stream_abort() API and dropped its _async().

We can't handle an abort after an async fs_write_stream_finish() is already
going.

lib-fs: Added fs_write_stream_abort_async()

lib: Fix to previous istream-chain max_buffer_size handling

We were casting the wrong stream.

fs-metawrap: Fixed buffer size while reading metadata header.

It's not enough to have the buffer size set to "large enough" at the time of
the stream creation, because i_stream_set_max_buffer_size() could be called
afterwards.

lib: Fixed max_buffer_size handling in istream-chain

The default max_buffer_size=256 was wrong in all situations.

We're now assuming that the underlying istreams' max_buffer_size is always
correct. While gluing together two streams we're now allocating enough
memory to hold all of the wanted data (instead of assert-crashing as could
have happened earlier). This means that the max memory usage is actually
the two streams' max_buffer_size summed together. Ideally this would be
fixed to limit the max_buffer_size to maximum of the two, but that would
require further changes.

[LEN] to [static LEN] on some function parameters

Also add STATIC_ARRAY macro to hide it in c++ compilation.

doveadm: Do not use INT64 with mail cmds yet

lib-dcrypt: Fixed check program dependencies

lib-dcrypt: Fixed dcrypt_openssl_generate_keypair()

lib: Fixed file_copy() after recent changes.

dict-client: Fixed idle_msecs setting.

lib-fs: Don't duplicate backend name in fs_init() errors.

fs_init() already adds the "backend: " prefix to the error_r, so the callers
shouldn't do it again.

lib-storage: Fixed error_r with mail_storage_service_lookup_next()

We no longer want to hide the actual error message.

lib: iostream-temp: Fixed o_stream_send_istream()

lib-dcrypt: Use base64 encoded test samples

lib-dcrypt: Fix strict type-punning warning

lib-dcrypt: Fix various OpenSSL API usage issues

lib-dcrypt: Remove duplication of samples

lib-dcrypt: Finish previous t_malloc() change.

Replace some t_malloc_no0 calls with t_malloc0

This might increase safety.

Use t_new in complicated t_malloc_no0 calls

Remove t_malloc in favour of t_malloc_no0

Using either t_malloc_no0 or t_malloc0 makes it clear whether the
allocated memory is zeroed or not.

o_stream_send_istream() API changed again

The new API enforces the caller to correctly handle all the possible
situations. It also makes in unambiguous whether to wait for input or
output stream.

lib-dcrypt: Always allow error_r to be NULL.

Especially dcrypt_openssl_private_to_public_key() was called with
error_r=NULL by the dcrypt.c itself.

lib-dcrypt: sample-v2.bin shouldn't be executable

lib-dcrypt: Compiler warning fixes

lib-storage: mail_storage_service_next() now returns error string.

lib-storage: mail_storage_service_lookup() now returns the full error.

lmtp, quota-status: Don't send mail_storage_service_lookup() error to client.

This is in preparation for changing the returned error to contain the full
error string. The current error string is pretty useless for any purpose.

doveadm mailbox delete: Added --unsafe option.

lib-storage: Added MAILBOX_FLAG_DELETE_UNSAFE

configure: Include lib-dcrypt in core

lib-dcrypt: Initial implementation

doveadm-director: Fix commands so that they compile

doveadm mailbox delete: Added -e parameter to delete only empty mailboxes.

doveadm-director: Convert to ver2 infra

imap: Implemented support for the LITERAL- capability.

This replaces the LITERAL+ capability when the imap_literal_minus setting is enabled.

lib-imap: imap-parser: Turned the fatal error flag into a proper error code.

lib-imap: imap-parser: Made the fatal result parameter of imap_parser_get_error() optional.

lib-imap: imap-parser: Renamed error field to error_msg.