lib-index: Allow growing ext record_size after mail_index_update_ext()

The existing records will just get some zero-padding at the end of records.

lib-index: Fixed changing extension record sizes.

map needs to be cloned before any extension record size changes are done.
Otherwise the map cloning will crash or do something broken.

lib-index: Minor code cleanup - use better variable names

lib-storage: add no_fts in struct mail_search_arg

When flag is set, FTS will not be performed.

fts plugin: handle no_fts flag

No fts will be performed once flag is set.
Original patch from Timo Sirainen <timo.sirainen@dovecot.fi>

virtual: Moved virtual_mailbox_vfuncs to lib-storage.

This allows implementing other virtual storage backends.

master: Give a nicer error if unix/fifo_listener path is empty.

The previous error was simply:

unlink(/var/run/dovecot/) failed: Is a directory

dict-sql: Improve error message for invalid value fields.

It'll now show which map's pattern matched, making it easier to find
from the config file.

auth: Support %variable expansion for LDAP field names.

For example this is now allowed:

user_attrs = \
  =namespace/%{ldap:enabledNamespace}/enabled=yes \
  ...

lib-imap-storage: Don't sort uninitialized array on invalid header list.

lib-imap-storage: Minor error logging cleanup/fix.

We read from input, not from mail_input. In theory it could have the actual
error instead of mail_input (although right now it couldn't).

lib: ostream-escaped: Fixed setting offset

lmtp: Fixed error logging when writing to temp file

global: Use [io]_stream_get_error() insted of %m

Added LIBDOVECOT_SQL_INCLUDE to dovecot-config and dovecot.m4.

dsync: Fixed potential crash

This seems to be possible with dsync_mailbox_find_common_expunged_uid() ->
dsync_mailbox_common_uid_found() -> dsync_mailbox_rewind_search() -> following
search doesn't find anything.

doveadm fetch: Translate commas to spaces in body|binary.<section> with

This way we can do e.g.:

doveadm fetch 'uid body.header.fields(from,to,subject)' ...

Although in theory we could also change the parser to allow spaces as long
as they're inside (..), but this is probably too much extra effort.

lib-imap-storage: Allow HEADER.FIELDS(..) without space before '('

This is to allow doveadm fetch to use it. Attempting to do this without a
space in IMAP already fails elsewhere:

x fetch 1 body.peek[header.fields(from to)]
x BAD Error in IMAP command FETCH: Invalid characters in atom

doveadm fetch: Fixed logging errors for istream failures

doveadm fetch: Added body.<section> and binary.<section> fields

These correspond to IMAP BODY[<section>].

doveadm: error to print formatted without format

This changes the segfault of `doveadm -f formatted ...` to an error.

lib-http: server: Fixed assert failure occurring when closing the connection while a request payload was still being read.

.gitignore: Added *~

doveadm-server: Handle istream send error.

lib-dict-extra: Avoid out of scope data stack usage.

lib: Add PKCS#5 pbkdf1 and 2

auth: Add PBKDF2 password scheme

lib-fts: Improved stopword file reading.

The reading tries to be a little bit stricter now. Only stopwords at the
start of a new line are accepted now. Changed fi stopwords accordingly.
Also removed superfluous stack allocation in parsing.

lib-fts: Add stopword files for more languages.

lib-fts: Move stopwords to subdirectory.

All files incluided in dist are explicitly mentioned. The whole
subdirectory 'stopwords' could also be distributed, but that is
more error prone.

dict: Pipelined iteration replies may have been hanging.

For example:
 - lookup start
 - iterate start
 - iterate finished, but can't reply yet
 - lookup finished
 - iterate reply can be sent now, but wasn't previously

dict: Fixed crash when reaching max (5) pending commands.

global: Use i_stream_get_max_buffer_size() wherever possible

After 7be8ba0c0 it's no longer correct to access stream->max_buffer_size
directly. These changes fix using istream-chain with various wrapper
streams.

lib: i_stream_get_max_buffer_size() checks also parents' max sizes

This fixes i_stream_get_max_buffer_size() to work correctly with
istream-chain.

lib: istream-chain didn't update its max_buffer_size

I had this code at some point earlier, but looks like it got lost from the
final commit.

lib-compression: istream.max_buffer_size == 0 isn't unlimited.

fs-metawrap: Removed unnecessary code.

As mentioned in a0cf7d392, this can't happen.

lib-fs: Improved unit tests.

fs-metawrap: Removed unnecessary code.

The caller already set success==FALSE if ostream was closed.

lib-fs: Added more asserts

lib-fs: Clarified fs_write_stream_abort() API and dropped its _async().

We can't handle an abort after an async fs_write_stream_finish() is already
going.

lib-fs: Added fs_write_stream_abort_async()

lib-mail: istream-qp-decoder: For efficiency, avoid copying data between decode buffer and stream buffer.

Instead, use the decode buffer directly as stream buffer.

lib: istream's max_buffer_size=0 means 0, not unlimited.

Make sure we don't grow the buffer size then.

lib: Fix to previous istream-chain max_buffer_size handling

We were casting the wrong stream.

fs-metawrap: Fixed buffer size while reading metadata header.

It's not enough to have the buffer size set to "large enough" at the time of
the stream creation, because i_stream_set_max_buffer_size() could be called
afterwards.

lib: Fixed max_buffer_size handling in istream-chain

The default max_buffer_size=256 was wrong in all situations.

We're now assuming that the underlying istreams' max_buffer_size is always
correct. While gluing together two streams we're now allocating enough
memory to hold all of the wanted data (instead of assert-crashing as could
have happened earlier). This means that the max memory usage is actually
the two streams' max_buffer_size summed together. Ideally this would be
fixed to limit the max_buffer_size to maximum of the two, but that would
require further changes.

doveadm: Do not use INT64 with mail cmds yet

lib-dcrypt: Fixed check program dependencies

lib-dcrypt: Fixed dcrypt_openssl_generate_keypair()

dict-client: Fixed idle_msecs setting.

lib-fs: Don't duplicate backend name in fs_init() errors.

fs_init() already adds the "backend: " prefix to the error_r, so the callers
shouldn't do it again.

lib-dcrypt: Use base64 encoded test samples

lib-dcrypt: Fix strict type-punning warning

lib-dcrypt: Fix various OpenSSL API usage issues

lib-dcrypt: Remove duplication of samples

lib-dcrypt: Always allow error_r to be NULL.

Especially dcrypt_openssl_private_to_public_key() was called with
error_r=NULL by the dcrypt.c itself.

lib-dcrypt: sample-v2.bin shouldn't be executable

lib-dcrypt: Compiler warning fixes

doveadm mailbox delete: Added --unsafe option.

lib-storage: Added MAILBOX_FLAG_DELETE_UNSAFE

configure: Include lib-dcrypt in core

lib-dcrypt: Initial implementation

doveadm-director: Fix commands so that they compile

doveadm mailbox delete: Added -e parameter to delete only empty mailboxes.

doveadm-director: Convert to ver2 infra

dbox: Revert cache changes if some save/copy fails but transaction is committed.

lazy-expunge: Don't fail expunge if mail was already expunged.

lazy-expunge: Fixed error logging.

dsync: Debug logging improvement.

lib-fs: Fix to previous fs-metawrap commit

Argh. I was sure I compiled this before pushing it.

lib-fs: fs-metawrap: Improved error logging on corrupted files.

doveadm: Fixed sending command -parameters to doveadm-server

sdbox: Make sure we don't crash when altmove-flag is set but alt path is missing.

dict-sql: Fixed memory leak

cassandra: Added metrics=path connect setting.

Cassandra's metrics are written to the path in JSON format. It can be a file
or a FIFO. The path supports expanding the standard global %variables, such
as %{pid}

dict: Added missing main.h from previous commit

dict: Show command statistics in process title.

lib: Fixed crashes in timing_get_median() and timing_get_95th()

These were writing outside allocated memory. They weren't actually used
anywhere yet though.

lib: Added timing_reset()

dsync: race condition where done/finish is received after one side has closed

We do not tell the remote we are closing if they have
already told us because they close the
connection after sending ITEM_FINISH or ITEM_DONE and will
not be ever receive anything else from us unless
it just happens to get combined into the same packet
as a previous response and is already in the buffer.

lib-stats: Allow unregistering + re-registering stats.

Fixes:
Panic: stats_register() called after stats_alloc_size() was already called - this will break existing allocations

This could have happened with doveadm HTTP API when using multiple commands
in same HTTP connection.

lib-index: Fixed assert-crash caused by previous cache compression change.

We can't call mail_cache_map() when cache file isn't open or we'll crash:

Panic: file mail-cache.c: line 468 (mail_cache_map): assertion failed: (cache->need_compress_file_seq != 0 || MAIL_INDEX_IS_IN_MEMORY(cache->index))

lib-index: Make sure cache compression doesn't clear the file unneededly.

This probably never happened with current code, except when the cache file
was already broken.

mail_cache_compress() unmapped cache when map_with_read==TRUE, but we never
mapped it back. This would cause cache copying code to think cache was
unusable and not copy anything.

lib-ldap: Use ldap_unbind_ext() instead of ldap_destroy()

This allows it to compile with older LDAP libraries. Their behavior (at least
in OpenLDAP) is identical as long as LDAP_OPT_CLIENT_CONTROLS haven't been
changed, which we haven't.

lib-ldap: Support libldap without LDAP_OPT_X_TLS_NEWCTX.

doveadm backup: Fixed unnecessary mailbox deletion.

Broken by 79490ec1a. The idea is to delete the mailbox early to avoid
unnecessary work, but we deleted it too early. If the last mail(s) were
deleted instead of just expunging them we deleted the whole mailbox.

lib-mail: Fixed istream-header-filter calling callback(hdr=NULL)

It should do it on the following parsings as well if there were any
callbacks that were called, or if the hdr==NULL callback added any
headers. This is important because the hdr==NULL call could do some
cleanups.

config: fix possible out-of-bound access in parsing function

Add low-bound check when decreasing string pointer from tail.

lib-fs: istream-metawrap can't have a readable fd currently

lib-mail: istream-header-filter - Don't return -2 too early

We returned -2 after we already added the data to the buffer. We should
have returned -2 only on the next read() call if nothing was skipped.

lib-http: Fixed checking if istream or ostream needs waiting.

lib: If epoll_ctl() fails, panic instead of just fatal.

This makes it easier to fix such bugs.

doveadm-mailbox-delete: Restore recursive parameter

dict: Fix crash when no dictionaries defined

imap: Include sync timing information in tagged command replies.
Show it only when it's larger than 0 to avoid unnecessary output.

doveadm-mailbox: Add update subcommand

lib-ldap: Fixed assert-crash when killing LDAP connection.

libldap may have already closed the fd, so with epoll io_remove() would
try to remove it and crash with:

Panic: epoll_ctl(del, 12) failed: Bad file descriptor

lib: istream - provide alternatives to i_stream_read_data()

Providing as a parameter the number of bytes that you would be
disappointed to receive was confusing compared to providing the
number that you would be happy to receive. This lets us get rid
of all the '-1's in the callers. The callers which used 0 as
a parameter were so common that it's worth providing a separate
API just to simplify their demands.

Deep down, these are still the same underlying function. Currently
we route the new API through the old one, but eventually, the old
API can be routed through the new one, so that the friendlier
interface has the simplest implementation.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-ldap: Do not create new context and lose settings

lib-ldap: Compiling fix - don't pass through void return