lib-mail: Fix to previous message_header_encode() commit

doveadm penalty: Fixed using -a parameter

lib-mail: message_header_encode() now preserves folding whitespace
This function could still use some cleaning up, but good enough for now..

Also it should try to minimize the encoded words, not necessarily encoding
everything between the first and the last words that have to be encoded.

lib-mail: message_header_encode_[bq]() now explicitly takes the first line length parameter.
So this change partially reverts the previous change, because
message_header_encode() was actually internally relying on this behavior.
The explicit parameter makes it clearer.

lib-mail: message_header_encode() no longer tries to lookup the first line's length from output string.
This function is used only by Pigeonhole, which only uses it for empty
output strings, so it's not useful there. Also that behavior is somewhat
unexpected and confusing.

Added signature for changeset 791ec610422c

Added tag 2.2.13.rc1 for changeset 791ec610422c

Released v2.2.13.rc1.

treewide - use of explicit NULL in pointer comparisons rather than 0-alikes

Found by sparse.

lib-storage: maildir - don't use a bool to store a char

lib-storage: pop3c - fix invalid blank password check

The pointer will never be NULL, as it's initialised pointing to an empty
string, and can only be overridden by setting it to another string. So
the test always failed. Instead, check the 1st character of the password.

lib-storage: Removed unnecessary code.
mailbox_dir_name is never NULL, and when it's empty it can be handled
exactly the same as when it's non-empty.

Removed unnecessary #includes.

run-tests.sh: Add support for reading valgrind suppressions if they exist.

lib: fd_read() didn't check the msg.msg_controllen size correctly

lib: cosmetic - rename parameters so that .h and .c files match

These functions were flagging sparse warnings, but those warnings are
trivially (robotically) dismissable if the parameters are identically
named in the two contexts. Opted for whichever name seemed to be more
meaningful or sensible. e.g. char** became p rather than s, as it's
a pointer more than a string.

lib: wildcard-match - use NULL not 0 for pointers

Flagged by sparse.

lib: a couple of trivial sparse cleanups

The #include isn't needed on modern linux, as the macros are already defined
The compiler seems to silently ignore redefinitions in system header files,
so didn't throw a warning, but probably should have, as redefinitions can lead
to insanity.

The cast just makes it explicit that we're changing the prototype.

lib-storage: Make struct fail_storage/mailbox/mail_vfuncs properly extern.
These could be useful when implementing some new dummy storage backends.

treewide sparse cleanup - make single-unit-only data static

Helps keep the global namespace clean. Not all the things suggested by
sparse have been moved. All DOVECOT_ABI_VERSION strings, and anything
replicated in all-settings.c by src/config/settings-get.pl has been
left untouched. Some of the latter could be moved, but the script would
need to be modified to replicate the 'static' (it outputs 'extern').

lib-storage: Code cleanups and potential crashfix.
Usually in blocks_count_lines() the full_input stream reading doesn't return
eof=true in the last read but only on the next. If this had changed for some
reason the code would have crashed in the assert checks.

fts-tika: Removed lib-http kludgy workaround, which is no longer needed.

Make static analyzer happier

Fixed compiling when building without SSL support.

run-test.sh: Valgrind version check was broken for v3.10+, removed it entirely.
RHEL 5.9 has valgrind v3.5 already, so there shouldn't really be any
important OSes using old valgrind that we need to support.

dsync: Make static analyzer happier (hopefully)

lib-mail: Added asserts to make static analyzer happier

Fixed compiling on systems without MAP_ANONYMOUS
For example OSX.

auth: Minor code cleanup

auth: LDAP errors may have crashed the auth process.

lib-index: Fixed detecting broken strmap index file (thread index).

pop3: Remove dead assignment detected by scan-build.

doveadm: table formatter printed header unaligned if it had hidden titles.
This was broken by the previous table formatter change.

lib-imap: IMAP parser didn't parse atoms correctly that started with '~' character.
literal8 begins only after "~{", not immediately after "~" which is a valid
ATOM-CHAR.

lib: fix md4/md5 buffer read overrun

uint_fast32_t may be 64 bits and read too many bytes at the end of the buffer.
This didn't actually break anything as long as there was 32 bits of readable
memory past the buffer.

fts-lucene: Don't mix definite + maybe queries for now, since it returns broken results.

*-login: SSL connections didn't get closed when the client got destroyed.

acl: Global ACL file used only the first matching rights line, not merging all the matches.

lib-storage: Fixed assert-crash when looking up private flags for a mail being saved.

mdbox: Fixed race condition when creating a new mailbox and another process getting its GUID.

liblib: Added unit test for hash methods to make sure they don't do read access beyond buffer.
This currently fails for MD4 and MD5, so they need to be fixed/replaced..

lib-compression: Added some unit testing for lib-compression.
Not perfect in any way, but at least tests if things are completely broken.

lib-compression: gz compression didn't handle multiple flushes correctly.

lib-compression: istream-lz4 shouldn't crash when closing the stream multiple times.

lib-compression: Fixed LZMA compression.
The code now looks more like the doc/examples/01_compress_easy.c distributed
with xz-utils. Most importantly this changes LZMA_OK to be allowed as a
result for lzma_code(zs, LZMA_FINISH).

pop3: Fixed assert-crash with some settings when there are 0 mails.

mkdir_parents(): Handle mkdir() EEXIST errors that may happen during race conditions.
We don't care about EEXIST errors that happen when trying to mkdir() parent
directories, only if it happens when mkdir()ing the last directory.

auth: If authentication fails, never send back "nologin" field.
This only causes confusion.

message_header_decode_utf8() wasn't used correctly with NULL instead of FALSE parameter.

lib-storage: mail_get_headers_utf8() now replaces NULs with spaces.
Perhaps there should also be another API function which actually allows
returning strings with NULs in them.

doveadm mail fetch: Use mail_get_headers_utf8() when fetching hdr.*.utf8
This doesn't really matter but may allow minor optimizations later.

lib-mail: Added message_header_encode_data() to support encoding also NUL characters.

liblib: Added str_append_data(), which is simply a wrapper to buffer_append()
This is intended for appending data that may contain NUL characters that are
wanted to be added to the string.

lib: quell sparse "warning: Using plain integer as NULL pointer"

The first element of the structure is a pointer, make that explicit.

lib-mail: message_header_encode() needs to encode control characters as well.

auth: Added %{orig_user}, %{orig_username} and %{orig_domain} variables

imap: Brought back the original SEARCH PARTIAL code with the minor fix that it actually needed.
The new code in v2.2.11 was completely wrong. The code in previous commit
was broken with SORT. The original code was correct otherwise, except it
couldn't handle partial1 pointing past the valid range.

imap: Fixed SEARCH PARTIAL to work correctly with UIDs and with SORT results.

Added seq_range_array_remove_nth()

dsync: If we notice that incremental sync won't work, don't continue doing it.

imap: Allow longer ID command parameters without disconnecting the client.

maildir: Maildir S=size fixing now works also with zlib etc. plugins that modify the files.

maildir: Returning mail's received/saved date or refcount was sometimes broken with zlib plugin.
If the value wasn't already cached and the same transaction also accessed
the message body, i_stream_stat() was used, which ended up to
i_stream_seekable_stat() due to caching the file, which didn't again fstat()
the actual maildir file but just used some internal values.

kqueue: Changed all i_fatal() calls to i_panic()s to make debugging them possible.

lib-index: Fixed crash when header fields count was too high in cache file.

lib-storage: mailbox_settings_find() now takes namespace parameter instead of user.
This fixes an infinite (until stack gets full) loop with shared mailboxes:
mail_namespace_find() -> mailbox_list_get_storage() ->
mailbox_settings_find() -> mail_namespace_find() -> ...

auth: Fixed userdb extra fields handling in passdb failure.
userdb prefetch -flag wasn't correctly set, causing the prefetch userdb in
some situations incorrectly either to be called or not be called.

This also fixes a crash when using userdb static and multiple passdbs. The
userdb_reply was set to NULL, which caused a crash later.

imap: Make sure we don't return empty "* n FETCH ()" reply, which violates RFC 3501 ABNF.
It happened only during error conditions, and it would be a bit too much
trouble to try to remove the reply entirely, so just append the message UID
there.

imap: If FETCH BINARY fails because of invalid MIME part data, return [UNKNOWN-CTE] error.

example-config: Removed mail_nfs_* settings, since they shouldn't be used anyway.

lib-storage: Mailbox list indexes didn't use mail_fsync setting.

virtual: Fixed assert-crash when doing changes to backend mailbox via the virtual mailbox.
Caused by the recent lazy mailbox opening changes.

lib-storage: mail_never_cache_fields=* means now to disable all caching.

lib-storage: Partially reverted the mail.get_real_mail() API change for backwards compatibility.
I hadn't realized Pigeonhole was also using it. (I thought it was using only
the mail_get_real_mail() public API.) This fixes Pigeonhole v0.4.2 to work
again.

dsync: saved-date doesn't need to be looked up until mail body is being read.
This should improve the performance when the saved-date isn't already cached
or otherwise quickly accessible.

This change also makes dsync slightly incompatible with earlier versions.
When using dsync with an earlier version the saved-dates aren't synced. It
would be too much trouble to try to preserve full backwards compatibility,
especially because saved-date doesn't matter so much and isn't even visible
to IMAP clients.

maildir: Make sure the filename contains S=size and W=size even if GUID doesn't.

maildir: Make sure we don't replace correct mail sizes with broken ones when preserving GUID.

lib-mail: test-istream-attachment updated

lib-mail: istream-attachment-extractor didn't correctly handle increasing base64 line length.
Based on patch by Pavel Stano

lib-mail: istream-attachment-extractor handled mixed LFs vs CRLFs correctly.
Unless all the lines have the same newlines, the attachment can't be
recreated back exactly the same.

lib-mail: Added more tests to test-istream-dot.

lib-storage: Fixed crash if mailbox_save_cancel() was called in save_finish()/copy() method.

lib-index: Small code cleanup

istream-lf: Cleanup & performance improvement.
memchr() is faster than lopping through the data ourself.

dsync: Yet another fix to working with old versions.

lib-lda: More smtp-client.h API changes to support multiple destination addresses.

dsync: Fixed new dsync versions to work again with older versions.

dsync: If incremental dsync finds that its state is stale, retry (later) with full sync.
This works only when the master itself notices such changes locally. Remote
changes aren't noticed, because the master doesn't send the state to remote
dsync and the master is also the one that decides which mailboxes are
synced. The fix to this probably means sending the state string to remote
dsync and have it check if the state is still valid (= protocol change).

dsync: Include messages_count in the mailbox states.
This allows detecting that stateful dsync can't be done when message count
is suddenly wrong.

dsync: Finished previous change to actually compile

doveadm replicator add <user mask> command added.
This allows quickly adding users from userdb that don't exist in replicator.
For example "doveadm replicator add '*'" adds all the new users from userdb.

This isn't really necessary though. Users will be automatically added as
soon as their mailboxes change in some way and replicator gets notified
about them.

dsync: If dsync was started via doveadm-server, show the remote client's IP address in ps output.

lib-http: http-client: Prevented http_client_request_continue_payload() from segfaulting when the callback sets the request pointer to NULL.

lib-http: http-client: Forgot to switch dns-client io_loop in http_client_request_continue_payload() in ealier change (6c3bd941e153).

lib-http: Fixed problem with connections idling indefinitely.
Forgot to check for idle connections when request finished after waiting
for payload to be read by application.

lib-http: Better error handling fix for payload read/write failures

lib-http: Failed payload read/write error was handled wrongly as "stream input size changed".

iostream-temp: Improved stream naming.

Compiler warning fixes

dsync: Added more debug output