Make static analyzer happier

Fixed compiling when building without SSL support.

run-test.sh: Valgrind version check was broken for v3.10+, removed it entirely.
RHEL 5.9 has valgrind v3.5 already, so there shouldn't really be any
important OSes using old valgrind that we need to support.

dsync: Make static analyzer happier (hopefully)

lib-mail: Added asserts to make static analyzer happier

Fixed compiling on systems without MAP_ANONYMOUS
For example OSX.

auth: Minor code cleanup

auth: LDAP errors may have crashed the auth process.

lib-index: Fixed detecting broken strmap index file (thread index).

pop3: Remove dead assignment detected by scan-build.

doveadm: table formatter printed header unaligned if it had hidden titles.
This was broken by the previous table formatter change.

lib-imap: IMAP parser didn't parse atoms correctly that started with '~' character.
literal8 begins only after "~{", not immediately after "~" which is a valid
ATOM-CHAR.

lib: fix md4/md5 buffer read overrun

uint_fast32_t may be 64 bits and read too many bytes at the end of the buffer.
This didn't actually break anything as long as there was 32 bits of readable
memory past the buffer.

fts-lucene: Don't mix definite + maybe queries for now, since it returns broken results.

*-login: SSL connections didn't get closed when the client got destroyed.

acl: Global ACL file used only the first matching rights line, not merging all the matches.

lib-storage: Fixed assert-crash when looking up private flags for a mail being saved.

mdbox: Fixed race condition when creating a new mailbox and another process getting its GUID.

liblib: Added unit test for hash methods to make sure they don't do read access beyond buffer.
This currently fails for MD4 and MD5, so they need to be fixed/replaced..

lib-compression: Added some unit testing for lib-compression.
Not perfect in any way, but at least tests if things are completely broken.

lib-compression: gz compression didn't handle multiple flushes correctly.

lib-compression: istream-lz4 shouldn't crash when closing the stream multiple times.

lib-compression: Fixed LZMA compression.
The code now looks more like the doc/examples/01_compress_easy.c distributed
with xz-utils. Most importantly this changes LZMA_OK to be allowed as a
result for lzma_code(zs, LZMA_FINISH).

pop3: Fixed assert-crash with some settings when there are 0 mails.

mkdir_parents(): Handle mkdir() EEXIST errors that may happen during race conditions.
We don't care about EEXIST errors that happen when trying to mkdir() parent
directories, only if it happens when mkdir()ing the last directory.

auth: If authentication fails, never send back "nologin" field.
This only causes confusion.

message_header_decode_utf8() wasn't used correctly with NULL instead of FALSE parameter.

lib-storage: mail_get_headers_utf8() now replaces NULs with spaces.
Perhaps there should also be another API function which actually allows
returning strings with NULs in them.

doveadm mail fetch: Use mail_get_headers_utf8() when fetching hdr.*.utf8
This doesn't really matter but may allow minor optimizations later.

lib-mail: Added message_header_encode_data() to support encoding also NUL characters.

liblib: Added str_append_data(), which is simply a wrapper to buffer_append()
This is intended for appending data that may contain NUL characters that are
wanted to be added to the string.

lib: quell sparse "warning: Using plain integer as NULL pointer"

The first element of the structure is a pointer, make that explicit.

lib-mail: message_header_encode() needs to encode control characters as well.

auth: Added %{orig_user}, %{orig_username} and %{orig_domain} variables

imap: Brought back the original SEARCH PARTIAL code with the minor fix that it actually needed.
The new code in v2.2.11 was completely wrong. The code in previous commit
was broken with SORT. The original code was correct otherwise, except it
couldn't handle partial1 pointing past the valid range.

imap: Fixed SEARCH PARTIAL to work correctly with UIDs and with SORT results.

Added seq_range_array_remove_nth()

dsync: If we notice that incremental sync won't work, don't continue doing it.

imap: Allow longer ID command parameters without disconnecting the client.

maildir: Maildir S=size fixing now works also with zlib etc. plugins that modify the files.

maildir: Returning mail's received/saved date or refcount was sometimes broken with zlib plugin.
If the value wasn't already cached and the same transaction also accessed
the message body, i_stream_stat() was used, which ended up to
i_stream_seekable_stat() due to caching the file, which didn't again fstat()
the actual maildir file but just used some internal values.

kqueue: Changed all i_fatal() calls to i_panic()s to make debugging them possible.

lib-index: Fixed crash when header fields count was too high in cache file.

lib-storage: mailbox_settings_find() now takes namespace parameter instead of user.
This fixes an infinite (until stack gets full) loop with shared mailboxes:
mail_namespace_find() -> mailbox_list_get_storage() ->
mailbox_settings_find() -> mail_namespace_find() -> ...

auth: Fixed userdb extra fields handling in passdb failure.
userdb prefetch -flag wasn't correctly set, causing the prefetch userdb in
some situations incorrectly either to be called or not be called.

This also fixes a crash when using userdb static and multiple passdbs. The
userdb_reply was set to NULL, which caused a crash later.

imap: Make sure we don't return empty "* n FETCH ()" reply, which violates RFC 3501 ABNF.
It happened only during error conditions, and it would be a bit too much
trouble to try to remove the reply entirely, so just append the message UID
there.

imap: If FETCH BINARY fails because of invalid MIME part data, return [UNKNOWN-CTE] error.

example-config: Removed mail_nfs_* settings, since they shouldn't be used anyway.

lib-storage: Mailbox list indexes didn't use mail_fsync setting.

virtual: Fixed assert-crash when doing changes to backend mailbox via the virtual mailbox.
Caused by the recent lazy mailbox opening changes.

lib-storage: mail_never_cache_fields=* means now to disable all caching.

lib-storage: Partially reverted the mail.get_real_mail() API change for backwards compatibility.
I hadn't realized Pigeonhole was also using it. (I thought it was using only
the mail_get_real_mail() public API.) This fixes Pigeonhole v0.4.2 to work
again.

dsync: saved-date doesn't need to be looked up until mail body is being read.
This should improve the performance when the saved-date isn't already cached
or otherwise quickly accessible.

This change also makes dsync slightly incompatible with earlier versions.
When using dsync with an earlier version the saved-dates aren't synced. It
would be too much trouble to try to preserve full backwards compatibility,
especially because saved-date doesn't matter so much and isn't even visible
to IMAP clients.

maildir: Make sure the filename contains S=size and W=size even if GUID doesn't.

maildir: Make sure we don't replace correct mail sizes with broken ones when preserving GUID.

lib-mail: test-istream-attachment updated

lib-mail: istream-attachment-extractor didn't correctly handle increasing base64 line length.
Based on patch by Pavel Stano

lib-mail: istream-attachment-extractor handled mixed LFs vs CRLFs correctly.
Unless all the lines have the same newlines, the attachment can't be
recreated back exactly the same.

lib-mail: Added more tests to test-istream-dot.

lib-storage: Fixed crash if mailbox_save_cancel() was called in save_finish()/copy() method.

lib-index: Small code cleanup

istream-lf: Cleanup & performance improvement.
memchr() is faster than lopping through the data ourself.

dsync: Yet another fix to working with old versions.

lib-lda: More smtp-client.h API changes to support multiple destination addresses.

dsync: Fixed new dsync versions to work again with older versions.

dsync: If incremental dsync finds that its state is stale, retry (later) with full sync.
This works only when the master itself notices such changes locally. Remote
changes aren't noticed, because the master doesn't send the state to remote
dsync and the master is also the one that decides which mailboxes are
synced. The fix to this probably means sending the state string to remote
dsync and have it check if the state is still valid (= protocol change).

dsync: Include messages_count in the mailbox states.
This allows detecting that stateful dsync can't be done when message count
is suddenly wrong.

dsync: Finished previous change to actually compile

doveadm replicator add <user mask> command added.
This allows quickly adding users from userdb that don't exist in replicator.
For example "doveadm replicator add '*'" adds all the new users from userdb.

This isn't really necessary though. Users will be automatically added as
soon as their mailboxes change in some way and replicator gets notified
about them.

dsync: If dsync was started via doveadm-server, show the remote client's IP address in ps output.

lib-http: http-client: Prevented http_client_request_continue_payload() from segfaulting when the callback sets the request pointer to NULL.

lib-http: http-client: Forgot to switch dns-client io_loop in http_client_request_continue_payload() in ealier change (6c3bd941e153).

lib-http: Fixed problem with connections idling indefinitely.
Forgot to check for idle connections when request finished after waiting
for payload to be read by application.

lib-http: Better error handling fix for payload read/write failures

lib-http: Failed payload read/write error was handled wrongly as "stream input size changed".

iostream-temp: Improved stream naming.

Compiler warning fixes

dsync: Added more debug output

doveadm dump: Added support for mobox extensions in dovecot.index.

lib-lda: Use the new smtp_client_init(), not _open()

lib-lda: When non-RCPT/DATA command fails permanently, translate it internally to temporary failure.
We shouldn't be answering permanent failures to RCPT/DATA command when the
failure really had nothing to do with the recipient/content itself. Most
likely it's just some server misconfiguration, which should be treated as
temporary error.

lib-lda: mail_send_rejection() logs permanent rejections now with info level.
There's no need to log an error when return-path is invalid.

lib-lda: Added new smtp_client_init/deinit() APIs
The new API allows better error handling.

safe_memset(size=0) triggered read access to data[0], possibly crashing.

lib-http: Added more information to "stream input size changed" error

lib-lda: Removed unused mail_send_forward()

dsync: If a parent \Noselect gets autocreated, don't fail later when trying to re-create it.

dsync: Fixed high data stack memory usage

i_stream_read_next_line(): Set also errno=ENOBUFS on too large line.
Some callers assume that errno is set to same as istream->stream_errno

director: Fixed handling weak users when there were exactly 2 director servers in the ring.

doveadm director map -u: Don't connect to director socket, it's not needed.

doveadm director map: Added -h and -u parameters to quickly map between username and hash.

doveadm director map: Show also the username hash.

director: When logging about request timeout, log also the username hash.

doveadm replicator replicate: Added -f parameter to force a full sync for user.

doveadm replicator replicate: -p parameter wasn't working correctly.
We were just replicating the "-p" as the username.

dsync: Added assert

dsync: When initializing via doveadm-server, change the iostream buffer sizes to unlimited.

Added o_stream_get_max_buffer_size()

virtual: Fixed assert-crash in IDLE caused by earlier changes.
This change negates all the improvements of the earlier changes when IDLE is
used. This could be fixed by using mailbox-list-notify.h API.