lib-index: Optimize removing large number of expunges.

lib-storage: "Message has no NUL characters" flag was being set wrong to cache file.
Only the first MIME part was checked for its existence.

When this flag was wrong, IMAP FETCH may have returned NUL characters
instead of converting them to 0x80 character. This apparently caused Outlook
to hang.

Compiler warning fix

auth: checkpassword callback callback type bike-shedding
This change doesn't change the compiler's (gcc) view on the correctness of
the code. It moves sparse's attention of where the potential issues are
though. Sparse used to complain about dodgy function pointer conversions on
both the way out (passing the callback function pointer), and on the way in
(entering the callback). Making the callback not lie about what it receives
gets rid of the way in warnings, but adds warnings as we pass the new
function pointer out. However, it already complains about that call anyway.
So it complains about 6 things in 3 functions rather than 6 things in 6
functions.

Of dubious worth, but it at least reduces the number of lines you need to
inspect to verify correctness.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imap: exit imap_fetch_binary_init() identically on all failures
This changes the behaviour, as -1 is TRUE as a boolean.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imap: use human-readable helper macro in remote_ip_is_usable
More readable, but helpfully shuts up sparse which complained about some
constants being long.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imap: cmd_getmetadata_stream_continue returns bool, not int
The behaviour is unchanged, but we shouldn't pretend that -1 is different
from TRUE in a boolean context. Its only caller only cares about whether
it's 0 or not.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

indexer: fix indexer_queue_cancel_all behaviour
-1 is TRUE. Presumably -1 was intended to be passed to the callbacks via
indexer_queue_request_status_int(), not 100.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: master-connection - bail on malformed list
If master is not communicating to us in a syntax we understand, just ask for
it to be unplugged. This changes the behaviour in this error case.

Previously, we returned -1, which is TRUE when converted to a boolean, and
thus this changes the error semantics, and may be horribly wrong. However,
the i_error()s in auth_master_input_line follow the same pattern.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: set_credentials callback being passed an enum, not a bool
This changes the behaviour, as the error case is now mapped onto FALSE.
All non-zero values of course get squashed into true. Found by sparse.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-otp: cast to the correct type of function pointer
sparse complains about the result of the F() cast being the wrong type
for the initialisation, which is true. So just cast to the right type
in the first place.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

imap: fix missing-command check
It's impossible for the command's pointer to be NULL at this point.
Previously, the command_find() would have returned NULL, but this check
presumably short-circuits that search in the trivial case, so has some
real use.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: API change - add const to imap_url *base parameter
We do not change what's there, therefore we can promise to not change what
is there.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

auth: sparse static cleanup, and some const cleanup
All the consts that are added to pointers represent deep const semantics.
There are other shallow consts that I've not added, as sometimes it's
better to not be const than have something you rely on change when you
think it won't.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

various - 'static' sparse cleanup
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-mail: tests - trivial sparse cleanups
One static const, and one more obviously not-an-int integer.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-imap: tests - trivial static and const sparse cleanups
Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: trivial sparse cleanups - statics and explicit NULLs
Signed-off-by: Phil Carmody <phil@dovecot.fi>

various - trivial NULL-related sparse cleanups
These zero-alikes are all pointers, so should explicitly be NULL.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

treewide - mass cleanup of 0 used to end a settings list
This also includes a change to the perl script which generates the
all-settings.c file.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: pair VA_COPY with va_end
A va_copy creates a initialised va_list, as if a va_start had been done on it.
Therefore, pedantically, a va_end should also be done on it. On most platforms
this is a no-op, and for those where it isn't, the pairing is important.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

fts: parser-html - parser can fail on attributes='with values in single quotes'
If that value were to contain an odd number of double quotes, then the
HTML_STATE_TAG_(D)QUOTED state would be entered and not exited.

The two quoting types behave basically the same, so just add two new cases
and duplicate the state transition code.

fts: parser-html - parse_tag_name returns wrong value for comments
This function returns 1 more than the number of additional
characters to be swallowed up by the state transition.

fts: parser-html - parse_tag_name really does return an integer not a bool
It seems to return 1 more than the number of additional characters
(after '<') are swallowed up by the state change, not a bool. This
would imply that '3' is wrong.

lib-storage: functions returning bool actually return ints
Their return values are compared as if they are at least tri-state
(-ve, 0, +ve), so really aren't bools at all.

Note - this should cause the code to change in behaviour, and thus might
introduce regressions as previously all non-zeroes would have been mapped
to 1.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-storage: context's dotlock_last_stale really is bool
It's only ever read as if it's a bool, so it really is a bool. Fix a write
treating it as an int.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: Fixed assertion failure in http_client_request_send_payload() caused by inappropriate retry attempt.

virtual: Crashfix: Don't deinitialize search args that haven't been initialized.

lib-storage: Avoid refreshing mailbox list index too often.

lib-storage: Optimize mailbox_exists() with mailbox_list_index=yes
We can return the existence from the index itself to avoid stat()s.

lib-storage: Added mailbox_list_index_very_dirty_syncs setting.
This setting assumes that the mailbox list index is up to date and uses it
without stat()ing backend mailbox files/dirs. (As a possible future TODO it
might be useful to still do the stat()ing, but only rarely.)

imap: If we're waiting for client to read data, show in process title how many bytes are buffered.

lib: Added o_stream_is_corked().

lib-imap: Use case-insensitive comparisons everywhere for imap_id_send setting parsing.
"os" and "os-version" were case-sensitive while others were not.
Patch by Apple.

virtual: If backend mailbox hasn't changed, we still need to build its uidmap.

imap: Fixed enabling METADATA if imap_capability string was explicitly set

lib-fs: Make sure we don't leak data stack.

lib-storage: Don't leak memory if mailbox_save_set_flags() is used multiple times for keywords.
This affected only some external plugins.

dsync: If incremental sync fails because of desync, log the reason why

dsync: mailbox_metadata.cache_fields must be copied to permanent memory.
Any other call to mailbox_get_metadata() would have cleared the memory.

acl: Empty negative rights list should be the same as NULL negative rights list.
There may be other places where this should be fixed, but this at least
fixes errors with dsync where "-user" entry without any rights was attempted
to be synced in dovecot-acl (although such entry shouldn't really have
existed in the first place).

lib-mail: Compiler warning fix

Added signature for changeset c55c660d6e9d

Added tag 2.2.13 for changeset c55c660d6e9d

Released v2.2.13.

lib-mail: test-message-header-decoder unit test fixed

lib-mail: Fix to previous message_header_encode() commit

doveadm penalty: Fixed using -a parameter

lib-mail: message_header_encode() now preserves folding whitespace
This function could still use some cleaning up, but good enough for now..

Also it should try to minimize the encoded words, not necessarily encoding
everything between the first and the last words that have to be encoded.

lib-mail: message_header_encode_[bq]() now explicitly takes the first line length parameter.
So this change partially reverts the previous change, because
message_header_encode() was actually internally relying on this behavior.
The explicit parameter makes it clearer.

lib-mail: message_header_encode() no longer tries to lookup the first line's length from output string.
This function is used only by Pigeonhole, which only uses it for empty
output strings, so it's not useful there. Also that behavior is somewhat
unexpected and confusing.

Added signature for changeset 791ec610422c

Added tag 2.2.13.rc1 for changeset 791ec610422c

Released v2.2.13.rc1.

treewide - use of explicit NULL in pointer comparisons rather than 0-alikes

Found by sparse.

lib-storage: maildir - don't use a bool to store a char

lib-storage: pop3c - fix invalid blank password check

The pointer will never be NULL, as it's initialised pointing to an empty
string, and can only be overridden by setting it to another string. So
the test always failed. Instead, check the 1st character of the password.

lib-storage: Removed unnecessary code.
mailbox_dir_name is never NULL, and when it's empty it can be handled
exactly the same as when it's non-empty.

Removed unnecessary #includes.

run-tests.sh: Add support for reading valgrind suppressions if they exist.

lib: fd_read() didn't check the msg.msg_controllen size correctly

lib: cosmetic - rename parameters so that .h and .c files match

These functions were flagging sparse warnings, but those warnings are
trivially (robotically) dismissable if the parameters are identically
named in the two contexts. Opted for whichever name seemed to be more
meaningful or sensible. e.g. char** became p rather than s, as it's
a pointer more than a string.

lib: wildcard-match - use NULL not 0 for pointers

Flagged by sparse.

lib: a couple of trivial sparse cleanups

The #include isn't needed on modern linux, as the macros are already defined
The compiler seems to silently ignore redefinitions in system header files,
so didn't throw a warning, but probably should have, as redefinitions can lead
to insanity.

The cast just makes it explicit that we're changing the prototype.

lib-storage: Make struct fail_storage/mailbox/mail_vfuncs properly extern.
These could be useful when implementing some new dummy storage backends.

treewide sparse cleanup - make single-unit-only data static

Helps keep the global namespace clean. Not all the things suggested by
sparse have been moved. All DOVECOT_ABI_VERSION strings, and anything
replicated in all-settings.c by src/config/settings-get.pl has been
left untouched. Some of the latter could be moved, but the script would
need to be modified to replicate the 'static' (it outputs 'extern').

lib-storage: Code cleanups and potential crashfix.
Usually in blocks_count_lines() the full_input stream reading doesn't return
eof=true in the last read but only on the next. If this had changed for some
reason the code would have crashed in the assert checks.

fts-tika: Removed lib-http kludgy workaround, which is no longer needed.

Make static analyzer happier

Fixed compiling when building without SSL support.

run-test.sh: Valgrind version check was broken for v3.10+, removed it entirely.
RHEL 5.9 has valgrind v3.5 already, so there shouldn't really be any
important OSes using old valgrind that we need to support.

dsync: Make static analyzer happier (hopefully)

lib-mail: Added asserts to make static analyzer happier

Fixed compiling on systems without MAP_ANONYMOUS
For example OSX.

auth: Minor code cleanup

auth: LDAP errors may have crashed the auth process.

lib-index: Fixed detecting broken strmap index file (thread index).

pop3: Remove dead assignment detected by scan-build.

doveadm: table formatter printed header unaligned if it had hidden titles.
This was broken by the previous table formatter change.

lib-imap: IMAP parser didn't parse atoms correctly that started with '~' character.
literal8 begins only after "~{", not immediately after "~" which is a valid
ATOM-CHAR.

lib: fix md4/md5 buffer read overrun

uint_fast32_t may be 64 bits and read too many bytes at the end of the buffer.
This didn't actually break anything as long as there was 32 bits of readable
memory past the buffer.

fts-lucene: Don't mix definite + maybe queries for now, since it returns broken results.

*-login: SSL connections didn't get closed when the client got destroyed.

acl: Global ACL file used only the first matching rights line, not merging all the matches.

lib-storage: Fixed assert-crash when looking up private flags for a mail being saved.

mdbox: Fixed race condition when creating a new mailbox and another process getting its GUID.

liblib: Added unit test for hash methods to make sure they don't do read access beyond buffer.
This currently fails for MD4 and MD5, so they need to be fixed/replaced..

lib-compression: Added some unit testing for lib-compression.
Not perfect in any way, but at least tests if things are completely broken.

lib-compression: gz compression didn't handle multiple flushes correctly.

lib-compression: istream-lz4 shouldn't crash when closing the stream multiple times.

lib-compression: Fixed LZMA compression.
The code now looks more like the doc/examples/01_compress_easy.c distributed
with xz-utils. Most importantly this changes LZMA_OK to be allowed as a
result for lzma_code(zs, LZMA_FINISH).

pop3: Fixed assert-crash with some settings when there are 0 mails.

mkdir_parents(): Handle mkdir() EEXIST errors that may happen during race conditions.
We don't care about EEXIST errors that happen when trying to mkdir() parent
directories, only if it happens when mkdir()ing the last directory.

auth: If authentication fails, never send back "nologin" field.
This only causes confusion.

message_header_decode_utf8() wasn't used correctly with NULL instead of FALSE parameter.

lib-storage: mail_get_headers_utf8() now replaces NULs with spaces.
Perhaps there should also be another API function which actually allows
returning strings with NULs in them.

doveadm mail fetch: Use mail_get_headers_utf8() when fetching hdr.*.utf8
This doesn't really matter but may allow minor optimizations later.

lib-mail: Added message_header_encode_data() to support encoding also NUL characters.

liblib: Added str_append_data(), which is simply a wrapper to buffer_append()
This is intended for appending data that may contain NUL characters that are
wanted to be added to the string.

lib: quell sparse "warning: Using plain integer as NULL pointer"

The first element of the structure is a pointer, make that explicit.