imap: Handle pipelined input from imap-hibernate via istream-concat

Similarly to the previous commit, this fixes issues with rawlog.

imap: Handle pipelined input via istream-concat

This fixes rawlog_dir to work properly. It didn't log the pipelined input
to rawlog and it may have also caused the connection to hang.

imap: Move iostream-rawlog creation to client_create_finish()

This allows the caller to modify the istream before rawlog.

lib: Add i_stream_copy_fd()

acl: Fix broken LIST for shared namespaces

Due to the recent changes in the usage of the acl_ignore_namespace
setting shared namespaces where trying to use fast listing too. This
resulted in wrong LIST IMAP command outputs when using acl plugin.

Broken by dc8ecd38a7e54b8bb80ae97712a0d8ad4edcbed3

lib-lua: dlua-compat - Undefine lua_isinteger

It's being defined in compat to return boolean, so undefine it
here to make sure it compiles. Broken in b59e89ebd97fa52de25b8e976a7dfe61f0d8a639

acl: Prevent crashes with acl_ignore_namespace

In case a namespace was ignored for ACLs an crash could occur because of
"Module context acl_storage_module missing". This panic is prevented by this
change.

acl: Move static acl_namespace_is_ignored

lib-program-client: Change program_client_run*() to return enum program_client_exit_status

Their behavior is clearer when result is expressed as enum than int.

lib-program-client: Rename "exit_code" to "exit_status"

exit_code typically refers to the numeric 0..255 value that processes exit
with.

lib-program-client: Move enum program_client_exit_code to public .h file

lib-lua: dlua-dovecot - Ref event on push

Matches with unref on __gc.

lib-lua: test-lua - Use bool for expected_isnum in check_tointegerx_compat

lib-lua: Define lua_isinteger as boolean function

lib-lua: Fix error reporting for script loading

lib-lua: Use dluaL_error for luaL_error

lib-lua: Fix luaL_error usage

lib-lua: Add dluaL_error

lib-lua: dlua-script - Add dlua_pushfstring

Uses full sprintf

lib-lua: dlua-wrapper - Constify extra functions

lib-index, lib-compression: Fix explicit integer wrapping

Using modulo instead of AND wrapped it one number too early.
Luckily these didn't break anything.

lib: abort() on unexpected exit()

This can especially be useful in catching bugs in Lua script that could
unexpectedly exit.

global: Replace exit() with lib_exit()

lib-http: http-client-peer - Fix segfault occurring upon backoff connect.

If peers decide to close and destroy immediately, the iteration in the shared
peer yields an invalid pointer for the next peer to connect. Fixed by preserving
pointer to next peer inside the loop.

lib: event filter - Avoid using event field wildcard matching when not needed

If the right hand side of an event field comparison is not using any
wildcards, we can compare using strcasecmp() instead of the more expensive
wildcard_match_icase().

This wildcard matching avoidance change speeds up matching quite a bit.
When the desired comparison is *not* a wildcard match (i.e., the filter is
'fieldname=abc'), microbenchmarks show at least a 11% speedup in filter
matching speed.  When the comparison includes a wildcard (i.e., the filter
is 'fieldname=abc*'), microbenchmarks show approximately 0.9% filer matching
slowdown.

Since there are so many non-wildcard matches in a typical filter, this is a
very good trade-off.

lib: event filter - Rename EVENT_FILTER_NODE_TYPE_EVENT_FIELD to denote wildcard matching

lib: event filter - Avoid using event name wildcard matching when not needed

If the right hand side of an event name comparison is not using any
wildcards, we can compare using strcmp() instead of the more expensive
wildcard_match().

This wildcard matching avoidance change speeds up matching quite a bit.
When the desired comparison is *not* a wildcard match (i.e., the filter is
'event=abc'), microbenchmarks show at least a 30% speedup in filter matching
speed.  When the comparison includes a wildcard (i.e., the filter is
'event=abc*'), microbenchmarks show approximately 0.4% filer matching
slowdown.

Since there are so many non-wildcard matches in a typical filter, this is a
very good trade-off.

lib: event filter - Rename EVENT_FILTER_NODE_TYPE_EVENT_NAME to denote wildcard matching

lib: Add wildcard_is_literal to check if a mask has * or ?

lib: test-env-util - Make static analyzer happy

lib-dict: dict-lua - Don't yield again until previous one has completed

lib-dict: dict-lua - Use absolute stack positions for arguments

acl: Reinitialize local acl object after creating mailbox

For INDEX layout this is needed to actually get the local mailbox path.
This fixes inheriting ACLs from parent folder for INDEX layouts.

lib: Add unit tests to env-util

lib-index: Use env_put() instead of putenv() directly

configure, lib: Remove workarounds for unsetenv()

It's in POSIX.1-2001 and available on all modern systems.

lib: env_put() - Use setenv() instead of putenv()

It's already in POSIX.1-2001 so it should be available everywhere.

lib, global: Change env_put() API to take name,value pair

lib-program-client, script: Use env_put_array()

lib: Add env_put_array()

util/dovecot-sysreport: Finish report even if doveadm calls fail

It can be useful to generate the report even when dovecot isn't running.

util/dovecot-sysreport --core: Support multiple core files

util/dovecot-sysreport --core: Check gdb existence earlier

Simplifies the next commit.

util/dovecot-sysreport --core: Change binary path to be optional

If not specified, detect it from the core file itself

global: Use array_idx_elem() where possible

lib: Add array_idx_elem()

This returns array_idx()'s value dereferenced, so it only works for
arrays of pointers.

Note that using *array_idx() does the same, but it won't compile if the
compiler doesn't have typeof() support.

lib: Remove array_swap()

It's not used anywhere, and it's a bit too weird.

global: Use array_foreach_elem() where possible

lib-fts: Use array_foreach_elem() where possible

submission: Use array_foreach_elem() where possible

stats: Use array_foreach_elem() where possible

lib-smtp: Use array_foreach_elem() where possible

lib-old-stats: Use array_foreach_elem() where possible

config: Use array_foreach_elem() where possible

plugins: Use array_foreach_elem() where possible

master: Use array_foreach_elem() where possible

lib-index: Use array_foreach_elem() where possible

lib-imap-client: Use array_foreach_elem() where possible

lib-http: Use array_foreach_elem() where possible

lib-dict: Use array_foreach_elem() where possible

imap: Use array_foreach_elem() where possible

doveadm: Use array_foreach_elem() where possible

director: Use array_foreach_elem() where possible

auth: Use array_foreach_elem() where possible

lib-storage: Use array_foreach_elem() where possible

lib: Use array_foreach_elem() where possible

lib: array.h - Update array_foreach*() comments

lib: array.h - Require C99

We're already requiring C99 elsewhere.

lib: array_foreach_elem() - Don't allow using it for sizes larger than a pointer

Dovecot doesn't use any types larger than the pointer size (e.g. long
double). Restricting it to max pointer size might prevent inefficient usage.

lib: array_foreach_elem() - Small optimization

Avoid having to recalculate the end of the array after each loop.
This makes the resulting assembler output similar to array_foreach().

lib-index: Try harder to open index with MAIL_INDEX_OPEN_FLAG_READONLY

The readonly-flag is used when rebuilding index or dumping indexes.
In both cases it's better to try to open the index as best as possible,
since fsck isn't allowed.

lib-lua: Remove obsolete threading check

We support multiple lua thread as long as they are created using the
dlua_script_new_thread() helper.

dict-ldap: Fix calling dict_wait() on async lookup

The dict_wait() could have waited forever because nothing stopped the
ioloop. Also fix calling the callback with the proper active ioloop.

dict-redis: dict-client: Use the proper active ioloop while calling commit() callbacks

If the callbacks did any IO/timeout changes, they would have gone to a wrong
ioloop. This would have caused a warning about IO/timeout leak though, so
it doesn't seem like there were such code paths currently.

dict-memcached-ascii: Assert-crash if dict ioloop gets any unexpected IOs or timeouts

dict-client: Assert-crash if dict ioloop gets any unexpected IOs or timeouts

dict-client: Use the proper active ioloop while calling commit() and lookup() callbacks

If the callbacks did any IO/timeout changes, they would have gone to a wrong
ioloop.

lib: Add io_loop_is_empty()

stats: Truncate field values to 1000 bytes with log exporter

This attempts to prevent log lines from growing longer than 4 kB, which
causes them to wrap.

imap: copy/move: Refresh source mailbox before copying/moving

This way if another session had just expunged mails, the expunges will be
noticed and the copy/move will abort early.

imap: move: Sync source mailbox between commits

This way the messages are actually expunged from storage after the commit,
not just requested to be expunged. Most importantly this means that if
another session attempts to start moving the same messages it can be noticed
earlier and one of the moves aborted.

imap: Add imap_search_anyset_to_uidset()

imap: Allow imap_search_seqset_iter_init() to iterate over uidset also

lib-storage: Fix mailbox_get_uid_range() to handle "*" correctly

Previously attempting to convert e.g. 1:* range would just assert-crash.
There were no such callers currently though.

lib-storage: Always set struct mail.expunged

Previously it was set only when some error noticed that there was a problem
accessing the mail. Now this is set immediately in mail_set_seq(). This
allows e.g. IMAP COPY/MOVE to abort when it encounters expunged mails.

lib-program-client: test-program-client-unix - Add test for delayed disconnect after sending result code.

lib-program-client: test-program-client-net - Add test for delayed disconnect after sending result code.

lib-program-client: test-program-client-unix - Fix server-side argument count check.

lib-program-client: test-program-client-net - Fix server-side argument count check.

lib-program-client: program-client-remote - Fix result parsing in the istream.

This fixes internal errors occurring when the parent stream is fully read before
EOF is signaled. This was caused by the fact that the final bytes were not
always reserved properly for parsing, so that these ended up being exposed to
and eaten by the application. At the end, the result parsing code would be faced
with no data, thereby causing an internal error to be returned by the calling
application.

This came to light as CI tests involving Sieve extprograms failed irregularly.
This problem only occurs when a (slight) delay exists between the last data
being sent and the connection being closed by the script service, making this
hard to reproduce. It typically occurred only under high server load.

lib-program-client: program-client-remote - Fix error handling of istream.

These days, input streams also set eof upon error, making the existing code path
wrong.

lib-program-client: program-client-remote - Add proper error and debug logging for result code parsing.

lib-program-client: program-client-local - Add debug for child start problem.

lib-program-client: Reformat test-program-client-unix.c.

lib-program-client: Reformat test-program-client-net.c.

lib-program-client: Reformat program-client-remote.c.

lib-test: Convert test_assert()s to fatal asserts when running static analyzer

This avoids unnecessary warnings about unit tests crashing when
test_assert()s fail. The warnings are correct, but it's a bit unnecessary
to write the failure code paths that nicely.

lib: Perform most of the event logging within data stack frame

lib-storage: Add data stack frames to mail_set_*()

This can reduce data stack usage significantly with mail thread building.

lib: data-stack - If frame doesn't change current block, no blocks need to be freed

This is a micro-optimization to t_pop() to avoid an extra if-check.