lib-storage: Make sure ENVELOPE parsing isn't done twice concurrently

If save_envelope=TRUE and ENVELOPE headers aren't already in cache,
header_cache_callback() starts parsing the ENVELOPE. But
imap_envelope_parse_callback() does it as well, so the envelope parsing is
done concurrently by the two callbacks.

Also once the ENVELOPE parsing is done once, make sure it's not done again
if the header is parsed again.

This didn't cause any problems so far, but it fixes the following commit to
work correctly.

lazy-expunge: Add MAIL_FETCH_REFCOUNT to mail's wanted_fields

The mail is reused by the search query, so the next mail_prefetch() can try
to prefetch the refcount.

lib: event-log.c - Ensure checks for enabling debug logging are always run.

doc: Add man page for dovecot-sysreport

util: Add a script to gather system information in an archive for report purpose.

lib-fs: Create fs.event earlier so it's available in fs_init() code

acl: Fix accessing attributes when mailbox had no READ rights

It's enough to have one of the other rights.

lib-storage, imap, doveadm: Add and use MAILBOX_FLAG_ATTRIBUTE_SESSION

acl: Improve attribute rights check error handling

acl: Move attribute rights checking to its own function

lib-imap-storage, doveadm: Ignore INBOX ACLs when accessing server metadata

The server metadata is always accessible. INBOX's ACLs aren't relevant,
even though internally for now we're using INBOX for storing the server
metadata.

lib-storage, acl: Fix error trying to open autocreated mailbox without CREATE rights

The opening should fail with a regular error message rather than "internal
server error". Also no error message should be logged in this situation.

dns, login-common, stats: Finish service initialization later

This way if there's a crash in the init code, master will start throttling
the service.

submission-login: submission-proxy - Properly encode XCLIENT command arguments.

submission-login: submission-proxy - Compose XCLIENT forward argument in a separate function.

submission-login: Reformat submission-proxy.c.

lib-smtp: server: Fix copying xclient_extensions settings

smtp_server_connection didn't properly copy the xclient_extensions settings
from the smtp_server. In fact it did the opposite of recreating the server
settings using the connection pool. Later on after the connection was freed
and another connection created this could result in crashes.

lib-imap: imap_write_arg() - minor optimization to IMAP_ARG_STRING

Avoid unnecessarily using data stack.

Also add unit tests to imap_write_arg().

lib-fs: Add errno parameter to fs_set_error() change callers to use it.

This is now explicit so it can't be forgotten accidentally. Fixes several
bugs where errno wasn't set on error conditions, which could have caused
callers to handle the error wrong.

lib-fs: Use fs_set_error_errno() where appropriate

lib-fs: Add fs_set_error_errno()

This is in preparation for adding errno parameter for fs_set_error().

doc: example-config: Add documentation for "revision" field in imap_id_send

lib-imap: Add revision field for ID command

Returns short commit ID of the revision dovecot was built from.

lib-fs: Fix event leak when EAGAIN error is logged via fs_set_error()

Broken by f7aafd832151dd34e28cb1bba214accf9b15d908

lib-fs: Don't log "Asynchronous operation in progress" debug messages

lazy-expunge: Track duplicate messages using REFCOUNT_ID rather than GUID

Although these are usually the same, that's not really guaranteed.
Also REFCOUNT_ID can be more efficient to lookup than GUID.

lib-storage: Add MAIL_FETCH_REFCOUNT_ID

This returns a unique ID for the mail that is counted by
MAIL_FETCH_REFCOUNT. For example if the refcount is counted using the
file's st_nlinks, then the refcount-id is the file's inode number. This is
likely only going to be used by lazy_expunge_only_last_instance=yes
tracking.

lib-ssl-iostream: Don't link unit test with -static

It's not useful and it breaks in some systems.

plugins: fts-solr: solr-response - Fix incremental parsing of XML element data in small chunks.

plugins: fts-solr: solr-response - Use strnum.h for numeric parsing.

plugins: fts-solr: solr-response - Make lookup response parser a separate entity.

This improves the structure of the code and allows writing a unit test for the
parser, which is included in this commit.

plugins: fts-solr: solr-reponse - Move init/deinit of struct solr_response_parser to separate functions.

plugins: fts-solr: solr-connection - Use i_stream_get_error() for reporting stream errors.

plugins: fts-solr: Move xml_parser field from struct solr_connection to struct solr_response_parser.

plugins: fts-solr: solr-response - Rename struct solr_lookup_xml_context to struct solr_response_parser.

Also rename the variable names accordingly.

plugins: fts-solr: solr-connection - Remove useless XML_ParserReset() calls.

plugins: fts-solr: solr-connection - Put all update context data in struct solr_connection_post.

plugins: fts-solr: solr-connection - Move lookup context data to separate struct.

plugins: fts-solr: Move solr_lookup_xml_data() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_lookup_xml_end() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_lookup_add_doc() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_result_get() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_lookup_xml_start() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_xml_parse() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move definition of struct solr_lookup_xml_context from solr-connection.c to solr-response.c.

plugins: fts-solr: Move definition of struct solr_result from solr-connection.h to solr-response.h.

plugins: fts-solr: Reformat solr-connection.c.

lib-master: master-login-auth - Fix master_login_auth_request leakage

lib-master: master-login-auth - Fix auth lookup privilege problem when imap process is reused and user is un-hibernated.

lib-test: test-common - Add "test_expect_error_string_n_times" function to expect an error output for an arbitrary times.

lib-master: master-login-auth - Reformat unnecessary semicolon

lib-master: Simplify auth-master connection code

For UNIX sockets the client_connected callback is always called immediately
after successful connection_client_connect(). So we might as well directly
add auth->connected=TRUE after it succeeds without having to go through the
callback.

If the callback had been called later, the current code would have been
broken because it already assumed that auth->connected=TRUE is set
immediately after returning from master_login_auth_connect(). So this
change just makes it clearer what happens and what is required.

stats: Make sure unit tests don't fail with fast CPUs

run-test-valgrind.supp: Drop fun:*msync from libunwind suppression

This is either fun:__msync_nocancel or fun:msync, and hopefully the
suppression here works for both.

m4: Always generate suppressions with valgrind

stats: Output multi level sub-metrics correctly

stats: Add unit test for group by

stats: Add initial unit tests

stats: Implement group_by

group_by allows dynamic creation of sub-metrics for metric.

Example:

metric imap_command {
   event_name = imap_command_finished
   group_by = cmd_name tagged_reply_state
}

will generate following metrics

imap_command_select_ok
imap_command_select_bad
imap_command_select_no

etc.

based on what sort of events come in. new metrics are generated
when event comes in and then they are tracked.

only strings can be used for group_by for now.

stats: Dump sub-metrics

stats: Add sub-metrics to metrics

Needed by next commit

stats: Move metric initialization to stats_metric_alloc()

stats: Add data stack frames when handling events

Reduces memory usage

lib-storage: Always fix inconsistency when syncing private flags index

The flags index can't be fully synced with the main index at all times
anyway, so don't even try. Just fully sync it always and fix any found
inconsistencies.

Fixes:
Error: dovecot.index.pvt reset, view is now inconsistent

lib-index: Fix potential crash when view is synced after index is reset

view_sync_set_log_view_range() sees that index is reset, so it clears the
log_view, which sets log_view->cur=NULL. Later on view_sync_have_expunges()
calls mail_transaction_log_view_mark(), which crashes because
log_view->cur==NULL.

This crash mainly happened when searching for seen flags in a newly created
mailbox with INDEXPVT. This commit doesn't actually fix the bug, but it
fixes the resulting crash.

lib-storage: mailbox_get_metadata() - Return cache_fields allocated from data stack

Using mailbox.metacache_pool breaks if it's called multiple times for the
same mailbox and the old results are still used. This happened in
index_copy_cache_fields() when copying mails within the same mailbox. In
some situations this could have caused a crash.

lib-http: Update event fields once more in http_client_request_submit()

Especially the port number could have changed.

lib-http: Add support for permanent headers

lib-http: Add http_client_request_set_event_headers()

lib-http: Include HTTP response reason text in debug log messages

fs-compress, fs-crypt: Remove duplicate fs-driver prefix in init errors

fs_init() already prefixes the error with "fs-driver: "

global: Don't use CALLBACK_TYPECHECK() in arithmetic with context

This fails if the context type is incomplete.

lib-http: Add http_client_request_get_attempts()

NEWS: Add news for 2.3.9.2

push-notification: Fix crash with empty from/to header

mdbox: Support setting save_date

NEWS: Add news for 2.3.9.1

cassandra: Handle CASS_ERROR_SERVER_WRITE_FAILURE also as "uncertain write"

This error apparently doesn't happen often, but it seems to be a per-node
failure so some Cassandra nodes could have written the change.

lib-smtp: Add smtp_address_case_equals().

lib-smtp: Add smtp_address_cmp_icase().

push-notification-driver-lua: Provide missing to/from as empty string

push-notification: Handle group names correctly in from/to

Fixes signal 11 crash

submission: Fix submission_max_mail_size setting type

lib-fs: Add fs event category to fs events

lib-fs: Log any pending errors in fs_file_deinit()

If error was set to the file but it wasn't accessed with
fs_file_last_error(), it means the error message would become lost.
Usually this is probably not intended.

lib-fs: Log previous fs_file error if it's being overridden

This makes sure that errors aren't lost. If fs_file_last_error() has been
used it means that the error has been looked at and there's no need to log
it.

Some of the "expected" errors won't be logged though. This check is done
based on errno. This is also why this commit reorders
fs_file_set_error_async() to set errno=EAGAIN earlier.

test-fs-posix: Check for failed fs_read() error string

lib-fs: Replace fs error with file/iter-specific error

Removed fs_last_error(), since it can't be used anymore.

lib-fs: Move file deinit code from fs_file_deinit() to fs_file_free()

lib-fs: Add fs_file_free() to run common deinit code

lib-fs: Change fs_set_error() to take event instead of fs

Also log the error as debug message. This allows capturing the events for
statistics or event exporting.

lib-fs: Set internal fs/file/iter pointers to events

This will be used by the following commit

lib-fs: Rename fs_set_error_async() to fs_file_set_error_async()

Also changed to take fs_file instead of fs parameter.

fs-posix: Change fs_posix_rmdir_parents() to take fs_file instead of fs

fs-sis: Don't overwrite error already set by fs_sis_path_parse()

fs-sis: Change some internal functions to take fs_file instead of fs

fs-posix: Change fs_posix_get_mode() to take file parameter, not fs

lib-fs: Remove fs_set_critical()

The original idea was similar to mail_storage_set_error/critical()
separation. But in storage they are used to clearly separate between
errors caused by untrusted users vs internal errors. In lib-fs case
all the errors are internal errors. Also all the lib-fs callers are
supposed to log the errors unless they decide to handle them specially,
so there's really no need a fs_set_critical() that just causes them to
be logged twice.

fs-posix: Replace fs_set_critical() with e_error()

fs_set_error() can't be used in fs_file_close() and fs_file_deinit(),
because they don't return an error.

fs-posix: Log lseek() error with fs_set_error()

Makes it consistent with logging the read() error.