lib-fs: Use fs_set_error_errno() where appropriate

lib-fs: Add fs_set_error_errno()

This is in preparation for adding errno parameter for fs_set_error().

doc: example-config: Add documentation for "revision" field in imap_id_send

lib-imap: Add revision field for ID command

Returns short commit ID of the revision dovecot was built from.

lib-fs: Fix event leak when EAGAIN error is logged via fs_set_error()

Broken by f7aafd832151dd34e28cb1bba214accf9b15d908

lib-fs: Don't log "Asynchronous operation in progress" debug messages

lazy-expunge: Track duplicate messages using REFCOUNT_ID rather than GUID

Although these are usually the same, that's not really guaranteed.
Also REFCOUNT_ID can be more efficient to lookup than GUID.

lib-storage: Add MAIL_FETCH_REFCOUNT_ID

This returns a unique ID for the mail that is counted by
MAIL_FETCH_REFCOUNT. For example if the refcount is counted using the
file's st_nlinks, then the refcount-id is the file's inode number. This is
likely only going to be used by lazy_expunge_only_last_instance=yes
tracking.

lib-ssl-iostream: Don't link unit test with -static

It's not useful and it breaks in some systems.

plugins: fts-solr: solr-response - Fix incremental parsing of XML element data in small chunks.

plugins: fts-solr: solr-response - Use strnum.h for numeric parsing.

plugins: fts-solr: solr-response - Make lookup response parser a separate entity.

This improves the structure of the code and allows writing a unit test for the
parser, which is included in this commit.

plugins: fts-solr: solr-reponse - Move init/deinit of struct solr_response_parser to separate functions.

plugins: fts-solr: solr-connection - Use i_stream_get_error() for reporting stream errors.

plugins: fts-solr: Move xml_parser field from struct solr_connection to struct solr_response_parser.

plugins: fts-solr: solr-response - Rename struct solr_lookup_xml_context to struct solr_response_parser.

Also rename the variable names accordingly.

plugins: fts-solr: solr-connection - Remove useless XML_ParserReset() calls.

plugins: fts-solr: solr-connection - Put all update context data in struct solr_connection_post.

plugins: fts-solr: solr-connection - Move lookup context data to separate struct.

plugins: fts-solr: Move solr_lookup_xml_data() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_lookup_xml_end() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_lookup_add_doc() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_result_get() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_lookup_xml_start() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move solr_xml_parse() from solr-connection.c to solr-response.c.

plugins: fts-solr: Move definition of struct solr_lookup_xml_context from solr-connection.c to solr-response.c.

plugins: fts-solr: Move definition of struct solr_result from solr-connection.h to solr-response.h.

plugins: fts-solr: Reformat solr-connection.c.

lib-master: master-login-auth - Fix master_login_auth_request leakage

lib-master: master-login-auth - Fix auth lookup privilege problem when imap process is reused and user is un-hibernated.

lib-test: test-common - Add "test_expect_error_string_n_times" function to expect an error output for an arbitrary times.

lib-master: master-login-auth - Reformat unnecessary semicolon

lib-master: Simplify auth-master connection code

For UNIX sockets the client_connected callback is always called immediately
after successful connection_client_connect(). So we might as well directly
add auth->connected=TRUE after it succeeds without having to go through the
callback.

If the callback had been called later, the current code would have been
broken because it already assumed that auth->connected=TRUE is set
immediately after returning from master_login_auth_connect(). So this
change just makes it clearer what happens and what is required.

stats: Make sure unit tests don't fail with fast CPUs

run-test-valgrind.supp: Drop fun:*msync from libunwind suppression

This is either fun:__msync_nocancel or fun:msync, and hopefully the
suppression here works for both.

m4: Always generate suppressions with valgrind

stats: Output multi level sub-metrics correctly

stats: Add unit test for group by

stats: Add initial unit tests

stats: Implement group_by

group_by allows dynamic creation of sub-metrics for metric.

Example:

metric imap_command {
   event_name = imap_command_finished
   group_by = cmd_name tagged_reply_state
}

will generate following metrics

imap_command_select_ok
imap_command_select_bad
imap_command_select_no

etc.

based on what sort of events come in. new metrics are generated
when event comes in and then they are tracked.

only strings can be used for group_by for now.

stats: Dump sub-metrics

stats: Add sub-metrics to metrics

Needed by next commit

stats: Move metric initialization to stats_metric_alloc()

stats: Add data stack frames when handling events

Reduces memory usage

lib-storage: Always fix inconsistency when syncing private flags index

The flags index can't be fully synced with the main index at all times
anyway, so don't even try. Just fully sync it always and fix any found
inconsistencies.

Fixes:
Error: dovecot.index.pvt reset, view is now inconsistent

lib-index: Fix potential crash when view is synced after index is reset

view_sync_set_log_view_range() sees that index is reset, so it clears the
log_view, which sets log_view->cur=NULL. Later on view_sync_have_expunges()
calls mail_transaction_log_view_mark(), which crashes because
log_view->cur==NULL.

This crash mainly happened when searching for seen flags in a newly created
mailbox with INDEXPVT. This commit doesn't actually fix the bug, but it
fixes the resulting crash.

lib-storage: mailbox_get_metadata() - Return cache_fields allocated from data stack

Using mailbox.metacache_pool breaks if it's called multiple times for the
same mailbox and the old results are still used. This happened in
index_copy_cache_fields() when copying mails within the same mailbox. In
some situations this could have caused a crash.

lib-http: Update event fields once more in http_client_request_submit()

Especially the port number could have changed.

lib-http: Add support for permanent headers

lib-http: Add http_client_request_set_event_headers()

lib-http: Include HTTP response reason text in debug log messages

fs-compress, fs-crypt: Remove duplicate fs-driver prefix in init errors

fs_init() already prefixes the error with "fs-driver: "

global: Don't use CALLBACK_TYPECHECK() in arithmetic with context

This fails if the context type is incomplete.

lib-http: Add http_client_request_get_attempts()

NEWS: Add news for 2.3.9.2

push-notification: Fix crash with empty from/to header

mdbox: Support setting save_date

NEWS: Add news for 2.3.9.1

cassandra: Handle CASS_ERROR_SERVER_WRITE_FAILURE also as "uncertain write"

This error apparently doesn't happen often, but it seems to be a per-node
failure so some Cassandra nodes could have written the change.

lib-smtp: Add smtp_address_case_equals().

lib-smtp: Add smtp_address_cmp_icase().

push-notification-driver-lua: Provide missing to/from as empty string

push-notification: Handle group names correctly in from/to

Fixes signal 11 crash

submission: Fix submission_max_mail_size setting type

lib-fs: Add fs event category to fs events

lib-fs: Log any pending errors in fs_file_deinit()

If error was set to the file but it wasn't accessed with
fs_file_last_error(), it means the error message would become lost.
Usually this is probably not intended.

lib-fs: Log previous fs_file error if it's being overridden

This makes sure that errors aren't lost. If fs_file_last_error() has been
used it means that the error has been looked at and there's no need to log
it.

Some of the "expected" errors won't be logged though. This check is done
based on errno. This is also why this commit reorders
fs_file_set_error_async() to set errno=EAGAIN earlier.

test-fs-posix: Check for failed fs_read() error string

lib-fs: Replace fs error with file/iter-specific error

Removed fs_last_error(), since it can't be used anymore.

lib-fs: Move file deinit code from fs_file_deinit() to fs_file_free()

lib-fs: Add fs_file_free() to run common deinit code

lib-fs: Change fs_set_error() to take event instead of fs

Also log the error as debug message. This allows capturing the events for
statistics or event exporting.

lib-fs: Set internal fs/file/iter pointers to events

This will be used by the following commit

lib-fs: Rename fs_set_error_async() to fs_file_set_error_async()

Also changed to take fs_file instead of fs parameter.

fs-posix: Change fs_posix_rmdir_parents() to take fs_file instead of fs

fs-sis: Don't overwrite error already set by fs_sis_path_parse()

fs-sis: Change some internal functions to take fs_file instead of fs

fs-posix: Change fs_posix_get_mode() to take file parameter, not fs

lib-fs: Remove fs_set_critical()

The original idea was similar to mail_storage_set_error/critical()
separation. But in storage they are used to clearly separate between
errors caused by untrusted users vs internal errors. In lib-fs case
all the errors are internal errors. Also all the lib-fs callers are
supposed to log the errors unless they decide to handle them specially,
so there's really no need a fs_set_critical() that just causes them to
be logged twice.

fs-posix: Replace fs_set_critical() with e_error()

fs_set_error() can't be used in fs_file_close() and fs_file_deinit(),
because they don't return an error.

fs-posix: Log lseek() error with fs_set_error()

Makes it consistent with logging the read() error.

lib-fs: Add error_r parameter to the internal fs.init() method

This will help removing fs_set_error() calls.

global: Replace fs_last_error() with fs_file_last_error() wherever possible

lib-fs: Free fs_iter in fs_iter_deinit(), not in individual drivers

lib-fs: Change fs_iter_deinit() API to return error_r string

lib-fs: Change last_error from string_t to char *

The string isn't modified in a way that string_t is useful. This change
also allows fs_set_error() parameters to point to previous error string
without breaking.

lib: Allow events to store internal pointers

These pointers are independent of event fields, so they're ignored by event
matching, exporting and importing. Their main purpose is to allow storing
internal state to an event and allow it to be accessed by any code that can
access the event.

fs-posix: Use container_of()

lib: Don't use EAI_{ADDRFAMILY,NODATA} when they don't exist

Broken by c85f1bc3ce612c736c9d2c468cc08306db1b5851

plugins: quota: quota-status - Check that the MTA is in the RCPT state.

The quota-status service can currently only be used for Postfix
smtpd_recipient_restrictions.

plugins: quota: quota-status - Delay parsing recipient address until after message is fully read.

plugins: quota: quota-status - Remove duplicate "quota-status" prefix from error message.

plugins: quota: quota-status - Accept addresses with badly broken localparts from Postfix.

plugins: quota: quota-status - Fix protocol hang occurring when recipient address is invalid.

The line handler returned 0 in the event of an invalid recipient address, which
halts input handling.

plugins: quota: quota-status - Add event support for debug logging.

plugins: quota: quota-status - Improve error message for invalid recipient address.

auth: mech-scram: Add support for SCRAM-SHA-256.

auth: password-scheme: scram: Add support for SCRAM-SHA-256.

auth: mech-scram: Make implementation generic to support other hash algorithms.

auth: password-scheme: scram: Make implementation generic to support other hash algorithms.