Released v2.2.22.

lib-fts: Fix unit tests for lib-fts.

plugins: fts-expunge-log - subtraction from and dumping of a flattened log

This permits you to read a whole expunge log, remove records from the
in-memory copy of it, and write it back out to file.

NOTE: Inefficiently implemented. The hash is effectively rebuilt, this
time backed by a file, a record at a time, which implies O(n^2)
possibilities.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: client: Improved test-http-payload to test partial reading of response payload.

lib-http: server: Improved test-http-payload to test partial reading of request payload.

lib-http: server: Fixed handling of partially read request payload.

This would sometimes cause the server to hang.

lib-fts: Limit maximum length of addresses found.

The address tokenizer now takes a "maxlen" parameter, which
defaults to 254 bytes.

Previously addresses, or something looking like it, could
be of any length. This could cause trouble in fts backends.

lib-fts: Lift helper function out of generic tokenizer.

virtual plugin: Fixed off-by-one in virtual_max_open_mailboxes check.

virtual plugin: Don't assert-crash if backend mailbox is recreated while virtual mailbox is open.

virtual plugin: Handle backend mailbox deletion on backend open/sync

virtual plugin: Code cleanup - remove confusing bbox_index_opened

It was originally added because mailbox_open() was always called and we
wanted to know if the mailbox was open before it. But this code was already
removed.

virtual plugin: If we detect backend box to be deleted, mark it permanently deleted.

dbox: Fixed pop3.order caching for mails without no specified order.

lib-fs: Fixed fs-sis to work again

doveadm who: Don't require mask parameter.

config: Escape regexps properly in settings-get.pl to avoid warnings with new Perl

v2.2.22.rc1 released

fts: Added "doveadm fts tokenize" command.

doveadm-http: Fixed crash when no authentication was configured.

lib-index: After MAIL_INDEX_OPEN_FLAG_SAVEONLY access cache's read_buf wasn't always reset.

This could have caused at least errors like:

Corrupted index cache file .../dovecot.index.cache: File too small

I'm not sure if it might have also returned stale data sometimes.

Easy way to reproduce this bug was:
imaptest copy=100 copybox=Trash &
imaptest box=Trash append=0

lib-index: Minor code cleanup - removed duplicate function prototype.

doveadm: Don't treat doveadm_api_key differently when it's unset vs set to empty.

doveadm-http: Minor logging improvement - indicate error source

doveadm-http: Drop surplus log prefix

doveadm-http: Set HTTP client's max idletime to 5 seconds

doveadm-http: For each executed command, log the command name and the user parameter if given.

doveadm-http: Improve authentication related code

doveadm-http: Code cleanup - Move authorize to its own function

doveadm-http: Add API calls and versioning for v1

auth: Make password_scheme_encryption_rounds extern to allow plugins to read it.

lib: Fixed memory leak io_add_istream()+io_remove() when the stream didn't have fd.

lib: iostream-temp allows now calling o_stream_seek() on it.

doveadm: A bit nicer way to implement doveadm_cmd_param_array() returning C-string array

So replacement of 4afc67eb9, which I accidentally pushed before remembering
about this other way.

doveadm-kick: Rewrite to ver2 infra

doveadm-kick: Print kicked usernames via doveadm-print API

doveadm-who: Rewrite to ver2 infra

doveadm kick: Don't show who command's help on duplicate network/username masks

doveadm: Changed doveadm_cmd_param_array() to return C-string array instead of ARRAY()

We could support both with separate functions, but perhaps this one is enough.

doveadm-dict: Use ver2 structures

doveadm-dict: Remove i_fatal() usage

doveadm-fs: Use doveadm_print instead of printf

doveadm: Renamed long parameter names.

doveadm mailbox metadata list: Added missing mailbox parameter

lib-storage: Use getuid() instead of geteuid() for checking if we're running as root.

This fixes running multiple doveadm commands for different users. Running
mail_storage_service_init() + _deinit() multiple times left euid non-root,
which dropped the MAIL_STORAGE_SERVICE_FLAG_TEMP_PRIV_DROP flag.

doveadm-server: Drop privileges only temporarily when running mail commands.

This allows running mail commands for multiple users within the same doveadm
connection.

doveadm-http: Fixed crash on unknown commands.

Also if command had already failed, don't override the existing method_err with 403.

doveadm-mail-index: Use integer parameter type

lib-storage: When cached mime.parts is detected to be inconsistent, log it as hex-encoded.

lib-storage: If cached mime.parts is corrupted, log it hex-encoded.

lib-mail: message_search_msg() passes through message_parser_deinit_from_parts()'s error string

Use mail_set_cache_corrupted_reason() wherever possible.

lib-storage: mail_set_cache_corrupted*() now logs also the mailbox name that was corrupted.

lib-mail: Minor code cleanup to message_parser_deinit() calls.

lib-mail: Added message_parser_deinit_from_parts()

The returned error strings could still be improved to give more details,
especially give an approximate offset of where the problem is.

lib-storage: Added mail_set_cache_corrupted_reason()

*-login: If verbose_ssl=yes, make sure all SSL errors are logged.

They should already be logged in the client's disconnection line, but log
them also with debug level just to make sure no errors are lost or
overwritten.

lib-ssl-iostream: If verbose=TRUE, internally log all errors.

lib-ssl-iostream: Log all SSL info lines with debug-level.

They're not logged at all if verbose=FALSE, so they're really debug messages.

doveadm-fs: Use ver2 structures

doveadm-cmd: Support non-strings in compat wrapper

doveadm-mail: Rename ctx to mctx to separate from cctx

doveadm: Changed v2 command APIs to be easier to use.

doveadm: Minor code cleanup - use arg-> instead of argv[i].

doveadm: Code cleanup - Removed unnecessary pointer checks.

Originally for some reason added by e16cdc182.

doveadm: Fixed command parameter handling for doveadm-server.

doveadm: Add more consts to avoid a cast breaking strict-aliasing rules.

doveadm: Fixed parsing field/flag/file parameters.

doveadm-log: Fixed trimming empty prefixes.

Too eager (long) cast removal from the original code broke it. Changed to
a slightly simplified version now.

doveadm: Pass through mail_storage_service_input fields in doveadm_cmd_attributes

doveadm: Added struct doveadm_cmd_attributes, which is passed around instead of argc/argv

doveadm-penalty: Convert to ver2 infra

doveadm-flags: Support giving flags as an array.

doveadm-copymove: Use ver2 structures

doveadm: Code cleanup - coding style fixes for doveadm_cmd_param*() accessors

doveadm-cmd: Add CMD_PARAM_IP

doveadm-mailbox-status: Fixed declaring and processing args

doveadm: Fully populate mail_cmd in ver2 wrapper

doveadm-fts: Use ver2 structures

doveadm-acl: Use ver2 structures

doveadm-search: Use ver2 structures

doveadm-purge: Use ver2 structures

doveadm-force-resync: Use ver2 structures

doveadm-import: Use ver2 structures

doveadm-flags: Use ver2 structures

doveadm-expunge: Use ver2 structures

doveadm-deduplicate: Use ver2 structures

doveadm-batch: Fixed it to work with ver2 commands.

doveadm-altmove: Use ver2 structures

doveadm: Remove return value from ver2 cmd() - doveadm_exit_code is enough

doveadm-cmd: Constify doveadm_cmd_param_*() usage

doveadm-log: Use ver2 structure

doveadm-log: Use doveadm_print() for output

doveadm-print: Add "formatted" print formatter

This allows using the header names as %{variables} in the format string.

*-login: Call client.auth_result() also when proxying

lib-http: client: Decreased request/connect timeout for test-http-client to 10s.

lib-http: client: Gave request, connect and dns timeouts defaults that make more sense.

lib-http: client: Fixed crash happening when connection hits an error while handling a new request.

At this point the connection dies within the peer request handler loop.
Before, the dying connection could free the peer when it ended up being
obsolete. But because it was still in the loop, a segfault occurred as the
loop continued. Fixed by deferring the the deallocation of the peer from
the connection_lost() function to the request handler loop itself if it is
active.

stats: Minor code cleaup - remove unnecessary includes and fix copyright year

lib: Added unit test to iostream-temp.