Released v2.2.23

doveadm-mail: Initialize missing cmd context username

Fixes assert-crash in doveadm_mail_single_user()

lib-storage: Fixed memory leak when iterating attributes.

doveadm-mail: Don't lose rip/lip/lport/rport in passdb lookups for doveadm TCP connections

director: Avoid a potential assert-crash after removing a director from ring.

This should fix the crash:
Panic: director: file director-connection.c: line 1926 (director_connection_init_out): assertion failed: (!host->removed)

Also moved the last_network_failure timestamp reset a bit later, since
there's no need to reset the timestamp if we're not actually connecting
to the server.

doveadm: Fixed reading USER environment for v1 commands.

doveadm-batch: Fixed error message for an unknown subcommand.

doveadm: Fixed adding username header to commands iterating through multiple users.

doveadm-server: v2 mail commands weren't doing a userdb lookup.

doveadm-server: Fixed running multi-word commands.

The problem with for example "mailbox status" command is that:
 - doveadm cli: argv[0] = "mailbox", argv[1] = "status"
 - doveadm-server: argv[0] = "mailbox status"

So with doveadm cli we'll now instead just skip over words until argv[0]
is the last word of the command ("status").

doveadm: Code cleanup - always use const char *const[] type for argv.

Needed to fix compiler warnings in the following patch.

lib-http: client: Fixed request timeout handling during pipelining.

The timeout was not managed correctly. If an earlier request finished, it
would not restart the timeout for the next pending request.

Also, filling the pipeline caused the timout to be reset inappropriately,
postponing its expiry.

lib-http: client: Fixed handling of stalled connections that emerge when the client ioloop hasn't run for a long time.

Inside the peer's request handler routine, the connections are verified
after the ioloop continues. If they turn out to be broken, they
self-destruct while the handler routine is active, leading to problems.

Solved by referencing the connection and retrying the connection statistics
loop when a connection is lost in the process.

director: Make sure freeing a user doesn't leak a timeout.

director: Fixed memory leak when killing a user.

director: Make sure a long-delayed kill reply for user doesn't mess up the state.

This should fix assert-crash:

director: Panic: file director.c: line 690 (director_user_kill_finish_delayed_to): assertion failed: (ctx->user->kill_state == USER_KILL_STATE_DELAY)

director: Small improvements to director-test.sh

Test with a bigger director ring. Include microseconds in log timestamps to
make debugging easier. Changed the name of the info_log_path.

director: Don't re-send SYNC unnecessarily often.

director: Fixed user weakness getting stuck if multiple directors set user weak simultaneously

doveadm: Move getenv to correct place

All getenv()s must be done after master_service_init() or the pointer will be
corrupted with Linux and other OSes without setproctitle().

doveadm-server: Fixed initializing username for mail commands.

doveadm: Getting user from USER environment wasn't done in the right place.

doveadm_mail_cmdline_init() is also called when parsing commands from
doveadm-server. The USER environment is supposed to be read only from
doveadm command line.

lib: Avoid assert-crash in istream-concat at close.

If stream was seeked to EOF, cur_input=NULL and closing the stream would cause
i_stream_concat_skip() to crash. Fixed this by making sure cur_input is never NULL.
This also adds a check to not allow seeking past EOF, but this shouldn't happen anyway.

lib: Small code cleanup to istream-concat - don't use a magic UINT_MAX value as error code

doveadm: Fix typos in error messages

lib-fts: Fix unit tests for lib-fts.

plugins: fts-expunge-log - subtraction from and dumping of a flattened log

This permits you to read a whole expunge log, remove records from the
in-memory copy of it, and write it back out to file.

NOTE: Inefficiently implemented. The hash is effectively rebuilt, this
time backed by a file, a record at a time, which implies O(n^2)
possibilities.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: client: Improved test-http-payload to test partial reading of response payload.

lib-http: server: Improved test-http-payload to test partial reading of request payload.

lib-http: server: Fixed handling of partially read request payload.

This would sometimes cause the server to hang.

lib-fts: Limit maximum length of addresses found.

The address tokenizer now takes a "maxlen" parameter, which
defaults to 254 bytes.

Previously addresses, or something looking like it, could
be of any length. This could cause trouble in fts backends.

lib-fts: Lift helper function out of generic tokenizer.

virtual plugin: Fixed off-by-one in virtual_max_open_mailboxes check.

virtual plugin: Don't assert-crash if backend mailbox is recreated while virtual mailbox is open.

virtual plugin: Handle backend mailbox deletion on backend open/sync

virtual plugin: Code cleanup - remove confusing bbox_index_opened

It was originally added because mailbox_open() was always called and we
wanted to know if the mailbox was open before it. But this code was already
removed.

virtual plugin: If we detect backend box to be deleted, mark it permanently deleted.

dbox: Fixed pop3.order caching for mails without no specified order.

lib-fs: Fixed fs-sis to work again

doveadm who: Don't require mask parameter.

config: Escape regexps properly in settings-get.pl to avoid warnings with new Perl

v2.2.22.rc1 released

fts: Added "doveadm fts tokenize" command.

doveadm-http: Fixed crash when no authentication was configured.

lib-index: After MAIL_INDEX_OPEN_FLAG_SAVEONLY access cache's read_buf wasn't always reset.

This could have caused at least errors like:

Corrupted index cache file .../dovecot.index.cache: File too small

I'm not sure if it might have also returned stale data sometimes.

Easy way to reproduce this bug was:
imaptest copy=100 copybox=Trash &
imaptest box=Trash append=0

lib-index: Minor code cleanup - removed duplicate function prototype.

doveadm: Don't treat doveadm_api_key differently when it's unset vs set to empty.

doveadm-http: Minor logging improvement - indicate error source

doveadm-http: Drop surplus log prefix

doveadm-http: Set HTTP client's max idletime to 5 seconds

doveadm-http: For each executed command, log the command name and the user parameter if given.

doveadm-http: Improve authentication related code

doveadm-http: Code cleanup - Move authorize to its own function

doveadm-http: Add API calls and versioning for v1

auth: Make password_scheme_encryption_rounds extern to allow plugins to read it.

lib: Fixed memory leak io_add_istream()+io_remove() when the stream didn't have fd.

lib: iostream-temp allows now calling o_stream_seek() on it.

doveadm: A bit nicer way to implement doveadm_cmd_param_array() returning C-string array

So replacement of 4afc67eb9, which I accidentally pushed before remembering
about this other way.

doveadm-kick: Rewrite to ver2 infra

doveadm-kick: Print kicked usernames via doveadm-print API

doveadm-who: Rewrite to ver2 infra

doveadm kick: Don't show who command's help on duplicate network/username masks

doveadm: Changed doveadm_cmd_param_array() to return C-string array instead of ARRAY()

We could support both with separate functions, but perhaps this one is enough.

doveadm-dict: Use ver2 structures

doveadm-dict: Remove i_fatal() usage

doveadm-fs: Use doveadm_print instead of printf

doveadm: Renamed long parameter names.

doveadm mailbox metadata list: Added missing mailbox parameter

lib-storage: Use getuid() instead of geteuid() for checking if we're running as root.

This fixes running multiple doveadm commands for different users. Running
mail_storage_service_init() + _deinit() multiple times left euid non-root,
which dropped the MAIL_STORAGE_SERVICE_FLAG_TEMP_PRIV_DROP flag.

doveadm-server: Drop privileges only temporarily when running mail commands.

This allows running mail commands for multiple users within the same doveadm
connection.

doveadm-http: Fixed crash on unknown commands.

Also if command had already failed, don't override the existing method_err with 403.

doveadm-mail-index: Use integer parameter type

lib-storage: When cached mime.parts is detected to be inconsistent, log it as hex-encoded.

lib-storage: If cached mime.parts is corrupted, log it hex-encoded.

lib-mail: message_search_msg() passes through message_parser_deinit_from_parts()'s error string

Use mail_set_cache_corrupted_reason() wherever possible.

lib-storage: mail_set_cache_corrupted*() now logs also the mailbox name that was corrupted.

lib-mail: Minor code cleanup to message_parser_deinit() calls.

lib-mail: Added message_parser_deinit_from_parts()

The returned error strings could still be improved to give more details,
especially give an approximate offset of where the problem is.

lib-storage: Added mail_set_cache_corrupted_reason()

*-login: If verbose_ssl=yes, make sure all SSL errors are logged.

They should already be logged in the client's disconnection line, but log
them also with debug level just to make sure no errors are lost or
overwritten.

lib-ssl-iostream: If verbose=TRUE, internally log all errors.

lib-ssl-iostream: Log all SSL info lines with debug-level.

They're not logged at all if verbose=FALSE, so they're really debug messages.

doveadm-fs: Use ver2 structures

doveadm-cmd: Support non-strings in compat wrapper

doveadm-mail: Rename ctx to mctx to separate from cctx

doveadm: Changed v2 command APIs to be easier to use.

doveadm: Minor code cleanup - use arg-> instead of argv[i].

doveadm: Code cleanup - Removed unnecessary pointer checks.

Originally for some reason added by e16cdc182.

doveadm: Fixed command parameter handling for doveadm-server.

doveadm: Add more consts to avoid a cast breaking strict-aliasing rules.

doveadm: Fixed parsing field/flag/file parameters.

doveadm-log: Fixed trimming empty prefixes.

Too eager (long) cast removal from the original code broke it. Changed to
a slightly simplified version now.

doveadm: Pass through mail_storage_service_input fields in doveadm_cmd_attributes

doveadm: Added struct doveadm_cmd_attributes, which is passed around instead of argc/argv

doveadm-penalty: Convert to ver2 infra

doveadm-flags: Support giving flags as an array.

doveadm-copymove: Use ver2 structures

doveadm: Code cleanup - coding style fixes for doveadm_cmd_param*() accessors

doveadm-cmd: Add CMD_PARAM_IP