imapc: If root separator lookup fails, fail all further lookups.

We already returned a potentially wrong separator (since there's no way to
return error), so we don't want to continue and possibly make things worse.

imapc: Added missing error handling to subscriptions list refreshing.

imapc: Fixed mailbox_exists() error handling.

imapc: Support retrying after connect() failure.

imapc: Support retrying after connect/authentication timeouts.

imapc: Support retrying for non-mailbox commands.

imapc: Prepare for non-mailbox command retrying: Set reconnect_command_count earlier

This probably doesn't fix itself anything yet, but is needed for the
following changes.

imapc: Fixed checking of whether same IMAP command keeps crashing server.

reconnect_command_count was counting only the post-login commands, but we
were decreasing it also for pre-login commands. This caused it to shrink to
0 too early.

imapc: Code cleanup - imapc_connection_reconnect() is now always called when reconnect is ok.

imapc: Code cleanup - Use a common function for checking/logging if we want to reconnect or disconnect

lib-storage: Fixed error handling for mailbox_list_iter_init_namespaces()

If iteration for the first namespace failed, we tried to copy the error
string to error_list, which was the same first namespace's list. This caused
the error string to be freed while it was being copied, so the end result
was that the error became either an empty or garbage string.

dsync: Don't export header hashes if remote mailbox is empty.

This avoids doing a lot of work of reading through all mails' headers and
hashing them, when the hashes aren't actually going to be used for anything.

lib-http: server: Fixed bug in request reference counting caused by earlier fix (390b600a6f7fdb4ccc65950527ee30129f49a6ac).

The earlier change erroneously dropped two lines that unreferenced the request object after calling the callback.

lib-master: Fixed assert-crash when HAProxy aborts connections.

close() was called before io_remove(), which resulted in:

Panic: epoll_ctl(del, 14) failed: Bad file descriptor

dict-ldap: Compiler warning fix

lib-dict: Add ldap driver

configure: Add lib-ldap

lib-ldap: Add lib-ldap implementation

lib-master: Fixed memory leaks when failing to read settings.

virtual plugin: struct mail_vfuncs.close() wasn't implemented.

This wasn't a problem normally, because the core code wouldn't try to call
this. It became a problem only after other plugins were trying to call it.

lib-master: Preserve LOG_STDERR_TIMESTAMP environment through doveconf exec.

This should be needed only for standalone programs, so don't bother trying
to preserve it otherwise.

lmtp: Use separate session ID suffixes for each RCPT TO delivery.

Otherwise each delivery will use the same session ID when talking to stats
process, which results in errors like:

Error: stats: FIFO input error: CONNECT: Duplicate session ID ME3ZHCi+A1dUDQAAvAUe3g for user foobar service lmtp
Warning: stats: Couldn't find session ID: ME3ZHCi+A1dUDQAAvAUe3g

(There was a DISCONNECT for the session ID between these two log lines.)

lib-storage: Changed separator between session_id_prefix and unique part to be ':'

Although '-' wasn't used by default either, it's much more likely that
custom session IDs might contain it. ':' is hopefully less likely to be used.
This allows log parsers that actually want to find out the original session's
all log lines to cut out everything after the initial ':'.

lmtp: Changed default LMTP proxy timeout to 125 seconds.

The main problem with LMTP proxy timing out too early is that it causes
duplicates if the backend actually finishes the mail delivery.

The 30 seconds is bad, because there are various timeouts in backend set
to 30 seconds also. 125 seconds is hopefully large enough to hit most of
the 2 minute timeouts and we'll have a few extra seconds left to see the
failure.

doveadm sync: -R parameter shouldn't switch to "doveadm backup -R" behavior.

Just ignore the -R parameter for doveadm sync, unless -1 parameter is also
used. Alternatively we could also fail the command, but maybe that's
unnecessary extra work.

doveadm: Reverted 7a3b52b8f - doveadm sync -1 -R is useful.

dict-redis: When timeout was reached, we didn't actually stop but just continued waiting.

doveadm-http: Fix mismatch in authorization

The code advertizes X-Dovecot-API in WWW-Authenticate header, but
expects X-Doveadm-API in Authorization header. This change makes
it expect X-Dovecot-API.

imapc: If we get disconnected during SELECT/EXAMINE, retry it once.

This seems to be happening especially with dsync migrations from IMAP
servers with small timeouts. The initial dsync run opens imapc connection
early to do a LIST + SELECT the first mailbox, but then dsync may spend a
while creating all the local mailboxes before it continues using the imapc
connection.

fts-tika: Don't crash on 500 errors (caused by 146f6f85d)

http_req=NULL here set by http_client_request_send_payload(). Even if it
wasn't, the payload wouldn't be there.

doveadm-proxy: Change to work with doveadm ver2

lib-storage: FS layout assert-crashed when trying to list with invalid UTF8 pattern

lib: Updated fdpass.h comments.

istream-unix: Fixed handling of EOF from fd_read() (ret==0).

This situation was ignored.

quota: Fix NetBSD build.

doveadm-mail: Honor -u flag on v1 commands

doveadm-server: Register builtin dict drivers always at init

This was already done for doveadm. Fixes using doveadm dict commands via
doveadm-server.

doveadm-mail: Initialize missing cmd context username

Fixes assert-crash in doveadm_mail_single_user()

lib-storage: Fixed memory leak when iterating attributes.

doveadm-mail: Don't lose rip/lip/lport/rport in passdb lookups for doveadm TCP connections

director: Avoid a potential assert-crash after removing a director from ring.

This should fix the crash:
Panic: director: file director-connection.c: line 1926 (director_connection_init_out): assertion failed: (!host->removed)

Also moved the last_network_failure timestamp reset a bit later, since
there's no need to reset the timestamp if we're not actually connecting
to the server.

doveadm: Fixed reading USER environment for v1 commands.

imapc: Don't try to FETCH uncommitted mails, because it would attempt to FETCH uid=0

auth: Disable auth caching for passwd-file

Its caching is usually unnecessary, because the passwd-files are efficiently
in memory already. It's also problematic, because extra_fields can contain
%variables, which can be lookup-dependent. So for example if %{lport} is used
in extra_fields, it would need to be included in the cache key. But because
different variables can be used by different users' extra_fields, there's
really no good way to include all of it in the cache key.

doveadm-batch: Fixed error message for an unknown subcommand.

doveadm: Fixed adding username header to commands iterating through multiple users.

doveadm-server: v2 mail commands weren't doing a userdb lookup.

doveadm-server: Fixed running multi-word commands.

The problem with for example "mailbox status" command is that:
 - doveadm cli: argv[0] = "mailbox", argv[1] = "status"
 - doveadm-server: argv[0] = "mailbox status"

So with doveadm cli we'll now instead just skip over words until argv[0]
is the last word of the command ("status").

doveadm: Code cleanup - always use const char *const[] type for argv.

Needed to fix compiler warnings in the following patch.

login-proxy: When logging failures, include the client info prefix.

login-*: When logging about client certificate validity, include the client info prefix.

auth: If user is unknown and there are more passdbs/userdb, log about it.

lib-http: client: Fixed request timeout handling during pipelining.

The timeout was not managed correctly. If an earlier request finished, it
would not restart the timeout for the next pending request.

Also, filling the pipeline caused the timout to be reset inappropriately,
postponing its expiry.

lib-http: client: Fixed handling of stalled connections that emerge when the client ioloop hasn't run for a long time.

Inside the peer's request handler routine, the connections are verified
after the ioloop continues. If they turn out to be broken, they
self-destruct while the handler routine is active, leading to problems.

Solved by referencing the connection and retrying the connection statistics
loop when a connection is lost in the process.

Set postmaster_address=%d by default because imap now loads lda settings and it must be non-empty.

We don't want imap to suddenly start failing because of the c15e8f33c
change. This isn't a perfect solution either, but should be ok enough.

director: Make sure freeing a user doesn't leak a timeout.

director: Fixed memory leak when killing a user.

director: Make sure a long-delayed kill reply for user doesn't mess up the state.

This should fix assert-crash:

director: Panic: file director.c: line 690 (director_user_kill_finish_delayed_to): assertion failed: (ctx->user->kill_state == USER_KILL_STATE_DELAY)

director: Small improvements to director-test.sh

Test with a bigger director ring. Include microseconds in log timestamps to
make debugging easier. Changed the name of the info_log_path.

director: Don't re-send SYNC unnecessarily often.

director: Fixed user weakness getting stuck if multiple directors set user weak simultaneously

pop3-login: XCLIENT / XOIP no longer return -ERR for untrusted IP ranges.

The command is simply ignored, similarly to imap-login ID.

doveadm: Move getenv to correct place

All getenv()s must be done after master_service_init() or the pointer will be
corrupted with Linux and other OSes without setproctitle().

imap: Made LDA settings accessible from plugins.

This way, plugins can also send mail.

doveadm-server: Fixed initializing username for mail commands.

doveadm: Getting user from USER environment wasn't done in the right place.

doveadm_mail_cmdline_init() is also called when parsing commands from
doveadm-server. The USER environment is supposed to be read only from
doveadm command line.

lazy-expunge: Fixed crash if lazy_expunge-namespace was not found.

lib: Avoid assert-crash in istream-concat at close.

If stream was seeked to EOF, cur_input=NULL and closing the stream would cause
i_stream_concat_skip() to crash. Fixed this by making sure cur_input is never NULL.
This also adds a check to not allow seeking past EOF, but this shouldn't happen anyway.

lib: Small code cleanup to istream-concat - don't use a magic UINT_MAX value as error code

lib-storage: Support autoexpunging from wildcards mailbox names.
For example:

mailbox Trash {
  autoexpunge = 30d
}
mailbox Trash/* {
  autoexpunge = 30d
}

doveadm: Fix typos in error messages

lazy-expunge: If lazy_expunge is set to namespace root, save all mails to the root mailbox.

So the difference is:

namespace {
  prefix = expunged/
  ..
}
plugin {
  # Move expunged mails to expunged/INBOX, expunged/Trash, etc. mailboxes
  lazy_expunge = expunged/
  # Move all expunged mails to "expunged" mailbox, which is the namespace root.
  lazy_expunge = expunged
}

lazy-expunge: Code cleanup - move destination mailbox name generation to its own function

lib-fts: Fix unit tests for lib-fts.

doveadm sync: Don't allow -R parameter.

-R implicitly enabled doveadm backup mode, which wasn't supposed to happen.

plugins: fts-expunge-log - subtraction from and dumping of a flattened log

This permits you to read a whole expunge log, remove records from the
in-memory copy of it, and write it back out to file.

NOTE: Inefficiently implemented. The hash is effectively rebuilt, this
time backed by a file, a record at a time, which implies O(n^2)
possibilities.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-http: client: Improved test-http-payload to test partial reading of response payload.

lib-http: server: Improved test-http-payload to test partial reading of request payload.

lib-http: server: Fixed handling of partially read request payload.

This would sometimes cause the server to hang.

lib-fts: Limit maximum length of addresses found.

The address tokenizer now takes a "maxlen" parameter, which
defaults to 254 bytes.

Previously addresses, or something looking like it, could
be of any length. This could cause trouble in fts backends.

lib-fts: Lift helper function out of generic tokenizer.

virtual plugin: Fixed off-by-one in virtual_max_open_mailboxes check.

virtual plugin: Don't assert-crash if backend mailbox is recreated while virtual mailbox is open.

virtual plugin: Handle backend mailbox deletion on backend open/sync

virtual plugin: Code cleanup - remove confusing bbox_index_opened

It was originally added because mailbox_open() was always called and we
wanted to know if the mailbox was open before it. But this code was already
removed.

virtual plugin: If we detect backend box to be deleted, mark it permanently deleted.

dbox: Fixed pop3.order caching for mails without no specified order.

doveadm-auth: Added missing code forgotten from commit 208754367

auth: Code cleanup - avoid using void *context

auth_request_callback_t always uses struct auth_client/master_connection*
in the context - no need to try to be too generic here.

doveadm-auth: If auth_debug setting is enabled, send "debug" field to auth lookups.

The idea is that you could enable auth_debug for specific requests with e.g.:

doveadm -o auth_debug=yes user user@example.com

auth: If auth request contains "debug" field, enable auth_debug=yes for the request.

lib-fs: Fixed fs-sis to work again

doveadm who: Don't require mask parameter.

config: Escape regexps properly in settings-get.pl to avoid warnings with new Perl

fts: Added "doveadm fts tokenize" command.

doveadm-http: Fixed crash when no authentication was configured.

lib-index: After MAIL_INDEX_OPEN_FLAG_SAVEONLY access cache's read_buf wasn't always reset.

This could have caused at least errors like:

Corrupted index cache file .../dovecot.index.cache: File too small

I'm not sure if it might have also returned stale data sometimes.

Easy way to reproduce this bug was:
imaptest copy=100 copybox=Trash &
imaptest box=Trash append=0

lib-index: Minor code cleanup - removed duplicate function prototype.

doveadm: Don't treat doveadm_api_key differently when it's unset vs set to empty.

doveadm-http: Minor logging improvement - indicate error source