pop3: Added %{deleted_bytes} variable to pop3_logout_format

pop3: If transcation commit failed at QUIT, don't log any messages as expunged.

lib: kqueue notification should trigger also on file renames.
For example if dovecot.index.log is renamed to dovecot.index.log.2, we
should notice that since there's now a new dovecot.index.log containing new
changes.

lib-storage: Code cleanup - Don't keep a separate notify_ios list.

lib-storage: Moved most of the \Recent flag handling code to mailbox-recent-flags.c
There are also some API changes, because functions were renamed and the
recent_* fields were moved to struct mailbox. I'm not aware of any plugins
using these though, except for index_mailbox_set_recent_seq() which for now
is kept as a backwards compatibility macro.

No changes were made to the actual code logic.

*-login: Removed dead assignment to make static analyzer happy.

fts-solr: Flush Solr indexing HTTP requests every 1000 mails.
This avoids the HTTP request from becoming too huge.

fts-solr: If HTTP request fails, log the status number as well.

fts-solr: Fix to previous memory leak fix - second request was failing.
Duplicated data was sent to Solr because string wasn't truncated.

fts-solr: Fixed memory leak when indexing multiple mailboxes in one update context.

lib-http: client: Fixed handling of request timeout.
It was inappropriately active when the client needed to take action.
This showed particularly with large payloads sent using
http_client_request_send_payload().

lib-http: Previous test-http-client safe_memset() change broke in some systems.
Since there's no easy way to fix this in Makefile.am, just do it by actually
using safe_memset()..

lib-http: test-http-client may have failed to load SSL library plugin.
safe_memset() wasn't necessarily compiled into test-http-client. This is a
bit kludgy way of just adding it. Another possibility could have been to use
-Wl,--whole-archive with GNU ld, but it's a bit tricky here.

lib-http: test-http-client double-freed memory

lib-http: url: Implemented http_url_clone_authority() to clone authority part of existing HTTP URL.

lib-http: url: Implemented functions to copy/clone URLs including the userinfo part (normally skipped).

lib-http auth: Implemented cloning/copying of credentials struct.

lib-http client: Implemented proxy authentication using Basic scheme.

lib-http client: Added inline function to check whether request is directed at a proxy.

lib-http client: Implemented simple authentication using Basic scheme.

lib-http client: Removed useless assignment of request->authority in http_client_request_redirect().
It is assigned again in http_client_request_do_submit().

lib-http client: Minor whitespace cleanups in struct http_client_request.

lib-http: url: Make sure destination url struct is cleared in http_url_copy().

lib-http auth: Implemented client-side handling of basic authentication scheme.

lib-http auth: Fixed assertion on the validity of the token68 encountered during conversion to string.

lib-http auth: Made second argument of http_auth_create_challenges() const as it should be.

lib-http auth: Fixed segfault occurring in http_auth_challenge_copy() when there are no parameters.

lib-master: Added support for HAProxy protocol.
Patch by Stephan Bosch - with some small changes.

master: Changed passing of listener settings from master to process to be more flexible.
This is needed to allow adding new listener settings, such as `haproxy'.
Patch by Stephan Bosch - with some small changes.

lmtp, *-login: Use ip/port values from struct master_service_connection instead of from the socket.
This way, a proxy protocol like HAProxy can transparently override these
addresses with what is seen by the proxy.

lib-master: Added local and real IP addresses and ports to struct master_service_connection.

lib-master: Moved connection accepting code to its own functions.
No functional changes.

lazy-expunge: If MAIL_FETCH_REFCOUNT fails because mail is expunged, ignore the error.

lazy-expunge: If MAIL_FETCH_REFCOUNT fails, log the storage error.

lib-fts: Minor cleanup - initialize err with U_ZERO_ERROR instead of 0.
They're the same though.

lib-fts: Add Unicode TR29 rule WB5a setting to tokenizer.
Splits prefixing contracted words from base word.
E.g. "l'homme" -> "l" "homme". Together with a language specific stopword list
unnecessary contractions can thus be filtered away.

This is disabled by default and only works with the TR29 algorithm.
Enable by "fts_tokenizer_generic = algorithm=tr29 wb5a=yes"

lib-fts: Add note about possible additional apostrophe.

lib-fts: Update comment on tr29 rules.

indexer: Removed counting worker processes as service clients to prevent idle-kill.
lib-master handles this internally now. Also if the max client count was
reached, we assert-crashed:

indexer: Panic: file master-service.c: line 672
(master_service_client_connection_created): assertion failed:
(service->master_status.available_count > 0)

lib-master: If idle-die callback returns FALSE, notify master that we don't want to die.
This avoids the master thinking that we're ignoring its idle-kill signal and
logging an error.

lib-master: Code cleanup - split master_status_update() to two functions.
No functional changes.

lib-fs: Moved enum fs_op from fs-randomfail.c to fs-api-private.h
These are useful for other purposes as well.

lib-fs: Fix to earlier write_stream_finish() commit
2f1378beeef6 accidentally reversed == and != check.

lib-fs: fs_copy*() didn't update metadata_changed correctly.
It was supposed to be (only) set when the copying actually finished.

lib-fs: Small code cleanup for handling write_stream_finish()

lib-fs: fs_write() didn't update stats.write_count correctly.
If backend implemented asynchronous write(), the write_count was updated multiple
times. If backend didn't implement write(), then it was counted twice.

dsync: Fixed syncing a recursive delete of mailbox with children.
For example if 1/2/3 exists in both sides and then 1/2/3, 1/2 and 1 are
deleted from one side, the next dsync would delete 1/2/3, but leave 1/2 and
1 undeleted.

dsync: If mailbox is already deleted locally, don't attempt to delete it again.
This only caused an unnecessary desync warning / exit code.

pop3: Added pop3_delete_type setting with values "default", "expunge" or "flag".
This is related to pop3_deleted_flag setting. The main behefit here is that
you can now hide messages from POP3 by setting pop3_deleted_flag, but
without changing the actual deletion behavior by setting
pop3_delete_type=expunge.

lib-fts: Install headers on make install.

rawlog: Removed unnecessary/duplicate 'o' from getopt_args
This caused assert-crash at startup after ff17864ba6e0.

lda: Removed unnecessary/duplicate 'k' from getopt_args
This caused assert-crash at startup after ff17864ba6e0.

man: doveadm-import -s description updated
The previously mentioned subscriptions-file is specific to Maildir format.

doveadm: Make sure we can't accidentally add duplicate getopt args.

lib-master: Make sure we can't accidentally add duplicate getopt args.

stats: Added session=<ID> filter to doveadm dump session|command

dsync: Renamed -F parameter to -O to avoid a conflict
doveadm mail commands already had a generic -F parameter.

fts-solr: "highest UID for mailbox" lookup was actually returning "highest UID for user"
If the default operator was OR instead of AND. This affected indexing mails
in newly created mailboxes.

lib: istream-timeout could have triggered timeout too early after long-running code.

fts: If Tika returns 500, retry it a couple of times and then fallback to ignoring the problem.

lib-storage: Make sure tryagain_r is never randomly set in mailbox_search_next_nonblock()
This infinite looping in some fts plugin failure situations.

stats: If process was used for multiple sessions, some of the fields weren't set correctly.
For example the second user's disk_output was increased at startup by the
same amount as what the previous user's last disk_output value was.

lib-storage: escape_char and broken_char settings weren't copied on mailbox_list_create()

lib-storage: Another fix for doing multiple changes via mailbox_attribute_set/unset

lib-mail: Fixed message_part_to_idx()

pop3-migration: Compiling fix in some systems

lib-storage: Fixed doing multiple changes via mailbox_attribute_set/unset()
Only the last change was committed and the earlier changes were just leaking
memory.

pop3-migration: Fetch physical sizes instead of virtual sizes so pop3c uses LIST
4bebfbb32410 caused the fetching to break entirely.

pop3-migration: Use LIST instead of RETRs to get the messages' sizes.

lib-mail: Updated test-message-header-parser unit test

pop3-migration: Truncate header if there's line containing only CR(s).
This fixes matching IMAP <-> POP3 messages when the servers behave
differently.

pop3-migration: Show the first message's number and UIDL which wasn't found from IMAP.

lib-storage: If mailboxes' vsizes are used, keep them updated also in mailbox list index.
This allows looking them up quickly without opening the actual mailbox
indexes.

quota: Use MAILBOX_METADATA_PHYSICAL_SIZE for recalculating mailbox's size.

lib-storage: Added MAILBOX_METADATA_PHYSICAL_SIZE
If backend always uses the same virtual and physical sizes, this is
implemented via the MAILBOX_METADATA_VIRTUAL_SIZE code. Otherwise it
searches all the messages and sums up their physical sizes.

lib-storage: Moved vsize_hdr_ext_id to struct mailbox for more global access.

lib-storage: Renamed struct index_vsize_header to struct mailbox_index_vsize
Also moved the struct to mail-storage-private.h for more global access.

lib-storage: Moved mailbox vsize calculation code to its own file.
No functional differences.

quota: Even if quota counting fails, commit the mailbox transaction.
The only changes in the transaction are changes to dovecot.index.cache file
and we don't want to rollback those.

quota: Fixed error handling in quota counting code.
Errors weren't logged and some error checking was missing.

mdbox: Make sure rebuilding doesn't try to add a copy of the message too many times.
Currently it just silently overflowed the 16bit refcount, which caused
problems later.

istream-zlib: Don't overwrite parent istream's error on gz header/trailer read errors.

doveadm: Added doveadm_username to specify the username for authentication.
The default is still "doveadm" and the server side doesn't currently support
anything except "doveadm".

istream filters: If parent's i_stream_stat() fails, copy the stream_errno.
This doesn't actually change any functionality yet, since most
i_stream_stat() callers aren't using i_stream_get_error().

lib: istream_file.stat() fails, set stream_errno and error string.
For now we'll also keep logging the error since everybody isn't using
i_stream_get_error().

master: When sending SIGTERM/SIGKILL to processes, log which services they were sent to.

imap/pop3-login: If auth failure reason already begins with [resp-code], don't prefix it with another one.

lib: Fixed unit test with big-endian CPUs.
Patch by Michal Hlavinka / Redhat

lib: Fixed read buffer overflow in wildcard_match*()
Patch by Hanno Böck.

Note that input to wildard_match*() is always coming only from trusted
sources, like config file or doveadm commands.

indexer: Properly fix crashing at deinit when there are pending requests.

indexer: Reverted 5945ba000a45 - it didn't really help

indexer: Fixed crash at deinit if there were still queued requests.

imapc: Fixed check to see if prefix!="" in previous commit.

lib-storage: Set MAILBOX_SELECT/NONEXISTENT for namespace prefix even if no flags are wanted.
This fixes doveadm commands attempting to access such nonexistent mailbox
prefixes.

imapc: Don't return mailbox list entries that would result in name="".
So basically don't return namespace prefix if imapc_list_prefix="".

imapc: If login is aborted at deinit, don't log an error.

imapc: Don't automatically login to IMAP server for list=no namespaces.

lib-http: http_client_request_send() failure returned already-freed error string.

fs-posix: Hide temporary files from fs_iter_*()
Those could exist just because another process is just using them to create
new files to the directory. Although they could also be older files caused
by earlier crashes. It would probably be a good idea to have fs_iter_*()
delete the old temporary files automatically.

virtual: virtual_uids weren't always set to all mails, causing missing mails and crashes in search.