Install libdovecot-dsync.so library, which can be used separately.

dsync: Moved all doveadm-specific code to doveadm-dsync.c

lib-http: server: Fixed connection reference counting.
Connection often still got destroyed too early. Particularly submitting
responses would potentially destroy the connection, which is often
unexpected. Sending responses is now postponed until handled by the stream
output handler, which is explicitly triggered when necessary.

fs-posix: Fixed fs_iter_deinit() when opendir() had failed.

lib-http server: Keep output stream referenced to avoid accessing it after destroy.

fs-metawrap: Add FS_PROPERTY_COPY_METADATA property for wrapped fs backends.
This is because if we simply use the parent copy the metadata gets copied
as well.

fs-posix: Fixed memory leak in fs_iter_deinit()

lib-master: Earlier config file path fix broke reusing existing config socket lookups.

virtual: Recent optimizations had broken fast mailbox syncing.
We wrongly assumed that all_mails array could have been accessed using vseqs.
Broken by 8abf7eea2966

lib-mail: Message decoder now runs normalizer also for unknown charsets.

fts-lucene: No .. the rebuilding warning was still in the wrong place.

fts-lucene: Include the mailbox name also in the rebuilding warning.

fts-lucene: Log a warning when rebuilding index because of settings changes

man: Forgot to remove XXX prefixes from doveadm-director.1.in

replication plugin: Actually, use empty mail_replica as "replication is disabled".

replication plugin: Added replication_disabled setting.

man: doveadm-director man page updated

man: doveadm-auth man page updated

man: doveadm-dump man page updated

lib-test: don't use 0 for old size in realloc call
We have the real size, use it.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib-index: test suite memory leak cleanup
So that memory leak checkers can be active while running the test
suites, ensure that the suite itself doesn't leak.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-seq-range-array - clean up array after use
Removes noise when memory-leak debugging during unit tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-aqueue - clean up the test queue each time round the loop
Helps keep noise out of memory leak debugging during unit tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

lib: test-istream-concat - clean up our test-istreams
This reduces noise when memory leak debugging the unit tests.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

dsync: Reset I/O timeout every time when receiving input.
This could have caused unwanted I/O timeouts when receiving large mails.

pop3: Optimize POP3 UIDL processing when duplicate renaming is not active.

lib-http: client: Implemented support for connection failure backoff.

lib-http: client: Added support for attempting a single IP several times.
Also limits the number of attempts when there are many IPs.

lib-http: client: Tunnel connection failure would cause segfault.
That happened because it tried to retry waiting requests, which makes no sense for a CONNECT tunnel.

lib-http: server: Added support for authentication.

lib-http: Implemented HTTP auth (RFC 7235).

lib-http: server: Added assert to connect callback which makes sure request is either responded to or referenced.
Earlier change added this only to callback for normal requests, but CONNECT should be handled the same in this respect.

lib-http: server: Fixed delayed request destruction.
Destruction was actually delayed indefinitely, because the delay flag was not reset.
Obviously, this caused a memory leak.

lib-http: server: Made sure destroy callback is called only once.

lib-http: server: Fixed segfault occurring in connection input handler.
Request handlers could close and destroy the connection early.
Fixed by holding a reference in the input handler.

lib-http: server: Fixed handling of disconnection while request is being handled.
This would cause an assert failure.

lib-master: Fixed -c & -i command line parameters when config socket was readable.
The config socket was always being read, even if another config file was
attempted to be used.

pop3c: Added missing support for pop3c_ssl=starttls

COPYING.LGPL: Updated FSF mailing address.
Also some whitespace and line wrapping changes. Used the same file as
http://www.gnu.org/licenses/lgpl-2.1.txt

pop3c: If base_dir isn't set, lookup pop3c_host with regular blocking DNS lookup.

lib-storage: Compile fix to previous change
The original patch was correct, my copy&pasting by hand just sucked. :)

lib-storage: Fixed off-by-one memory allocation in dynamic settings allocation code.
This didn't actually affect normal Dovecot builds, because there were always
some storages with get_setting_parser_info=NULL that added the necessary
padding.

Patch by Michael M Slusarz

fs layout: Absolute paths as mailbox names shouldn't return index with INDEX=MEMORY

lib-index, lib-storage: Fixed race conditions with deleting mailbox.
Now only one process can successfully finish mailbox_mark_index_deleted().

lib-fs: Keep a linked list of all files within fs to help debugging.

Added UNLINK_EISDIR() helper macro.

maildir: Handle unlink()=EPERM failure the same as EISDIR.
EPERM is POSIX, while EISDIR is Linux-specific.

lib-fs: Fixed metawrap_fs.copy() to work with FS_PROPERTY_COPY_METADATA backends.
This is done by simply copying the entire file with the metadata included
instead of rewriting it.

Replaced dict_init() with dict_init_full() in various places.

lib-dict: file backend now expands ~/ paths if home_dir setting is set.

lib-dict: Changed dict.init() API to take struct dict_settings and added dict_init_full().
This allows giving more settings to dict in future as needed. Unfortunately
it also breaks the internal dict API, but there aren't really any plugins
widely using it, so it's not a big problem.

dict: Renamed struct dict_settings to dict_server_settings.

auth ldap: Compile fix to previous change..
Looks like on my local build system ldap wasn't enabled..

auth ldap: Don't require password field to exist for passdb lookups when auth_bind=yes.
This should fix lmtp/doveadm proxy lookups with auth_bind=yes

lib-http: Added http_client_request_get_method()

auth: Allow passdb credentials lookup also with auth_bind=yes
Although we probably can't lookup the password itself, we're also doing
passdb lokups for proxying and other purposes. These lookups will still work
as long as pass_attrs & pass_filter is specified.

doveadm exec: Show help if binary name wasn't given.

doveadm ring status: Help text was shown for wrong command.

fts-lucene: Compiling fix for earlier change.

fts-lucene: Don't crash when index building fails but we were still planning to optimize the index.

fts-lucene: When deleting corrupted lucene-indexes/ directory, don't rmdir it.
This at least avoids errors with NFS when some of the files are still open
inside it by other processes.

fts-lucene: Automatically close index after 2 minutes of idling.

fts-lucene: Make sure Lucene indexes are always closed at deinit to avoid memory leaks.
At least optimize leaked memory.

redis: Added support for path=/unix/socket/path parameter instead of host/port.

pop3: Fixed potential assert-crash on disconnect.

lmtp: Put back the deduplication code.
Too dangerous after all to change it in the middle of v2.2.x. It's also not
causing that much trouble even when it breaks..

auth: protocol-specific username settings weren't used for userdb lookups.
The username was set before the service-specific settings were looked up, so
global settings were always used. This affected auth_default_realm,
auth_username_translation and auth_username_format settings.

fts-lucene: If whitespace_chars was set, we may have ended up indexing some garbage words.
The final \0 was replaced with space, so everything beyond that was also
being indexed.

lib-dict: Hide internal ioloop from async commit callbacks. (Redis & memcached fix)

last-login plugin: Added ABI version check.

last-login: Fixed timeout leak at user deinit.

lib-storage: Added data stack frame to mail_prefetch().

doveconf: local and remote net/bits addresses were printed with /bits twice.

Several services weren't enforcing their process_limit=1 requirement.

lib: Added unit tests for wildcard_match()

lib: wildcard_match() should have matched "*" wildcard against an empty "" string also.
This fixes global ACL "*" matching the root namespace when creating new
mailboxes.

director: Log a warning when using "director host flush" for all hosts.

istream-chain: Fixed crash caused by earlier io_add_stream() support change.

lib-http server: Use io_add_istream() to wait for the payload istream.
This way the stream doesn't necessarily have to have a fd.

lib-http: Added asserts to make sure CR or LF can't be added accidentally to HTTP headers.

istream-chain: Support using io_add_istream() for the chain stream.
The callback is notified whenever new streams are added to the chain.

It's currently not possible to have nonblocking istreams added to the chain
and the callback being called when they have new data, but it would be
possible to implement as well if needed at some point.

io_add_istream(): Allow the istream to be added even if it doesn't have fd.

pop3: satisfy some strict parsing rules in RFC 1939
"Commands in the POP3 consist of a case-insensitive keyword, possibly
 followed by one or more arguments.  All commands are terminated by a
 CRLF pair.  Keywords and arguments consist of printable ASCII
 characters.  Keywords and arguments are each separated by a single
 SPACE character."

"A server MUST respond to an unrecognized, unimplemented, or
 syntactically invalid command by responding with a negative status
 indicator."

Therefore the following commands must be rejected:
LIST 2600Hz
LIST 99 red balloons
TOP 1 2 buckle-my-shoe

Signed-off-by: Phil Carmody <phil@dovecot.fi>

pop3: fix msgnum/size parsers
The outer if()s are completely unnecessary, and permit `num'
to remain uninitialised. Spotted by clang's static analysis.

Bug introduced in changeset: 17563:2ed2ab04b63d

Note that the lack of a parameter from a broken client is no longer
treated as "0". Before the bug was introduced:
  DELE
  -ERR There's no message 0.
After this patch:
  DELE
  -ERR Invalid message number:

Signed-off-by: Phil Carmody <phil@dovecot.fi>

Compiling fix for previous change..

Handle "out of disk space" and "out of user quota" as separate cases.
"Out of disk space" is a temporary error that should be logged as error and
the failure should be sent to user as "Internal server error".

Obsolete the use of MAIL_ERROR_NOSPACE and MAIL_ERRSTR_NO_SPACE. Use the
clearer MAIL_ERROR_NOQUOTA and MAIL_ERRSTR_NO_QUOTA instead.

ldap: Treat "No such object" errors to search the same as if no results were returned.
Trying to look up a nonexistent base returns this error.

auth: Internal passdb failures were always failing the request even if another passdb succeeded later.

lib-http: server_request/connection - improve encapsulation
It just feels a bit dirty having the request mess around with the
connection's internals, have the connection manage its linked lists
itself. No functional changes.

Signed-off-by: Phil Carmody <phil@dovecot.fi>

virtual plugin: Optimized memory allocation.
Patch by Teemu Huovila.

Compiler warning fix

virtual plugin: Handle physical mailbox deletion while virtual mailbox is open.

mailbox_list_index=yes: Make sure storage error doesn't change when updating STATUS info.

lib-storage: Added mail_storage_last_error_push/pop()

virtual plugin: Optimized syncing a large number of physical mailboxes.
Especially when the number of mails was large the old code took a lot of CPU
time. Based on patch by Teemu Huovila.

stats: Added num_connected_sessions for domains and IPs.

lib-http server: Delay calling the request's destroy callback until handle_request() callback is finished.
This simplifies the code in the handle_request() so it doesn't need to keep
track of whether the response is already submitted or not.

fts-lucene: If lucene-indexes dir is unexpectedly lost, rescan when expunge log update fails.
This mainly fixes a repeating error about failing to open the expunge log.
It should happen only if dovecot.index thinks that the mailbox is indexed
while in reality the entire lucene-indexes directory doesn't exist.

ostream-buffer: Allow modifying the buffer outside ostream, unless o_stream_seek() is used.
Now we'll just append to the end of the buffer instead of forcibly trying to
write at the offset where the last ostream write ended.

istream-callback: Added i_stream_callback_get_buffer().