lib-dict: Compiler warning fix

I don't think it's possible that error was used uninitialized, but some gcc
version seems to think so.

dict-client: Use standard str_tabescape-functions

There's no reason to reimplement them here separately.

lib-dict: dict_transaction_commit*() returns now error string

lib-dict: Changed internal transaction_commit() to return void

Somewhat simplifies the code now that it doesn't have to both call a
callback and return the same ret.

dict-memcached-ascii: Fixed async commit

dict-redis: Fixed memory leak in async commit

lib-dict: dict_iterate_deinit() returns now error string

lib-dict: Changed dict_wait() to return void.

If it encounters any failures, it should just make sure to abort any pending
async requests before returning.

dict-client: dict_wait() can't really fail

dict: Pass through dict_lookup() error from dict server to client

lib-dict: dict_lookup() returns now error string

lib-dict: Moved/removed explicit stack frames in dict drivers.

Added them back to dict_set/unset/atomic_inc() in dict.c. Others are
unlikely to be called many times.

lib-dict: Renamed dict_init_full() to dict_init()

lib-http: If connect fails, include attempt count and total time in error.

This will produce errors such as:
9002 connect(1.2.3.4:801) failed: Connection timed out in 1.001 secs (4 attempts in 4.706 secs)

lib-http: Allow http_client_settings.ssl==NULL

config: Added support for SET_TIME_MSECS

cassandra: Support milliseconds for request/connect_timeout

lib-settings: Added SET_TIME_MSECS type.

lib-settings: Added settings_get_time_msecs()

lib-settings: settings_get_time() requires explicit unit now, except for 0.

This means that all the time interval settings in dovecot.conf must no
longer be simply a number.

doveadm fetch: Translate commas to spaces in body|binary.<section> with

This way we can do e.g.:

doveadm fetch 'uid body.header.fields(from,to,subject)' ...

Although in theory we could also change the parser to allow spaces as long
as they're inside (..), but this is probably too much extra effort.

lib-imap-storage: Allow HEADER.FIELDS(..) without space before '('

This is to allow doveadm fetch to use it. Attempting to do this without a
space in IMAP already fails elsewhere:

x fetch 1 body.peek[header.fields(from to)]
x BAD Error in IMAP command FETCH: Invalid characters in atom

doveadm fetch: Fixed logging errors for istream failures

doveadm fetch: Added body.<section> and binary.<section> fields

These correspond to IMAP BODY[<section>].

dict-client: Added idle_msecs=<n> parameter

This can be useful when connected to dict-async server where extra idling
connections don't matter so much as with blocking dict servers.

doveadm: error to print formatted without format

This changes the segfault of `doveadm -f formatted ...` to an error.

lib: Fixed potential collision in guid_generate()

There wasn't enough padding for tv_nsec and it was also assuming 16 bit
PIDs. Because of these there was a tiny possibility of two
guid_generate() calls returning the same GUID.

This changes the GUID format a bit, but it was used only by sdbox code,
which doesn't assume anything about the GUID format.

lib-http: use ssl_iostream_settings in http_client_settings

lib-ssl-iostream: move ssl_iostream_settings_dup to iostream-ssl.c

lib-storage: remove mdbox_purge_preserve_alt setting

remove setting and its reference.

imap: Avoid assert-crash after a failed mailbox sync.

We didn't close the mailbox and we didn't update message counts, so we could
have crashed with:

Panic: Message count decreased

stats: Handle getrusage() errors better

I'm not aware of these errors actually happening anywhere, but its
error handling wouldn't have been correct if previous getrusage() calls
had succeeded. Now if it fails, log an error once and just keep on using
the last working rusage.

stats: Work around shrinking system CPU usage

Happening at least in Debian's Linux kernel 4.3.0-1-amd64.

getrusage() may returns ru_stime = 4000 or 8000, but later it drops to 0.
We'll just work around this by switching to the previous working ru_stime.

This fixes errors like:
Error: stats: session stats shrank: sys_cpu 0.0 < 0.4000

dict-ldap: Properly duplicate result

lib: Added t_str_tabunescape()

auth: Makefile dependency fix

Hopefully fixes:
mv: cannot stat '.deps/auth-stats.Tpo': No such file or directory

lib: Added i_stream_get_disconnect_reason()

lib: Improved connection_disconnect_reason()

lazy-expunge: Handle mailbox create race conditions.

Don't log an error if another process just created the lazy-expunge mailbox.

lib-fs: Fixes to stats count tracking

fs_exists(), fs_copy(), fs_rename() and fs_delete() could have increased the
count multiple times on async operations.

stats: Fixed ADD-USER stats tracking (auth stats)

lib-fs: fs-metawrap stat() error handling improvement.

We can't just treat i_stream_get_size() returning 0 as the reason being
istream is async and not fully read. It might be, but it might also be
because of other reasons. And since we're closing the istream we couldn't
even properly finish up the async handling. So for now just return an
error if we see this happening.

lib: istream's max_buffer_size=0 means 0, not unlimited.

Make sure we don't grow the buffer size then.

imap: Set client_command_context.tagline_reply before syncing.

Command post-hooks can't see it otherwise.

dsync: Fixed assert-crash if mailbox_attribute_set() fails

We shouldn't set importer->mail_error, because we're not going to
fail the import.

Fixes assert-crash:
dsync-mailbox-import.c: line 2812 (dsync_mailbox_import_deinit): assertion failed: (importer->failed == (importer->mail_error != 0))

lib-mail: Fixed istream-header-filter unit test names

doveadm who: Fixed listing LMTP sessions

lib: Added more unit tests to str_*()

config: Fixed namespaces to work again

Broken by 26a6ff7f0. old_settings_handle() should have returned FALSE for
settings it didn't handle.

global: Use mail_user_plugin_getenv_bool() wherever possible

New API is used to check boolean setting OR exsitence of an env variable.

lib-storage: add mail_user_plugin_getenv_bool

New API will check boolean-like env setting OR its exsitence.

Function returns FALSE when:
* Read out a null string,
"Or" * String starts with any letter in set {'N', 'n', 'F','f','0'}

To keep downward compatibility, For other cases including an empty
string, function returns TRUE.

lib: Optimize str_append_n()

lib: Make str_*() inline which are simple buffer_* wrappers.

global: Avoid using buffer_get_data()

Especially buffer_get_data(buf, NULL) generates worse code than just
using buf->data directly.

global: Replace buffer_get_used_size(buf) with buf->used

Doesn't make any diffence to code generation, but it's somewhat simpler code.
It's also more consistent since most of the code nowadays uses the ->used.

config: Remove old_namespace()

From config/old-set-parser.c, and its caller. The namespace section
named "private", "shared" or "public" is obsolete accordingly.

lib-imap, imap: BINARY [UNKNOWNCTE] to [PARSE]

lib-storage: Make it easier to debug mail's unclosed istream

lib-mail: istream-header-filter - fixed adding headers at eoh

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_HIDE_BODY

lib-mail: istream-header-filter HEADER_FILTER_ADD_MISSING_EOH fixes

When using HEADER_FILTER_CRLF_PRESERVE, add CR to the EOH if the previous
header line ended with CRLF.

When header ends to a header without newline, add two newlines so we can get
the actual EOH added.

lib-mail: istream-header-filter: Fixed stat() with HEADER_FILTER_END_BODY_WITH_LF

lib-mail: istream-header-filter - Check errors reading header

This probably doesn't affect the results much, since the stream_errno is set
anyway. But it's better to abort early, just in case the broken state might
end up asserting later.

lib: Added o_stream_unix_write_fd() assert: fd>=0

lib-storage: Fixed potential crash in mailbox_sync_deinit() error handling

If mailbox_sync*() was called before mailbox was opened, the automatic
mailbox opening could fail. mailbox_sync_deinit() would still try to access
box->view, which would be NULL.

lib-storage: Another fix to mail storage initialization.

Allow mail_namespaces_init_location() to add the namespace directly to user,
since that's what the current callers always want. But compared to the
original code we're now calling mail_namespaces_init_finish() rather than
doing the same things ourself.

lib-ldap: Handle various LDAP failures correctly

lib-ldap: Do not retry with bad credentials

lib-storage: Changed mail storage initialization.

Most importantly require mail_namespaces_init_finish() after
mail_storage_create(). This was needed so that
mail_namespaces_created/added hook would always have the ns->list set, which
is required for several of the hooks to work (e.g. mailbox list index)

lib-ldap: Added initial connection pooling code.

This is mainly about allowing multiple dict-ldaps to use the same
ldap-connection. In future we could support load balancing with multiple
concurrent LDAP connections.

dict-ldap: Removed caching of ldap-clients

With the previous per-username caching there could be a huge number of
dict-ldaps.

dict-ldap: Don't reuse dict for different usernames.

Fixes doing priv/* lookups for multiple usernames.

This currently also means that each username will create a separate LDAP
connection, which isn't ideal. But this is probably better fixed in
lib-ldap code similar to how lib-sql does connection pooling.

imap: Added struct client_command_context.tagline_reply

Can be used by plugins.

auth: Added %{auth_user/username/domain} variables

lib: Added ostream-unix for writing fd sockets via ostream.

lib: ostream-file: Allow creating derived file output streams.

lib: ostream-file: Split o_stream_file_writev() from o_stream_file_writev_full().

lib: ostream-file: Renamed o_stream_writev() to o_stream_file_writev_full().

lib: ostream-file: Renamed iov_size to iov_count everywhere and made it unsigned int for consistency.

lib-http: server: Fixed assert failure occurring when closing the connection while a request payload was still being read.

.gitignore: Added *~

lib-storage: Clear list error before mailbox_list_get_hierarchy_sep()

With ACL plugin enabled the call could have triggered dovecot-acl-list
rebuild, which in turn could have set list errors if it didn't have
permissions to all the mailboxes. This caused IMAP logins to fail.

lib-mail: message-parser assert-crashfix

Crashes when multipart MIME header is missing end-of-headers line and the
boundary begins with the same prefix as one of the parent boundaries.
Broken by 7a12331c6

quota: Fix to earlier commit 62f2f6baf

expunge_uids may become empty with prev_idx > 0

lib-fs: Fixed fs_get_metadata() with fs-metawrap

If mail was already read to EOF.

lib-storage: mailbox_list_index yes by default

man: Add stub for doveadm-fs command

doveadm-server: Handle istream send error.

lib-http: server: Implemented means to gracefully shut down the server.

While shutting down, it will not accept new requests and connections are closed once they become idle.

lib-dict: Further remove APPEND

mail-log: log headers as utf8

lib-lda: remove forced logging of session_id

lib-master, doveadm: remove mountpoint-list.* and doveadm mount commands

lib-storage: write subscription file in version 2 format

Write subscriptions file in a format that only v2.2.17 or newer can read, so
after dovecot converts the files to the new format, downgrading to a version
older than v2.2.17 is not supported.

lib-dict-extra: Avoid out of scope data stack usage.

lib: Finished string trimming functions to trim characters from beginning and/or end of a string.

This also restructures the code to avoid code duplication as much as possible.

lib-http: client: Added ability to configure a specific proxy for individual requests.

This way, a request can be routed to a specific proxy (or origin server). The destination can also be a unix socket.

lib-fs: don't append '/' to prefix in posix-fs

lmtp: Connect to anvil earlier while still running as root

This was a problem only with lmtp_rcpt_check_quota=yes.

lib: Set timestamp part more accurately in guid_128_generate()

Previously a long-running process would keep the timestamp close to its
original start time. This doesn't really matter as long as GUIDs are treated
opaque, but some pieces of code prefer to try to use the timestamp fields
since they're already there. This makes such code work more nicely.