uri-util: Added the possibility of only checking the URI without parsing any of the data.

uri-util: Improve errors about invalid characters in URI by reporting the component where the offending character is located.

uri-util: Allow empty host name in the generic URI syntax as specified in RFC 3986.

lib-http: client: Fixed memory leak in CONNECT tunnel support.
Forgot to dereference streams once tunnel was completed and passed to the new connection object.

lib: connection: Connect to unix socket asynchronously if connected callback is set.
Prevents problems in lib-http unix socket support.

fts: Do not deinit uncreated fts context
Fixes crash with fts-lucene and fts-solr when lib-fts wasn't used.
Patch by Teemu Huovila

trash plugin: Count more correctly the number of bytes/messages needed to get under quota.
If there already were some messages saved, those weren't counted when
figuring out how many/much mails are still needed to be expunged.

Patch by Alexei Gradinari

trash plugin: Fixed handling unlimited quota limits.
Patch by Alexei Gradinari

quota: Don't assume mail is too large if a quota root has mail count limit but not size limit.
Based on patch by Alexei Gradinari

lib-mail: Fixed modifying headers with i_stream_header_filter_add()
If the stream was read twice, the second time the callback wasn't called and
the header wasn't modified.

*-login: Don't try to flush SSL output if SSL handshake fails.
This fixes a crash on failed handshakes on some OpenSSL builds.

Forgot to include year 2015 in earlier new files' Copyright lines.

log: Don't confuse process sending a partial log line to process sending logs too fast.
If it's a partial line we don't want to show the "service too fast" error in
ps title.

lib: Fixed crash in connection API if input streams aren't used (only input fd).

lib: Fixed test-istream-unix to not send uninitialized bytes.
Fixes Valgrind errors in make check.

imap: Code cleanup: Moved IDLE keepalive timer calculation to lib-imap.

lib: Added istream-unix for reading fd sockets via istream.

lib: Added numpack_decode32()

fts: Fixed infinite looping at deinit.
fts_mail_user_deinit() was calling itself. Now the fts backend is
responsible for calling it at deinit.

doveadm fs delete -R: Fixed infinite looping when deleting a lot of files with some backends.
After file was deleted, we closed it. Then later on we tried to delete it
all over again.

doveadm fs delete -R: When deleting directories, include "/" suffix in the name.

lmtp: Added lmtp_hdr_delivery_address=final|original|none setting.
This controls what username is used for logging Delivered-To: header and the
"for user@domain" in Received: header. The default "final" is the regular
username as earlier, "original" logs the RFC822 address received via ORCPT
parameter or fallbacks to username, "none" logs nothing.

doveadm-server: Fixed returning command input stream when its data was already in the input stream.

fts-solr: fts_solr=use_libfts send data to Solr via space-separated tokens.
In this case Solr should be configured to not do any kind of filtering and
use only WhitespaceTokenizerFactory.

fts: Minor error messagage prefix change.

fts: Don't always try to initialize lib-fts. Require backend to explictly do it now.

fts: Install fts-user.h header

fts: Replace '-' with '_' in filter-specific fts_filters_* settings.
So for example using fts_filters_normalizer_icu instead of
fts_filters_normalizer-icu.

lib-fs: Use the new t_str_replace() instead of doing it ourself.

lib: Added t_str_replace() to replace one character with another one

dict: Fixed unescaping strings from lib-dict.
This may potentially break backwards compatibility with someone, but it's
probably pretty rare that anybody is yet using dict proxy with multi-line
fields. Also even though the current behavior happens to work, it's very
much non-ideal and can be potentially dangerous.

auth: Don't assert-crash if master user login attempts to use empty login username.

lib-storage: mail_search_args_simplify() handles now SEARCH_HEADER*/TEXT/BODY
These are especially useful with lib-fts, where stemming and other filtering
can produce duplicates. There's some internal deduplication, but it doesn't
catch all of these.

lib-storage: mail_search_args_simplify() handles now SEARCH_SMALLER/LARGER

lib-storage: mail_search_args_simplify() handles now SEARCH_BEFORE/ON/SINCE

lib-storage: mail_search_args_simplify() merges now seqsets and uidsets.

lib-storage: If mail_search_args_simplify() merges flags, check again if any SUBs can be removed.
The subquery may have been replaced with a single SEARCH_FLAGS parameter.

lib-storage: Makefile fixes for previous test programs

imapc: Don't write SEARCH YOUNGER/OLDER queries if server doesn't support WITHIN extension

lib-storage: Moved mail_search_args_simplify() to its own file and added unit tests.
No functional changes.

imapc: Use mail_search_arg_to_imap() to write IMAP SEARCH parameters.
This also fixes a few bugs, since some of the search parameters weren't
written entirely correctly.

lib-storage: Added mail_search_args_to_imap()
Useful for writing IMAP SEARCH parameters from struct mail_search_arg.

lib-storage: Added mail_thread_type_to_str()

lib-imap: Added imap_to_date()

lib-storage: Fixed assert-crash with mailbox_list_index=yes if root mailbox name was empty.
This happened if the index was used for a non-listable namespace whose
prefix started with the namespace separator (e.g. prefix="/expunged/")

imapc: After auth failed, return failure immediately when opening a mailbox.
Instead of trying to re-authenticate which again will most likely fail.
Based on patch by Michael M Slusarz

lib-storage: Small code cleanup for index_mail_get_binary_stream()
stream_r is always non-NULL here. Also move unreferencing cache istream to
be last in case it might fix data.stream=NULL being here in some situations.

lib: Fixed reference counting in iostream-rawlog if either i/ostream wasn't used.

lib: iostream_rawlog_create_from_stream() now allows input or output to be NULL.

lib-storage: Fixed subscription file reading when file was (nearly) empty.
Broken by the earlier changes.

lib-storage: Added support for subscriptions file version 2 format.
The v2 format's main benefit is that it doesn't write the hierarchy
separator to the subscriptions file, which allows the separator to be
changed without breaking subscriptions. This mainly affects LAYOUT=INDEX,
which doesn't have a native hardcoded separator.

The plan is to start writing v2 subscription files in Dovecot v2.3. So for
now we simply read such files and if we find v2 file we also modify it in v2
format, but we never create new v2 format files or convert v0 to v2.

fts-lucene: Fix to earlier commit: Header names must be indexed without libfts, not with.

fts-lucene: Optionally use lib-fts instead of CLucene's own analyzers.
fts_lucene = use_libfts enables this.

fts: If backend has FTS_BACKEND_FLAG_TOKENIZED_INPUT set, index also the header name.
We were sending the hdr_name to the backend without tokenizing it or
filtering it, so the backend couldn't have done anything useful about it.

lib-fs: Fixed fs-posix to work with fs_iter_init(path="") when fs prefix wasn't set.

lib-fts: Added normalizer-simple for doing normalization without libicu.

lib-fts: Fixed test-fts-filter to work again after previous normalizer changes.

lib-fts: Renamed normalizer to icu-normalizer, including the source code.

configure: s/normalizer/libicu/ since we it could be used for something else as well.

lmtp proxy: Include in log messages how long it took to deliver the mail.
In multi-RCPT TO sessions it's a bit unreliable to split the single DATA
reply's times to multiple lines, so instead each line just says
"(2/3 at 123 ms)" meaning that the second mail was delivered at the time
when 123 milliseconds had elapsed since the delivery was started.

lib-lda: Assume that the caller sets delivery_time_started
This is required because parts of the delivery time may be done at the time
the user is being initialized, so it needs to be set before the user init is
done.

lib-lda: mail_deliver_log() now updates the %{delivery_time} instead of using the first cached value.
The first time the cached values are set the transaction isn't committed and
the mailbox isn't synced.

lib-lda: Added lmtp-client to track timestamps when various events happen.

imap: Finishing previous commit by removing now-unnecessary code.

imap: Removed separate time counting from SELECT and SEARCH commands.

imap: Include in tagged reply how much running time each IMAP command takes.
The running time doesn't include time spent waiting for the client on
ioloop.

imap: Small code cleanup.
Removed all the checks of CLIENT_COMMAND_STATE_DONE to command_exec()
itself.

lda, lmtp: Added delivery_time and session_time variables to deliver_log_format
session_time is meaningful only with LMTP. The delivery_time is separate for
each mail delivery. The results are in milliseconds now. If needed we could
add a new %modifier that converts it into secs.millisecs.

stats: num_cmds was always 0 in global stats

lib-fts: Added udhr_fra.txt to EXTRA_DIST

lib-fts: Added PropList.txt to EXTRA_DIST

lib-fts requires libexttextcat actually - don't even try to use textcat for it.
I'm also not sure yet if some libexttextcats are too old for it.

lib-fts: Updated Finnish/French stopword lists from Lucene code.
Most importantly they added the licensing info to the files.

lib-fts: Fixed using FTS_NORMALIZER_CFLAGS/LIBS.

lib-fts: Don't crash in test-fts-filter if libstemmer support isn't built in

lib-fts: Fixed some wrong macro name checks.
Forgot to change these ones while renaming them..

lib-fts: Added missing stopwords_fi.txt

lib-fts: Fixed test-fts-language to use TEXTCAT_DATADIR
This may still make too many assumptions about what data exists where.. So
we may need to remove this test from "make check". But for now leave it
there.

configure: Fixed building without textcat.

configure: Added Debian Wheezy workaround for finding textcat.h

lib-fts: Fixed default textcat datadir paths.

configure: Fixed linking with libexttextcat when it was found via pkg-config

fts: Added FTS_BACKEND_FLAG_TOKENIZED_INPUT, which is implemented via lib-fts.

Initial import for lib-fts.
Parts of what this code does was already implemented internally by
fts-lucene. lib-fts is intended to be usable for all the FTS backends. The
APIs are still going to change a bit, but hopefully not after v2.2.17
release.

Mostly written by Teemu Huovila.

configure: Fixed/improved finding and using libexttextcat.
libexttextcat wasn't actually being used at all by fts-lucene. Now we'll
first prefer finding it via pkg-config, next finding exttextcat and only
last look up textcat.

configure: Stemmer and textcat checks are now done even if CLucene isn't used.
They'll be useful for other FTS backends as well. This patch doesn't change
any actual functionality.

fts: Code cleanup to do all index updates via fts_build_data()
This doesn't actually change the behavior.

doveadm fs delete -R: Don't add extra '/' chars in the middle of paths

dovecot-config: Added lib-stats to LIBDOVECOT_INCLUDE

lib-fs: fs_class_register() can now be called externally.

doveadm mailbox metadata: The keys must always be lowercased.
The keys need to be case-insensitive in IMAP, so the IMAP code always also
lowercases them.

stats: Fixed compiling with some OSes.
struct timeval wasn't necessarily already defined by existing includes.

lib: test-array build warnings on Solaris 10
Solaris cc doesn't think I've read N1570 6.7.9p11, 6.5.16.1p2, and 6.3.1.3p2,
and wants to save me from myself.

Reported-by: Juergen Obermann <http://www.dovecot.org/list/dovecot/2015-April/100427.html>
Signed-off-by: Phil Carmody <phil@dovecot.fi>

imapc: Added imapc_features=zimbra-workarounds
Zimbra (at least v5.0.18_GA_3011.RHEL4_64) can return different headers
depending on whether the whole message body was fetched or only (partial)
headers. This probably happens only for invalid characters that are
translated into '?'. With this workaround enabled we don't use FETCH
BODY.PEEK[], but we do FETCH (BODY.PEEK[HEADER] BODY.PEEK[TEXT]) and merge
the results together. This way the results are always consistent and headers
don't suddenly change.

dict-file: Use tabescaping for keys and values to allow LFs in them.
Although this makes the format slightly incompatible, it's doubtful anybody
is using dict values containing \001 characters.

auth: If passdb/userdb changes the username, add the changed username also to the cache.

auth: Setting userdb fields from cache didn't set handle any special fields.
The special fields were relatively rarely used though.

replication plugin: Don't crash for users who don't have replication enabled.

lib: Added json-tree API for parsing JSON input into a tree structure.
This makes it easier to access complicated JSON structs that can fit into
memory.

lib-index: Added reason_r parameter to mail_transaction_log_view_set()
This is used to improve some of the error messages about index corruption.