lib-compression: Fixed dependency tracking in Makefile

man: Added description of option `-F file'.

lib-fts: Various improvements to test-fts-tokenizer

lib-fts: Added fts_tokenizer_final() as a convenience wrapper.

lib-fts: Fixed token truncation.

lib-fts: Fixed compiling without libicu

lib-storage: Run each storage hook inside its own data stack frame.

fts: Renamed filter and tokenizer specific setting keys.
Having the plural in the name didn't make a lot of sense, so all the
settings are now:

 fts_filters = name1 name2
 fts_filters_<lang> = name3 name 4
 fts_filter_<name> = key1=value1
 fts_filter_<lang>_<name> = key2=value2

 fts_tokenizers = name1 name2
 fts_tokenizer_<name> = key1=value1

So this also removes the confusion in settings if there existed a filter
with one of the language names.

fts: Simplify error messages a little bit to be more consistent with other such errors.
Only the setting name is really important.

fts: Use key=value instead of "key value" settings for tokenizers and filters.

fts: If fts_filters setting doesn't exist, use built-in defaults.

fts: Prefer language-specific filter settings over global fts_filters setting.

lib-fts: Minor code cleanups

lib-fts: fts-tokenizer-generic-private.h had content that didn't really belog there.

lib-fts: Removed supports() function from filter API
I think the original idea was that this could be used to automatically
create filters for many languages, but this probably won't be needed or
wanted.

lib-fts: Removed tokenizer name macros from fts-tokenizer.h
The tokenizers can be directly accessed via their class structs.

lib-fts: Store pointers to fts_tokenizer classes instead of copying the data.
The same reason as for doing this for fts-filter.

lib-fts: test-fts-tokenizer cleanup - moved tokenizers_init/deinit() to be done globally

lib-fts: Removed filter name macros from fts-filter.h
The filters can be directly accessed via their class structs.

lib-fts: Store pointers to fts_filter classes instead of copying the data.
Doesn't really matter, but it's a bit cleaner when fts_filter_find() returns
the same pointer as the fts_filter class originally was.

fts: Lowecase non-human language input while indexing.

lib-fts: Added "lowercase" filter.
For now it handles only ASCII characters, but that's enough for our use.

lib-fts: Removed "simple" normalizer.
It translated input to titlecase, which wasn't suitable for snowball
stemming that wanted lowercase input. Since that doesn't work, there's
probably no good for the existence of this (perhaps in future it's replaced
by unicode-aware lowercaser).

lib-fts: Minor unit test cleanups

fts: Reset tokenizers before using them
This is mainly needed if the previous tokenization had failed.

lib-fts: Added fts_tokenizer_reset()

lib-fts: fts-tokenizer-address didn't reset state properly when input ended.

fts: When tokenizing a search word, give "search" parameter to all the tokenizers.

fts: Don't crash if search arg string expands to empty token list.

lib-fts: Use case-sensitive settings comparisons in fts-tokenizer
Dovecot in general doesn't allow case-insensitive settings.

lib-fts: Minor unit test fix - use case sensitive checks for word comparison.

lib-storage: mail_search_arg_dup() is now a public function.

lib-fts: Implemented "search" parameter to fts-tokenizer-address.

fts: If filtering fails during search arg expansion, fail the fts search.

lib-fts: Compiler warning fix when building without libicu

lib-fts: Minor fts-tokenizer-address cleanups

lib-fts: Removed explicit no_parent setting from fts-address-tokenizer
It was used only by unit tests and we can check it without the setting as
well.

lib-fts: Use rfc822-parser in fts-tokenizer-address instead of duplicating its code.

lib-fts: Don't treat empty domains as valid addresses.
This actually pretty much reverts the previous patch and just fixes the
original code's chars_after_at() to work correctly. Also renamed the
function to make it a bit clearer what was intended.

lib-fts: Removed unnecessary code from fts-address-tokenizer.
chars_after_at() was only used to check if local-part was empty, but it was
checked at a state where it never could have been empty.

lib-fts: Various fixes and cleanups to stopwords filter.
Most importantly words added to hash table needs to be allocated from the
pool and not data stack.

lib-fts: Assume that fts_language.name is always lowercased and has two letters.
Anything else just unnecessarily complicates the code.

lib-fts: Fixed test-fts-filter unit test to handle errors a bit better.

lib-fts: Changed filter's internal APIs to return error_r directly.
It's not very safe to store strings allocated from data stack to any
permanent structs.

lib-fts: Snowball's sb_stemmer_stem() can only fail because it runs out of memory.

lib-fts: Improve using max_length in tr29 tokenizer

lib-fts: Fixed using max_length setting in simple tokenizer

lib-fts: Default to simple tokenizer algorithm

lib-fts: Delay stopwords filter full initialization until it's needed.

lib-fts: Delay snowball filter initialization until it's needed.

fts: Improve filter error handling.

In lib-fts:
Move error storage to the generic filter struct level. Change make_utf8
helper to void also.

In fts:
Add the error argument to _filter() calls.

lib-fts: Removed make_uchar() return value.
It was already de facto meaningless, so best we remove it.

lib-fts: normalizer-icu now delays initialization of libicu.
This way the normalizer can be quickly created even if it's never even used.

fts: Change filter API to be able to return errors

Modify fts_filter_filter() to return integer status codes. It returns
1 if a token was returned, 0 if it was filtered away and -1 on error.

fts: Change tokenizer API to be able to return errors

Modify fts_tokenizer_next() to return integer status codes. It returns
1 if a token was returned in *token_r, 0 if more input is needed and -1
on error.

fts: Replace '-' with '_' in tokenizer-specific fts_tokenizers_* settings

fts: Create tokenizers differently

Create tokenizers earlier. Create separate tokenizers for search
and indexing. Enable configuration of tokenizers. Add some helpers
in fts-tokenizer.h api. Change tokenizer unit tests to match
those changes.

lib-fts: Refactor lib-fts settings a bit

Turned address tokenizer settings into "boolean" values. Changed
have_parent to "no_parent" and added "search" setting. Added
documentation in fts-tokenizer.h. Change unit tests accordingly.

fts: Create filters earlier

This builds on the assumption that early initialization will be made
less costly, in a coming change.

fts: Fixed handling NOT when using lib-fts

dsync: Stop running if SIGINT/SIGTERM is received.

Moved fs-compress from lib-fs to lib-compression.
This solves build ordering issues.

lib-fs: Fixed fs-compress code to actually build and run.
It's a plugin (because it depends on extra compression libraries). We want
to register it only when it's explicitly attempted to be used, not before.

lib-fs: Added fs-compress wrapper.
Future TODO could include automatically detecting the format of the input
file, but this should be optional.

lib-storage: Fixed LAYOUT=imapdir to work again
Patch by Jason Gunthorpe

director: Fixed "doveadm director status <user>" lookup to return "Current" correctly.

example-config: s/Recipient:/Received:/

exmaple-config: Added lmtp_hdr_delivery_address setting.

auth: Added assert to make sure previous change is correct.

auth: Fixed credentials lookups via auth-workers when no actual password was returned.
For example LDAP lookup with auth_bind=yes should still return any extra
fields.

ldap auth: If password is already verified (e.g. master user login), skip LDAP auth binding.
This happens only if auth_bind_userdn isn't set, i.e. it only makes sense if
the LDAP DN lookup also returns some extra fields.

mbox: Added an extra assert

mbox: Fixed crash/corruption in some situations when the first mail was expunged.
This could be reproduced with default mbox settings, IMAP session that does
 - STORE 1 +FLAGS \DELETED
 - EXPUNGE

With mbox containing:

===
From root@example.com  Tue Jan 13 10:18:16 2015

a

From root@example.com  Tue Jan 13 10:18:20 2015

a

===

imap: Don't advertise SPECIAL-USE if there are no such mailboxes configured.

dsync: Don't try to rename namespace roots.
It'll just cause an assert-crash.

doveadm: Changed -U to -F
Otherwise -U collides with doveadm sync -U parameter. -F isn't currently
used by anything.

doveadm: Added -U <file> parameter for executing the command for all the users in the file.
This is similar to -A parameter, but instead of getting the list of users
from userdb they are read from the file. The file contains one username per
line.

doveadm-server: Invalid parameters for some commands caused crash at deinit handlers.
deinit() can be called even if init() was never called.

script: Another comment update about protocol - the previous one was wrong.

script: Updated comment to describe the current script protocol.

doveadm fs delete: Fixed function return type

lib-storage: After mailbox_list_init_fs() is finished, notify fs about it.
Creating a separate fs_init_finish() would perhaps have been clearner, but
it's a lot more work and usually isn't even necessary for most backends.
So I simply chose to use fs_get_properties() which is a fast call in all fs
backends and the few ones that actually care about the initialization finish
can then do their work in there.

fts-lucene: Removed lazy initialization code.
This is no longer needed after the previous fts commit.

fts: Initialize fts backend in mail_namespaces_added(), not in mailbox_list_created()
This way the storage has already been created by the time fts initialization
starts, which simplifies things.

lib-storage: mailbox_list_fs_get_list() shouldn't crash if fs wasn't created by mailbox_list_init_fs()

auth: If passdb has non-matching allow_nets, don't fail the other passdb lookups also.
We might want to use e.g.:

passdb {
  driver = static
  args = password=secretmasterpass allow_nets=10.1.2.3
}
passdb {
  ...
}

If allow_nets didn't match in the first passdb, we should just ignore it and
continue to the next passdb.

doveadm fs delete: Another attempt at fixing recursive deletion.
I'm not entirely sure anymore what the original infinite looping was, but
this fixes all the potential problems that I see.

doveadm fs delete: Reverted last two patches - they were all completely wrong..

doveadm fs delete: Recent changes broke it completely.

lib-storage: Fixed setting/getting server metadata.
Also added a MAILBOX_ATTRIBUTE_KEY_IS_USER_ACCESSIBLE() macro to make it a
bit easier to check if a key should be accessible to a user or not.

mail-storage: Moved mailbox attributes API to separate module.

lib-fs: Forgot to initialize refcount in previous commit

lib-fs: Added fs_ref() and fs_unref() for reference counting.

imap: FETCH BODY.PEEK[HEADER.FIELDS (..)] didn't set wanted_headers optimization.
Primarily this fixes imapc's prefetching.

imapc: Various optimization fixes to fetching messages' virtual size.

imapc: imapc-features=rfc822.size didn't work for fetching mail's virtual size.
Physical and virtual sizes are the same for imapc.

configure: When compiling with sqlite3, don't forcibly link with zlib.
Looks like -lz was originally added when it was copy&pasted from some other
code. Hopefully this isn't actually needed by any (current) system.

man: Fixed -Dv parameter position in doveadm-sync.1

acl: Log more debug info with mail_debug=yes

lib-mail: Removed quoted_printable_decode*()
quoted_printable_q_decode() was still left in quoted-printable.h, but maybe
it should be moved to qp-decoder.c as well.

lib-mail: Switched message-decoder to use qp-decoder.
This probably doesn't fix any actual bugs, but allows getting rid of the
quoted_printable_decode*()