fts: Create filters earlier

This builds on the assumption that early initialization will be made
less costly, in a coming change.

fts: Fixed handling NOT when using lib-fts

dsync: Stop running if SIGINT/SIGTERM is received.

Moved fs-compress from lib-fs to lib-compression.
This solves build ordering issues.

lib-fs: Fixed fs-compress code to actually build and run.
It's a plugin (because it depends on extra compression libraries). We want
to register it only when it's explicitly attempted to be used, not before.

lib-fs: Added fs-compress wrapper.
Future TODO could include automatically detecting the format of the input
file, but this should be optional.

lib-storage: Fixed LAYOUT=imapdir to work again
Patch by Jason Gunthorpe

director: Fixed "doveadm director status <user>" lookup to return "Current" correctly.

example-config: s/Recipient:/Received:/

exmaple-config: Added lmtp_hdr_delivery_address setting.

auth: Added assert to make sure previous change is correct.

auth: Fixed credentials lookups via auth-workers when no actual password was returned.
For example LDAP lookup with auth_bind=yes should still return any extra
fields.

ldap auth: If password is already verified (e.g. master user login), skip LDAP auth binding.
This happens only if auth_bind_userdn isn't set, i.e. it only makes sense if
the LDAP DN lookup also returns some extra fields.

mbox: Added an extra assert

mbox: Fixed crash/corruption in some situations when the first mail was expunged.
This could be reproduced with default mbox settings, IMAP session that does
 - STORE 1 +FLAGS \DELETED
 - EXPUNGE

With mbox containing:

===
From root@example.com  Tue Jan 13 10:18:16 2015

a

From root@example.com  Tue Jan 13 10:18:20 2015

a

===

imap: Don't advertise SPECIAL-USE if there are no such mailboxes configured.

dsync: Don't try to rename namespace roots.
It'll just cause an assert-crash.

doveadm: Changed -U to -F
Otherwise -U collides with doveadm sync -U parameter. -F isn't currently
used by anything.

doveadm: Added -U <file> parameter for executing the command for all the users in the file.
This is similar to -A parameter, but instead of getting the list of users
from userdb they are read from the file. The file contains one username per
line.

doveadm-server: Invalid parameters for some commands caused crash at deinit handlers.
deinit() can be called even if init() was never called.

script: Another comment update about protocol - the previous one was wrong.

script: Updated comment to describe the current script protocol.

doveadm fs delete: Fixed function return type

lib-storage: After mailbox_list_init_fs() is finished, notify fs about it.
Creating a separate fs_init_finish() would perhaps have been clearner, but
it's a lot more work and usually isn't even necessary for most backends.
So I simply chose to use fs_get_properties() which is a fast call in all fs
backends and the few ones that actually care about the initialization finish
can then do their work in there.

fts-lucene: Removed lazy initialization code.
This is no longer needed after the previous fts commit.

fts: Initialize fts backend in mail_namespaces_added(), not in mailbox_list_created()
This way the storage has already been created by the time fts initialization
starts, which simplifies things.

lib-storage: mailbox_list_fs_get_list() shouldn't crash if fs wasn't created by mailbox_list_init_fs()

auth: If passdb has non-matching allow_nets, don't fail the other passdb lookups also.
We might want to use e.g.:

passdb {
  driver = static
  args = password=secretmasterpass allow_nets=10.1.2.3
}
passdb {
  ...
}

If allow_nets didn't match in the first passdb, we should just ignore it and
continue to the next passdb.

doveadm fs delete: Another attempt at fixing recursive deletion.
I'm not entirely sure anymore what the original infinite looping was, but
this fixes all the potential problems that I see.

doveadm fs delete: Reverted last two patches - they were all completely wrong..

doveadm fs delete: Recent changes broke it completely.

lib-storage: Fixed setting/getting server metadata.
Also added a MAILBOX_ATTRIBUTE_KEY_IS_USER_ACCESSIBLE() macro to make it a
bit easier to check if a key should be accessible to a user or not.

mail-storage: Moved mailbox attributes API to separate module.

lib-fs: Forgot to initialize refcount in previous commit

lib-fs: Added fs_ref() and fs_unref() for reference counting.

imap: FETCH BODY.PEEK[HEADER.FIELDS (..)] didn't set wanted_headers optimization.
Primarily this fixes imapc's prefetching.

imapc: Various optimization fixes to fetching messages' virtual size.

imapc: imapc-features=rfc822.size didn't work for fetching mail's virtual size.
Physical and virtual sizes are the same for imapc.

configure: When compiling with sqlite3, don't forcibly link with zlib.
Looks like -lz was originally added when it was copy&pasted from some other
code. Hopefully this isn't actually needed by any (current) system.

man: Fixed -Dv parameter position in doveadm-sync.1

acl: Log more debug info with mail_debug=yes

lib-mail: Removed quoted_printable_decode*()
quoted_printable_q_decode() was still left in quoted-printable.h, but maybe
it should be moved to qp-decoder.c as well.

lib-mail: Switched message-decoder to use qp-decoder.
This probably doesn't fix any actual bugs, but allows getting rid of the
quoted_printable_decode*()

lib-mail: Fixed various istream-qp-decoder bugs by switching to qp-decoder API

lib-mail: Added qp-decoder, which is a rewritten quoted_printable_decode()
The main benefit is that qp-decoder allows feeding data to it in smaller
pieces. It can also give better error reporting.

director: Log error if auth sends invalid lip/lport/port parameter.
This also fixes compiler warnings.

lib: Added unit test for net_ip2addr() and fixed net_is_in_network() test.

lib: Renamed test-network to test-net
Since network.c had been renamed to net.c some time ago.

lib: net_addr2ip() sets the family now only after address is successfully converted.

lib-imap: imap_utf7_to_utf8() returns failure now for encoded NULs.
All the callers change the string to NUL-terminated string, so the earlier
behavior was just truncating the string at the encoded NUL. It's a bit safer
to just return failure so in future if the callers didn't convert the string
to NUL-terminated string it wouldn't be handled inconsistently in different
places.

director: Implemented director_proxy_maybe passdb extra field.
This allows running director and backend in the same Dovecot instance. It
was implemented into director instead of login-common to allow doveadm and
lmtp proxying to work as well (although currently lmtp can't handle mixed
proxying and non-proxying destinations, which makes this a bit less useful).

uri-util: Added the possibility of only checking the URI without parsing any of the data.

uri-util: Improve errors about invalid characters in URI by reporting the component where the offending character is located.

uri-util: Allow empty host name in the generic URI syntax as specified in RFC 3986.

lib-http: client: Fixed memory leak in CONNECT tunnel support.
Forgot to dereference streams once tunnel was completed and passed to the new connection object.

lib: connection: Connect to unix socket asynchronously if connected callback is set.
Prevents problems in lib-http unix socket support.

fts: Do not deinit uncreated fts context
Fixes crash with fts-lucene and fts-solr when lib-fts wasn't used.
Patch by Teemu Huovila

trash plugin: Count more correctly the number of bytes/messages needed to get under quota.
If there already were some messages saved, those weren't counted when
figuring out how many/much mails are still needed to be expunged.

Patch by Alexei Gradinari

trash plugin: Fixed handling unlimited quota limits.
Patch by Alexei Gradinari

quota: Don't assume mail is too large if a quota root has mail count limit but not size limit.
Based on patch by Alexei Gradinari

lib-mail: Fixed modifying headers with i_stream_header_filter_add()
If the stream was read twice, the second time the callback wasn't called and
the header wasn't modified.

*-login: Don't try to flush SSL output if SSL handshake fails.
This fixes a crash on failed handshakes on some OpenSSL builds.

Forgot to include year 2015 in earlier new files' Copyright lines.

log: Don't confuse process sending a partial log line to process sending logs too fast.
If it's a partial line we don't want to show the "service too fast" error in
ps title.

lib: Fixed crash in connection API if input streams aren't used (only input fd).

lib: Fixed test-istream-unix to not send uninitialized bytes.
Fixes Valgrind errors in make check.

imap: Code cleanup: Moved IDLE keepalive timer calculation to lib-imap.

lib: Added istream-unix for reading fd sockets via istream.

lib: Added numpack_decode32()

fts: Fixed infinite looping at deinit.
fts_mail_user_deinit() was calling itself. Now the fts backend is
responsible for calling it at deinit.

doveadm fs delete -R: Fixed infinite looping when deleting a lot of files with some backends.
After file was deleted, we closed it. Then later on we tried to delete it
all over again.

doveadm fs delete -R: When deleting directories, include "/" suffix in the name.

lmtp: Added lmtp_hdr_delivery_address=final|original|none setting.
This controls what username is used for logging Delivered-To: header and the
"for user@domain" in Received: header. The default "final" is the regular
username as earlier, "original" logs the RFC822 address received via ORCPT
parameter or fallbacks to username, "none" logs nothing.

doveadm-server: Fixed returning command input stream when its data was already in the input stream.

fts-solr: fts_solr=use_libfts send data to Solr via space-separated tokens.
In this case Solr should be configured to not do any kind of filtering and
use only WhitespaceTokenizerFactory.

fts: Minor error messagage prefix change.

fts: Don't always try to initialize lib-fts. Require backend to explictly do it now.

fts: Install fts-user.h header

fts: Replace '-' with '_' in filter-specific fts_filters_* settings.
So for example using fts_filters_normalizer_icu instead of
fts_filters_normalizer-icu.

lib-fs: Use the new t_str_replace() instead of doing it ourself.

lib: Added t_str_replace() to replace one character with another one

dict: Fixed unescaping strings from lib-dict.
This may potentially break backwards compatibility with someone, but it's
probably pretty rare that anybody is yet using dict proxy with multi-line
fields. Also even though the current behavior happens to work, it's very
much non-ideal and can be potentially dangerous.

auth: Don't assert-crash if master user login attempts to use empty login username.

lib-storage: mail_search_args_simplify() handles now SEARCH_HEADER*/TEXT/BODY
These are especially useful with lib-fts, where stemming and other filtering
can produce duplicates. There's some internal deduplication, but it doesn't
catch all of these.

lib-storage: mail_search_args_simplify() handles now SEARCH_SMALLER/LARGER

lib-storage: mail_search_args_simplify() handles now SEARCH_BEFORE/ON/SINCE

lib-storage: mail_search_args_simplify() merges now seqsets and uidsets.

lib-storage: If mail_search_args_simplify() merges flags, check again if any SUBs can be removed.
The subquery may have been replaced with a single SEARCH_FLAGS parameter.

lib-storage: Makefile fixes for previous test programs

imapc: Don't write SEARCH YOUNGER/OLDER queries if server doesn't support WITHIN extension

lib-storage: Moved mail_search_args_simplify() to its own file and added unit tests.
No functional changes.

imapc: Use mail_search_arg_to_imap() to write IMAP SEARCH parameters.
This also fixes a few bugs, since some of the search parameters weren't
written entirely correctly.

lib-storage: Added mail_search_args_to_imap()
Useful for writing IMAP SEARCH parameters from struct mail_search_arg.

lib-storage: Added mail_thread_type_to_str()

lib-imap: Added imap_to_date()

lib-storage: Fixed assert-crash with mailbox_list_index=yes if root mailbox name was empty.
This happened if the index was used for a non-listable namespace whose
prefix started with the namespace separator (e.g. prefix="/expunged/")

imapc: After auth failed, return failure immediately when opening a mailbox.
Instead of trying to re-authenticate which again will most likely fail.
Based on patch by Michael M Slusarz

lib-storage: Small code cleanup for index_mail_get_binary_stream()
stream_r is always non-NULL here. Also move unreferencing cache istream to
be last in case it might fix data.stream=NULL being here in some situations.

lib: Fixed reference counting in iostream-rawlog if either i/ostream wasn't used.

lib: iostream_rawlog_create_from_stream() now allows input or output to be NULL.