indexer: Deinitialize without crashing when there are requests.

indexer: Fix to handling disconnected worker.

fts: Assert-crashfix to HTML parsing.

fts: Don't crash if application/octet-stream attachment doesn't have filename.

indexer: If worker disconnects, log whose requests were discarded.

indexer: Handle unexpected worker disconnections better.

doveadm: The actual doveadm part of the previous commit..

doveadm index: Added -n parameter to specify max number of recent msgs to perform indexing.
The idea is that if a user hasn't opened the mailbox for a long time (or
ever), there's not much point in wasting time on doing indexing.

fts-lucene: Crashfix for handling header searches with stop words (etc).

script: Be sure to handle LF+LF properly.

script: Comment update

indexer-worker: verbose_proctitle=yes now shows username+mailbox.

fts: Data stack access fix.

indexer: Read configuration earlier while we still have privileges.

indexer: If verbose_proctitle=yes, show how many clients/requests there are.

fts-lucene: Fixed compiling without textcat/snowball

fts: Log how many messages were indexed.

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX comment updated

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX now allows committing changes to deleted index.
This fixes deleting mailboxes.

fts-lucene: Crashfix when textcat wasn't enabled.

fts-lucene: Added initial support for language detection and stemming.
This requires textcat and snowball (libstemmer) libraries. This can be
enabled by setting:
fts_lucene = textcat_dir=/usr/share/libtextcat \
  textcat_conf=/etc/dovecot/textcat.conf

I'm not yet sure how good of an idea it is to actually use this, so it needs
some testing.. For example how bad is it if language is detected
incorrectly?

indexer-worker: Added -D parameter to enable core dumps.

decode2text: If unzip fails, just ignore the attachment silently.

fts html parser: Assert-crashfix when parsing entities.

decode2text: Ignore any errors from pdftotext

Compile fix for CentOS 4.9 (and maybe others).

doveadm-server: More fixes

doveadm-server: Many fixes to make it actually work properly.

doveadm index -q: Delay connecting to indexer.

doveadm server: Fixed handling command parameters

fts: decode2text.sh now ignores any errors from doc/xls/ppt decoders.

ipc client: Fixed crashing on ipc server disconnection.

mail_index_get_keywords() / status.keywords weren't actually guaranteed to be NULL terminated
This could have caused crashes or garbage keywords be presented to clients
in some situations.

pop3: Fixed RETR/TOP commands.

fts-lucene: Several fixes to avoid opening index during expunging.

fts: Tell backends if we're currently in the code because we're syncing.
That basically means it's either indexer process or doveadm index.

fts: Maildir workaround to avoid assert-crash during indexing.
This should be fixed by simply not having Maildir do a full sync when it's
trying to find some file.

fts: Don't fail index build if trying to index a message that is already expunged.

fts-lucene: Don't crash when trying to search an unsearchable word.

fts-lucene: Fixed checking if we need to track expunges or optimize.

fts-lucene: Fixed handling expunges

fts: Clear updating flag on update deinit.

fts: Define pkglibexecdir explicitly in Makefile.am, since older automakes don't.

fts: Added a bit more error checking to decode2text.sh

fts: force-resync now calls optimize on the backend.
This mainly works with Lucene backend to recheck what messages actually
exist.

fts: NULs weren't still handled correctly in message headers.

fts-lucene: Don't crash if optimize can't open the index.

fts-lucene: If optimize doesn't find an index, set all UIDs as missing.

fts-lucene: Delete stale write locks.

fts: Install decode2text to libexecdir.

fts: decode2text added support for openxml and opendocument formats

fts: Added xml2text binary

fts: HTML parser now makes sure space is added for each <tag>
This could be smarter though, like not doing this for <span>, but it gets a
bit complex..

lib-storage: Don't crash listing subscription entry of "ns prefix" without separator.

doveadm server: Non-proxying mode may not have worked.

eacces_error_get*(): Handle non-int struct stat.st_mode properly.

Merged changes from v2.0 tree.

fts: Don't pass NUL bytes to FTS backend. It can confuse them.

fts: Fixed a crash in HTML parser.

fts: Crashfix.

i_getgr*(): OpenBSD workaround is now only used for <5.0.
Patch by Brad.

lib-storage: mailbox_list_mailbox() now returns INBOX as nonexistent if it physically doesn't exist.
This is important for MAILBOX_LIST_ITER_NO_AUTO_BOXES to work correctly with
Maildir++ layout INBOX.

lib-storage: Added auto_boxes parameter to mailbox_exists().

lib-storage: Unit test fix

dsync: Crashfix

lib-storage: renaming mailboxes under different parent was broken in fs layout
If alt storage was used with sdbox or if index or control dirs were used,
renaming "foo" to "bar/foo" would result "foo" not being renamed for those
directories.

lib-storage: Removed unnecessary NULL checks.

lib-storage: Fixed crashing on "NOT <nonexistent sequence>" search.

fts: Added attachment decoding via an external script.

lib-mail: Added message_decoder_set_return_binary()

lib-storage: mail->saving was set too late, which could have caused crashes.

lmtp: Crashfix

"script" service API changed to provide more functionality.

mdbox: Crashfix

imap: FETCH BODY[HEADER.FIELDS (..)] may have tried to fetch garbage field names.
Such situations were quite likely to cause a crash though.

imap-quota: Don't crash if invalid mailbox name is given to GETQUOTAROOT.

fts: Strip text/html mails to plaintext before sending them to FTS backend.

solr-schema: Version number is Solr's schema version, not Dovecot version.

IMAP: Implemented the rest of FUZZY extension.

lib-storage: Sorting by relevancy returned messages in reverse order.

s/search score/search relevancy/

fts-lucene: Added fuzzy search support.

fts-solr: Added fuzzy search support.

lib-storage: Added FUZZY search key that adds fuzzy=TRUE to its child args.

lib-storage: Search query building no longer converts strings to decomposed titlecase.

fts-squat: Convert search key to decomposed titlecase instead of assuming it is.

lib-mail: message_search_init() now converts search key to decomposed titlecase.

fts: Convert input text to decomposed titlecase only for Squat backend.
Lucene and Solr can handle case-insensitivity internally.

doveadm dump: Added fts support.

fts: Make sure build_more() is called at least once, even when message is 0 bytes.

fts: Make sure fts_index_get_last_uid() gets the latest value from index.

fts: Redesigned/enhanced FTS API and how virtual plugin works with it.
The changes include:

 - Only indexer process and "doveadm index" do FTS indexing now. Other
processes connect to the indexer process via UNIX socket and request
indexing a specific mailbox.

 - FTS backends can now index/search any search key. Current backends
implement indexing for some specific header fields (Subject, From, To, Cc,
Bcc), but it would also be possible to add indexing for e.g. message size
or date.

 - CLucene support is fixed and fully functional.

 - Solr is split to "solr" and "solr_old" backends. The new "solr" backend
supports the new header fields. It also uses mailbox GUIDs as mailbox
identifiers, so that renaming a mailbox doesn't require reindexing.
The "solr_old" uses the old Solr schema and doesn't support any new features.

Added uni_utf8_strlen().

lib-storage: mailbox_exists() now returns NOSELECT for invalid mailbox names instead of error.

lib-storage: Error handling fix for FS layout.

lib-mail: Added message_header_is_address()

indexer: Fixed loading some plugins when using configure --without-shared-libs.

indexer: Send OK reply to client with the given tag.

indexer: When worker disconnects, forget which user it was attached to.
This fixes an assert crash.

lib-lda: Do INBOX GUID deduplication based on mailbox GUID, not username.
This should be a bit more reliable.