fts-lucene: Use fts expunge log instead of scanning the entire index for expunged mails.

fts: Added "doveadm fts rescan" command.

fts: Added fts_backend_rescan()

fts: Added generic "fts expunge log".
This is intended to be used by fts backends that can't directly expunge from
the index, but rather need to log the expunges and do the actual expunging
later.

Added also "doveadm dump" support for the log.

fts-lucene: Added "doveadm dump" support for lucene index.

lib-storage: Added mail_guid_128_hash/cmp()

liblib: Added generic mem_hash()

fts: Added "doveadm fts optimize" command.

fts-lucene: Several fixes and improvements.

lib-storage: Added mailbox_alloc_guid() for opening mailbox by its GUID.

lib-storage: Added struct mailbox.generation_sequence.
This can be used for caching struct mailbox pointers and checking later if
two struct mailboxes + their generation sequences match. If they do, it's
the same struct mailbox.

fts-lucene: Store indexed header names lowercased so they can actually be searched.

fts-squat: Assert-crashfix on indexing

Removed dead code.

lib-ssl-iostream: ssl_iostream_get_security_string() didn't return compression.

Makefile fixes to include everything in dist

fts: Increased initial memory pool size

Fixed compiling without OpenSSL.

fts-lucene: Added missing textcat.conf

lib-storage: Fixed getting recent count for mailbox when it wasn't synced.

doveadm index -n: Don't sync mailbox when checking the recent count.
The syncing alone can take a long time with huge maildirs. Better to be
slightly wrong than waste a lot of time all the time.

lib-storage: Fixes to handling INBOX/ namespace prefix.

indexer: Deinitialize without crashing when there are requests.

indexer: Fix to handling disconnected worker.

fts: Assert-crashfix to HTML parsing.

fts: Don't crash if application/octet-stream attachment doesn't have filename.

indexer: If worker disconnects, log whose requests were discarded.

indexer: Handle unexpected worker disconnections better.

doveadm: The actual doveadm part of the previous commit..

doveadm index: Added -n parameter to specify max number of recent msgs to perform indexing.
The idea is that if a user hasn't opened the mailbox for a long time (or
ever), there's not much point in wasting time on doing indexing.

fts-lucene: Crashfix for handling header searches with stop words (etc).

script: Be sure to handle LF+LF properly.

script: Comment update

indexer-worker: verbose_proctitle=yes now shows username+mailbox.

fts: Data stack access fix.

indexer: Read configuration earlier while we still have privileges.

indexer: If verbose_proctitle=yes, show how many clients/requests there are.

fts-lucene: Fixed compiling without textcat/snowball

fts: Log how many messages were indexed.

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX comment updated

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX now allows committing changes to deleted index.
This fixes deleting mailboxes.

fts-lucene: Crashfix when textcat wasn't enabled.

fts-lucene: Added initial support for language detection and stemming.
This requires textcat and snowball (libstemmer) libraries. This can be
enabled by setting:
fts_lucene = textcat_dir=/usr/share/libtextcat \
  textcat_conf=/etc/dovecot/textcat.conf

I'm not yet sure how good of an idea it is to actually use this, so it needs
some testing.. For example how bad is it if language is detected
incorrectly?

indexer-worker: Added -D parameter to enable core dumps.

decode2text: If unzip fails, just ignore the attachment silently.

fts html parser: Assert-crashfix when parsing entities.

decode2text: Ignore any errors from pdftotext

Compile fix for CentOS 4.9 (and maybe others).

doveadm-server: More fixes

doveadm-server: Many fixes to make it actually work properly.

doveadm index -q: Delay connecting to indexer.

doveadm server: Fixed handling command parameters

fts: decode2text.sh now ignores any errors from doc/xls/ppt decoders.

ipc client: Fixed crashing on ipc server disconnection.

mail_index_get_keywords() / status.keywords weren't actually guaranteed to be NULL terminated
This could have caused crashes or garbage keywords be presented to clients
in some situations.

pop3: Fixed RETR/TOP commands.

fts-lucene: Several fixes to avoid opening index during expunging.

fts: Tell backends if we're currently in the code because we're syncing.
That basically means it's either indexer process or doveadm index.

fts: Maildir workaround to avoid assert-crash during indexing.
This should be fixed by simply not having Maildir do a full sync when it's
trying to find some file.

fts: Don't fail index build if trying to index a message that is already expunged.

fts-lucene: Don't crash when trying to search an unsearchable word.

fts-lucene: Fixed checking if we need to track expunges or optimize.

fts-lucene: Fixed handling expunges

fts: Clear updating flag on update deinit.

fts: Define pkglibexecdir explicitly in Makefile.am, since older automakes don't.

fts: Added a bit more error checking to decode2text.sh

fts: force-resync now calls optimize on the backend.
This mainly works with Lucene backend to recheck what messages actually
exist.

fts: NULs weren't still handled correctly in message headers.

fts-lucene: Don't crash if optimize can't open the index.

fts-lucene: If optimize doesn't find an index, set all UIDs as missing.

fts-lucene: Delete stale write locks.

fts: Install decode2text to libexecdir.

fts: decode2text added support for openxml and opendocument formats

fts: Added xml2text binary

fts: HTML parser now makes sure space is added for each <tag>
This could be smarter though, like not doing this for <span>, but it gets a
bit complex..

lib-storage: Don't crash listing subscription entry of "ns prefix" without separator.

doveadm server: Non-proxying mode may not have worked.

eacces_error_get*(): Handle non-int struct stat.st_mode properly.

Merged changes from v2.0 tree.

fts: Don't pass NUL bytes to FTS backend. It can confuse them.

fts: Fixed a crash in HTML parser.

fts: Crashfix.

i_getgr*(): OpenBSD workaround is now only used for <5.0.
Patch by Brad.

lib-storage: mailbox_list_mailbox() now returns INBOX as nonexistent if it physically doesn't exist.
This is important for MAILBOX_LIST_ITER_NO_AUTO_BOXES to work correctly with
Maildir++ layout INBOX.

lib-storage: Added auto_boxes parameter to mailbox_exists().

lib-storage: Unit test fix

dsync: Crashfix

lib-storage: renaming mailboxes under different parent was broken in fs layout
If alt storage was used with sdbox or if index or control dirs were used,
renaming "foo" to "bar/foo" would result "foo" not being renamed for those
directories.

lib-storage: Removed unnecessary NULL checks.

lib-storage: Fixed crashing on "NOT <nonexistent sequence>" search.

fts: Added attachment decoding via an external script.

lib-mail: Added message_decoder_set_return_binary()

lib-storage: mail->saving was set too late, which could have caused crashes.

lmtp: Crashfix

"script" service API changed to provide more functionality.

mdbox: Crashfix

imap: FETCH BODY[HEADER.FIELDS (..)] may have tried to fetch garbage field names.
Such situations were quite likely to cause a crash though.

imap-quota: Don't crash if invalid mailbox name is given to GETQUOTAROOT.

fts: Strip text/html mails to plaintext before sending them to FTS backend.

solr-schema: Version number is Solr's schema version, not Dovecot version.