lib-storage: MAIL_STORAGE_SERVICE_FLAG_NO_LOG_INIT crashed after previous ioloop change.

fts: Assert-crashfix to HTML parsing if the document ends with a small tag.

Replaced "ioloop log" with a more generic "ioloop context".
The context can call multiple callbacks that can do anything they want,
including setting the log prefix.

lib-storage: Fixed assert-crash caused by previous stats change.

lib-storage: Moved stats_* from mail to transaction.
With the API changes to search, having them in mail doesn't make sense
anymore, since mailbox_search_next() can return multiple different mails
with different stats.

Compiler warning fix.

lib-index: Assert-crashfix when reading transaction log header fails with ESTALE.

lib-index: Avoid crashing when dealing with duplicate transaction log sequences.

fts-lucene: Don't crash if expunging didn't actually do anything.

example-config: Updated auth_username_format default to match reality.

lib-storage: Fixed mail_storage_copy_can_use_hardlink() for mode=0600 with different uids.

lib-storage: mailbox_list_get_permissions() now returns struct mailbox_permissions.
Also added new file_uid and file_gid fields to the mailbox_permissions.

Compiler warning fix.

mbox: Generate mailbox GUID without syncing the mbox, locking it is enough.

mbox: Fixed crashing with pop3_lock_session=yes

lib-storage: Don't crash if INBOX is in a namespace with non-"" non-"INBOX/" prefix.

fts-lucene: doveadm fts rescan now also optimizes the index at the end.

fts-solr-old: Mailbox names are mUTF-7 in the Solr index, not UTF-8.

lib-imap: Added t_imap_utf8_to_utf7()

indexer: Don't die on "idle kill signal" if workers are still busy.

indexer: Potential crashfix on deinit.

fts-lucene: Actually delete messages from index on expunge/rescan.

fts: fts_expunge_log_uid_count() returned garbage on nonexistent log.

fts: Memory leak fix

fts-lucene: Avoid crashing on doveadm dump.

fts-lucene: Fixed doveadm dump's lucene-index detection.

fts-lucene: Use fts expunge log instead of scanning the entire index for expunged mails.

fts: Added "doveadm fts rescan" command.

fts: Added fts_backend_rescan()

fts: Added generic "fts expunge log".
This is intended to be used by fts backends that can't directly expunge from
the index, but rather need to log the expunges and do the actual expunging
later.

Added also "doveadm dump" support for the log.

fts-lucene: Added "doveadm dump" support for lucene index.

lib-storage: Added mail_guid_128_hash/cmp()

liblib: Added generic mem_hash()

fts: Added "doveadm fts optimize" command.

fts-lucene: Several fixes and improvements.

lib-storage: Added mailbox_alloc_guid() for opening mailbox by its GUID.

lib-storage: Added struct mailbox.generation_sequence.
This can be used for caching struct mailbox pointers and checking later if
two struct mailboxes + their generation sequences match. If they do, it's
the same struct mailbox.

fts-lucene: Store indexed header names lowercased so they can actually be searched.

fts-squat: Assert-crashfix on indexing

Removed dead code.

lib-ssl-iostream: ssl_iostream_get_security_string() didn't return compression.

Makefile fixes to include everything in dist

fts: Increased initial memory pool size

Fixed compiling without OpenSSL.

fts-lucene: Added missing textcat.conf

lib-storage: Fixed getting recent count for mailbox when it wasn't synced.

doveadm index -n: Don't sync mailbox when checking the recent count.
The syncing alone can take a long time with huge maildirs. Better to be
slightly wrong than waste a lot of time all the time.

lib-storage: Fixes to handling INBOX/ namespace prefix.

indexer: Deinitialize without crashing when there are requests.

indexer: Fix to handling disconnected worker.

fts: Assert-crashfix to HTML parsing.

fts: Don't crash if application/octet-stream attachment doesn't have filename.

indexer: If worker disconnects, log whose requests were discarded.

indexer: Handle unexpected worker disconnections better.

doveadm: The actual doveadm part of the previous commit..

doveadm index: Added -n parameter to specify max number of recent msgs to perform indexing.
The idea is that if a user hasn't opened the mailbox for a long time (or
ever), there's not much point in wasting time on doing indexing.

fts-lucene: Crashfix for handling header searches with stop words (etc).

script: Be sure to handle LF+LF properly.

script: Comment update

indexer-worker: verbose_proctitle=yes now shows username+mailbox.

fts: Data stack access fix.

indexer: Read configuration earlier while we still have privileges.

indexer: If verbose_proctitle=yes, show how many clients/requests there are.

fts-lucene: Fixed compiling without textcat/snowball

fts: Log how many messages were indexed.

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX comment updated

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX now allows committing changes to deleted index.
This fixes deleting mailboxes.

fts-lucene: Crashfix when textcat wasn't enabled.

fts-lucene: Added initial support for language detection and stemming.
This requires textcat and snowball (libstemmer) libraries. This can be
enabled by setting:
fts_lucene = textcat_dir=/usr/share/libtextcat \
  textcat_conf=/etc/dovecot/textcat.conf

I'm not yet sure how good of an idea it is to actually use this, so it needs
some testing.. For example how bad is it if language is detected
incorrectly?

indexer-worker: Added -D parameter to enable core dumps.

decode2text: If unzip fails, just ignore the attachment silently.

fts html parser: Assert-crashfix when parsing entities.

decode2text: Ignore any errors from pdftotext

Compile fix for CentOS 4.9 (and maybe others).

doveadm-server: More fixes

doveadm-server: Many fixes to make it actually work properly.

doveadm index -q: Delay connecting to indexer.

doveadm server: Fixed handling command parameters

fts: decode2text.sh now ignores any errors from doc/xls/ppt decoders.

ipc client: Fixed crashing on ipc server disconnection.

mail_index_get_keywords() / status.keywords weren't actually guaranteed to be NULL terminated
This could have caused crashes or garbage keywords be presented to clients
in some situations.

pop3: Fixed RETR/TOP commands.

fts-lucene: Several fixes to avoid opening index during expunging.

fts: Tell backends if we're currently in the code because we're syncing.
That basically means it's either indexer process or doveadm index.

fts: Maildir workaround to avoid assert-crash during indexing.
This should be fixed by simply not having Maildir do a full sync when it's
trying to find some file.

fts: Don't fail index build if trying to index a message that is already expunged.

fts-lucene: Don't crash when trying to search an unsearchable word.

fts-lucene: Fixed checking if we need to track expunges or optimize.

fts-lucene: Fixed handling expunges

fts: Clear updating flag on update deinit.

fts: Define pkglibexecdir explicitly in Makefile.am, since older automakes don't.

fts: Added a bit more error checking to decode2text.sh

fts: force-resync now calls optimize on the backend.
This mainly works with Lucene backend to recheck what messages actually
exist.

fts: NULs weren't still handled correctly in message headers.

fts-lucene: Don't crash if optimize can't open the index.

fts-lucene: If optimize doesn't find an index, set all UIDs as missing.

fts-lucene: Delete stale write locks.

fts: Install decode2text to libexecdir.

fts: decode2text added support for openxml and opendocument formats

fts: Added xml2text binary