Increased initial memory pool size.

indexer: Code cleanup

fts-lucene: Use TermQuery instead of PrefixQuery for searches.
Although PrefixQuery gives a more IMAP-like result, it's slower and can
fail if the prefix string is small.

fts-lucene: Automatically delete corrupted indexes and mark all mailboxes unindexed.

fts-lucene: doveadm fts rescan now resets "last indexed uid" for all mailboxes.

fts-lucene: Avoid unnecessarily creating the lucene-indexes directory.

dbox: Create symlink to alt root dir, and warn whenever it changes.

lib-storage: Don't crash on getting alt root dir, when no alt dir is specified.

lib-storage: Log alt path when mail_debug=yes

lib-index: Optimized handling MAIL_TRANSACTION_EXPUNGE_GUID records in large index.

fts-lucene: Don't add messages to expunge log that aren't even in the index.

fts-lucene: Once enough messages have been deleted, trigger optimize via indexer.

fts-lucene: Yet another (final!) attempt at avoiding "Too Many Clauses" error.

fts: Added fts_indexer_cmd() for easily sending commands to indexer.

indexer: Added OPTIMIZE command to optimize fts index.

lib-storage: Added MAILBOX_SYNC_FLAG_OPTIMIZE flag for triggering fts optimize.
This is a pretty ugly kludge, since it does nothing when FTS isn't enabled..

fts-lucene: Another attempt to avoid "Too Many Clauses" error by not using ? wildcard.

fts-lucene: Fix to previous change: actually use WildcardQuery, not TermQuery..

lazy-expunge: Avoid crashing if user init fails.

fts-lucene: Use WildcardQuery rather than RangeQuery to limit what UIDs to fetch.

lazy-expunge: Fixed assert-crash when trying to open lazy-expunge mailbox.

lib-storage: MAIL_STORAGE_SERVICE_FLAG_NO_LOG_INIT crashed after previous ioloop change.

fts: Assert-crashfix to HTML parsing if the document ends with a small tag.

Replaced "ioloop log" with a more generic "ioloop context".
The context can call multiple callbacks that can do anything they want,
including setting the log prefix.

lib-storage: Fixed assert-crash caused by previous stats change.

lib-storage: Moved stats_* from mail to transaction.
With the API changes to search, having them in mail doesn't make sense
anymore, since mailbox_search_next() can return multiple different mails
with different stats.

Compiler warning fix.

lib-index: Assert-crashfix when reading transaction log header fails with ESTALE.

lib-index: Avoid crashing when dealing with duplicate transaction log sequences.

fts-lucene: Don't crash if expunging didn't actually do anything.

example-config: Updated auth_username_format default to match reality.

lib-storage: Fixed mail_storage_copy_can_use_hardlink() for mode=0600 with different uids.

lib-storage: mailbox_list_get_permissions() now returns struct mailbox_permissions.
Also added new file_uid and file_gid fields to the mailbox_permissions.

Compiler warning fix.

mbox: Generate mailbox GUID without syncing the mbox, locking it is enough.

mbox: Fixed crashing with pop3_lock_session=yes

lib-storage: Don't crash if INBOX is in a namespace with non-"" non-"INBOX/" prefix.

fts-lucene: doveadm fts rescan now also optimizes the index at the end.

fts-solr-old: Mailbox names are mUTF-7 in the Solr index, not UTF-8.

lib-imap: Added t_imap_utf8_to_utf7()

indexer: Don't die on "idle kill signal" if workers are still busy.

indexer: Potential crashfix on deinit.

fts-lucene: Actually delete messages from index on expunge/rescan.

fts: fts_expunge_log_uid_count() returned garbage on nonexistent log.

fts: Memory leak fix

fts-lucene: Avoid crashing on doveadm dump.

fts-lucene: Fixed doveadm dump's lucene-index detection.

fts-lucene: Use fts expunge log instead of scanning the entire index for expunged mails.

fts: Added "doveadm fts rescan" command.

fts: Added fts_backend_rescan()

fts: Added generic "fts expunge log".
This is intended to be used by fts backends that can't directly expunge from
the index, but rather need to log the expunges and do the actual expunging
later.

Added also "doveadm dump" support for the log.

fts-lucene: Added "doveadm dump" support for lucene index.

lib-storage: Added mail_guid_128_hash/cmp()

liblib: Added generic mem_hash()

fts: Added "doveadm fts optimize" command.

fts-lucene: Several fixes and improvements.

lib-storage: Added mailbox_alloc_guid() for opening mailbox by its GUID.

lib-storage: Added struct mailbox.generation_sequence.
This can be used for caching struct mailbox pointers and checking later if
two struct mailboxes + their generation sequences match. If they do, it's
the same struct mailbox.

fts-lucene: Store indexed header names lowercased so they can actually be searched.

fts-squat: Assert-crashfix on indexing

Removed dead code.

lib-ssl-iostream: ssl_iostream_get_security_string() didn't return compression.

Makefile fixes to include everything in dist

fts: Increased initial memory pool size

Fixed compiling without OpenSSL.

fts-lucene: Added missing textcat.conf

lib-storage: Fixed getting recent count for mailbox when it wasn't synced.

doveadm index -n: Don't sync mailbox when checking the recent count.
The syncing alone can take a long time with huge maildirs. Better to be
slightly wrong than waste a lot of time all the time.

lib-storage: Fixes to handling INBOX/ namespace prefix.

indexer: Deinitialize without crashing when there are requests.

indexer: Fix to handling disconnected worker.

fts: Assert-crashfix to HTML parsing.

fts: Don't crash if application/octet-stream attachment doesn't have filename.

indexer: If worker disconnects, log whose requests were discarded.

indexer: Handle unexpected worker disconnections better.

doveadm: The actual doveadm part of the previous commit..

doveadm index: Added -n parameter to specify max number of recent msgs to perform indexing.
The idea is that if a user hasn't opened the mailbox for a long time (or
ever), there's not much point in wasting time on doing indexing.

fts-lucene: Crashfix for handling header searches with stop words (etc).

script: Be sure to handle LF+LF properly.

script: Comment update

indexer-worker: verbose_proctitle=yes now shows username+mailbox.

fts: Data stack access fix.

indexer: Read configuration earlier while we still have privileges.

indexer: If verbose_proctitle=yes, show how many clients/requests there are.

fts-lucene: Fixed compiling without textcat/snowball

fts: Log how many messages were indexed.

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX comment updated

lib-index: MAIL_INDEX_SYNC_FLAG_DELETING_INDEX now allows committing changes to deleted index.
This fixes deleting mailboxes.

fts-lucene: Crashfix when textcat wasn't enabled.

fts-lucene: Added initial support for language detection and stemming.
This requires textcat and snowball (libstemmer) libraries. This can be
enabled by setting:
fts_lucene = textcat_dir=/usr/share/libtextcat \
  textcat_conf=/etc/dovecot/textcat.conf

I'm not yet sure how good of an idea it is to actually use this, so it needs
some testing.. For example how bad is it if language is detected
incorrectly?

indexer-worker: Added -D parameter to enable core dumps.

decode2text: If unzip fails, just ignore the attachment silently.

fts html parser: Assert-crashfix when parsing entities.

decode2text: Ignore any errors from pdftotext

Compile fix for CentOS 4.9 (and maybe others).

doveadm-server: More fixes

doveadm-server: Many fixes to make it actually work properly.

doveadm index -q: Delay connecting to indexer.

doveadm server: Fixed handling command parameters

fts: decode2text.sh now ignores any errors from doc/xls/ppt decoders.