Fixes to built-in tokenizers.

FossilOrigin-Name: b33fe0dd89f3180c209fa1f9e75d0a7acab12b8e

Fix the fts5 bm25() function so that it matches the documentation.

FossilOrigin-Name: 1ac7a8d0af9a71ddf6a1421033dcb9fa67c6120c

Fixes and simplifications for the snippet() and highlight() functions.

FossilOrigin-Name: ca5d44042aa7461dcc8b700b0763df4df9d4a891

Remove the fts5_test() aux function. Test aux functions using the tcl interface instead.

FossilOrigin-Name: 67e3ffd950c5347d219a06b33ad51949cffa7d90

Fix a problem with prefix queries and the AND operator.

FossilOrigin-Name: 38b3c65e3ee95eb7afadb76e0110570fbbc41e1b

Fix various problems in fts5 revealed by fault-injection tests.

FossilOrigin-Name: e358c3de5c916f2c851ab9324ceaae4e4e7a0fbd

Begin testing fts5 OOM and IO error handling.

FossilOrigin-Name: 2037dba62fdd995ad15b642abe499a790f5ffe5c

Add a configuration option to remap the "rank" column to an auxiliary fts5 function.

FossilOrigin-Name: b5f5971283b9b2f60c16f9675099855af95012cd

Add code to parse a rank() function specification. And a tcl interface to add auxiliary functions to fts5.

FossilOrigin-Name: 9c1697a2aa1f601e6eb11704abe63a73c8105447

Add a cookie mechanism to ensure that the %_config table is re-read as required.

FossilOrigin-Name: bb4a37b53de60da9ec8b9317eec14afa99690828

Add a %_config table to fts5.

FossilOrigin-Name: 83491c56661ca78f96020ba68184bb3fb19e674f

Add the auxiliary highlight() function to fts5.

FossilOrigin-Name: 059092379f981eb919b500ce447006f9e645fc5a

Fix the customization interfaces so that they match the documentation.

FossilOrigin-Name: fba0b5fc7eead07a4853e78e02d788e7c714f6cd

Add documentation for tokenizer api to fts5.h. Also add a script to extract extension API docs and format them as html.

FossilOrigin-Name: e240d467e60b7755486aae5e8b0824f7c741f852

Add an "automerge=0" mode that disables auto-merging and falls back to fts4-style crisis merges.

FossilOrigin-Name: 2397404e152b908d838e6491294b263b05943b3f

Cache the value of the "totals" record in memory during transactions.

FossilOrigin-Name: 05dfdad445b22f375b71abe0b1fa1bf7ca331be7

Automatically resize the hash table used by fts5.

FossilOrigin-Name: f1cb48f412a5f200f1fe04f91072864f379db08f

Simplify the way position lists are copied when merging data.

FossilOrigin-Name: 9f8d678a0ea75e169daf8b3f00bd05f52a050ea6

Replace the hash table borrowed from fts3.

FossilOrigin-Name: 617e2fac1c128212254f71b1a8fddaf0d1d90262

Fix an uninitialized variable causing a problem during fts5 table initialization.

FossilOrigin-Name: a14fa876f0eb66028e302b908967cc4a05ede9fc

Use multiple memory allocations for a single Fts5Structure object. This is probably less efficient but much easier to get right.

FossilOrigin-Name: 2821825f7a481755a333dcdcad780b3e24448f20

Add "segment promotion" to fts5. This prevents the FTS index from growing indefinitely as data is added and deleted.

FossilOrigin-Name: ba359d78e166d78e0dc89e3c63a9a41e9ffea989

Avoid writing delete markers to the oldest segment in an FTS index.

FossilOrigin-Name: 1baeb1cee61d9c56c718b50af034a24f1018a322

Add support for savepoints to fts5.

FossilOrigin-Name: 3b19eba042bb2eeb1be60f8d58ebaa0a045d6a5c

Use doclist indexes for AND queries as well as phrases.

FossilOrigin-Name: 5d38e6edc40ef188fbf96505073797036aa6783a

Use doclist-indexes with "ORDER BY rowid ASC" fts5 queries as well.

FossilOrigin-Name: d028ba6589f3122b635474c2683c0f93d5bc6c7c

Fix fts5_index.c to use doclist-indexes when possible. Only some cases work so far.

FossilOrigin-Name: 90b82d3ef613b2915e0e280dc1d2e5a2b617d59c

Start changing things to use doclist indexes as required. code is not activated yet.

FossilOrigin-Name: b8864da95db2c0e611116304d607e35a86c9247d

Add a special case to the integrity-check code to check that the final integer in a doclist index is as expected.

FossilOrigin-Name: c98934155cb48adfda57bd0fd1b950226d45f67a

Have the fts5 integrity-check verify that doclist indexes match the contents of the leaf pages that they index.

FossilOrigin-Name: 37a7d3035eb4bbad7e32fe550321ac9fae611a57

Add "doclist index" records to the database. These are to make navigating within very large doclists faster. They are not yet used by queries.

FossilOrigin-Name: 89377421ff69f2450364987afe781b6d8bcbf087

Add a comment explaining why fts5 cannot cache "sorter statements".

FossilOrigin-Name: e6af3b7a3cf331210f4c87848e2af007dbd5ef30

Add further tests for the extension APIs with "ORDER BY rank" queries.

FossilOrigin-Name: 37a417d27e4ebafd4783f62728d7467316b75b17

Fix things so that the fts5 extension API works with "ORDER BY rank" queries.

FossilOrigin-Name: f1b4e1a98d49ecaba962beba16f8224175e4ba59

Add hidden column "rank". Currently this always returns the same value as the bm25() function.

FossilOrigin-Name: 4cc048c3651e830a6aeded924c7f3a60b634e133

Add the "loadfts" program, for performance testing the loading of data into fts3/fts4/fts5 tables.

FossilOrigin-Name: 770b9540c19ad1e3d24adff382332bf032065efd

Add tests and fixes for bm25() function.

FossilOrigin-Name: 71d32f53e81921e43c933cc968cb1c18d83fe1e0

Add extension apis xRowCount, xQueryPhrase, xSetAuxdata and xGetAuxdata. And a ranking function that uses all of the above.

FossilOrigin-Name: c4d50428ab97f77e6721c4f8d03eaaf3ea91f3eb

Add a snippet() function to fts5.

FossilOrigin-Name: bdc58fd28a63ac9632c3df6c7768a9a236566605

Fix DELETE and UPDATE operations on fts5 tables.

FossilOrigin-Name: d44d3a8518ff7a1a3e2c0ab97493aa590676ee8c

Add the xTokenize extension API.

FossilOrigin-Name: 8c6b0aff3443fae4b7f0b9adcbf1514992b70653

Fix the xColumnSize() extension API.

FossilOrigin-Name: 19504c4108472d2ad1281221642b8bd06eb69f4e

Add simple tests for the xColumnText() extension api.

FossilOrigin-Name: 1e9053abdaf5e128d44504ee00dfd909dc25f378

Fixes for the xColumnSize() fts5 extension API.

FossilOrigin-Name: 43fcb844726cfeeb1c8a0dbfaa0d2ca22e6ac16c

Fix issues with position lists and NEAR constraints.

FossilOrigin-Name: 16352d3654d5672cd0251db51dbe19f779373feb

Fix a problem with position list processing for OR queries.

FossilOrigin-Name: 5808f30fae0d844c52a785bf18872be371d4af68

Fixes for tcl list generation in fts5_test().

FossilOrigin-Name: c1f9a4b76c0bbc1ef9f6cdb5d62aa5d536fdf38e

Begin adding interface for auxiliary functions.

FossilOrigin-Name: 1e2a7ba0889093416455f488fca893eaeb195d45

Support "ORDER BY rowid ASC".

FossilOrigin-Name: b96b5e166990e4ec363b24f66e04cfa5f00f6342

Add support for prefix queries to fts5.

FossilOrigin-Name: 75ebd3cd5904a4f89f7f3a9b25d32b2a42a31310

Add support for AND, OR and NOT to fts5.

FossilOrigin-Name: 8682b87e794767cefcaa080fd53c8973c24c556a

Add support for the "colname : <nearset>" syntax to fts5.

FossilOrigin-Name: 004667106e552e832a564b77e242b86f183d4441

Add support for NEAR expressions to fts5.

FossilOrigin-Name: 250ae8d40115e2e47cc5a1e8a427fa8c0a89124d

Add support for phrase queries to fts5.

FossilOrigin-Name: 2e5652e6526b8fb3f5c163168d95bc0bb4c93686

Change the position list format so that its size in bytes is stored at the start of the list itself.

FossilOrigin-Name: 62f2ff20418702ed0fbf708369edf5638445b51b

Fix minor problems in term matching.

FossilOrigin-Name: 94eeb077d08a1d2607f3ff3a9fbf18229ba475bb

Begin adding query support to fts5.

FossilOrigin-Name: 47a9f3cc92deefe163108e3507bd4614bf1f5da7

Add simple full-table-scan and rowid lookup support to fts5.

FossilOrigin-Name: 3515da85d09220c464979467b476c611da4a6a7a

Add some code for an experimental fts5 module. Does not work yet.

FossilOrigin-Name: 1e0648dcf283d4f1f6159db4d2433b6cc635992e

Fix a problem with SQLITE_OMIT_WSD builds.

FossilOrigin-Name: 07dda49c1bf8997a18c3368acb81b6d863ea38d6

Fix a problem with SQLITE_OMIT_WAL builds.

FossilOrigin-Name: 612b6d1b1f74eaf618520b90811eca10f978fc71

Improved display of record data in the "NNNbd" output of the showdb.exe
utility program.

FossilOrigin-Name: f735c2497eaad15216c90c6b92fd5ceff460220a

In the showdb.exe utility, for the "NNNbd" command, also show data fields
in addition to header fields on each record decoded.  Improvements to
formatting.

FossilOrigin-Name: b451fe0cb92278deb7724e7995c1bd46ae83c119

Add the ability to decode the headers of individual cells, byte-by-byte,
in the "showdb.exe" utility.

FossilOrigin-Name: 306b461d7c0643b6ac4df944759ecc9ce8581634

Add the "LogEst" and "LogEst.exe" target to the makefiles.

FossilOrigin-Name: 7b91b0581d169a353462d96120a2e0d4dcc8e8ae

Fix a comment on the sqlite3Utf8Read() routine.  No changes to code.

FossilOrigin-Name: 5e514f6acebcfad4f18300d1a34f4917f1a746d9

Prevent an automatic index from taking the place of a declared index.

FossilOrigin-Name: 0a52bddd9db49b2b79fc24888b50023d0fe74f7b

Prevent an automatic index from taking the place of a declared index.

FossilOrigin-Name: 4ece839d445ff578a449a339ab579a32e64c9d28

Fix a missing space in a "wheretrace" comment.  No changes to production code.

FossilOrigin-Name: b500f2a09721b49c95a69c47a0205bc2375af2cd

Add the likely() function for symmetry with unlikely().  The likely(X)
function means the same thing as likelihood(X,0.9375).

FossilOrigin-Name: 38965484199153e3e5b999f5196c1d66e5296f60

Improvements to query planning, especially in regards to estimating the
cost and benefit of automatic indexes.

FossilOrigin-Name: 1272fb8991b3888c72dcebf947415883d7727241

Add the autoindex2.test testing module.

FossilOrigin-Name: ffe3fea47b8ba8ec4557f68243ef3ef5aac00dfd

A different approach to the autoindex problem that deletes query-planner code
rather than adding it.

FossilOrigin-Name: f270fb6e9e0b5e77f918081962008c6195ab1e36

Simplification to the logic that prevents automatic indexes from being formed
on constant expressions.

FossilOrigin-Name: 36d67e1dd2b4f4c22d02f3c3b8d372074de5523a

Allow an automatic index on a WHERE constraint where the RHS is does not
reference another table as long as the RHS is not a constant.

FossilOrigin-Name: 58acc2a8b38c5f13175c191697b4d2b663db1872

Do not attempt to create an automatic index on a constant constraint, as
doing so is pointless.

FossilOrigin-Name: d6883e960f61365729f279a3c1f2c050beb49a55

Fix CSV import issue, reported via the mailing list, in the shell when the file to be imported ends with an empty line.

FossilOrigin-Name: fc918f7d332b8f7cabc79a0f1586bd6760d14d40

In the "wheretrace" logic (disabled for normal builds) expand the print width
of the flags field to be wide enough for all 17 bits.

FossilOrigin-Name: 3181d2069a788adc719decf65dc1bd2e16650c87

Add the SQLITE_UNLINK_AFTER_CLOSE compile-time option.  If enabled, the
unlink of temporary files on unix is deferred until after the file is closed.

FossilOrigin-Name: e43a2f92b616ec885a1ee62911fa8f6991d277f7

Add an application ID for MBTiles tilesets.

FossilOrigin-Name: 837f6404230fc642e9084140c4b30cca1be43375

Back out the unix VFS changes that seeks to avoid fstat() calls after an
unlink().  That change did not clear the problem on FuseFS.

FossilOrigin-Name: 0617e20a33e08754aea14e60db44e557c13978e3

Add the ".eqp" dot-command to the ".help" output in the command-line shell.
This was accidently omitted when the ".eqp" command was originally implemented
for SQLite 3.8.4 (check-in [e6ecf7337658624]).

FossilOrigin-Name: b0b4c776c321ca4a792ef67efbc62351eeac247d

Fix the extension01.test script so that it works on windows.  Fix a
harmless compiler warning in the fileio extension.

FossilOrigin-Name: baf95a190907d05a847ae8b6a3dd60625c2a078a

Add test cases for the fileio extension.

FossilOrigin-Name: 8634333127c4d868d3ec27e88b5818f6479774f3

Add the fileio.c loadable extension, that implements readfile() and writefile()
SQL functions.

FossilOrigin-Name: 0ca104d821d5841ab0754113be074c520cf07f23

Add an extension that implements compress() and uncompress() SQL functions.

FossilOrigin-Name: d5c17d1a423321f766616d82c9b27ef87c1d5afd

Increase the WAL-mode SQLITE_PROTOCOL timeout to 10 seconds.

FossilOrigin-Name: 2aeacf81df92b4fe5d1825c1dc1cd176b8af8bd9

Simplify the estLog() routine.

FossilOrigin-Name: 6c68d758bce3752f044752404a76bf3ba3eec48f

Avoid an unnecessary initialization of the szFile field of unixFile in
the unix VFS.

FossilOrigin-Name: 6484fb5a25c2a0e5d26694285a4908a22c67ba17

Enhance the unix VFS so that it keeps track of the size of unlinked files
internally and thus avoids the need to call fstat() on those files, since
fstat() does not work reliably on unlinked files on some implementations
of FuseFS.

FossilOrigin-Name: 10707d35786403ea5392d980f593bfecdae063dd

Enhance the unix VFS so that it keeps track of the size of unlinked files
internally and thus avoids the need to call fstat() on those files, since
fstat() does not work reliably on unlinked files on some implementations of
FuseFS.

FossilOrigin-Name: c41df393c6afbfbfdc4d1b885024e083c6f6de1f

Modify the %nonassoc directive in lemon so that it generates a run-time
error rather than a parsing conflict.  This changes is due to a bug report
on the mailing list.  SQLite does not use the %nonassoc directive in its
grammar so this change does not affect SQLite.

FossilOrigin-Name: 1925f3a0a2caa709569df015a8e0d26412f1a9ff

Add a test case to ensure that estLog() works for negative numbers.

FossilOrigin-Name: 813469d98519b609669a004b7b604af78ef40c02

Make sure the estLog() routine in the query planner handles negative
values correctly (always returning 1).  Prior to this change, estLog(-1)
would return a large number which could throw off the cost computations
in the query planner in obscure circumstances.

FossilOrigin-Name: 75437bee4905949c66dc7694ea234d4d5aefd981

Fix an obsolete comment on the whereRangeScanEst() routine.  No
changes to code.

FossilOrigin-Name: b16bf8518b7c50f6a939aa54900fea91b1098470

Fix a problem that was causing the FTS4 integrity-check command to fail if the table had one or more "notindexed" columns.

FossilOrigin-Name: 7123bb2605216396f65db5d156431b3613f313b5

Version 3.8.5

FossilOrigin-Name: b1ed4f2a34ba66c29b130f8d13e9092758019212

Avoid closing a pseudo-table associated with sorting in a co-routine since
that pseudo-table might be used again in an outer loop.

FossilOrigin-Name: 6d81805298ea882f5fee99504d5a95f1a762a90b

Add a test to double-check that [1cbe7a0883] did not affect anything.

FossilOrigin-Name: c6b512a724aebcd084aad2a80d020b95773b3012

Remove the WHERE_LIKELIHOOD bit, as it does not seem to effect any result.

FossilOrigin-Name: 1cbe7a0883e081611a50524517d70e0b6c5199d2