Add the xTokenize extension API.

FossilOrigin-Name: 8c6b0aff3443fae4b7f0b9adcbf1514992b70653

Fix the xColumnSize() extension API.

FossilOrigin-Name: 19504c4108472d2ad1281221642b8bd06eb69f4e

Add simple tests for the xColumnText() extension api.

FossilOrigin-Name: 1e9053abdaf5e128d44504ee00dfd909dc25f378

Add new ASCII mode to the shell capable of importing and exporting using the official unit and record separators (i.e. 0x1F and 0x1E, respectively).

FossilOrigin-Name: 7fe601ead0d0ae26cb09d0dbc7d6367785376567

Update the sqlite3_stmt_busy() function so that it correctly returns true for "ROLLBACK" statements that have been stepped but not yet reset.

FossilOrigin-Name: 61cee3c0678f5abd9131a29ab946a5e71f55643e

Fix harmless compiler warnings in the showdb and showwal tools and in
the unicode tokenizer of FTS3.

FossilOrigin-Name: 574cc8eb1448cff67390f2e16cc9b7c3ddd4658b

Fix some harmess compiler warnings in the FTS3 Unicode module.

FossilOrigin-Name: c01caea5d6ad7a570628b85fb3056ac955ff03dd

Fix warnings related to having a 64-bit size_t.

FossilOrigin-Name: 29ac9336dba2b62d13315cecfc5c4a74cc54087a

Fixes for the xColumnSize() fts5 extension API.

FossilOrigin-Name: 43fcb844726cfeeb1c8a0dbfaa0d2ca22e6ac16c

Fix warnings caused by the previous commit.

FossilOrigin-Name: 89634a419d0c1ef899d0591c7c6ab9290bf665d2

Fix harmless compiler warnings for MSVC in the showdb/showwal command line tools.

FossilOrigin-Name: 6dc7b2f119eb92da17c9e914bdad30a9ceaebdb5

Update clean targets with the recently added command-line tools.

FossilOrigin-Name: 2beefa68c0c53f663321bebf0ac06f6c936be63f

Fix issues with position lists and NEAR constraints.

FossilOrigin-Name: 16352d3654d5672cd0251db51dbe19f779373feb

Improved documentation for checkpoints and the busy handler.  No changes
to code.

FossilOrigin-Name: ca92c0240681b199c4b8ecc557792b8aea71692d

SQLite has long accepted some unadvertised and non-standard join syntax.
Add a test to ensure that future versions continue to accept this non-standard
syntax, to avoid breaking legacy applications that use the undefined syntax.

FossilOrigin-Name: 824dde7fc48dbca6d6c956c4eb79bbfa2d139ee5

Improvements to the ".fullschema" command in the command-line shell.

FossilOrigin-Name: fa80c64caa573297bf43cb5b11d9e7db58567200

Fix a problem with position list processing for OR queries.

FossilOrigin-Name: 5808f30fae0d844c52a785bf18872be371d4af68

Fixes for tcl list generation in fts5_test().

FossilOrigin-Name: c1f9a4b76c0bbc1ef9f6cdb5d62aa5d536fdf38e

Begin adding interface for auxiliary functions.

FossilOrigin-Name: 1e2a7ba0889093416455f488fca893eaeb195d45

Add simple tests for new sqlite3BtreeCursorHint() functionality.

FossilOrigin-Name: 1efa6ed584172291edce78faf9021e577583d03b

In the expression passed to sqlite3BtreeCursorHint() for the inner loops of joins, replace any TK_COLUMN references to columns in the outer loops with TK_REGISTER expressions (Expr.iTable indicates the specific register containing the value).

FossilOrigin-Name: f9dddd008c6ef7940a1d66363fbb456cff7207c1

Support "ORDER BY rowid ASC".

FossilOrigin-Name: b96b5e166990e4ec363b24f66e04cfa5f00f6342

Add support for prefix queries to fts5.

FossilOrigin-Name: 75ebd3cd5904a4f89f7f3a9b25d32b2a42a31310

Fix harmless compiler warnings in the fts3view utility program that can occur with MSVC.

FossilOrigin-Name: 1cec1e030035e5253fb7ebbdfe5c1a3029e4e29b

Add the fts3view utility program to the MSVC makefile.

FossilOrigin-Name: b04751bd59fed513ab615e7f368fe25c64b3607c

Fix a division-by-zero error in the fts3view utility program.  Add the
fts3view utility program to the "main.mk" makefile.

FossilOrigin-Name: 64f02699b4bd747e4c2f0debf72d37ec275137d8

Add support for AND, OR and NOT to fts5.

FossilOrigin-Name: 8682b87e794767cefcaa080fd53c8973c24c556a

Add support for the "colname : <nearset>" syntax to fts5.

FossilOrigin-Name: 004667106e552e832a564b77e242b86f183d4441

Add support for NEAR expressions to fts5.

FossilOrigin-Name: 250ae8d40115e2e47cc5a1e8a427fa8c0a89124d

Change fts3/4 so that the "unicode61" is included in builds by default. It may now be excluded by defining SQLITE_DISABLE_FTS3_UNICODE.

FossilOrigin-Name: 0cc0230ae9cfc9760fd8ef2c25e82576b052dbeb

Add support for phrase queries to fts5.

FossilOrigin-Name: 2e5652e6526b8fb3f5c163168d95bc0bb4c93686

Change the position list format so that its size in bytes is stored at the start of the list itself.

FossilOrigin-Name: 62f2ff20418702ed0fbf708369edf5638445b51b

Add another test to verify that SQLite is using stat4 data for composite primary keys on WITHOUT ROWID tables.

FossilOrigin-Name: 0df1fe72f8271abc86cd552027d938c910f90967

Ensure that all fields are loaded from the stat4 table for records that correspond to indexes on WITHOUT ROWID tables with composite primary keys.

FossilOrigin-Name: 21981e35062cc6b30e9576786cbf55265a7a4d41

Merge the latest trunk changes into the threads branch.

FossilOrigin-Name: ae23a65eb1547fbe8b86ab71477071990a22d31d

Merge the latest trunk enhancements into the sessions branch.

FossilOrigin-Name: a5d94eaba6aa12ff16d2a0af2fc752bcdb461877

Bump the version number to 3.8.6.

FossilOrigin-Name: f925e9baafea625f63105f8013abb3807b418379

Attempt to use STAT4 information to estimate the selectivity of WHERE clause
terms when using the skip-scan optimization.

FossilOrigin-Name: d09ca6d5efad3e4cfa93a4dc711e6ba6079d4b4b

Fix for ticket [b2fa5424e6fcb15]: Better define the format of the sqlite_stat4
file for WITHOUT ROWID tables and make sure the ANALYZE command generates a
file in the appropriate format.  Use the sqlite_stat4 data to enable the use
of WHERE terms that cover all indexed columns plus some prefix of columns
in the primary key.

FossilOrigin-Name: bc2de8095fa9c385db0adf22ca55b0298a33c284

Fix a problem in where.c with using the stat4 sample data of an index on a WITHOUT ROWID table.

FossilOrigin-Name: 053a210e3169732c58f84cb54c9b6f6df3a8f4ea

Fix the STAT4 information for WITHOUT ROWID tables.

FossilOrigin-Name: 5d8628fdffbcf837313958f0ee1ed8a2043d384e

Fix where.c so that the primary key values appended to every index entry on a WITHOUT ROWID table may be used when useful.

FossilOrigin-Name: 6624a61d16e47ad691c4195ca8a1d68b7348118d

Omit non-primary-key columns from the STAT4 samples for WITHOUT ROWID tables.
Indexes, both rowid and without-rowid, still hold an exact copy
of the index entry.

FossilOrigin-Name: de826c31589258f0906f87d65796944103e36d5b

Generate complete samples for sqlite_stat4 on WITHOUT ROWID tables.
Ticket [b2fa5424e6fcb15b5]

FossilOrigin-Name: 8cb43eddab83c68b2163441df70e0e9496d5fa33

Add makefile targets for various diagnostic tools, such as showstat4.
Fix harmless compiler warnings in diagnostic tools.

FossilOrigin-Name: 6f86d89b8800c50035da7809bff941d08a33a6a2

Add an OOM fault injection test for the new code on this branch.

FossilOrigin-Name: c96de490ac77dd23c108004b95152cce4922fe27

Add further tests to skipscan5.test.

FossilOrigin-Name: 4b8230e8fe93e73a615a46708aed5fa3557b6228

Add header comments on new routines.  Rework the sqlite3Stat4Column() routine
so that is (in theory) able to deal with corrupt samples.

FossilOrigin-Name: ef5cdf949bb53a2958fa34e176b4b9eeda269de5

Fix a problem with using stat4 samples of type text when estimating the rows visited by a range-query/skip-scan loop.

FossilOrigin-Name: dfb09db6d412f3bc2a71bda393813783580dbad1

Change the VDBE to export the sqlite3MemCompare() routine and thus free
where.c from the dependency on vdbeInt.h.

FossilOrigin-Name: d186d1ac3c47f0d814636c4b8386a6065a294750

Merge fixes from trunk with this branch.

FossilOrigin-Name: 6af219d1b83ec54b3fb4ad4e6216d9ad9ea0fc70

Fix a couple of problems in estimating the number of rows visited by a range query that uses a skip-scan.

FossilOrigin-Name: 219736f54dcd1448af3400e699f1c20755ac6876

Add some more IN operator tests.

FossilOrigin-Name: fb32e374b75b160e7b535e732ced6c34dbb513eb

Fix compilation issue when STAT4 is not enabled.

FossilOrigin-Name: 74a5454a710e1b7d8575cec2f872e6110aefce17

Revise the affinity returned for expressions flagged as 'generic'.  Fix for [9a8b09f8e6].

FossilOrigin-Name: 92f7ad43dbfe4e02490df2f932c3c74fb89064d6

Attempt to use sqlite_stat4 data to estimate the number of rows visited by a range query that uses a skip-scan. This code is largely untested.

FossilOrigin-Name: 01dc8102592427b71a18c2cb82301d2266dd59c2

Fix minor problems in term matching.

FossilOrigin-Name: 94eeb077d08a1d2607f3ff3a9fbf18229ba475bb

Begin adding query support to fts5.

FossilOrigin-Name: 47a9f3cc92deefe163108e3507bd4614bf1f5da7

Fix showstat4.c so that it decodes typecodes 8 and 9 correctly.

FossilOrigin-Name: 9ca737c0b41f87998d842e7772c3e483bb291c50

Add simple full-table-scan and rowid lookup support to fts5.

FossilOrigin-Name: 3515da85d09220c464979467b476c611da4a6a7a

Add the showstat4.exe utility program for decoding and displaying the
content of the sqlite_stat4 table in a database.

FossilOrigin-Name: b4d9f6053d1d95fdc1eab8ce610b51e7df8d896d

Add the .fullschema command to the sqlite3.exe utility.  This command shows
the schema and the content of the sqlite_stat tables, all in one go.  Useful
when reporting problems with the query planner.

FossilOrigin-Name: ebec48921c092e20c9d7608242b63db40b40be5e

Add some code for an experimental fts5 module. Does not work yet.

FossilOrigin-Name: 1e0648dcf283d4f1f6159db4d2433b6cc635992e

Fix a problem with SQLITE_OMIT_WSD builds.

FossilOrigin-Name: 07dda49c1bf8997a18c3368acb81b6d863ea38d6

Fix a problem with SQLITE_OMIT_WAL builds.

FossilOrigin-Name: 612b6d1b1f74eaf618520b90811eca10f978fc71

Improved display of record data in the "NNNbd" output of the showdb.exe
utility program.

FossilOrigin-Name: f735c2497eaad15216c90c6b92fd5ceff460220a

In the showdb.exe utility, for the "NNNbd" command, also show data fields
in addition to header fields on each record decoded.  Improvements to
formatting.

FossilOrigin-Name: b451fe0cb92278deb7724e7995c1bd46ae83c119

Add the ability to decode the headers of individual cells, byte-by-byte,
in the "showdb.exe" utility.

FossilOrigin-Name: 306b461d7c0643b6ac4df944759ecc9ce8581634

Add the "LogEst" and "LogEst.exe" target to the makefiles.

FossilOrigin-Name: 7b91b0581d169a353462d96120a2e0d4dcc8e8ae

Fix a comment on the sqlite3Utf8Read() routine.  No changes to code.

FossilOrigin-Name: 5e514f6acebcfad4f18300d1a34f4917f1a746d9

Merge in all recent changes from trunk, and especially the automatic index
enhancements.

FossilOrigin-Name: 0e1b73496f861bd497f92f1ead936b2d94aa52d5

Prevent an automatic index from taking the place of a declared index.

FossilOrigin-Name: 0a52bddd9db49b2b79fc24888b50023d0fe74f7b

Prevent an automatic index from taking the place of a declared index.

FossilOrigin-Name: 4ece839d445ff578a449a339ab579a32e64c9d28

Fix a missing space in a "wheretrace" comment.  No changes to production code.

FossilOrigin-Name: b500f2a09721b49c95a69c47a0205bc2375af2cd

Add the likely() function for symmetry with unlikely().  The likely(X)
function means the same thing as likelihood(X,0.9375).

FossilOrigin-Name: 38965484199153e3e5b999f5196c1d66e5296f60

Improvements to query planning, especially in regards to estimating the
cost and benefit of automatic indexes.

FossilOrigin-Name: 1272fb8991b3888c72dcebf947415883d7727241

Add the autoindex2.test testing module.

FossilOrigin-Name: ffe3fea47b8ba8ec4557f68243ef3ef5aac00dfd

A different approach to the autoindex problem that deletes query-planner code
rather than adding it.

FossilOrigin-Name: f270fb6e9e0b5e77f918081962008c6195ab1e36

Simplification to the logic that prevents automatic indexes from being formed
on constant expressions.

FossilOrigin-Name: 36d67e1dd2b4f4c22d02f3c3b8d372074de5523a

Allow an automatic index on a WHERE constraint where the RHS is does not
reference another table as long as the RHS is not a constant.

FossilOrigin-Name: 58acc2a8b38c5f13175c191697b4d2b663db1872

Do not attempt to create an automatic index on a constant constraint, as
doing so is pointless.

FossilOrigin-Name: d6883e960f61365729f279a3c1f2c050beb49a55

Fix CSV import issue, reported via the mailing list, in the shell when the file to be imported ends with an empty line.

FossilOrigin-Name: fc918f7d332b8f7cabc79a0f1586bd6760d14d40

In the "wheretrace" logic (disabled for normal builds) expand the print width
of the flags field to be wide enough for all 17 bits.

FossilOrigin-Name: 3181d2069a788adc719decf65dc1bd2e16650c87

Add the SQLITE_UNLINK_AFTER_CLOSE compile-time option.  If enabled, the
unlink of temporary files on unix is deferred until after the file is closed.

FossilOrigin-Name: e43a2f92b616ec885a1ee62911fa8f6991d277f7

Add an application ID for MBTiles tilesets.

FossilOrigin-Name: 837f6404230fc642e9084140c4b30cca1be43375

Back out the unix VFS changes that seeks to avoid fstat() calls after an
unlink().  That change did not clear the problem on FuseFS.

FossilOrigin-Name: 0617e20a33e08754aea14e60db44e557c13978e3

Add the ".eqp" dot-command to the ".help" output in the command-line shell.
This was accidently omitted when the ".eqp" command was originally implemented
for SQLite 3.8.4 (check-in [e6ecf7337658624]).

FossilOrigin-Name: b0b4c776c321ca4a792ef67efbc62351eeac247d

Fix the extension01.test script so that it works on windows.  Fix a
harmless compiler warning in the fileio extension.

FossilOrigin-Name: baf95a190907d05a847ae8b6a3dd60625c2a078a

Add test cases for the fileio extension.

FossilOrigin-Name: 8634333127c4d868d3ec27e88b5818f6479774f3

Add the fileio.c loadable extension, that implements readfile() and writefile()
SQL functions.

FossilOrigin-Name: 0ca104d821d5841ab0754113be074c520cf07f23

Add an extension that implements compress() and uncompress() SQL functions.

FossilOrigin-Name: d5c17d1a423321f766616d82c9b27ef87c1d5afd

Increase the WAL-mode SQLITE_PROTOCOL timeout to 10 seconds.

FossilOrigin-Name: 2aeacf81df92b4fe5d1825c1dc1cd176b8af8bd9

Simplify the estLog() routine.

FossilOrigin-Name: 6c68d758bce3752f044752404a76bf3ba3eec48f

Avoid an unnecessary initialization of the szFile field of unixFile in
the unix VFS.

FossilOrigin-Name: 6484fb5a25c2a0e5d26694285a4908a22c67ba17

Enhance the unix VFS so that it keeps track of the size of unlinked files
internally and thus avoids the need to call fstat() on those files, since
fstat() does not work reliably on unlinked files on some implementations
of FuseFS.

FossilOrigin-Name: 10707d35786403ea5392d980f593bfecdae063dd

Enhance the unix VFS so that it keeps track of the size of unlinked files
internally and thus avoids the need to call fstat() on those files, since
fstat() does not work reliably on unlinked files on some implementations of
FuseFS.

FossilOrigin-Name: c41df393c6afbfbfdc4d1b885024e083c6f6de1f

Modify the %nonassoc directive in lemon so that it generates a run-time
error rather than a parsing conflict.  This changes is due to a bug report
on the mailing list.  SQLite does not use the %nonassoc directive in its
grammar so this change does not affect SQLite.

FossilOrigin-Name: 1925f3a0a2caa709569df015a8e0d26412f1a9ff

Add a test case to ensure that estLog() works for negative numbers.

FossilOrigin-Name: 813469d98519b609669a004b7b604af78ef40c02

Make sure the estLog() routine in the query planner handles negative
values correctly (always returning 1).  Prior to this change, estLog(-1)
would return a large number which could throw off the cost computations
in the query planner in obscure circumstances.

FossilOrigin-Name: 75437bee4905949c66dc7694ea234d4d5aefd981

Fix an obsolete comment on the whereRangeScanEst() routine.  No
changes to code.

FossilOrigin-Name: b16bf8518b7c50f6a939aa54900fea91b1098470