Fix a problem in where.c with using the stat4 sample data of an index on a WITHOUT ROWID table.

FossilOrigin-Name: 053a210e3169732c58f84cb54c9b6f6df3a8f4ea

Fix the STAT4 information for WITHOUT ROWID tables.

FossilOrigin-Name: 5d8628fdffbcf837313958f0ee1ed8a2043d384e

Fix where.c so that the primary key values appended to every index entry on a WITHOUT ROWID table may be used when useful.

FossilOrigin-Name: 6624a61d16e47ad691c4195ca8a1d68b7348118d

Omit non-primary-key columns from the STAT4 samples for WITHOUT ROWID tables.
Indexes, both rowid and without-rowid, still hold an exact copy
of the index entry.

FossilOrigin-Name: de826c31589258f0906f87d65796944103e36d5b

Generate complete samples for sqlite_stat4 on WITHOUT ROWID tables.
Ticket [b2fa5424e6fcb15b5]

FossilOrigin-Name: 8cb43eddab83c68b2163441df70e0e9496d5fa33

Add makefile targets for various diagnostic tools, such as showstat4.
Fix harmless compiler warnings in diagnostic tools.

FossilOrigin-Name: 6f86d89b8800c50035da7809bff941d08a33a6a2

Add some more IN operator tests.

FossilOrigin-Name: fb32e374b75b160e7b535e732ced6c34dbb513eb

Revise the affinity returned for expressions flagged as 'generic'.  Fix for [9a8b09f8e6].

FossilOrigin-Name: 92f7ad43dbfe4e02490df2f932c3c74fb89064d6

Fix showstat4.c so that it decodes typecodes 8 and 9 correctly.

FossilOrigin-Name: 9ca737c0b41f87998d842e7772c3e483bb291c50

Add the showstat4.exe utility program for decoding and displaying the
content of the sqlite_stat4 table in a database.

FossilOrigin-Name: b4d9f6053d1d95fdc1eab8ce610b51e7df8d896d

Add the .fullschema command to the sqlite3.exe utility.  This command shows
the schema and the content of the sqlite_stat tables, all in one go.  Useful
when reporting problems with the query planner.

FossilOrigin-Name: ebec48921c092e20c9d7608242b63db40b40be5e

Fix a problem with SQLITE_OMIT_WSD builds.

FossilOrigin-Name: 07dda49c1bf8997a18c3368acb81b6d863ea38d6

Fix a problem with SQLITE_OMIT_WAL builds.

FossilOrigin-Name: 612b6d1b1f74eaf618520b90811eca10f978fc71

Improved display of record data in the "NNNbd" output of the showdb.exe
utility program.

FossilOrigin-Name: f735c2497eaad15216c90c6b92fd5ceff460220a

In the showdb.exe utility, for the "NNNbd" command, also show data fields
in addition to header fields on each record decoded.  Improvements to
formatting.

FossilOrigin-Name: b451fe0cb92278deb7724e7995c1bd46ae83c119

Add the ability to decode the headers of individual cells, byte-by-byte,
in the "showdb.exe" utility.

FossilOrigin-Name: 306b461d7c0643b6ac4df944759ecc9ce8581634

Add the "LogEst" and "LogEst.exe" target to the makefiles.

FossilOrigin-Name: 7b91b0581d169a353462d96120a2e0d4dcc8e8ae

Fix a comment on the sqlite3Utf8Read() routine.  No changes to code.

FossilOrigin-Name: 5e514f6acebcfad4f18300d1a34f4917f1a746d9

Prevent an automatic index from taking the place of a declared index.

FossilOrigin-Name: 0a52bddd9db49b2b79fc24888b50023d0fe74f7b

Prevent an automatic index from taking the place of a declared index.

FossilOrigin-Name: 4ece839d445ff578a449a339ab579a32e64c9d28

Fix a missing space in a "wheretrace" comment.  No changes to production code.

FossilOrigin-Name: b500f2a09721b49c95a69c47a0205bc2375af2cd

Add the likely() function for symmetry with unlikely().  The likely(X)
function means the same thing as likelihood(X,0.9375).

FossilOrigin-Name: 38965484199153e3e5b999f5196c1d66e5296f60

Improvements to query planning, especially in regards to estimating the
cost and benefit of automatic indexes.

FossilOrigin-Name: 1272fb8991b3888c72dcebf947415883d7727241

Add the autoindex2.test testing module.

FossilOrigin-Name: ffe3fea47b8ba8ec4557f68243ef3ef5aac00dfd

A different approach to the autoindex problem that deletes query-planner code
rather than adding it.

FossilOrigin-Name: f270fb6e9e0b5e77f918081962008c6195ab1e36

Simplification to the logic that prevents automatic indexes from being formed
on constant expressions.

FossilOrigin-Name: 36d67e1dd2b4f4c22d02f3c3b8d372074de5523a

Allow an automatic index on a WHERE constraint where the RHS is does not
reference another table as long as the RHS is not a constant.

FossilOrigin-Name: 58acc2a8b38c5f13175c191697b4d2b663db1872

Do not attempt to create an automatic index on a constant constraint, as
doing so is pointless.

FossilOrigin-Name: d6883e960f61365729f279a3c1f2c050beb49a55

Fix CSV import issue, reported via the mailing list, in the shell when the file to be imported ends with an empty line.

FossilOrigin-Name: fc918f7d332b8f7cabc79a0f1586bd6760d14d40

In the "wheretrace" logic (disabled for normal builds) expand the print width
of the flags field to be wide enough for all 17 bits.

FossilOrigin-Name: 3181d2069a788adc719decf65dc1bd2e16650c87

Add the SQLITE_UNLINK_AFTER_CLOSE compile-time option.  If enabled, the
unlink of temporary files on unix is deferred until after the file is closed.

FossilOrigin-Name: e43a2f92b616ec885a1ee62911fa8f6991d277f7

Add an application ID for MBTiles tilesets.

FossilOrigin-Name: 837f6404230fc642e9084140c4b30cca1be43375

Back out the unix VFS changes that seeks to avoid fstat() calls after an
unlink().  That change did not clear the problem on FuseFS.

FossilOrigin-Name: 0617e20a33e08754aea14e60db44e557c13978e3

Add the ".eqp" dot-command to the ".help" output in the command-line shell.
This was accidently omitted when the ".eqp" command was originally implemented
for SQLite 3.8.4 (check-in [e6ecf7337658624]).

FossilOrigin-Name: b0b4c776c321ca4a792ef67efbc62351eeac247d

Fix the extension01.test script so that it works on windows.  Fix a
harmless compiler warning in the fileio extension.

FossilOrigin-Name: baf95a190907d05a847ae8b6a3dd60625c2a078a

Add test cases for the fileio extension.

FossilOrigin-Name: 8634333127c4d868d3ec27e88b5818f6479774f3

Add the fileio.c loadable extension, that implements readfile() and writefile()
SQL functions.

FossilOrigin-Name: 0ca104d821d5841ab0754113be074c520cf07f23

Add an extension that implements compress() and uncompress() SQL functions.

FossilOrigin-Name: d5c17d1a423321f766616d82c9b27ef87c1d5afd

Increase the WAL-mode SQLITE_PROTOCOL timeout to 10 seconds.

FossilOrigin-Name: 2aeacf81df92b4fe5d1825c1dc1cd176b8af8bd9

Simplify the estLog() routine.

FossilOrigin-Name: 6c68d758bce3752f044752404a76bf3ba3eec48f

Avoid an unnecessary initialization of the szFile field of unixFile in
the unix VFS.

FossilOrigin-Name: 6484fb5a25c2a0e5d26694285a4908a22c67ba17

Enhance the unix VFS so that it keeps track of the size of unlinked files
internally and thus avoids the need to call fstat() on those files, since
fstat() does not work reliably on unlinked files on some implementations
of FuseFS.

FossilOrigin-Name: 10707d35786403ea5392d980f593bfecdae063dd

Enhance the unix VFS so that it keeps track of the size of unlinked files
internally and thus avoids the need to call fstat() on those files, since
fstat() does not work reliably on unlinked files on some implementations of
FuseFS.

FossilOrigin-Name: c41df393c6afbfbfdc4d1b885024e083c6f6de1f

Modify the %nonassoc directive in lemon so that it generates a run-time
error rather than a parsing conflict.  This changes is due to a bug report
on the mailing list.  SQLite does not use the %nonassoc directive in its
grammar so this change does not affect SQLite.

FossilOrigin-Name: 1925f3a0a2caa709569df015a8e0d26412f1a9ff

Add a test case to ensure that estLog() works for negative numbers.

FossilOrigin-Name: 813469d98519b609669a004b7b604af78ef40c02

Make sure the estLog() routine in the query planner handles negative
values correctly (always returning 1).  Prior to this change, estLog(-1)
would return a large number which could throw off the cost computations
in the query planner in obscure circumstances.

FossilOrigin-Name: 75437bee4905949c66dc7694ea234d4d5aefd981

Fix an obsolete comment on the whereRangeScanEst() routine.  No
changes to code.

FossilOrigin-Name: b16bf8518b7c50f6a939aa54900fea91b1098470

Fix a problem that was causing the FTS4 integrity-check command to fail if the table had one or more "notindexed" columns.

FossilOrigin-Name: 7123bb2605216396f65db5d156431b3613f313b5

Version 3.8.5

FossilOrigin-Name: b1ed4f2a34ba66c29b130f8d13e9092758019212

Avoid closing a pseudo-table associated with sorting in a co-routine since
that pseudo-table might be used again in an outer loop.

FossilOrigin-Name: 6d81805298ea882f5fee99504d5a95f1a762a90b

Add a test to double-check that [1cbe7a0883] did not affect anything.

FossilOrigin-Name: c6b512a724aebcd084aad2a80d020b95773b3012

Remove the WHERE_LIKELIHOOD bit, as it does not seem to effect any result.

FossilOrigin-Name: 1cbe7a0883e081611a50524517d70e0b6c5199d2

Fix a typo in a requirements mark comment in a test script.  No changes to
code.

FossilOrigin-Name: 75ff459b06e1a5c180d316d227ce2f73c99a1f52

Fix the query planner so that it once again knows that queries without a
FROM clause will never return more than one row and hence do not require
sorting.

FossilOrigin-Name: 9f18b303cd1bc5779d82669884f802c7889b4947

Add the "valgrind-nolookaside" permutation to permutations.test.

FossilOrigin-Name: 8e8472d9b689d128eb11d3111e009161cf4580f7

Fix a harmless "scan-build" compiler warning in the command-line shell.

FossilOrigin-Name: 39fafe0a19ff346a2354f00b03f8e8e4b8b0524c

Fix a compile of harmless static analyzer warnings.

FossilOrigin-Name: 7e287f2055dcd82c92d1711aec97cb6552a354bb

Revise locking retry semantics in Win32 VFS to abort early if the file handle is reported as invalid.

FossilOrigin-Name: a4df4a5b34111f755ffd9ee6f089ff05d03ebc7a

Add extra checking of the database extended error code.

FossilOrigin-Name: f2906c44519d76db5bc36013369ae498b80655a8

Add tests for the invalid file handle detection logic in the winLock() function.

FossilOrigin-Name: ed5a9eb4f30a395bc641e79254217c7d7cf0aa5d

Fix a harmless compiler warning in the command-line shell code.

FossilOrigin-Name: a80527f60b4856e869f25e7b13afde351bc26a25

Fix to the EXPLAIN indentation logic in the command-line shell.

FossilOrigin-Name: 8f916ed1e185ac728e00624d90e1d7bd2dda4469

Improvements to error messages for errors in the dot-commands of the
command-line shell.  Add the ".once" command.  The output of ".help"
now goes to the designated output channel.

FossilOrigin-Name: 48dce821a07ac29da6ce05e92cf3f6e52b6eb388

Only quote the arguments to the ".shell" and ".system" commands if they
contain spaces.

FossilOrigin-Name: e58f4bd39d51c4c1a28684dab6427de81173d564

Add the ".shell" and the ".system" commands (aliases for the same thing)
to the command-line shell.

FossilOrigin-Name: d018a34a05cec6adda61ed225d084c587343f2a6

Add an extra test to verify that the FTS notindexed option is working.

FossilOrigin-Name: c461c0fe051d33cc8b4fede4eca13cd71f28126a

Revise locking retry semantics in Win32 VFS to abort early if the file handle is reported as invalid.

FossilOrigin-Name: d43e2e59b5647655595fd953febf2beefa480006

Revise how OSTRACE reports logically boolean results in the Win32 VFS.

FossilOrigin-Name: c405f971cf03e29110019ff863cbfb026d97e1e6

Remove an incorrect assert() in the sorter.

FossilOrigin-Name: b8b66103de8c554cb87df40bf040760ec29f2ae1

Fix harmless compiler warnings.

FossilOrigin-Name: 20b75460c0661b5dc071177b4a0791aceccda029

Change the name of the Index.autoIndex field to Index.idxType and provide
symbolic names for the various values of that field rather than using
magic numbers.

FossilOrigin-Name: d16e575dacc811de0f7b58a0d1cd243678dce6c5

Avoid unnecessary cursor opens and seeks when running the OR-optimization
on a WITHOUT ROWID table.

FossilOrigin-Name: 9c785c58327e08dad94a278a643a5443f94aec36

Improved comments on the OR-optimization logic in the query planner.

FossilOrigin-Name: 77fef5a3987fc16f84a8e755283ca6ec1363013c

Remove unused code (previously #ifdef-ed out) from btree.c.

FossilOrigin-Name: 8bc9737112e2700f337ff377cda040c8ba9d729f

Fix a harmless compiler warning in the FTS4 logic.

FossilOrigin-Name: 64a869ad2388d9d62601b93d5139f2dc57f260f7

Add a test to whereI.test that uses a multi-column PK.

FossilOrigin-Name: aa183e60929bdbbcea3c436dd8cc674fc44ad09a

Fix for (unsupported) SQLITE_USE_FCNTL_TRACE code.

FossilOrigin-Name: 994b2b7a591f08609140eb504253c141aec6206a

Add the OR-optimization to WITHOUT ROWID tables.

FossilOrigin-Name: 06a23b8b32f0439b22936dc4107890481e4a1327

Minor enhancements to comments and clarification of the code.

FossilOrigin-Name: cbec30d0c49a3f618c3df3ae0ca3d651b48841c2

Add a missing VdbeCoverage() macro on an OP_Found opcode added in the previous
check-in.

FossilOrigin-Name: b4980a07e287480beddb2c6633c733520e05d074

Enable the OR optimization for WITHOUT ROWID tables. Use a temp table instead of the RowSet object to track the rows that have already been included in the result set.

FossilOrigin-Name: 2c7e277bbebd5c93dec53d381d9737909d40d846

Fix a problem in the shell when importing CSV files. If the leftmost field of the first row in the CSV file was both zero bytes in size and unquoted, no data was imported.

FossilOrigin-Name: 856d44a206d82e96265103556dedda39ca3602b1

Fix a problem in FTS4 where columns with names that are prefixes of any notindexed column were also being (incorrectly) marked as not indexed. For example in "CREATE ... t1(abc, bc, abcd, notindexed=abcd)", both abc and abcd were being treated as notindexed.

FossilOrigin-Name: d90c4964fcf46b0b043dbfd58267098582267001

Remove references in comments to VDBE opcodes that no longer exist.  This
is a documentation change only; no changes to code.

FossilOrigin-Name: ebfb51fe40756713d269b4c0ade752666910bb6e

Changes to the output of EXPLAIN QUERY PLAN to make it clearer when a query uses the PRIMARY KEY index of a WITHOUT ROWID table.

FossilOrigin-Name: 9268df305b90ac11e44b3107bbab5becf38860b7

In the command-line shell, if three or more interrupt signals (control-c)
are received in a row without a response from sqlite3_interrupt() then
call exit(1) immediately.  This allows control-C to interrupt the shell
even if it is stuck in a computation or loop that does not involve the
VDBE.

FossilOrigin-Name: b5cde57166fd874d00dec23d3a59bf3a23979fc5

Make sure sufficient VDBE registers are allocated for an INSERT...SELECT
when there is an idlist on the insert table that includes an explicit
rowid.  Ticket [9654505cfda93610585fde5a9bbf2e730c8a8d5]

FossilOrigin-Name: 9a2dd18776cc7003752980be0a0920a8799e5f35

Add a test for the EQP output of a skip-scan query that uses the PK index of a WITHOUT ROWID table.

FossilOrigin-Name: 10238fad94a198c0639461645227b6c5ebe16eee

Do not burn memory remembering CHECK constraints in a read-only database.

FossilOrigin-Name: 34ddf02d3d21151b8099c0c25706530a03d93887

Fix the sqlite3_db_readonly() API so that it reports true if the database
is readonly because the file format write version (byte 18 of the header)
is too large.

FossilOrigin-Name: 8d8af114dac301335ec10671c1e9a5a6d8266a60

Internally, use a 64-bit integers for segment level numbers.

FossilOrigin-Name: 8180e320ee4090e41511836678e49a98c0b228e8

Fix a broken test case in fts4growth2.test.

FossilOrigin-Name: 9fde5b960af39b187474e5b2909ff0e56d5e0bf9

Fix harmless compiler warnings.

FossilOrigin-Name: 7e60347e21a7473974061965a8d1f2eadde987e2

Work around compilation issue with MSVC.

FossilOrigin-Name: 9623a29c11e3a90513016ea3306c085d2bf91b62

Fixes to prevent an FTS index from growing indefinitely as the corresponding table is updated. Change the FTS 'automerge' option to allow the user to specify the number of segments that should be merged simultaneously by auto-merges.

FossilOrigin-Name: a75f1800021d30b712053373440041b7b355a36a

Add extra test to backcompat.test to ensure that old and new versions of FTS may work together on the same incremental merge operation.

FossilOrigin-Name: 3997d47bb9c8593a2cd30317ea65163b99db1832

Repurpose the SQLITE_TESTCTRL_FAULT_INSTALL test-control to register a
callback to be invoked by sqlite3FaultSim().  That test-control has been
unused since 2008-06-20 and was never used in any official release.

FossilOrigin-Name: 0d43a7ad9abe821e33e0bf83a997aa4461b1e3f2

Fix a bug causing an incorrect segment size value to be stored if both an old and new FTS version performed work on the same incremental merge operation.

FossilOrigin-Name: a9a2aeab298ba2ac0b8835e61406e2d83bf7e39b

Merge latest trunk changes with this branch.

FossilOrigin-Name: 5809986ffcc5d9cbab64760f8d7fbfbb6b626ee7

Fix a problem with the handling of delete markers by automerge on large databases.

FossilOrigin-Name: 2b09bd17eb85ea3c682e930d2aabc6441f2265e0