Add a new row type to RBU (a peer of insert, update and delete) - "delete then insert".

FossilOrigin-Name: 169311c85b30f625bdb6986c9cd11db70942d73b

Add the SQLITE_CONFIG_STMTJRNL_SPILL option for sqlite3_config().

FossilOrigin-Name: b6c4202432dc96f8f1740f52d0bf872116357fcc

Fix a problem in the previous commit affecting queries with three or more tables joined together to the right of a LEFT or CROSS JOIN operator.

FossilOrigin-Name: d8d89d69a490a708b83147945f74134ae0e4b387

Change the way SQLite invokes the xBestIndex method of virtual tables so that N-way joins involving virtual tables work as expected.

FossilOrigin-Name: 195444380bafd3d95d37ad83047c75ca20978de4

Adjust the cost estimates for RTREE such that the expected number of rows and
expected cost is halved for each additional constraint.

FossilOrigin-Name: fd7cd0609381a85673d1f737ebeb19dde3de180f

Change the way SQLite invokes the xBestIndex method of virtual tables so that N-way joins involving virtual tables work as expected.

FossilOrigin-Name: ffc65968ede2c402e616147e6e3d737e6f9de21d

Remove the unused journal.c source file (its function have been subsumed into
memjournal.c).  Refactor some of the names in memjournal.c.  No functional
changes.

FossilOrigin-Name: 5f2a262d3f6b1531001326faf1d3b3d92c20a30a

Work around (incorrect) ASAN warnings in memjournal.c.

FossilOrigin-Name: 4de09777dad6188b7e897473700af3c9655e8547

Fix an integer size mismatch problem in test_bestindex.c

FossilOrigin-Name: 2e35eb6b7464455467c868adfbcaad4da16d3207

Fix an incorrect #ifdef on sqlite3LogEstToInt().

FossilOrigin-Name: dca7b23354a6b08c926b6ed3f7345d942a409862

Fix an assert() in sqlite3VarintLen(), even though it is impossible to hit
in SQLite due to the way sqlite3VarintLen() is used.

FossilOrigin-Name: 251424c5869f43012fc1e1a545de362036b883db

Defer opening and writing statement journals until the size reaches a
threshold (currently 64KiB).

FossilOrigin-Name: cb9302cca423de41305719a49208daa392ec09da

Update test cases to taken deferred statement-journal opening into account.

FossilOrigin-Name: 5b2fe5219ab9ad15969e3374894a75979b65cb3c

Merge changes from trunk.

FossilOrigin-Name: a87305dfd49ee17632d0bce66ce7c2e9407b7b3e

Change the default cache_size to -2000 (which means 2000*1024 bytes
independent of page_size).

FossilOrigin-Name: 2682e8e413fadbca0673f242769af17bfd291559

Change the default page size for new database files to 4096 (from 1024).
Except, when building the testfixture, preserve the legacy page size.
Also fix a comment on SQLITE_MAX_ATTACHED.

FossilOrigin-Name: 2e8a9ca9d3d6efddc31f01074d14acae56568c37

Detect the presence of pread()/pwrite() system calls on unix systems and
use them if available.

FossilOrigin-Name: 82cbf5ad2ed988a006106e188e98096a52e6779d

Further fixes to the pread()/pwrite() enabling logic.

FossilOrigin-Name: 38fb54e7854ac0500a88585ff9dd7487b4b2e586

Fix the build for cases when pread()/pwrite() are not available.

FossilOrigin-Name: 7d67d876b70c7a4199697c5b112d809c600e140e

Add the test_bestindex.c file to Makefile.in and Makefile.msc so that
"make test" will work again.

FossilOrigin-Name: 6ec6b6a97e62be1abe1e349b5bc04c6f5ae88968

Update the configure script to detect pread/pwrite and update os_unix.c to
use those routines if they are available.

FossilOrigin-Name: 2cffb9e50bed77d1079603f5b4a71b7559de7294

Get in-memory subjournals working for builds without SQLITE_ENABLE_ATOMIC_WRITE.

FossilOrigin-Name: b5378dcea53d4cd1744d13ddee5e50869607b771

Merge the latest updates from trunk.

FossilOrigin-Name: 55c00f716dc98b188c91f3a5a010242c9497785f

Reduce the amount of heap memory required to store many schemas by storing
the column datatype appended to the column name (with a \000 separator),
rather than in separate memory allocation.

FossilOrigin-Name: 16fbf2e19c22df9441aef5c8b7f5670adc38a6b6

Allow the left-hand side of IN operators on virtual tables to have the
aConstraintUsage[].omit flag clear.

FossilOrigin-Name: 3eb74342740cd393e03aa38cd01690ccab173b76

Merge 3.11.1 changes into trunk.

FossilOrigin-Name: 7abc2dd953477797fa05421b061d73596aa025fb

Version 3.11.1

FossilOrigin-Name: f047920ce16971e573bc6ec9a48b118c9de2b3a7

Increase the default upper bound on scope to 30.

FossilOrigin-Name: b1258814f6100f594210775e9e3007b5b0c65025

Add new test script bestindex1.test to the utf16 permutation.

FossilOrigin-Name: 5893e97244126c80762e55249461f21a4e81bb70

Add an extra test for the change on this branch.

FossilOrigin-Name: d2d28251566d2a0ec1a07fe5b8ed047136840bfd

Enhance test_bestindex.c so that it can be used to test plans generated by xBestIndex.

FossilOrigin-Name: 3c15a9bf45cd7dae2fbd99123b8dd75ce278d6e4

Fix a recently introduced problem in permutations.test causing an error when the QUICKTEST_OMIT environment variable is defined.

FossilOrigin-Name: 45bc9557722cc2a1398a53fdb2acd8b6692f3121

Fix an error in an fts5 test script.

FossilOrigin-Name: b2a03e2d479aec2fc68dfc83a1fa34c740f44e13

Allow the left-hand side of IN operators on virtual tables to have the
aConstraintUsage[].omit flag clear.

FossilOrigin-Name: 1622623cbbfc4325c53d731aba78ca9c382ec612

Add the optional -DSERIES_OMIT_CONSTRAINT_VERIFY=0 option to the series.c
extension that implements the generate_series() virtual table.

FossilOrigin-Name: 3d9daa929c0abe6dc01e800ef343b0eef2f0c76a

New test cases and infrastructure for testing the xBestIndex method of
virtual tables.

FossilOrigin-Name: 1d41c161165006d6c2af47e476f05fb13039f8b8

Improved debugging output with wheretrace.  Fix some typos in test script
comments.

FossilOrigin-Name: 13a37fd487ce7d4f98a12f7a67a9c05dadc66557

Fix a memory leak in the test code on this branch.

FossilOrigin-Name: 7a1add56341f43dc41adc7b370e58860f4dd50a3

Allow test_bestindex.c to set the omit flag for a constraint.

FossilOrigin-Name: 759b9d5b22aa60cc1d6b606f81eb7366c28cbcbe

Add test code useful for testing the planners use of teh virtual table xBestIndex() method.

FossilOrigin-Name: de034c0db66298454ae8418949d58eb6e223c0de

Do not attempt to run fts5bigtok.test or fts5merge2.test if FTS5 is not compiled in.

FossilOrigin-Name: f7ed373953c2dea0919a85dfb461dfef512cd5fc

Add -DSQLITE_ENABLE_FTS5 to one of the release-test configurations in releasetest.tcl. Run fts5 tests as part of "make test" if SQLITE_ENABLE_FTS5 is defined.

FossilOrigin-Name: 3cee93716f2aece03bf9b835fb7b5294e4ddc176

Remove a forgotten "breakpoint" command from an FTS5 test script.

FossilOrigin-Name: 61927c8f3156c6e61b768318b3cd3bcc4144e17b

Increase the version number to 3.11.1

FossilOrigin-Name: 2dcd2fdafe933b74e2d90923986c5ee5791d8223

Merge branch-3.11-matchinfo into this branch.

FossilOrigin-Name: 42358170b35cc3e25c42f20e56f3f67e809001ba

Fix a problem in fts5 where a corrupt db could lead to a (huge) buffer overread. Cherrypick of [c9a30e117f].

FossilOrigin-Name: daef5869f4d62ebb24eb03b79fe4be0812fa0496

Fix an fts5 problem causing 'optimize' to corrupt the fts index under some circumstances. Cherrypick of [251d6473f7].

FossilOrigin-Name: 5b1b7ab5d67f3d691e52ba57dbc14c52d90c6631

Better estimatedCost in the xBestIndex method of the generate_series vtab.

FossilOrigin-Name: f2c16094a536e7ef62444d0fe38cbee2a4999426

When using a temporary file for a statement journal, store the first 64KiB in memory. If the file grows larger than that, flush it to disk and free the memory. Hardcoding to 64KiB is just an experiment to check that the memjournal.c code works.

FossilOrigin-Name: 44b2dc18e200e87cf062cb8f1659727c53fa36e9

Fix minor problems with new code in memjournal.c.

FossilOrigin-Name: 9fd3f7b9c93325a83cdbe7dc9ee312b22a9c2898

Fix a problem in fts5 where a corrupt db could lead to a (huge) buffer overread.

FossilOrigin-Name: c9a30e117f2c6c9ef0cc0c6ca5227d2961715b8f

Fix an fts5 problem causing 'optimize' to corrupt the fts index under some circumstances.

FossilOrigin-Name: 251d6473f7c9ad95adbdcc49cb8eaf7c0956764b

Reduce the amount of heap required to store many schemas by storing each
column datatype appended to the column name, rather than as a separate
allocation.

FossilOrigin-Name: 842b21162713bb141b845b01c136457a31af4ab0

Very minor improvement to the performance and reduction in size to the
parser by capturing the name and datatype of table columns in a single
grammar rule reduction.

FossilOrigin-Name: 4b55c520f554163edc174e5995e66242f169cb04

Further simplifications to the grammar.

FossilOrigin-Name: 519fd03b845c9b53df9e5397282df2e99f36a672

Update the parser so that it pulls out the column name and type all in one
go, rather than using separate reductions.

FossilOrigin-Name: ad3ffe2eec8e8ea2591a78c723d2665735553cb0

Eliminate the need for the Column.zDflt (using Column.pDflt instead) to reduce
the amount of memory needed to hold the schema.

FossilOrigin-Name: d8c94a46dfa94930732c2de2aa79675c5087d36e

Extend the code in memjournal.c so that it subsumes the role of journal.c. And (untested) can flush journal or statement journal files to disk after they grow to a specified size.

FossilOrigin-Name: e0b0b4316531fc8afa74b4882d9c74a91030ec69

Tighter description of I/O stats in the shell.  Show I/O stats on speedtest1.c.

FossilOrigin-Name: f681d800340e0e710f73d0f7c09101f899249183

Enhance the ".stats" command in sqlite3.exe to show one-time stats information
if invoked with one argument.  Also show /proc/PID/io information if run on
Linux.

FossilOrigin-Name: 3c36948f16b58fe8042c37d0df634308b4e48217

Fix a requirement mark to conform to a typo fix in the documentation.

FossilOrigin-Name: d1392c627934b89cdb86d82e73d56e8f76952b30

Enhance documentation of sqlite3_snapshot_open() to explain that the database
connection must have participated in at least one read operation prior to
the beginning of the transaction for which the snapshot is to be opened.
Add test cases for this fact.

FossilOrigin-Name: 33dd671cb9c17f08dbc61aed91e80eaeb84bfaf5

Add 'Replace.exe' to the MSVC clean target.

FossilOrigin-Name: c2277fab12d2aecf9e0f69683741a194df17e854

Fix typo in ICU error message.

FossilOrigin-Name: 00c8fffd47cec763857389e1e91c026ba3179182

Make sure the Replace.cs file is included in the autoconf tarball.

FossilOrigin-Name: b850df483d4dfc677ec61b119d8c1162b6a823d6

Support generating the '.def' file using the autoconf Makefile for MSVC.

FossilOrigin-Name: 3617564cb630ed418badf43d2c0291c11c166d12

Fix a potential buffer overflow in the ICU upper() function.

FossilOrigin-Name: b8dc1b9f5d413000387bfe784b69f5d0ee5c0489

Further refinements to the MSVC batch build process.

FossilOrigin-Name: cf4e4fbdb6a29b7fbd5150958ab4f8f2a1cd7f21

Further refinements to the MSVC batch build process.

FossilOrigin-Name: 4e54e9c0fefe417f94a2d95921acf61b1dda5ca4

Fix the ICU extension LIKE function so that it does not read past the end of a buffer if it it passed malformed utf-8.

FossilOrigin-Name: 424b7aee3310b9782bd312589dc3d9f287aa04b8

Provide the new SQLITE_DBCONFIG_ENABLE_FTS3_TOKENIZER option to
sqlite3_db_config() that can be used to activate the two-argument version
of fts3_tokenizer() for a specific database connection at run-time.

FossilOrigin-Name: 374b5108087a2eae03676c0f3469b37a272145bf

Fix a typo in a comment (though an important comment in that it is used
to generate documentation).

FossilOrigin-Name: ff3d7f845e1875d6729f64f5231db1c376892f31

Ephemeral tables used to hold manifested views may not be unordered since
they might be subject to an ordered comparison if they are part of a join.

FossilOrigin-Name: 3ef6a3153267d5328202fea24fd29ff4d5409295

Remove a debuggin "exit" command mistakenly left in the "where.test" module.

FossilOrigin-Name: beda0b8c76c2c7328a44156257c978cf8f5df59b

Add some comments in the VSIX test tool.

FossilOrigin-Name: c871473ffee6dbb0f5b47f1c1329c84b902368ae

Add tool for smoke-testing the UWP VSIX package.

FossilOrigin-Name: d27f32c6d72182198ae6d6cf8e385be76335dc65

Enhance checking of prerequisites in the vsixtest tool.

FossilOrigin-Name: 799d5f09ed058898167e43bd9c8d1bf8c5df23ba

Fix an incorrect cost computation for sorting (introduced just a few
check-ins ago).  Should be NlogN, not NloglogN.

FossilOrigin-Name: 2459d3238853951bc3a507dd975e7ec921cf8446

Small optimization in FK handling.

FossilOrigin-Name: e0d25913b73a813f5987aa70b364b00f19351663

Change the srcck1.c utility program to use only unsigned characters.

FossilOrigin-Name: d64d005eb5df2e3eb1248fc8eff8b1b683e48c74

Change the "PRAGMA stats" command to report size values in LogEst units.
The eliminates the need for sqlite3LogEstToInt() unless non-standard
compile-time options are used, so leave it out except in those cases.

FossilOrigin-Name: 832c237fcbe83dd4f5a18a06acb0aeb7e2b9e712

Disable the RESTRICT foreign key action if "PRAGMA defer_foreign_keys" is set.

FossilOrigin-Name: 9ffff484bb4b67c29dda6180d7d766ad13988fe1

Query planner improvements:  Take the LIMIT into account when estimated the
cost of an ORDER BY.  Avoid automatic indexes on query loops that are expected
to run less than twice.

FossilOrigin-Name: bf46179d4484376909dce40ffcc06fecb19b3544

Improvement on the previous check-in:  disallow automatic indexes for any
loop that is expected to run less than twice.

FossilOrigin-Name: aab53a21894ba51d325fd8f8f4bb4163ece74391

Do not use an automatic index on an outer loop that only runs once.

FossilOrigin-Name: 5957e793414ff80ed01a7a67e70c3fd096a3f6e0

Take the LIMIT clause into account when estimating the cost of sorting.

FossilOrigin-Name: d491745cab951e0de70f1f79b7640ea8aff6e8bb

In the command-line shell:  When the ".import" command is creating a new
table using column names from the first row of CSV input, make sure
double-quotes in the name are properly escaped.

FossilOrigin-Name: 2e67a1c823c7003e7d2619c7d8b6db6ce046c527

Improve readability and logging of the vsixtest script.

FossilOrigin-Name: 4fe7c4e90b7adbb1630b4aa15709968a1fcc7d83

Enable all steps and add/update comments.

FossilOrigin-Name: 788f99f47f40be42f30d3f324983f39e84d8cfbb

More work.  Install and build steps are now tested.

FossilOrigin-Name: 0ab74373bd37d48d6afa7aecb67885afcd3a85b1

Fix typo.  Improve interim debugging.

FossilOrigin-Name: e0029bdf20df90abd8b81e5b08133866665b1c87

Test build all supported configurations and platforms during VSIX testing.

FossilOrigin-Name: cce40a0b8ee792482fb7031113eb190ad316d01a

Initial work on an automated VSIX testing tool.  Not working or tested yet.

FossilOrigin-Name: 496e4ac984b2548dd5f2f969cd34656b586cfcfe

Extend [3e9ed1ae] so that covering indexes on WITHOUT ROWID tables are also identified.

FossilOrigin-Name: e721975faa0925be4029330550ff2a9666041ff7

Change a char* to const char* in order to suppress some harmless
compiler warnings.

FossilOrigin-Name: 56f62e34ae9d5c7db07367f0007df258b2e76bd2

When an index complete covers a table, it can be used as a covering index
even if columns past the 63rd column are indexed and accessed.

FossilOrigin-Name: 3e9ed1aea43e8ce2eb74bb845ea2c05b5882e36e

Fix a problem with handling identifiers that start with "x" if SQLITE_OMIT_BLOB_LITERAL is defined.

FossilOrigin-Name: b65217c69c59cbe9cd1494e2eb42ecf22c336399

Identify indexes that complete cover their table.

FossilOrigin-Name: 71d488b599cbde817de369efac4412569a55b43d

Add the SQLITE_BITMASK_TYPE compile-time option.

FossilOrigin-Name: 0064a8c77b2b048c71277d1cfd1ba3975b513b70

Remove code not needed now that synchronous=OFF database files no longer
trigger the use of a master journal.

FossilOrigin-Name: aa9f4c622af191edbeb6a535942944f8c91f5c37