Experimental changes for faster in-memory DB operation for large databases.

FossilOrigin-Name: 4fe94b0f1841180dfd8cac33838e335dc6a428bf

Change the --enable-debug option on configure so that it enables the
".selecttrace" and ".wheretrace" commands in the command-line shell.

FossilOrigin-Name: 2331192b4ca6a169b6ac0daafb21ceb7c390de65

Disable the query flattener optimization for SELECT statements that are on
the RHS of vector IN operators.  This is a hack that fixes the bug
described in ticket [da7841375186386c]. A better solution that does not
disable the query flattener is needed, but this will server for the time
being.

FossilOrigin-Name: 005d5b870625d175fdf3c0e87d974006c569d9e1

Add a needed #include to speedtest1.c.

FossilOrigin-Name: 77aeb705c37b1bf61a05b5e4a09f5b5cd67d07bc

Change the OP_Last opcode so that it is a no-op if the cursor is already
pointing at the end of the b-tree.

FossilOrigin-Name: 663473850c4274270445b3771911fa773a8c405f

Make the VACUUM command about 9% faster by avoiding unnecessary calls
to sqlite3BtreeMovetoUnpacked() while copying rowid tables.

FossilOrigin-Name: 5ed0bd387699a0f3b477d4f3cfcb460a6a44cb84

Add 8794 new test cases received from the OSS-FUZZ project.

FossilOrigin-Name: 03f75a67c320f21192d721a8c34d49dea48ffdbb

Fix a potential use-after-free error during parsing of malformed
CREATE TABLE statement.

FossilOrigin-Name: c5dbc599b910c02a961675b12b273b8df6d29450

Enhance fuzzcheck.c to accept database-specific configuration parameters in
the option CONFIG table.  Add the fuzzdata5.db fuzz database containing
test cases from OSS-FUZZ.

FossilOrigin-Name: a71fad4538311ede111815d221d9eb8d9018092b

Fix the ossfuzz.c test module so that it does not segfault after a
"PRAGMA empty_result_callbacks=1;".  Add the ossshell.c program for
simple command-line testing of ossfuzz.c.

FossilOrigin-Name: 6f2d43eca68175ed28abae3afa792095af906af2

Avoid unnecessary calls to sqlite3ExprCacheAffinityChange() when generating
OP_MakeRecord opcodes that do not change any register affinities.

FossilOrigin-Name: e211c579b2f092e3283edd5fb9add7c5183bac35

Fix an fts5 problem causing a crash in phrase queries where the first token of
the phrase matches one or more rows but some other token within the phrase
matches zero.

FossilOrigin-Name: e78f6f3bbf4781850960fe6741f7cba480f2c27d

Fix harmless compiler warnings in test code for MSVC.

FossilOrigin-Name: 7b76be4117f4e57091b03fafcf42d17bce81160d

Avoid storing redundant fields in sorter records when the sort-key
and data have fields in common.

FossilOrigin-Name: b835cf3e507b910b6a3e0f802ce2c40a72d0c227

Enhance the OP_IdxInsert opcode so that it can used unpacked key values if
they are available.  Update the code generator to take advantage of this
new capability.  The speedtest1.c test is about 2.6% faster as a result.

FossilOrigin-Name: 925840cfdb969a76640a1247cc4a7b2c0de5cb74

Merge trunk with this branch.

FossilOrigin-Name: dd62d2de6eb12dc1902d6df050c395b1dcac01b4

Remove obselete and unused logic in the update code generator.
Fix the sqlite3BtreeMovetoUnpacked() routine so that it remembers the
rowid of the row that it landed on.

FossilOrigin-Name: 1a587d72f981cb7064cfd8916a52a83ad9ba6074

Reenable the SQLITE_EXPR_REF optimization for "SELECT DISTINCT ... ORDER BY"
queries.

FossilOrigin-Name: 6e2e9d383f5fc4a0cbf05fe83ec7425812c0f556

Merge enhancements and bug-fixes from trunk.

FossilOrigin-Name: 5515b827dc1805a3010018cd6abf222b03525d24

Fix a problem with switching from wal to rollback mode when
SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE is configured.

FossilOrigin-Name: 46e0016207b8e7df2ae6c7491fd0f3c2926eed21

Add the test/ossfuzz.c interface adaptor for OSS-FUZZ.  Make previsions for
testing the adaptor using fuzzcheck.c.

FossilOrigin-Name: 119d6ef8478ea6ab07dfd0e974d2f5a8dcfce87e

Handle some obscure "row value misused" cases that could cause segfaults or
assertion failures.

FossilOrigin-Name: fba5fddb1c40af75634b01c1f06d2610df697e01

Back out the "--raw" option on ".read" in the command-line shell.  Instead,
fix the command-line shell so that if EOF is reached without seeing a
final semicolon, it goes ahead and passes the accumulated SQL text to
SQLite.

FossilOrigin-Name: f98c8ac8c485098f163400d3a92d6afb4008adbe

Add extra tests for the xBestIndex() virtual table method.

FossilOrigin-Name: 642a8fba91d2bf61b494b845cb499714363209b1

In the command line shell, avoid using utf8_printf() in a couple places where it is superfluous.

FossilOrigin-Name: 6311a8bdb1f2e1813516a32d171aae030bd73fd3

Add the --raw option to the ".read" dot-command of the command-line shell,
to cause the named file to be read and sent directly into sqlite3_exec()
without any interpretation.

FossilOrigin-Name: 09233770b24d69a305556241a6beeb5e4d77c0d7

Take care not to try to generate code for the ATTACH and DETACH commands
if there were syntax errors during parsing.
Fix for ticket [2f1b168ab4d4844]

FossilOrigin-Name: b0ff183b8ffdbebece06cfea1c6781fc0e8e8547

Avoid a few unnecessary calls to sqlite3BtreeMovetoUnpacked().

FossilOrigin-Name: eac0e827a61cfec4dd9b6d407ff398e9fda3510b

Avoid storing redundant fields in sorter records when the sort-key and data have
fields in common (as in "SELECT a FROM t1 ORDER BY 1").

FossilOrigin-Name: 0af62fdbd8e2aab14718ff8bcb5934f05463c176

When doing a REPLACE on a WITHOUT ROWID table with no secondary indexes,
bypass the OP_NoConflict/OP_Delete sequence and directly overwrite any
preexisting row, for a performance increase.

FossilOrigin-Name: f7041cbb63b912f9ecad538804b6f2383efbec4e

Remove C++ style comments.  No code changes.

FossilOrigin-Name: 42f8aa6231bf4ed74bebdc85aa79d23dc20b3c14

Add the unpacked key fields to OP_IdxInsert for INSERT and UPDATE statements.

FossilOrigin-Name: 67602e40f122cbb6354048a64c5d3a72b2855ec7

Comment changes that attempt to better explain the behavior of the "seekResult"
field on VdbeCursor objects and the seekResult parameter to
sqlite3BtreeInsert() and the OPFLAG_USESEEKRESULT flag on insert opcodes.
No changes to code.

FossilOrigin-Name: 345b46be75bdf6f9fb7367a6164d89bae11995a6

Fix a simple comment typo.  No changes to code.

FossilOrigin-Name: 51d0aed8d63d0710e4aa8925ff18cf3c45dc9e42

Fix typo in the CSV extension.

FossilOrigin-Name: b4889588246c33374ff3758e21ccc4ce246380b6

Make use of the unpacked key on the OP_IdxInsert on sorters with a LIMIT.

FossilOrigin-Name: 42db7cd2c0b367f7dfe733bdaf006538937b812a

Fix a typo on the OP_IdxInsert documentation.  No code changes.

FossilOrigin-Name: e4acd98207bf12b28f6c0f77896ba8f0b0a155d5

Add a DISTINCT query to speedtest1.c.  Also change INSERT OR REPLACE into
just REPLACE.

FossilOrigin-Name: 754ee844958bdc3b96acfd1f5395da5796e54a82

Remove the "experimental" marking from the sqlite3_preupdate interfaces.
But be sure all the interface definitions are within
documentation.

FossilOrigin-Name: d6dd2ad35ed17e980ed564688499c802e5850386

Enhance the OP_IdxInsert opcode to optionally accept unpacked key material.

FossilOrigin-Name: 89d958abbac45f2ca5954080cd9e74ec9a07ebb2

Avoid superfluous cursor seeks in "INSERT OR REPLACE" statements.

FossilOrigin-Name: bec5b6d4d083556d111a89186b4f7b35b5e7cebf

Avoid generating OP_TableLock unnecessary instructions on btrees that
are not sharable.

FossilOrigin-Name: 8cb8516d2009d52d35a22263e4c892f162b34b81

Fix the speedtest1.c test program so that it gives closing "%" wildcards
on LIKE searches.

FossilOrigin-Name: c2f84f637f994c3b4522b48161185a4a2c5bca23

Tweaks to speedtest1.c to better reflect mobile usage based on findings in
the "Pocket Data" paper by Kennedy, Ajay, Challen, and Ziarek.

FossilOrigin-Name: b5733cae3c519482cf6bc642bd63814afb113d35

Fix OOM error reporting in the json1_group_object() SQL function.  Remove
an unreachable branch from the JSON1 logic.

FossilOrigin-Name: b54098491531cd26ed461275ef4aae3d3ec9065e

Replace some unreachable branches from the JSON1 extension with assert().

FossilOrigin-Name: 145cd13e3c5a42a717807bcc13c0f7212f38bff8

Fix the JSON1 extension so that the JSON validator correctly rejects malformed
backslash escapes within string literals.

FossilOrigin-Name: 7a63539169a384960e30a63e0c8e9b0f07fa431e

Avoid a crash that can occur after an obscure OOM in the built-in INSTR()
function.

FossilOrigin-Name: b86b79c442a58d10aa005ba4f34095375a88d242

Mark the ICU extension functions as deterministic.

FossilOrigin-Name: afbbb6c66a85ff3f4c8dce677e0892a2a51d2b8e

Add an assert() to silence a coverity false-positive.

FossilOrigin-Name: 97354093bceff28714a605068851cfa026c8272a

Fix a test case in vacuum5.test so that it works with the in-memory journal
permutation.

FossilOrigin-Name: 81c86401463df6be4ac21987b3b1703e38ab933b

Replace a couple more references to Tcl 8.5 in the Windows build tools.

FossilOrigin-Name: 1d0e43c549c36d0919a18d61285e94cad29e7a07

Fix a test case in vacuum5.test sot aht it works with
-DSQLITE_ENABLE_ATOMIC_WRITE.

FossilOrigin-Name: 3ca80010397676eca57c8a4c9b3a9c2c40629663

Fix a test case in vacuum5.test so that it works with -DSQLITE_TEMP_STORE=2.

FossilOrigin-Name: f5dd95e25c703a825ad7af9a4b3886bd3ef8c2e8

In the command-line shell, fix the .imposter command so that it works
with indexes on expressions.  Fix the ".mode quote" mode so that it works
with ".headers ON".

FossilOrigin-Name: ba9873da94d21873ff76f16a5332fc0092d83f70

Add the ".imposter" command to the command-line shell.

FossilOrigin-Name: be3ec8fdcf1541017ca9375df07645db2a9a3f5a

Fix an possible NULL pointer deference in the command-line shell that can
occur when using imposter mode.

FossilOrigin-Name: ad08753a8bbf073ec4af9c3a5783ed664244d954

Adjust the MSVC makefile to use Tcl8.6 by default.

FossilOrigin-Name: def8f598b8e33b5bab3a024cc57f4c5e300cd8cd

Fix an issue that was causing the new database image to be assembled entirely
in heap memory when VACUUMing a database, even if it should use a temp file.
This could cause SQLITE_NOMEM errors when vacuuming very large databases on
32-bit systems.

FossilOrigin-Name: 3028845329c9b7acdec2ec8b01d00d782347454c

Fix a requirement mark.  No changes to code.

FossilOrigin-Name: d18f61b78c8fafef742efbc890382537e8584180

Use NOT NULL partial indexes when the query is constrained by a single
LIKE or GLOB.

FossilOrigin-Name: 9b3a3b41b59a7ce7d3dd82c7402d6fdc6a5ca43c

Add the SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE sqlite3_dbconfig() option - for
disabling SQLite's default checkpoint-on-close behaviour.

FossilOrigin-Name: 6d142025c74f66f2d48155354b556cd5b2682cb2

Add the SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE sqlite3_dbconfig() option - for
disabling SQLite's default checkpoint-on-close behaviour.

FossilOrigin-Name: 093d2fc2288b75c15ccf877bfa0e622d3918a562

Remove the mutex from test_multiplex.c.

FossilOrigin-Name: 6374978e8f1ac091394a9f5a1896be92af658bcd

Make sure left-join markings are transferred to the virtual scalar
subexpressions when decomposing a vector comparison in the ON clause of
a LEFT JOIN.
Fix for ticket [fef4bb4bd9185ec8f].

FossilOrigin-Name: 619f5cc71774a37648e185c8502d7af14eb09b7f

Small size reduction and performance enhancement in whereScanInit().

FossilOrigin-Name: c23f5ef337533c1ec6e3ba78a2910352181cc9ee

Small size reduction and performance improvement in whereScanNext().

FossilOrigin-Name: d861ee17eb900a607de6ec3f4a5d5c24cfb834a0

If all branches of an OR optimize scan that is the rhs of a LEFT JOIN use the
same index, set the index cursor to return NULL values if there are no matches
for a row on the lhs.

FossilOrigin-Name: ec9dab8054c71d112c68f58a45821b38c2a45677

If all branches of an OR optimize scan that is the rhs of a LEFT JOIN use the
same index, set the index cursor to return NULL values if there are no matches
for a row on the lhs.

FossilOrigin-Name: e7b9bc678ecb75c594d9d3ade12a99a8d551cdc9

Merge the SQLITE_ENABLE_URI_00_ERROR compile-time option.

FossilOrigin-Name: 86675ae0abc78960a2faec55d115804acfc3be6d

Add extra tests to check the result of including a %00 escape in a URI
when ENABLE_URI_00_ERROR is defined.

FossilOrigin-Name: 1aaa06e37f44309c62335d8eda59ca6890d4be9d

Add compile time option SQLITE_ENABLE_URI_00_ERROR. If defined, any "%00"
escape found in a URI is treated as an error.

FossilOrigin-Name: e8a9bfece27e2af178a206ad6bce3f24d64e7ee4

Add test case to demonstrate a "BEGIN EXCLUSIVE" command returning
SQLITE_BUSY_SNAPSHOT.

FossilOrigin-Name: b115856408b6aa5538be67beb619d7aff0630bea

Performance optimization in moveToRoot(). Avoid repeated validity checking of
the root page on each call. Once is enough.

FossilOrigin-Name: 98795c2dd9a6d8fa8d49a9f5c36cdf824cae7246

In the sessions module, avoid recording a change if an UPDATE statement
overwrites a column with REAL affinity containing an integer value with
the same value.

FossilOrigin-Name: 5f3e602831ba2ecaf8ba5411efb387afcde05a33

In the sessions module, avoid recording a change if an UPDATE statement
overwrites a column with REAL affinity containing an integer value with the same value.

FossilOrigin-Name: b861328ab9ceec6926d97658c3606e6ae9ad39bf

Add ".mode quote" to the command-line shell.

FossilOrigin-Name: c4f5fa78cd8207ce1e46e32e632b8f6ee86047e1

Avoid using the "direct overflow read" optimization to read large blobs if the
pager layer has a wal file open - even if the database header indicates that
the db is not a wal database.

FossilOrigin-Name: b54c15f11796a75683eec4b502a22ccb87d621c6

If SQLITE_DIRECT_OVERFLOW_READ is defined at compile time, add "DIRECT_OVERFLOW_READ" to the list of symbols returned by "PRAGMA compile_options".

FossilOrigin-Name: b7d9727bff2e840af4b090872c991693e78e6076

Add test case to incrblob4.test. No changes to code.

FossilOrigin-Name: fd9c6ff05f2052810549a1a6a384f4b40f4ba4ac

Minor simplification of the comparison opcodes.

FossilOrigin-Name: 56474ebca3fdddb8f3c5156f06dc42dc0a65256c

Fix harmless uninitialized variable warnings in speedtest1.c.

FossilOrigin-Name: 2aa7a03b8632dbfd9741018b5b19c372dcfd3647

Add the --repeat option to speedtest1.c and speed-check.sh.

FossilOrigin-Name: 6ca0e06b21b0d5f7ae5bcb7839a11a45da0d2cea

Escape non-ASCII character from an ICU extension comment.

FossilOrigin-Name: 5ec02ecf3d20ce7e3f5249e9a3684f9b67a7d703

Corrections to a couple recently added 'filectrl.test' results.

FossilOrigin-Name: 3d89dc4544bc51f8c9fa63a6ecf0458f6d10fc9f

Changes to support interrupting a checkpoint using sqlite3_interrupt().

FossilOrigin-Name: c88d36e251abec24aa7e37cf550e148904b9fd2d

Small size reduction and performance increase in the string duplicator.

FossilOrigin-Name: cda998f080cb00779d8c0d1c83d8fe2b74462cd4

Add documentation for the OP_SorterInsert opcode, formerly omitted by mistake.
No changes to code.

FossilOrigin-Name: 16d88a907730e3773a1320dbaf1f82c2bc71d71f

Add test case to hook.test. No changes to non-test code.

FossilOrigin-Name: 2674d779f5453ea6b709a39618d4b8017ab2e3fb

Add the SQLITE_FCNTL_WIN32_GET_HANDLE file control.

FossilOrigin-Name: 16039be3739b8d3b34a1e6093eaebb09e07f984b

Bump the version number in anticipation of the next development cycle.

FossilOrigin-Name: aa6de9c40ba2d906772b9032fd5d798661f6d4cc

Version 3.15.0

FossilOrigin-Name: 707875582fcba352b4906a595ad89198d84711d8

Take care to avoid integer overflow when doing the initial page cache
allocation with an excessively large cache_size setting.

FossilOrigin-Name: 4d66ac98deaa85218be7ff0eb254f78b96d8e8d4

Avoid reading the -1-th element of an array in the query planner.  Fix to a
bug introduced by check-in [8e2b25f9b8a7] from earlier today.  Curiously,
the problem only appeared on 32-bit systems.

FossilOrigin-Name: 443913d582bcd953d85159047541592e2f68ade3

Add to sqlite3_analyzer command-line options --version and --tclsh, and also
the undocumented --debug option.

FossilOrigin-Name: e87d02d289a2016ea3ee074e914b07a8ac22b21f

New testcase() macros to ensure coverage of the ORDER BY LIMIT optimization
code in where.c.

FossilOrigin-Name: 61f0526978af667781c57bcc87510e4524efd0d8

Fix a problem affecting queries that match the pattern (... WHERE ipk IN (....) ORDER BY ? LIMIT ?). Fix for [96c1454c].

FossilOrigin-Name: 8e2b25f9b8a7ed087d3cece74239814bee19429e

Remove a stray line from session4.test causing a memory leak. No changes to SQLite code.

FossilOrigin-Name: 6624c4964b63e259d5ee006eaa7ec79ddadbd6a6

When handling ORDER BY expressions, do not assume all values of an indexed expressions are distinct. Fix for [4766f444].

FossilOrigin-Name: aebe429e52ffef026cb0803fb164339d61bd2e88

Make sure indexes on expressions skip over initial NULL values in the
index.  Fix for ticket [4baa464912129477f3c9]

FossilOrigin-Name: 71797ba431085f9ae381ed5ea6471967926f4043