Merge the KeyInfo cache mutex fix from trunk.

FossilOrigin-Name: f0940c73bd13cb49a3d229ce2517736324392cfb

Increase the default minimum PMA size for multi-threaded sorting from 10x
the page size to 250x the page size.  Provide the SQLITE_SORTER_PMASZ
compile-time option to change this default.

FossilOrigin-Name: b05340fe3cd5f1676a55023228dc8d1a92de5936

Fix harmless compiler warning.

FossilOrigin-Name: e97b7a8b4df784d148fefb9554da0f511e351d9f

Add extra tests to e_walckpt.test.

FossilOrigin-Name: d6832aa24c8d93b4532a651b86605bd0a0d0aa78

Add missing mutex calls around a call to sqlite3SchemaGet() within sqlite3_open().

FossilOrigin-Name: 45415899545767888d36dcc0bafaf0ef415d94c2

Add a missing mutex around calls to clear the KeyInfo cache when closing
a database connection.

FossilOrigin-Name: 7047ce32a234484b8ba15311e6560aa74ff692c9

Update this branch with latest trunk changes.

FossilOrigin-Name: 69a312ad3fe5b39bc394b9ce958cb63d734518c7

Update comments in sqlite3ota.h to remove the "must have PRIMARY KEY" restriction.

FossilOrigin-Name: 088a41eb8c18886a260cf53fa0cca3bd1958dc05

Extra tests for the ota_rowid column.

FossilOrigin-Name: 46069393b3141ab198f0fcc4f6c05229f06bf1e8

Allow the ota extension to write to tables with no PRIMARY KEY declaration.

FossilOrigin-Name: ba59a7e2ba97244492cbca9247456df0f3f19248

Avoid accessing a single uninitialized byte when moving a rare 3-byte cell from an internal page to a leaf. This was not actually causing a problem, just a valgrind warning.

FossilOrigin-Name: 6aeece19a235344be2537e66a3fe08b1febfb5a0

Fix a (harmless) uninitialized variable reference in b-tree balancing for
auto-vacuumed tables with overflow pages.

FossilOrigin-Name: dd1dd4451f468599f7a0c2f7b5ee6125db3bb152

Avoid a potential NULL pointer deference in the sqlite3_stmt_scanstatus()
logic.

FossilOrigin-Name: 42d44adc13d52b8dd571c9375eb48298123d5a60

Fix a buffer overread that might occur in analyze.c if SQLITE_ENABLE_STAT4 was defined.

FossilOrigin-Name: c1ae1268b9023a771fda98f26bf451c6066fe70b

Add new test file e_walckpt.test. Still some tests to come.

FossilOrigin-Name: e4db3db3a65ecfd4069a40d436aa7a5512d61a30

Merge the fix for the shared-cache KeyInfo cache bug from trunk.

FossilOrigin-Name: 5a73da6a3083926a3dafd28c0604122296dc9184

Make sure the WhereTerm objects are fully zeroed when they are allocated.

FossilOrigin-Name: fdb667335c2250239a66143aec4235325dec8274

The KeyInfo cache must be cleared before closing the btree, not after.
Revised fix for ticket [e4a18565a36884b00edf].

FossilOrigin-Name: 7ed3346e8c10dbf52fd44ab69900699d4f7ad3fd

When closing a (shared-cache) database connection, be sure to clear out
all KeyInfo objects cached on Index objects.
Fix for ticket [e4a18565a36884b00edf].

FossilOrigin-Name: adca7688de20ff40d8ddf2107dfaf92af3873b83

Improved comment on the sharedB.test test script.

FossilOrigin-Name: 71f589e3f82a07513425e212072f32748c0732d4

Test case demonstrating the problem described by
ticket [e4a18565a36884b00edf].

FossilOrigin-Name: ffea3e905adc108d2dc37f5d6da2024f0389f176

When closing a (shared-cache) database connection, be sure to clear out all
KeyInfo objects cached on Index objects.
Proposed fix for ticket [e4a18565a36884b00edf].

FossilOrigin-Name: 651ed97de13234be60a1138a98b06d308449a791

Import from trunk the fix the "test" target on the autoconf and MSVC makefiles
and some minor compiler warning fixes.

FossilOrigin-Name: c9f20eb2fbba0868df85ebb98877f9bb969be8a4

Fix compiler warnings.

FossilOrigin-Name: e9955c0e14d13ba1411f013acb4979958dae2516

Fix the autoconf and MSVC makefiles, which have been broken for nearly a
month.  :-(

FossilOrigin-Name: 520c2b838da8b230487c8c66f3ba8e5daa1ca886

Incorporate the SQLITE_CHECKPOINT_TRUNCATE enhancement and a couple of
obscure bug fixes from trunk.

FossilOrigin-Name: 34ffa3b3c002b0e87d8382ad76e87dbaec0b2bc6

Make sure that a DISTINCT query with an ORDER BY works correctly even if
it uses a descending index.  Fix for ticket [c5ea805691bfc4204b1cb9e].

FossilOrigin-Name: 0d3aef97ebddf422b8bdcbc5878970c6129e3f54

Performance enhancement for single-table queries with many OR-connected
WHERE clause terms and multiple indexes with the same left-most columns.

FossilOrigin-Name: 1461d543ac8a3e4a54405067893146c74576bb4e

If a table is the right operand of a LEFT JOIN, then any column of that
table can be NULL even if that column as a NOT NULL constraint.
Fix for ticket [6f2222d550f5b0ee7ed].

FossilOrigin-Name: 6f6fcbe4736b9468a495c684d5eebc8bfe5c566a

Clarification of the meaning of the second parameter to the busy-handler
callback.  No changes to code.

FossilOrigin-Name: 1e2bc484f8e7766a493bfeab04d82e50f37217b8

Fix comment typos reported on the mailing list.  No changes to code.

FossilOrigin-Name: 93a71c9f058b58d11187293a1e8d5324d0911880

Add an implementation mark and fix a comment describing the OP_Checkpoint
opcode.

FossilOrigin-Name: 7475b90c558157802b036162376fceacc1b9ab4a

Add evidence marks and assert()s used as evidence for checkpoint requirements.

FossilOrigin-Name: b2da8afc7657266fbe8e683c6e50fe18216cbcf3

Fix over-length comment lines in sqlite.h.in.  No changes to code.

FossilOrigin-Name: cbd357fd8c25c9c6043063710a3e2a89ff8b4575

Simplify the sqlite3_wal_checkpoint() documentation.  Add some source code
evidence marks.

FossilOrigin-Name: 026c44ff2c092b14faa19985dd46873aeb8727dc

Begin testing fts5 OOM and IO error handling.

FossilOrigin-Name: 2037dba62fdd995ad15b642abe499a790f5ffe5c

Futher tweaks to the sqlite3_wal_checkpoint_v2() documentation.

FossilOrigin-Name: 7d284d047b0677fb4532df5aae06f5bad997f5e9

Updates to the documentation for sqlite3_wal_checkpoint_v2() and related
interfaces, including adding many requirements marks.

FossilOrigin-Name: 1e212d9899387344fd62c7b6fbcc59ea885b6d7c

Add support for SQLITE_CHECKPOINT_TRUNCATE.

FossilOrigin-Name: edda2b9e7a15ed486de81b10dd9bacd39c571d3f

Add a configuration option to remap the "rank" column to an auxiliary fts5 function.

FossilOrigin-Name: b5f5971283b9b2f60c16f9675099855af95012cd

When attempting to restart a wal file, make any required calls to sqlite3_randomness() before waiting on or checking for wal file readers. This restores the behaviour exhibited by the trunk.

FossilOrigin-Name: 6ee08769f0ffbb3d620c66b89180ece7782dc820

Add the SQLITE_CHECKPOINT_TRUNCATE option.

FossilOrigin-Name: 8e20a43419e46b6b9d1f60ec7ea420bbfb3ef358

Merge all recent fixes and enhancements from trunk into sessions.

FossilOrigin-Name: 2617d93713d9f4cf907ab2e7baef6a0f74f7198e

Convert two unreachable branches into assert() statements.

FossilOrigin-Name: 61b31e771430f490fc2c4cef55046debc4a5f4f5

Work around overzealous NULL pointer checking in memcpy() and memset() for
some systems.

FossilOrigin-Name: 0d04f380e1bd17104b3cf76b64d0cfc79a726606

Add code to parse a rank() function specification. And a tcl interface to add auxiliary functions to fts5.

FossilOrigin-Name: 9c1697a2aa1f601e6eb11704abe63a73c8105447

Add a cookie mechanism to ensure that the %_config table is re-read as required.

FossilOrigin-Name: bb4a37b53de60da9ec8b9317eec14afa99690828

Remove the ill-designed "-end" option from the command-line shell.  Instead,
allow multiple SQL or dot-commands as command-line arguments.  Any -cmd
commands are processed first, followed by other command-line arguments, for
backwards compatibility.

FossilOrigin-Name: 24fa2e9832daaa5d68ee28a00c56c55f97a4da9e

Add the -end option to the command-line shell, which forces it to exit after
reading prior command-line options (presumably including one or more -cmd
options) and without reading standard input.

FossilOrigin-Name: b59397b1f1e32c478b5fa96659cd4300177d39f7

Add a %_config table to fts5.

FossilOrigin-Name: 83491c56661ca78f96020ba68184bb3fb19e674f

Update ota so that the hidden columns of virtual tables may be written.

FossilOrigin-Name: ccee999649d0fa1d48e53847542f4cbe05e3d694

Fix a buffer overread during compilation of CREATE VIRTUAL TABLE statements that featured an explicit database name but no virtual table arguments. For example, "CREATE VIRTUAL TABLE main.ft USING fts4".

FossilOrigin-Name: f095cde579e7417306e11b5c1d2dd90b6bb547d5

More test cases for the balancer.

FossilOrigin-Name: 358ea818f7ea5aa55bafaf4057e9fc7a5fd77c11

Fix a problem in the new b-tree balancer that was causing corruption of
the fragmentation count.

FossilOrigin-Name: f242394e079dd185aad90f2aee902a5edf27e150

Fix an integer overflow bug in vdbesort.c.

FossilOrigin-Name: 623827192532f08b68bc0eb9ed1449e173361f0c

Add the auxiliary highlight() function to fts5.

FossilOrigin-Name: 059092379f981eb919b500ce447006f9e645fc5a

Always reinitialized the Index.bUnordered and Index.noSkipscan flags before
rereading the sqlite_stat1 table, even if SQLITE_ENABLE_STAT4 is defined.

FossilOrigin-Name: 1e1221fc4823a6bb6fc5d2408732e27aca585de9

Fix an error in the comments from the previous check-in.

FossilOrigin-Name: 9660ce541837ccd8df415641a922274e093056aa

Deploy heuristics (well-commented) to better estimate how much unindexed terms
in the WHERE clause filter the number of output rows from a single table.

FossilOrigin-Name: 221659945c3f78d3b6789bfe8fdeb8d3ee1fa038

Remove a redundant test case (probably a copy/paste error).  Add an assert()
to where.c to ensure that automatic indexes do not have there output row
counts adjusted downward by supplementary constraints.

FossilOrigin-Name: eea47933493c85a85247ad383bd148b06f627d04

Add SQLITE_ENABLE_OTA pre-processor directives so that this branch may be compiled with or without OTA.

FossilOrigin-Name: 600cefdd4d29c1de4d107fa7ddeb76a18edce4f5

Merge latest trunk changes with this branch.

FossilOrigin-Name: 7ef44c5b5bd30bcc4ef59ed172b9ce9ac6a843f6

Changes to comments in sqlite3ota.h.

FossilOrigin-Name: 14139542b68fbf01632a1b149cd6fca4bb01efa6

Add support for updating virtual tables via ota.

FossilOrigin-Name: 4dfcfe543945aa60a7ac397a3bdb0ac9e20ef7b6

Fix a typo in a requirements mark on the abs() SQL function.

FossilOrigin-Name: b1e6c02f8b9a2afaa12ac15a33e3f698c3be27d6

Fix a benign test error on PRAGMA collation_list
introduced by a recent checkin.

FossilOrigin-Name: 332cc9591d05508ac9cb56fde2b82e20e0342d1f

Updates to requirements tags on the mutex documentation.

FossilOrigin-Name: fcf8b7e4c6c3893e2004a28dc9f0f677907b4ba9

Add requirements marks on the built-in collating functions.

FossilOrigin-Name: 4b608b62ac8d4eafdb76192b3b5db272332a4bfd

Add the "ota_delta()" feature for delta-compressed updates.

FossilOrigin-Name: c64dcd1788f5cc7db197a0ec4ab0981f34a72c6b

Update the ota extension so that it can be used to update tables with external PRIMARY KEY indexes.

FossilOrigin-Name: 55066a1171cbd3077f5e6c8ceb2745e810d9476e

Ensure that when the number of cells on a page drops to zero that the freelist
and fragment counter are both cleared.  Also add evidence marks corresponding
to file-format documentation.

FossilOrigin-Name: ef9fbc08b0a047042deeb2d6007d67028fefb9e2

Updates to support zipvfs in pass-through mode.

FossilOrigin-Name: 556c3de53ad33d11d33ec794345c2100aa76f3e1

Fix the encoding of some integers to use the minimum amount of space:
-128, -32768, -8388608, -217483648, and -140737488355328.

FossilOrigin-Name: 2d7c8da5f16e64eaa7b0c2d66898682ea3d102a0

Add some requirements marks to the record formatting logic.  Comment changes
only - the code is unaltered.

FossilOrigin-Name: 9a9627e178a67bbfc85366aaea900e674d22fb53

Add new requirements marks associated with the file format documentation.
No changes to code.

FossilOrigin-Name: 6d00bcca6ed1903fb17275752cab71c14392355b

Completely remove an assert() that had previously been commented out.

FossilOrigin-Name: 89b3c1c4555c98c633089b21cdd2a1a3a1e751eb

Add an ALWAYS on an always-true branch in wal.c.
Fix the ANALYZE command so that it resets the "unordered" and "noskipscan"
flags on indices when reloading the sqlite_stat1 table.

FossilOrigin-Name: 9ed97a85feee6593faefa2b54cc4cf9a60f515f9

Adding the "noskipscan" token to an sqlite_stat1.stat field prevents
an index for being used with the skip-scan algorithm.

FossilOrigin-Name: 4461bf045d8eecf98478035efcdba3f41c709bc5

Allow an automatic index to be used if the only uses of declared indexes for
the same loop use the skip-scan algorithm.

FossilOrigin-Name: c52f7971e90cac1058d6b66c9e334cbc8607def3

Merge recent trunk enhancements, including the read-after-ROLLBACK change
and the addition of sqlite3_stmt_scanstatus() support, as well as various
minor bug fixes.

FossilOrigin-Name: f09055f3c4348264c7336f90646375f0d98b061e

Merge in all the other ROLLBACK fixes from the branch-3.8.7 branch.
I don't know why I was doing them one-by-one.

FossilOrigin-Name: 296b0c7397790ceadbdb330959e962f6491abc3e

Fix a bug in the sqlite3TripAllCursors() routine that prevents it from
reporting errors.  It is unknown at this time whether or not this omission can
result in any incorrect result in an actual query.

FossilOrigin-Name: 2896f2640ab3e102ee248d20fb68c497817524eb

Update a couple of test cases to account for the fact that ROLLBACK does not always abort all running SELECT statements.

FossilOrigin-Name: abccda769a3f6b755c3bf70b5fb31a5e16718ef3

Increment the version number to 3.8.7.2

FossilOrigin-Name: 945a9e687fdfee5f7103d85d131024e85d594ac3

Add an ALWAYS() to an always-true conditional in the WAL rollback logic.

FossilOrigin-Name: c5eae8a60d474131fbfa4d0c2b459005267e8be4

Remove code from sqlite3BtreeKeySize() made unreachable by the previous
check-in.

FossilOrigin-Name: 57c4aa988c8eda3cc513c1e5df5804d88bee99a0

Avoid calling sqlite3BtreeKeysize() on a b-tree cursor in SKIPNEXT or SKIPPREV state.

FossilOrigin-Name: 2f2ecb994889acb783616acb7307f8fed962d213

Avoid calling sqlite3BtreeKeysize() on a b-tree cursor in SKIPNEXT or SKIPPREV state.

FossilOrigin-Name: 54e7d3fcb1ab21c03ffef1af93ae029a2901098a

Improved comments on the BtCursor.skipNext field.  No changes to code.

FossilOrigin-Name: e956e7db057d1112badf5e0671cea95201385b44

Add tests for WITHOUT ROWID tables with composite primary keys.

FossilOrigin-Name: 712d413d29950b19d4afb18cfcf9d3afb302d0a0

Changes so that sqlite3_ckpt_open() works with zipvfs databases.

FossilOrigin-Name: acbed3380d8a35bf2f1ec133540cb5e9fccb9b42

When a SELECT statement is terminated by a ROLLBACK TO operation, make the
error message be "abort due to ROLLBACK" rather than
"callback requested query abort".

FossilOrigin-Name: 34fc4a082c192830e48f643549c04a4f91912b8b

Fix a bug in the sqlite3TripAllCursors() routine that prevents it from
reporting errors.  It is unknown at this time whether or not this omission can
result in any incorrect result in an actual query.

FossilOrigin-Name: 42588207ff5451cb785c394633e1ab631fb82f01

Update a couple of test cases to account for the fact that ROLLBACK does not always abort all running SELECT statements.

FossilOrigin-Name: eba171e980fa4491dfee9d7e4df50c87a0ebbf87

Fix a problem with the parameters to an OP_Affinity in one of the VM programs generated by sqlite3_index_writer() that was causing an OOB read.

FossilOrigin-Name: 447b33b34a9836992f5a8d50cd8647a10435c144

Fix the customization interfaces so that they match the documentation.

FossilOrigin-Name: fba0b5fc7eead07a4853e78e02d788e7c714f6cd

Adding the "noskipscan" token to an sqlite_stat1.stat field prevents an
index for being used with the skip-scan algorithm.

FossilOrigin-Name: 00fe09505792cd0d104b2da9d040f023e30fa871

Consider using an automatic-index for a scan even if there exists a possible skip-scan that uses one or more "=" operators.

FossilOrigin-Name: 93642a65ef3d53ece322ffd85233b68fc9a86c9d

Do not automatically remove the DISTINCT keyword from "a IN (SELECT DISTINCT ...)" expressions. Fix for [db87229497].

FossilOrigin-Name: 98457a57d642b35917eb9ad8f70065e273aad206

Do not automatically remove the DISTINCT keyword from "a IN (SELECT DISTINCT ...)" expressions. Fix for [db87229497].

FossilOrigin-Name: 55e453aadbb676dda07f0fa537d39ce184ef636c