Fix a problem detecting invalid values in the rbu_control column of an rbu database table.

FossilOrigin-Name: a1132dd9027d1c6dd845be307eeb38e535393f2c

Update the sqldiff tool so that it generates an rbu_count table.

FossilOrigin-Name: 1f7afb6e9be9f549a91bf2ab492df15698df89fd

Merge latest trunk changes, including fixes to test script rbudiff.test, into this branch.

FossilOrigin-Name: 734fc68fb12f06e97026d4637138b82b37809f5b

Fix another problem in test script rbudiff.test.

FossilOrigin-Name: 41c29c123ff347db720ed1a541c0b2ffc04670aa

Fix test scripts sqldiff.test and rbudiff.test so that they work with the --testdir option.

FossilOrigin-Name: 1ffe3cde03f924bb8405a8729c8e1bc01f5b6d3b

Fix a register allocation bug in the VDBE code generator for
PRAGMA integrity_check;

FossilOrigin-Name: 88439a866b3b16ad7c308ebe59198662a05e7eeb

Add further tests for sqlite3rbu_bp_progress(). Fix a problem in handling WITHOUT ROWID tables in the same.

FossilOrigin-Name: 65e02368e2b6cec349ea71af5a456d6783b0d15e

Change the name of the new API on this branch to "sqlite3_bp_progress". Add tests and documentation for the same.

FossilOrigin-Name: 1a1b69e87eb7d18f76f5b733e44da75136a686b6

Add tests for the changes on this branch. Fix a problem with calls to the new progress indicator API made after an rbu update has been resumed.

FossilOrigin-Name: bf82321724d3b0feb51e26d9b76090e03cc3964a

Fix FTS5 so that it works with SQLITE_OMIT_AUTORESET.

FossilOrigin-Name: b199637d81d7e2a767131ac03c7679b101fd459c

Fix more test-case errors in the Apple configuration.

FossilOrigin-Name: 6631e1e655604a7d1fb45b4d151938d4a13b47f3

Fix some test cases so that they work under the Apple configuration.

FossilOrigin-Name: 399c60764d3fdec49dab1745c30930ca1dbafe70

Fix harmless compiler warnings that arise with -DSQLITE_OMIT_LOAD_EXTENSION

FossilOrigin-Name: 65ba2f0b465a1493de6e467f55e0300ac3fb08e1

Changes to releasetest.tcl:  Rename the "OS-X" configuration to "Apple".
Bring the "Apple" configuration up to date.  Allow the use of "if:os=..."
arguments in a configuration.  Run the Apple configuration on Linux in addition
to on Macs, but without -DSQLITE_ENABLE_LOCKING_STYLE.

FossilOrigin-Name: beb2a80b430e0ad561a58d8f00b80cbdc74b5e03

Add an API to indicate the percentage progress of an rbu update.

FossilOrigin-Name: ffc58d2c2576a5b6e1c2c7112612c5760e711afd

A more compact implementation of the code generator for the
IS and IS NOT operators.

FossilOrigin-Name: 8607e3ac7a9d44372a4a66da21bbb3d28ae2528a

The prepared statements for some pragmas can now be reused without invoking
an automatic reprepare.

FossilOrigin-Name: 97b0e88cc7c3d677217d0bfab4cb4a34a4abb238

Some pragmas can be reused without an automatic reprepare.

FossilOrigin-Name: db1ce7e13e656fcd2766f1b1f225cbfefe8f73ad

Fix a comment on the freelist_count and data_version pragmas.

FossilOrigin-Name: 10a3e2a01db9f80452a2a3369fd25b6fd9798274

Add a cast to an implict (size_t -> int) conversion in fts5_expr.c.

FossilOrigin-Name: d9b5ff7aba3a8f6ca4505eac308fa9d510254c3e

Enhance Lemon so that it reorders the reduce rules such that rules without
actions occur at the end and so that the first rule is number 0.  This
reduces the size of the jump table on the reduce switch, and helps the parser
to run faster.

FossilOrigin-Name: d5712f21ec758ff096a7b1bb8ed4fc5ec400ca5d

Avoid a few unnecessary fstat()s on journal files.

FossilOrigin-Name: dbf84705913c0845ca4e75eb30c91536c754efeb

Fix the query planner so that it is able to use the integer primary key
from an index as part of a multi-column constraint.

FossilOrigin-Name: 96ea9909429f0b3b4a67002e8340ae3f7dc0b73f

Add the SQLITE_OMIT_CODEC_FROM_TCL compile-time option.

FossilOrigin-Name: 45f7f0c80bd91a0c7ff859c27fd9e82e551bd83e

Rearrange some internal fields in the sqlite3_stmt object to avoid a harmless
TSAN warning.

FossilOrigin-Name: e0b116edd64a55c971c368685aa343cb6beed0f1

Change the OP_IntegrityCk opcode to accept the list of root pages as an
intarray argument in P4.  Slightly smaller and faster.

FossilOrigin-Name: 15e4a272df46cbad8e71b21551dc06a126d64d46

In the Win32 VFS, use SQLITE_FCNTL_LAST_ERRNO instead of (the older) SQLITE_LAST_ERRNO.

FossilOrigin-Name: 9463762c437488970a87093ef13131c39b2adadc

Implement FROM-clause subqueries as co-routines whenever they are guaranteed
to be the outer-most loop of the join.

FossilOrigin-Name: c7bae50bdccb5bcf3bc22e8ac5bb6725ef13db39

More test-case changes so that everything works when the reserved_bytes
value in the header is non-zero.

FossilOrigin-Name: 2fd095b14b03a508169bba710d2e8e2addf4b8f5

Fix the shellN.test test scripts so that they work with the --testdir option.

FossilOrigin-Name: 051c61ebae921b70f843c55aacf046a9922cc187

Fix the permutations.test script so that it works again.

FossilOrigin-Name: 9f194f90c07d5415b1d6bb10ec049f74999d6885

Update test scripts so that they work with SEE.

FossilOrigin-Name: f4693ba4bbd9738b45012cf507fc0d7b6d04b7ee

Changing page size using VACUUM or backup is not allowed with a codec attached.

FossilOrigin-Name: 92be06c1a828d56652fa5269a3029f8cb029b2cd

Merge test script fixes from trunk.

FossilOrigin-Name: ea1d2cddd59192251ee5fd912b190cded4959879

Many more test cases fixed.  Only a few remain.

FossilOrigin-Name: 99b9d7eef68fd6d5c9eecb5fbe3dfe002c1ca4a8

Many test cases fixed to work with encryption.

FossilOrigin-Name: d866fffb8b1af5003a8730ce7029d1edddb24d46

Test script changes to support testing the SQLite Encryption Extension.

FossilOrigin-Name: 1c70aa5c014fc48ab06215992a61c6f92490abe4

Fix the backcompat.test script so that it works with the --testdir test option.

FossilOrigin-Name: f7480e33eb82f2eae219d17ce46cd2d4edac07d2

Run TCL tests in the "testdir" subdirectory.

FossilOrigin-Name: 90e0cc7b0be31ee2f155c2c053b0cbac584f6154

More file pathname normalization.

FossilOrigin-Name: fa8c12921f8361f1889724bb7c5f7eca9c48b075

Normalize the $testdir and $argv0 paths so that they continue to work
in the testing subdirectory.

FossilOrigin-Name: 19225b8130f1640772fc54250583b571a89063b6

Run TCL tests in a subdirectory "testdir".

FossilOrigin-Name: f632bba0d6ad3edc60f4127380ce8320378dac42

Fix a memory leak in fts5 that could occur following a syntax error in a query expression.

FossilOrigin-Name: 54b8968e335760105206b894672213c1d56771a4

Fix a problem handling 'NEAR("" token)' in fts5 found by fuzzing.

FossilOrigin-Name: 10a827ae5f3f322af836c15e581fdc958a433a5a

Fix handling of strings that contain zero tokens in fts5. And other problems found by fuzzing.

FossilOrigin-Name: 72b3ff0f0df83e62adda6584b4281cf086d45e45

Do not allow the use of WAL mode with nolock=1 because it does not work.

FossilOrigin-Name: 74f5d3b07f6e5e977858c73957c6f9337ae3ca3e

Tweak the amalgamation autoconf files so that the --disable-static-shell option works again.

FossilOrigin-Name: 83efcdebfa255cd0663ecc6b74eb99183e2f3a10

Update spellfix1_scriptcode() to output 215 (latin) for pure numeric text.

FossilOrigin-Name: df44308b862e932ff0ad25b6328d13be22047b96

Check for PDB files prior to attempting to copy them in the MSVC batch build tool.

FossilOrigin-Name: d7c20f04e69fb1848b2e2f3b04fbd56e06c7c854

Add tests to cover untested branches in recent fts5 changes.

FossilOrigin-Name: fa0033edf6ddf3c6631fa95b343225dbc8ac9429

Use #ifdefs to remove code that is unreachable in some configurations, replacing
it with an assert().

FossilOrigin-Name: f96ec84d605fd73c323344a753acf35b76307af9

Remove an unused local variable.

FossilOrigin-Name: 3c343c3d012367942037e64a9855b825cb459844

Add an incremental optimize capability to fts5. Make the 'merge' command independent of the 'automerge' settings.

FossilOrigin-Name: 556671444c03e3afca072d0f5e9bea2657de6fd3

Fix a problem in fts3/4 that was causing it to discard data cached in-memory if an 'optimize' command is run when there is no data on disk. The usual way this would happen is if the very first transaction that writes to the fts3/4 table also includes an 'optimize' command.

FossilOrigin-Name: 79338b991bf01e81d336790ca87a0fa747da4ff3

Slight simplification to the query optimizer logic associated with IN (SELECT).

FossilOrigin-Name: 2c55c3c2950cafdc256ab540f60dc4609b9c354b

Add another test case for bug [5e3c8867].

FossilOrigin-Name: d91e57e49f23414ec9211b775eb11cd6230a4f96

When optimizing expressions of the form "x IN (SELECT ...)" make sure that
the subquery is not correlated.  Fix for ticket [5e3c886796e5512].

FossilOrigin-Name: 1ed6b06ea3c432f920fb2b66b6042be906c5d21c

Automatically disable SQLITE_ENABLE_EXPLAIN_COMMENTS if SQLITE_OMIT_EXPLAIN
is defined.

FossilOrigin-Name: 8d4b6b2b519a80f831d64345ac26db825b0e2ebe

In the query planner, make sure OOM errors are reported up into
whereLoopAddVirtual() so that it shuts down appropriately.

FossilOrigin-Name: a13c59d08bcbc6f26ce6ac761a892eff8f035201

Disable the bestindex*.test modules when building without virtual table support.

FossilOrigin-Name: e0bac2f3eed900d3a26de339fb7d5963f9b47724

Simplifications to the memjournal.c logic to facilitate testing.

FossilOrigin-Name: 8baa2c2c7698e03418531482a8314a5d7ae2c7d3

Move the write failure test in memjrnlCreateFile() to just after the
actual write, thus reducing the number of instances of the test by one.

FossilOrigin-Name: 7f00d80c63b15376391f661d872f2b29a970702d

Update a comment in btree.c to account for WITHOUT ROWID tables.  No code
changes.

FossilOrigin-Name: fa20dcb03b92be3bb32f8e3d6f88681ace3f6c84

Change a branch made obsolete by recent parser enhancements into an assert().

FossilOrigin-Name: ee486ef742557244f532e8d3b3604ff04e024b8a

Add an #ifdef and an ALWAYS() for coverage.

FossilOrigin-Name: 069337a922867ad0d023f5bf36e13ea46e047000

Change an unreachable branch in the virtual table query planner into
an assert().

FossilOrigin-Name: 73b97b9ec3c39ab2828ae6353b5d7e04a27996c9

Improved comments on virtual table query planning.  Added many new
WHERETRACE() macros.

FossilOrigin-Name: 4c89c2534abcf67bc486d5a900a84a6c4f59537e

In memjournal.c, reuse the same sqlite3_file object for both the in-memory
phase and the on-disk phase.

FossilOrigin-Name: e7fbbdc25c0991d4e58d78a5fcb7386e1aa7f3af

Modify the memjournal.c code to make it a bit smaller.

FossilOrigin-Name: d99ac4154812065eef26c298de52954d7ee0bd75

Drop support for SQLITE_EXTRA_DURABLE.  The new SQLITE_DEFAULT_SYNCHRONOUS
compile-time option is a more general replacement.

FossilOrigin-Name: f6d3156ba9af1da517dd77c1df03fa7869888463

Remove an unused goto label in the RBU extension.

FossilOrigin-Name: 2179a106e8dd7943d4f37093e65ce7826720904e

Add a new row type to RBU (a peer of insert, update and delete) - "delete then insert".

FossilOrigin-Name: 1d9468d2427d2c9b7240b364554ac85a0b62fa44

Add the SQLITE_DEFAULT_SYNCHRONOUS and SQLITE_DEFAULT_WAL_SYNCHRONOUS
compile-time options.  Automatically switch to the WAL_SYNCHRONOUS setting
when first opening a WAL-mode database if the synchronous setting has not
been previously set by the application.

FossilOrigin-Name: 5a847a676e756bbe33436596d4279f339bfb247c

Update fts3/4 so that the 'merge=X,Y' command merges at least, instead of exactly, Y segments from a single level. This matches the documentation. 'merge=X,0' is, as it was in 3.11, an error.

FossilOrigin-Name: 64b3cb29159491cbfab7e01844b54408541ece5e

Make the SQLITE_DEFAULT_SYNCHRONOUS and SQLITE_DEFAULT_WAL_SYNCHRONOUS
values zero-based to agree with PRAGMA synchronous.

FossilOrigin-Name: 592d2104361500e5002783ba329a2609389c57b9

If SQLITE_DEFAULT_WAL_SYNCHRONOUS is not the same value as
SQLITE_DEFAULT_SYNCHRONOUS and the application has not run
"PRAGMA synchronous", then set synchronous to the
SQLITE_DEFAULT_WAL_SYNCHRONOUS setting when entering WAL mode for
the first time.

FossilOrigin-Name: 5791407b523abd24e832fc2361b3e9f01ee2f36a

Add compile-time options SQLITE_DEFAULT_SYNCHRONOUS and
SQLITE_DEFAULT_WAL_SYNCHRONOUS used to specify the default synchronous
settings for all database connections.

FossilOrigin-Name: 1fefa967aa93372d232b96b1e0232b7b855d6d00

Fix ATTACH to use the symbolic name PAGER_SYNCHRONOUS_FULL rather than
an integer literal.

FossilOrigin-Name: c4e192a0e5a408e198dbacb2752859a00d2b572f

Fix comments on pager flag settings to include synchronous=EXTRA.

FossilOrigin-Name: 3a65a1fc0fd2408c6984153801ec5dcd5211c897

Simplified error detection in the xBestIndex processing.

FossilOrigin-Name: 82ca2131b670505578628687746135ac413d156b

Add the ALLBITS macro as a shorthand for "(Bitmask)(-1)".

FossilOrigin-Name: 91bd619d27e4d91510a187bbb88de961a31c8a2e

Add a NEVER() to the code generator.  Change the parameter name "mExtra"
to "mPrereq" in the query planner, to more closely reflect its meaning.

FossilOrigin-Name: 721ae51e443647291f3a8f7f2128aa410fee2682

Changes so that some assert()s in the virtual table query planner are
correct even following an OOM error.

FossilOrigin-Name: 9805f6f85211dcb5a0ab3ceca204e6f2e48530ea

Update fts3/4 so that the 'merge=X,0' command merges X pages from all segments of the first level in the fts index that contains 2 or more segments.

FossilOrigin-Name: cddf69dbc46f10ee7e87538dd850e086386b544c

Avoid a NULL pointer dereference following an OOM while generating code
for IN operators on virtual tables.

FossilOrigin-Name: c924008692e35f1f5144830af08d6de051dd21dd

Add a new row type to RBU (a peer of insert, update and delete) - "delete then insert".

FossilOrigin-Name: 169311c85b30f625bdb6986c9cd11db70942d73b

Add the SQLITE_CONFIG_STMTJRNL_SPILL option for sqlite3_config().

FossilOrigin-Name: b6c4202432dc96f8f1740f52d0bf872116357fcc

Fix a problem in the previous commit affecting queries with three or more tables joined together to the right of a LEFT or CROSS JOIN operator.

FossilOrigin-Name: d8d89d69a490a708b83147945f74134ae0e4b387

Change the way SQLite invokes the xBestIndex method of virtual tables so that N-way joins involving virtual tables work as expected.

FossilOrigin-Name: 195444380bafd3d95d37ad83047c75ca20978de4

Adjust the cost estimates for RTREE such that the expected number of rows and
expected cost is halved for each additional constraint.

FossilOrigin-Name: fd7cd0609381a85673d1f737ebeb19dde3de180f

Change the way SQLite invokes the xBestIndex method of virtual tables so that N-way joins involving virtual tables work as expected.

FossilOrigin-Name: ffc65968ede2c402e616147e6e3d737e6f9de21d

Remove the unused journal.c source file (its function have been subsumed into
memjournal.c).  Refactor some of the names in memjournal.c.  No functional
changes.

FossilOrigin-Name: 5f2a262d3f6b1531001326faf1d3b3d92c20a30a

Work around (incorrect) ASAN warnings in memjournal.c.

FossilOrigin-Name: 4de09777dad6188b7e897473700af3c9655e8547

Fix an integer size mismatch problem in test_bestindex.c

FossilOrigin-Name: 2e35eb6b7464455467c868adfbcaad4da16d3207

Fix an incorrect #ifdef on sqlite3LogEstToInt().

FossilOrigin-Name: dca7b23354a6b08c926b6ed3f7345d942a409862

Fix an assert() in sqlite3VarintLen(), even though it is impossible to hit
in SQLite due to the way sqlite3VarintLen() is used.

FossilOrigin-Name: 251424c5869f43012fc1e1a545de362036b883db

Defer opening and writing statement journals until the size reaches a
threshold (currently 64KiB).

FossilOrigin-Name: cb9302cca423de41305719a49208daa392ec09da

Update test cases to taken deferred statement-journal opening into account.

FossilOrigin-Name: 5b2fe5219ab9ad15969e3374894a75979b65cb3c

Merge changes from trunk.

FossilOrigin-Name: a87305dfd49ee17632d0bce66ce7c2e9407b7b3e

Change the default cache_size to -2000 (which means 2000*1024 bytes
independent of page_size).

FossilOrigin-Name: 2682e8e413fadbca0673f242769af17bfd291559