Merge the latest trunk changes into tree-explain branch.

FossilOrigin-Name: 1a360da0f8314f232c224c71829646bc7558892b

Always use _msize() to get memory allocation sizes on windows, without having
to do anything special in the makefile.

FossilOrigin-Name: 256e27bd118ed3ab6ecb19ad6a6494b71ac9bdd5

Change the VDBE so that all registers are initialized to "Invalid" instead of
NULL and report errors on any attempted read of an Invalid register.  This
will help prevent future bugs similar to [7bbfb7d442].

FossilOrigin-Name: 0064bab77149768640d7758a3e271d5a1d63b256

Remove an unnecessary condition.

FossilOrigin-Name: d9ba023c608bce7768bc08478f9df9243f2e73ce

Remove an unnecessary initialization of Vdbe.aOnceFlag.

FossilOrigin-Name: 421714dad32f3460fa40a7f65e9fa276f5e37f58

Take out the OP_JumpOnce opcode.  Revert compound SELECT to use OP_IfNot,
which is the correct behavior.  Mark trigger registers as initially
invalid.

FossilOrigin-Name: 6a9fb47d5060fe641915f5f99cc9265409a4583b

Previous check-in broke auto-increment.  This check-in appears to fix it.

FossilOrigin-Name: 28ffd39c7162c8f7139711545122cffa257911dd

Make no assumptions about the initial state of VDBE registers.

FossilOrigin-Name: 521d72bdf67b4b1972331307345a18c231a6e1d6

Modify the OP_Once opcode so that it works correctly in trigger sub-programs. This is a candidate fix for [7bbfb7d442].

FossilOrigin-Name: 557c69055a300b4082830b5f4803091dca1c3140

The Windows OS flavor #ifdefs must be performed after the 'windows.h' file has been included.

FossilOrigin-Name: 3702a31e56fe02d14ce246109b318a124cad9f1a

Hand merge the zone allocator for MacOS from the apple-osx branch.

FossilOrigin-Name: 0d955c20c02da29582b5cd8df2b7124fb9d12ebb

In persistent WAL mode, truncate the WAL file to the size specified by the
journal_size_limit pragma when disconnecting from the WAL.

FossilOrigin-Name: 9687b305c2320109a8649612181eecd2e0da7c7b

Follow the previously established pattern for detecting preprocessor defines for specific flavors of Windows (for NT in this case).

FossilOrigin-Name: a0d92193dd5ae97608748f354aa17eb188431546

Additional detail added to the tree-explain output for SELECT statements.

FossilOrigin-Name: 7b457ea4551ba411a4747d74fb78b795cc8d9ee6

More compact notation for the parse-tree view.

FossilOrigin-Name: 0eb3f8b1e3a196811fb54a5e2645debe6119610a

Cherrypick the [7e5b56b1c6] fix for the sqlite3SelectDup() routine
into trunk.

FossilOrigin-Name: 7fc535090ca3416706dff4abce10ac2d7f775e02

Bug fix in sqlite3SelectDup().  Make sure the pNext pointer is valid.

FossilOrigin-Name: 7e5b56b1c602d4adfd4496a9c877f3b685b2d360

Improvements to the data-structure explain subsystem.  Most queries now
give a reasonably detailed graph of their parse tree.

FossilOrigin-Name: 0aa7d3d2346bdddcc4e1e25ee26d13c8594885e5

Begin adding the data-structure explaining subsystem.  All is contained within

FossilOrigin-Name: 79ae51c5b1b20ed0a425a87e65a32a096a80b7e1

Add file tkt-3a77c9714e.test, containing tests to verify that the problem documented by ticket [3a77c9714e] has been fixed.

FossilOrigin-Name: 162421dadf93e9201c3290d800c597cbeeacdb40

Do not reuse temp registers originally allocated to a subroutine within
the main body of the program logic, since if the subroutine is called
while the reused temp registers are in use, their values will get clobbered.
Candidate fix for ticket [3a77c9714e63330]

FossilOrigin-Name: 092d53315e50be42b51ef7b3069c82c32a129b6a

Merge the winGetLastError fixes into trunk.

FossilOrigin-Name: 5b03ba9db0d23a8597b45e00ad5892c8065ce1cd

Remove unused fields from the Parse object.  Documentation and formatting
improvements on data structure definitions.

FossilOrigin-Name: 431556cac0b2c86d7f6a60412ff1023feeaafedf

Remove unused boolean fields from the UnpackedRecord object.

FossilOrigin-Name: b10d091ec02e94643e865743129e2a21147b3136

Removed the unused "type" field from the CollSeq (collating sequence) object.

FossilOrigin-Name: ab89b047e82efdf59ed91a38b5195341a3743cbf

Update the version number to 3.7.10.

FossilOrigin-Name: ed0151ba8379a6c95304c9a8f9fe47e741fb80a3

Fix a typo in the documentation for sqlite3_stmt_busy().

FossilOrigin-Name: 7812626d1da1e19f2fc54a045c9fe2741ce68699

Add the sqlite3_stmt_busy() interface.

FossilOrigin-Name: 95cc4af686dc9bf85cb7224aecde27c9ca14ad5c

Cleanup the semantics surrounding use of the GetLastError function on Windows.

FossilOrigin-Name: 7e657bbb800107c992a6ee7a3b35bc0a073bf3e4

Change the multiplexor to use a 3-digit suffix.

FossilOrigin-Name: 0b7edc44757660c8a5ae3b91cbcc3e6afd419b28

Improvements to the documentation of the sqlite3_db_filename() interface.

FossilOrigin-Name: 1c45b2a0c055f6fc5da9d00ae2e9171099d904d4

Restore the test for sqlite3OsFullPathname() failure that was mistakenly
removed when [ceee03c79a] was backed out by [69ec53fc1c].

FossilOrigin-Name: 4d3cf9e1d8ac356db5a708913f614e42a6a56b94

Add the sqlite3_db_filename() interface.

FossilOrigin-Name: 93a947989b57959aacc37007a143fdf3921793ab

Back out the [ceee03c79a] change.

FossilOrigin-Name: 69ec53fc1c60b07bf4aaa983dcd5bf3164fb1ea5

Add the sqlite3_db_release_memory() interface and the shrink_memory pragma.

FossilOrigin-Name: 3f58e7c8895d1252eff56282c08b1a6f1194452c

Merge the PCACHE2 changes into trunk.

FossilOrigin-Name: 457513f21f2438c61b1a214716e338a4e3eeaafa

Change the multiplexor suffix from 2 to 3 digits.

FossilOrigin-Name: 06e0cdaf9112f722c23692e25c5b1f99b61c2d78

Remove code made obsolete by the changes to index processing that allow
range search on the rowid.

FossilOrigin-Name: a5418c7fc216a30abf7b2fa8c579aee586393a91

Fix an invalid assert() statement added by [3b58f5f066].

FossilOrigin-Name: 888b09dd8fc0a31b69852a2c10eebb5f31fe35de

Where possible, take advantage of the rowid at the end of index records to optimize range constraints (<, >, <=, >=) on the rowid column.

FossilOrigin-Name: 3b58f5f06648205a47e5cace0201269c406e476a

Update memsubsys1.test to account for the recently increased size of the MemPage structure in btreeInt.h.

FossilOrigin-Name: 4fb3ca756a3a7c66baa4745a9b2c1e246a67c699

Forward port the 8-byte alignment fix from branch-3.7.9.

FossilOrigin-Name: ebf6eb6ed756c0a3158b4cb5fb4b460c79d93c29

Fix a 8-byte alignment problem that causes a SIGBUS on Sparc.

FossilOrigin-Name: 54cc11981127b52145e39f551d958580b1d45169

Add a version number to the sqlite3_pcache_methods2 object.  Other PCACHE2
documentation improvements.

FossilOrigin-Name: 9f839ac05a9f3cfe587d2ccdccd50dac41baedbe

Attempt to modify btree.c so that it assumes that calls to sqlite3PagerWrite()
will reallocate the page buffer.  As there is not good way to test this
assumption yet, probably a few spots were missed.

FossilOrigin-Name: ceee03c79a55ea39866758aa76b78b10e5f4246d

Remove a couple of incorrect assert statements so that the test suite will
run with -DSQLITE_DEFAULT_CACHE_SIZE=0.

FossilOrigin-Name: 87614b62ace530761e0e1170ec5840b212735ec6

Merge the windows xSyscall enhancements into trunk.

FossilOrigin-Name: c1fab9aca1fe1dda2b4c7e4fdc0a406998847bdb

Make sure to flag benign malloc failures in the Windows VFS as such.  Expand use of the DO_OS_MALLOC_TEST to cover the VFS functions that can now return an out of memory error.  Support an experimental --match option to the test suite that will run only those tests matching the specified pattern.

FossilOrigin-Name: 76dec8aa9dbbc39e0a7c3b358b58ce7f7a477a2b

Catch and report errors from sqlite3OsFullPathname().

FossilOrigin-Name: 77119785c84ac7f416ed72c38c532399b6093d7a

Remove use of malloc and free from the Windows VFS.  Also, prevent sqlite3BtreeOpen from assuming that sqlite3OsFullPathname cannot fail.

FossilOrigin-Name: 8966ec1797be63d1305628d459bdad5be08cf3ca

Work in progress to implement the 'syscall' functionality for Windows.

FossilOrigin-Name: ed88fb00240de75457c0da19e87c12082622ca17

Pull over all the latest changes from trunk.

FossilOrigin-Name: 1bbbf8574a820c5f787a937f02a8e2a91264ace0

Make sure a corrupt index does not cause a buffer overread in
sqlite3VdbeRecordCompare().

FossilOrigin-Name: 471cf0d8e7857110e525e029c2d535cb518dba6a

Expand passing of a last error argument to the getLastErrorMsg function.  Also, remove unused SQLITE_W32_THREADS define.

FossilOrigin-Name: 8f28797984c1d4700357a75815ca4b324c3ebf5c

In winAccess, save the Win32 last error value prior to invoking user logging callback.  Also, explicitly pass the Win32 last error value to winLogError in order to keep it accurate.  Fixes a problem reported on the mailing list.

FossilOrigin-Name: 32ab365715e2c50f30aa2f92a323857b9d917bf6

Follow-on to the previous check-in to prevent a division by zero if the
lookahead slot size is something goofy like 6 on a 32-bit machine.

FossilOrigin-Name: 6bda711f93e753dd0be8d896a007b3f7b5064787

Use sqlite3MallocSize() to get the actual size of the memory allocation
used for lookaside cache and increase the size of the cache to use the
full allocation.

FossilOrigin-Name: 0e53ecad9468d0a13d155a4462551d4c234a7d5c

Omit an unnecessary Sleep() call in windows pending-lock retry
logic.  Enhance the comment on that logic to discourage people
from copying it into other VFSes.

FossilOrigin-Name: 0c951a970436725b6bbd64568de500f7a4e6460b

When compiling with MSVC, use the _msize function.

FossilOrigin-Name: 797a147934743a565c6f1f9dd4d41574690b4c2b

Minor changes needed to restore full branch test coverage.

FossilOrigin-Name: bc10a753579b65ba4604867204b7b3d8383f3ac7

A negative value N for the cache_size pragma adjusts the number of cache
pages to use approximately N kibibytes of memory.

FossilOrigin-Name: b3faa680aedc94ed8aa2819228c0d304b181cc51

For the mem1.c system malloc implementation, use the malloc_usable_size()
function if the HAVE_MALLOC_USABLE_SIZE macro is defined.  Update autoconf
to look for that function when configuring.

FossilOrigin-Name: 2e8ab3cedfebc33a831837792b523d1aa7cdc6b7

Update the API documentation for the new pcache2 interface.  Change the
order of parameters on the xCreate method of pcache2.

FossilOrigin-Name: 4da7095683ec821414e255419d63a24dbd9d726d

Experimental change to the pcache interface to allow page buffers to be allocated separately from their associated container structures.

FossilOrigin-Name: c275c9d323cb1dccb031b199d413ac3a0b244fea

Make the unix VFS tolerant of read() calls that return less than the
requested number of bytes.

FossilOrigin-Name: a210695abcfa5cb04279edfd04824d881b7c4ada

Amplify the restriction on commit-hooks that they cannot recursively
run SQL on the same database connection.

FossilOrigin-Name: 4fe5b73115a8b44950767f1b528107261d7312c9

Add a makefile target for tclsqlite3.c to Makefile.in.

FossilOrigin-Name: f521b6b7e42c82f09a91df5a5acf4e46c860e72a

Change the default file format from 1 to 4.  This means that, unless
PRAGMA legacy_file_format=ON is used first,
new databases will not be readable by versions prior to 3.3.0 (2006-01-10).

FossilOrigin-Name: a35f52b1ad22c2ad49fb1083f892b92c72da348c

Move function sqlite3PagerClearCache() out of the "ifndef SQLITE_OMIT_WAL" block and into an "ifndef SQLITE_OMIT_VACUUM" block.

FossilOrigin-Name: 5dbfaed8c3e09ea35033dacf6faa3d6a0202cc68

Update the xfer optimization code so that the xfer optimization can be used
with INTEGER PRIMARY KEY ON CONFLICT ... as long as the destination table
is initially empty.  Improvements to the comments on the xfer optimization.
New test cases added.

FossilOrigin-Name: e3f368cd5ef66a56fd4bd05a77276039e26b9e0e

Change a memcpy() in sqlite3FileSuffix() to memmove() on the grounds that the source and destination may overlap.

FossilOrigin-Name: 5e1d247e5b3b5dcf6763f01002e996786db48152

Add a missing va_end() macro to fts3.c.

FossilOrigin-Name: e6f825748a1d510c8f5529c79656bb5db9216231

Use mkdir() and rmdir() rather than open() and unlink() to create the lock
files with the unix-dotlock VFS.  The change is backwards compatible and,
we are told, works better on some network filesystems.

FossilOrigin-Name: e2f08426d7a84a2ac6148f485b7af377201a175b

Enhance the shell so that the ".schema" command works with case insensitive
LIKE patterns even with PRAGMA cache_sensitive_like=ON.

FossilOrigin-Name: b06bf3b3605a3c39cdfbb76c9a9f6b5202bb95ec

Make sure the INSERT INTO ... SELECT statement works correctly even when
the destination table contains an INTEGER PRIMARY KEY ON CONFLICT... column.
Ticket [676bc02b87176125].

FossilOrigin-Name: 6f9898db7ff0730cc03f561f9c32ef3dee7e5d81

Version 3.7.9

FossilOrigin-Name: c7c6050ef060877ebe77b41d959e9df13f8c9b5e

Fix a typo in a comment.  No code changes.

FossilOrigin-Name: 6635cd9a7714b681dd8aa96e90be462a40d10178

Add new file ext/fts3/README.content, describing the experimental FTS4 content option.

FossilOrigin-Name: 13a9d085e1a5654a97b8d26bae7182ca6c0c237b

Update fts3fault.test to account for the sqlite3_errmsg() related changes in [8f88cc4e61] and [dcb7879347].

FossilOrigin-Name: 3f2d49c6786beb6ff9d56376364ebc6cd9136346

Update fkey_malloc.test to account for the sqlite3_errmsg() related changes in [8f88cc4e61] and [dcb7879347].

FossilOrigin-Name: 5b82ec6fbbd2f4195ad06dd911de3817373ad5bf

Add a test for [48f29963] that does not depend on FTS.

FossilOrigin-Name: fb15f5458eb3e17ce9795c09bffe1224fea0eecd

Fix some code formatting in sqlite3Ext.h to avoid lines longer than 80
characters.

FossilOrigin-Name: 3ec20c3020e1bb5ec2815848af75cf4847a218e5

Avoid attempting to call savepoint related methods on deleted sqlite3_vtab objects. Fix for [48f299634a].

FossilOrigin-Name: 3565fcf898960d7a23d23a2f363b039b2e29447b

Avoid reporting a NOMEM error if a memory allocation fails while copying
the error message from a prepared statement into the database connection.

FossilOrigin-Name: dcb78793474e533c3e4f5c6389ba3c997f062eee

If an error occurs within sqlite3_step() on a statement prepared using sqlite3_prepare_v2(), transfer both the error code and error message to the database handle before sqlite3_step() returns (so that they are available via sqlite3_errcode() and sqlite3_errmsg(). Prior to this commit, only the error code was transfered. The error message was not available until after either sqlite3_reset() or sqlite3_finalize() had been called on the statement handle.

FossilOrigin-Name: 8f88cc4e616b4b30ed349f89e148f782da5cb6c4

Avoid a harmless reference to an uninitialized variable following an
error in FTS3.  This is not a bug.  The change is to silence a valgrind
warning.

FossilOrigin-Name: d980c5b22fd700afb3cac5de5501c9350f2f589e

Purge lingering references to SQLITE_STAT2 from the code and test scripts.

FossilOrigin-Name: aed2bf7a3c828a7191389b3f8235a9387977b476

Remove stale requirements marks from the query planner.

FossilOrigin-Name: 76de9914bed11abda3898928633ad09d5a284f84

If an error occurs while writing to the database file during a VACUUM, discard the contents of the in-memory cache. This is required as if the database is a zipvfs database, the contents of the cache may be inconsistent with respect to the database as stored on disk.

FossilOrigin-Name: 07159e84b40b01fa40cac5fad1f433888e5984f8

Fix an issue with finding the access permissions of journal files when
8+3 filenames are in use.

FossilOrigin-Name: 2b35c5144ddcc2ed6d0fcaa8c0ba5d20b9487be7

Enhancements to the omittest.tcl script used to verify that the
SQLITE_OMIT compile-time options are working.

FossilOrigin-Name: 4344483f7d7f64dffadde0053e6c745948db9486

Fix harmless compiler warnings in FTS4.

FossilOrigin-Name: 1af4a25631c4077a9bfc64e15eb92fbf5146c89c

Fix comments on SQLITE_CONFIG_HEAP so that they do not interfere with the
requirements scanner.

FossilOrigin-Name: a3151ce15c256219646013d695b6e162e306cef8

Merge the fts4-content branch with the trunk.

FossilOrigin-Name: 8a4077057ddeb08e8edc5f20a75abaaba7a278ba

Have FTS3 ignore ^ prefixes. The ^ syntax is only supported on FTS4 tables.

FossilOrigin-Name: df36ac948179f37b432a88701b6c79299e073ce8

Change the way ^ tokens work in FTS so that the filtering is done as part of reading the FTS index instead of waiting until an entire doclist has been retrieved and then filtering it.

FossilOrigin-Name: 9b58c59eb4efaa38ce50a3ce1b52f9ba578c71d6

Add tests for FTS ^ searches and matchinfo().

FossilOrigin-Name: 92618c1463fb304cf8057d082b2c7096152dff27

Fix a problem in FTS to do with ^ tokens and the snippet() function.

FossilOrigin-Name: 2c03b24f4cc6f2c28c9d5b9984320d41b8486c32

Fix the virtual table rename logic so that it works even if the database
encoding is something other than UTF8.
Ticket [8290242b2a9a81683]

FossilOrigin-Name: d65f63531c3f8e3e55e656f049240714a3d7433f

If a token within an FTS query is prefixed with a '^' character, it must be the first token in a column of data to match.

FossilOrigin-Name: 63ac33c860eb32ce96699f06bf83121cec2ffaca