Fix some errors when compiling with SQLITE_OMIT_WAL.

FossilOrigin-Name: 3b68cb9c656db8c5c481199919a98f5764f7ebfa

Remove debugging code from test script.

FossilOrigin-Name: a85ae33246226801f88c1e377725c192711797cc

Currently, if SQLite cannot find a table or index referred to by a query, it reloads the database schema from disk to see if the table or index has been added since the schema was cached in memory. Extend this behaviour to columns (which may have been added using ALTER TABLE) and fix some obscure cases related to tables and indexes (INDEXED BY, DROP TABLE etc.).

FossilOrigin-Name: 4932f22848b3d15a2b6dc5fa2cd69ce19182e2a4

Make walIndexTryHdr() a private function.  Fix an issue with SQLITE_MUTEX_NOOP.

FossilOrigin-Name: ec65bbd06bdd3bf16a742c5bb1fab0dce756c01a

Suppress various compiler warnings.

FossilOrigin-Name: e82d008eaffb5522080cad6c69c1b194b78eadbd

Fix two asserts on the scratch allocator to allow for up to two outstanding
scratch allocations per thread.

FossilOrigin-Name: f149b498b6ada3fc9f71ee104c351554c80c7f8a

Suppress a couple uninitialized variable warnings.

FossilOrigin-Name: 29571e228cc85f7768c3ad57d0c7af96b5a54983

Add test file tkt-d11f09d36e.test.

FossilOrigin-Name: 6e469b63fab3cd63b23110aaceccfed0587c6a87

Remove a NEVER() in pager that can in fact be reached in obscure failure
cases.

FossilOrigin-Name: 42b8bd1c70d8dbbc4a59e2fdee8654c4fe84f979

Fix a case where the doNotSyncSpill flag may remain permanently set following aIO error.

FossilOrigin-Name: 56c7d111bf7013be95a4c2a657a4861eee91db91

When synchronous=NORMAL, use the same journal file format as with synchronous=FULL (i.e. multiple journal headers within the one journal). Fix for [d11f09d36e].

FossilOrigin-Name: 2eaf5ee0d9338de8a77fb3e06ad2f2b0daa6fcbe

Further test cases for pager1.test and pagerfault.test.

FossilOrigin-Name: bfd563c4714d86805fa09ce9f4f807e5d502a99b

Reduce the average (but not maximum) size of the allocations made as part of a checkpoint.

FossilOrigin-Name: 4a7fd91b7ab2c5d21fbac7f6f123820c8f4ec7f6

Reduce the size of the large allocation (approx 8KB for every 4000 frames in the log) that occurs during checkpoint. Use the 'scratch' memory for this allocation instead of the general purpose allocation.

FossilOrigin-Name: 29887487ed549f97c3c9b37f852bae179b6ea9a9

Fix up a branch in sqlite3ValueFromExpr() so that we can achieve full
branch test coverage regardless of whether or not SQLITE_ENABLE_STAT2 is
used.

FossilOrigin-Name: af471ed79f539ff495f6d4cb3b69188c8af7ae3d

Change the name of the shared-memory file on windows from *-wal-index to
*-shm, for consistency with unix.

FossilOrigin-Name: 5995cb15080cfb707ddda501f975673f658106f7

Modify the merge-sort in wal.c so that it does not use recursion.

FossilOrigin-Name: daea6c054cee3564d8460d876b78a325ebc382dd

Add test cases to pager1.test and pagerfault.test.

FossilOrigin-Name: 4941e437d2638f36ac8510d4a5b4c780afc798bb

Revert to allowing a cache spill during writes of multiple pages within a
single sector as long as the spill does not require a journal sync and a
new journal header.

FossilOrigin-Name: 7d83fbae9802a56b2121d0775de54fccd743d971

Modify ctime.test to work with SQLITE_THREADSAFE=2.

FossilOrigin-Name: c6db3b303182202a8b03512e448607bce71de914

Disable memory-pressure induced cache spill during savepoint rollback.

FossilOrigin-Name: a55eb4c3e9fa4ea43b8f8182eb9e39138df03f52

Add a coverage test to pagerfault.test.

FossilOrigin-Name: b58db67e972b5660e62a9b7daa2c1e87c3cf0a68

Add coverage tests. Remove a NEVER macro from pager.c, as the condition can now be true in wal mode.

FossilOrigin-Name: 7aac9ad6dd14b1c56eb8e4750ac769c6197c30bd

Make sure the wal-index reader detects an incorrect version number even if
it had to hold a lock in order to read the wal-index.  Also, expand and enhance
various comments in wal.c.

FossilOrigin-Name: 2e6a462cebc05bfd4648d26dd5ae70b68844aa5f

Fix and/or improve comments in wal.c.  No code changes.

FossilOrigin-Name: ee9991be082202c6637adb47affc777e7917be04

Add test case for SQLITE_FULL errors to pagerfault.test. Remove a NEVER macro in pager.c that this hits.

FossilOrigin-Name: 3e9680c4c18140d083b24e05a21ea6792aef2487

Include the SOURCE_ID value in the log messages output for corruption, misuse,
and CANTOPEN errors.

FossilOrigin-Name: 1727a81fed65bebfea43e0bda271584096d82785

Adjust the shared-memory locking range to account for the new version number
values in the wal-index header.

FossilOrigin-Name: a6dc0df304876b51cef5402b0e21330f10aabccf

Add a version number to the wal-index header. If SQLite encounters a version number in either the wal or wal-index files that it does not understand, the operation is abandoned and SQLITE_CANTOPEN returned.

FossilOrigin-Name: 8d0f8a7f70d6fb42369411a934b30f8c8ca8322f

Fix the xCurrentTimeInt64 interface on windows.  It was off by a factor of 10.

FossilOrigin-Name: 51ef43b9f7db8fabf73d9c8a76dae6c275e50d58

Simplifications to the pager_delmaster() implementation.

FossilOrigin-Name: 8bfbdec647d29f0eb103ba7deb9116c44193f2e1

Disable code used only by the codec when the codec is not deployed.

FossilOrigin-Name: 2c90276e340aa19d78d2e33c9f759f8eda0b82a3

Add codec support to wal mode.

FossilOrigin-Name: 393741eba353d5d242b8e3c96db3ea2b92228036

When trying to transition from journal_mode MEMORY to WAL, use OFF as an
intermediate journal mode.

FossilOrigin-Name: 4775b8f9a9d9b66fcd5abf3af111fcad249e662e

Some changes to test scripts related to codec enabled versions of sqlite.

FossilOrigin-Name: 85dd51a75c75b2a123744f646e04538e4e5d89b3

i
Fix problem with handling of -vfs option in tcl interface.

FossilOrigin-Name: 8f98e8b5a557db5759747f3aae5ea01fb0d1f455

Minor tweaks to get the pager working for corner cases when the
SQLITE_IOCAP_UNDELETABLE_WHEN_OPEN flag is set.

FossilOrigin-Name: 82b38fca1aea345ade954517661145f1859e701c

Fix comment inside the pager_unlock() routine.  Always close the master
journal file before trying to delete it.

FossilOrigin-Name: f820b815c9bff368eb1ccb850966a812151e610e

Add test cases to pager1.test and pager2.test.

FossilOrigin-Name: cc9ddae6d72b214f52b8949e644b91f4ab340a28

Merge the experimental UNDELETABLE_WHEN_OPEN optimization into the trunk.

FossilOrigin-Name: ee0acef1faffd480fd2136f81fb2b6f6a17b5388

Change things so that journal2.test works with ENABLE_ATOMIC_WRITE.

FossilOrigin-Name: a64d96db09ef2b7651fa4e98d3c7bf3ae5d3fe96

Add further pager tests.

FossilOrigin-Name: 4104b175a8c3560a7680f3d2b54416821bb2e19d

Merge latest trunk change.

FossilOrigin-Name: f6d26e07b70965e332b1589804ca938593a5f432

Fix jrnlmode2.test so that it works on systems where UNDELETABLE_WHEN_OPEN is defined.

FossilOrigin-Name: 59be370e52ec814c45efa6cbac45b6df94661b54

Fix an uninitialized variable in os_unix.c.

FossilOrigin-Name: 822a0283c6bc1c75001f3d1c528a4ff89c6b039c

Fix an assert() failure that could occur if compiling with OMIT_SHARED_CACHE.

FossilOrigin-Name: 3e76a9f2c041a6d36614f540bb89588703d85925

Change the name of IOCAP_SAFE_DELETE to IOCAP_UNDELETABLE_WHEN_OPEN. Have the xDeviceCharacteristics() method of the win32 VFS return this flag.

FossilOrigin-Name: 5a5ff4e3e4c707464f227907d0aefb8ef42180dd

Add tests to pager1.test and pagerfault.test.

FossilOrigin-Name: f5df83fd875073eee8e2269e87e2a8c9c7abc981

Change the unix VFS to always allocate shared-memory using a file in the
same directory as the database.  Otherwise, a chroot might cause different
processes to use different shared memory files resulting in database
corruption.

FossilOrigin-Name: 2241788bc85fbc48e9cfecb95fe0a858338e37cb

Add tests to pager1.test and pagerfault.test.

FossilOrigin-Name: 58c0b5bfed8c67cc3f2f4a6784d08c14e652c265

Add tests to pager1.test.

FossilOrigin-Name: 582fca89195af54e9668af249691654cfea63d04

Rearrange some code in OP_JournalMode to avoid incorrect returns from subsequent invocations of "PRAGMA journal_mode" following an IO error.

FossilOrigin-Name: ce0a4a9b5f981d066822a9ae63740c91b35bfc60

Change the implementation of the unix implementation of xAccess() so that it returns 0 (does not exist) to an SQLITE_ACCESS_EXISTS query on a file that exists but is zero bytes in size.

FossilOrigin-Name: 077b0e5bcd849130c8df373fc2134c4b44351882

Apply [b9b11855e8] (the alternate fix to [fc62af4523]) to the trunk.

FossilOrigin-Name: 9a949a3a5c32b8bfbb94e10e18d050ec80a25553

Merge trunk change [7c3a86b9c7].

FossilOrigin-Name: bd7bc4e0e28bc749034ff1a9290a69330c5d8ca4

A different fix to [fc62af4523]. When changing from journal_mode=PERSIST or TRINCATE to some other rollback mode, delete the journal file only if a RESERVED lock can be obtained on the database file first.

FossilOrigin-Name: b9b11855e8a9522309dd30e5256bb67d67e1353a

Fix the tkt-fc62af4523.test to work around non-randomness of the
randomblob() function when in testing mode.

FossilOrigin-Name: 7c3a86b9c7e2a35ce755c32b38e911e79d843fad

Fix bug in journal2.test.

FossilOrigin-Name: c1e04f1d4e8575ebc41b5b4403dbfe3f60d578dc

Merge trunk updates with experimental branch.

FossilOrigin-Name: 9f6ea1de5abab0ca28688e257ddf03c66413cf6e

Do not delete the journal file in "PRAGMA journal_mode" commands. This fixes [fc62af4523].

FossilOrigin-Name: 1ec74591a93e8b27ad3ac739914a48a91972e82c

Add test case for [fc62af4523].

FossilOrigin-Name: cccd32c692057beb08a994102c6a10126ddeb937

Merge fix [f80c3f922a] with experimental changes.

FossilOrigin-Name: 20133e9ca98f5e6c42051ed3d65e4eb71d5366a5

Bug fix:  Only trust the database size number at offset 28 if the change
counter at offset 24 matches the version number counter at offset 92.
This prevents corruption in the case of two applications writing to the
database where one is an older version of SQLite and the other is a newer
version.

FossilOrigin-Name: f80c3f922a114e738613955a939db46cf0847038

Experimental change: On systems where it is not possible to unlink a file while one or more processes has it open (i.e. not unix), avoid closing the journal file each time the database is unlocked and reopening it at the start of each transaction.

FossilOrigin-Name: bede8c8a148fb9be5ffbf38df7fa733e35cc68c3

Add extra test cases to pager1.test.

FossilOrigin-Name: ad3209572d0e6afe5c8b52313e334509661045e2

Fix a memory leak that can occur in os_unix.c if an IO error occurs within the xUnlock method.

FossilOrigin-Name: 6c5c04eea1f0e8d61883ee8675c249fbf895dc01

Rationalize a common pattern in tcl test cases into proc do_multiclient_test.

FossilOrigin-Name: efe44564983f115017658dd8a130226366d42bab

Fix a problem introduced into lock2.test by the previous commit.

FossilOrigin-Name: c1c9f6fa9d75df740e577dbc5e6a24b91ad2bdd0

Add test file pager1.test, containing tests of inter-process locking in non-wal mode.

FossilOrigin-Name: 6e43eed9310bae9ca5e91f8fd9eafc45a16b7019

Run extra iterations in wal3.test to ensure test coverage.

FossilOrigin-Name: ea80cbe51e33d6a3f15a4ad56f360fc5323866de

Merge in [2c5e48a485].
Merge in [2c5e48a485].
Merge in [2c5e48a485].

FossilOrigin-Name: 03c0f4fd9cbb655477b63ebbb6af7822715644aa

Minor tweaks to the interface documentation - adding hyperlinks.

FossilOrigin-Name: 07b2fdd1cebbdbde5098a662eea65a0c9e8b5442

Updates to comments and testcase() macros in wal.c.

FossilOrigin-Name: 4d90cc0bc07e791b2838fc384866bd5c2282f681

Changes to the way tcl test scripts work. No changes to production code.

FossilOrigin-Name: 2c5e48a4855e2ec4572697c8fcfe4433e302ef33

Fix an error in the walfault.test script introduced by the previous check-in.

FossilOrigin-Name: a2b9374fc6f0aba2d465d432e1124bd957aab548

Move the xShmMap method to in between xShmLock and xShmBarrier, since it seems
to fit in there logically.

FossilOrigin-Name: 58dfd83d8b7905391e2a06bb918ffa209c6de6b5

Merge the experimental shared-memory mmap-by-chunk changes into the trunk.

FossilOrigin-Name: f295e7ed5f04f6b8bffdaff8b565be3836ce4e80

Add the new xShmMap (formerly xShmPage) to os_win.c.

FossilOrigin-Name: 13e7a8242206bca4b5bf356ef074e66474d39609

Remove xShmGet/Size/Release from the sqlite3_vfs structure. Change the name of xShmPage to xShmMap. Remove some code that is now unused from os_unix.c and some of the test VFS implementations.

FossilOrigin-Name: fc0cabc15c97dde6a852b4f07df6d30f1d2c04bc

Update some comments in wal.c. No code changes.

FossilOrigin-Name: 1ce9c92bffa5d7f8431c005b29d698b0f5b95875

Change the interface to internal function walGetHash() to make it easier to follow.

FossilOrigin-Name: 5e8e2e978ea48ce4ad93a936c838934f33d665df

Add the xShmPage method to the "crash" vfs in test6.c.

FossilOrigin-Name: 1008f536440840da7d56c01ec147a25295fd1fd4

Add some fault-injection tests to improve coverage.

FossilOrigin-Name: 37b26d125f4b1d8e75bb38800fefd145611f94aa

Fix some problems with handling IO errors on the experimental branch.

FossilOrigin-Name: eade8bc238df580412f5cf1b91a91532ae671e46

Experimental change to the xShmXXX parts of the VFS interface.

FossilOrigin-Name: ca68472db01c14a899892007d1cbaff5e86ae193

Refactor and simplify the logic used to change journalmode.

FossilOrigin-Name: 95cc3f6fdec5494560c3cd4439d06870d1c62506

Adding original art for the new SQLite logo.

FossilOrigin-Name: af353bd89e5ec89f113d217225cc59cbc8373d64

Add the SQLITE_TESTCTRL_PGHDRSZ verb for sqlite3_test_control() used to get
the size of pcache headers for testing purposes.

FossilOrigin-Name: 5d694f04fecf47ca325e108d463c24f42def55d5

Update the test VFS in test_journal.c so that it implements the
xCurrentTimeInt64 method.

FossilOrigin-Name: ec3b4a7e5d3d7bd737d356b8a09ce94f8f0f8ce0

Store the MemPage structure in memory following, instead of preceding, the page data for cached pages. This reduces the likelihood of a corrupt database page image causing SQLite to read past the end of a buffer.

FossilOrigin-Name: 0ce42e76654d9ba52dac74c940d38b17866016ba

Remove a condition that must always be true.  Replace it with an assert().

FossilOrigin-Name: 7abcd54ec09e8025193d1e0ea57775051d823801

Fix test script problems causing errors in the "inmemory_journal" permutations.

FossilOrigin-Name: ea05b7f929e4696175dbc3ded36dba8ed2a6b575

When restarting (wrapping) a log file, set all unused aReadMark[] slots to READMARK_NOT_USED instead of 0. Setting them to 0 does not cause a problem, but may cause SQLite to obtain and release a few more file locks than would otherwise be necessary.

FossilOrigin-Name: 0797b10c0cc08ae38e26685d1f8331e37d428781

Fix for ticket [f973c7ac31].

FossilOrigin-Name: 6eb058dda8d5f87b02378d8efd821fe64a525dcc

Shift the meaning of aReadMark[] back so that +1 offset from mxFrame is
removed.  Add the new READMARK_NOT_USED value (0xffffffff) instead of
zero to signal an aReadMark[] that is not in use.

FossilOrigin-Name: c576827d55c156572b76cf7063e9f253ca6e7403

Simpler fix for the race condition also fixed by [7c102c7b5f]

FossilOrigin-Name: 3c2de820034e01c2e939bd90a05a58159f60df50

Close database opened by tester.tcl when it is sourced in all.test. Because test scripts are now run in slave interpreters, this connection was not being closed by the first script run as it was previously.

FossilOrigin-Name: b072e9f69ad5ec68b8ec4c716556070001f885e0

Changes to wal3.test to support small default cache size settings. And builds that create autovacuum databases by default.

FossilOrigin-Name: ac4cc2574bafce30390a34f13228380d017791cb

In os_unix.c, call munmap() to unmap a shared-memory region prior to closing the associated file descriptor.

FossilOrigin-Name: 95cc976f1520bdaedd8f93b0e9fbef94e4e2c8cc

Change all.test, quick.test and permutations.test so that they use a separate interpreter for each test file.

FossilOrigin-Name: 7c33eb5a5add8fe76dd412ecab5b6ff8cd78a98d