Change the name of IOCAP_SAFE_DELETE to IOCAP_UNDELETABLE_WHEN_OPEN. Have the xDeviceCharacteristics() method of the win32 VFS return this flag.

FossilOrigin-Name: 5a5ff4e3e4c707464f227907d0aefb8ef42180dd

Add tests to pager1.test and pagerfault.test.

FossilOrigin-Name: f5df83fd875073eee8e2269e87e2a8c9c7abc981

Add tests to pager1.test and pagerfault.test.

FossilOrigin-Name: 58c0b5bfed8c67cc3f2f4a6784d08c14e652c265

Add tests to pager1.test.

FossilOrigin-Name: 582fca89195af54e9668af249691654cfea63d04

Rearrange some code in OP_JournalMode to avoid incorrect returns from subsequent invocations of "PRAGMA journal_mode" following an IO error.

FossilOrigin-Name: ce0a4a9b5f981d066822a9ae63740c91b35bfc60

Change the implementation of the unix implementation of xAccess() so that it returns 0 (does not exist) to an SQLITE_ACCESS_EXISTS query on a file that exists but is zero bytes in size.

FossilOrigin-Name: 077b0e5bcd849130c8df373fc2134c4b44351882

Merge trunk change [7c3a86b9c7].

FossilOrigin-Name: bd7bc4e0e28bc749034ff1a9290a69330c5d8ca4

A different fix to [fc62af4523]. When changing from journal_mode=PERSIST or TRINCATE to some other rollback mode, delete the journal file only if a RESERVED lock can be obtained on the database file first.

FossilOrigin-Name: b9b11855e8a9522309dd30e5256bb67d67e1353a

Fix the tkt-fc62af4523.test to work around non-randomness of the
randomblob() function when in testing mode.

FossilOrigin-Name: 7c3a86b9c7e2a35ce755c32b38e911e79d843fad

Fix bug in journal2.test.

FossilOrigin-Name: c1e04f1d4e8575ebc41b5b4403dbfe3f60d578dc

Merge trunk updates with experimental branch.

FossilOrigin-Name: 9f6ea1de5abab0ca28688e257ddf03c66413cf6e

Do not delete the journal file in "PRAGMA journal_mode" commands. This fixes [fc62af4523].

FossilOrigin-Name: 1ec74591a93e8b27ad3ac739914a48a91972e82c

Add test case for [fc62af4523].

FossilOrigin-Name: cccd32c692057beb08a994102c6a10126ddeb937

Merge fix [f80c3f922a] with experimental changes.

FossilOrigin-Name: 20133e9ca98f5e6c42051ed3d65e4eb71d5366a5

Bug fix:  Only trust the database size number at offset 28 if the change
counter at offset 24 matches the version number counter at offset 92.
This prevents corruption in the case of two applications writing to the
database where one is an older version of SQLite and the other is a newer
version.

FossilOrigin-Name: f80c3f922a114e738613955a939db46cf0847038

Experimental change: On systems where it is not possible to unlink a file while one or more processes has it open (i.e. not unix), avoid closing the journal file each time the database is unlocked and reopening it at the start of each transaction.

FossilOrigin-Name: bede8c8a148fb9be5ffbf38df7fa733e35cc68c3

Add extra test cases to pager1.test.

FossilOrigin-Name: ad3209572d0e6afe5c8b52313e334509661045e2

Fix a memory leak that can occur in os_unix.c if an IO error occurs within the xUnlock method.

FossilOrigin-Name: 6c5c04eea1f0e8d61883ee8675c249fbf895dc01

Rationalize a common pattern in tcl test cases into proc do_multiclient_test.

FossilOrigin-Name: efe44564983f115017658dd8a130226366d42bab

Fix a problem introduced into lock2.test by the previous commit.

FossilOrigin-Name: c1c9f6fa9d75df740e577dbc5e6a24b91ad2bdd0

Add test file pager1.test, containing tests of inter-process locking in non-wal mode.

FossilOrigin-Name: 6e43eed9310bae9ca5e91f8fd9eafc45a16b7019

Run extra iterations in wal3.test to ensure test coverage.

FossilOrigin-Name: ea80cbe51e33d6a3f15a4ad56f360fc5323866de

Merge in [2c5e48a485].
Merge in [2c5e48a485].
Merge in [2c5e48a485].

FossilOrigin-Name: 03c0f4fd9cbb655477b63ebbb6af7822715644aa

Minor tweaks to the interface documentation - adding hyperlinks.

FossilOrigin-Name: 07b2fdd1cebbdbde5098a662eea65a0c9e8b5442

Updates to comments and testcase() macros in wal.c.

FossilOrigin-Name: 4d90cc0bc07e791b2838fc384866bd5c2282f681

Changes to the way tcl test scripts work. No changes to production code.

FossilOrigin-Name: 2c5e48a4855e2ec4572697c8fcfe4433e302ef33

Fix an error in the walfault.test script introduced by the previous check-in.

FossilOrigin-Name: a2b9374fc6f0aba2d465d432e1124bd957aab548

Move the xShmMap method to in between xShmLock and xShmBarrier, since it seems
to fit in there logically.

FossilOrigin-Name: 58dfd83d8b7905391e2a06bb918ffa209c6de6b5

Merge the experimental shared-memory mmap-by-chunk changes into the trunk.

FossilOrigin-Name: f295e7ed5f04f6b8bffdaff8b565be3836ce4e80

Add the new xShmMap (formerly xShmPage) to os_win.c.

FossilOrigin-Name: 13e7a8242206bca4b5bf356ef074e66474d39609

Remove xShmGet/Size/Release from the sqlite3_vfs structure. Change the name of xShmPage to xShmMap. Remove some code that is now unused from os_unix.c and some of the test VFS implementations.

FossilOrigin-Name: fc0cabc15c97dde6a852b4f07df6d30f1d2c04bc

Update some comments in wal.c. No code changes.

FossilOrigin-Name: 1ce9c92bffa5d7f8431c005b29d698b0f5b95875

Change the interface to internal function walGetHash() to make it easier to follow.

FossilOrigin-Name: 5e8e2e978ea48ce4ad93a936c838934f33d665df

Add the xShmPage method to the "crash" vfs in test6.c.

FossilOrigin-Name: 1008f536440840da7d56c01ec147a25295fd1fd4

Add some fault-injection tests to improve coverage.

FossilOrigin-Name: 37b26d125f4b1d8e75bb38800fefd145611f94aa

Fix some problems with handling IO errors on the experimental branch.

FossilOrigin-Name: eade8bc238df580412f5cf1b91a91532ae671e46

Experimental change to the xShmXXX parts of the VFS interface.

FossilOrigin-Name: ca68472db01c14a899892007d1cbaff5e86ae193

Refactor and simplify the logic used to change journalmode.

FossilOrigin-Name: 95cc3f6fdec5494560c3cd4439d06870d1c62506

Adding original art for the new SQLite logo.

FossilOrigin-Name: af353bd89e5ec89f113d217225cc59cbc8373d64

Add the SQLITE_TESTCTRL_PGHDRSZ verb for sqlite3_test_control() used to get
the size of pcache headers for testing purposes.

FossilOrigin-Name: 5d694f04fecf47ca325e108d463c24f42def55d5

Update the test VFS in test_journal.c so that it implements the
xCurrentTimeInt64 method.

FossilOrigin-Name: ec3b4a7e5d3d7bd737d356b8a09ce94f8f0f8ce0

Store the MemPage structure in memory following, instead of preceding, the page data for cached pages. This reduces the likelihood of a corrupt database page image causing SQLite to read past the end of a buffer.

FossilOrigin-Name: 0ce42e76654d9ba52dac74c940d38b17866016ba

Remove a condition that must always be true.  Replace it with an assert().

FossilOrigin-Name: 7abcd54ec09e8025193d1e0ea57775051d823801

Fix test script problems causing errors in the "inmemory_journal" permutations.

FossilOrigin-Name: ea05b7f929e4696175dbc3ded36dba8ed2a6b575

When restarting (wrapping) a log file, set all unused aReadMark[] slots to READMARK_NOT_USED instead of 0. Setting them to 0 does not cause a problem, but may cause SQLite to obtain and release a few more file locks than would otherwise be necessary.

FossilOrigin-Name: 0797b10c0cc08ae38e26685d1f8331e37d428781

Fix for ticket [f973c7ac31].

FossilOrigin-Name: 6eb058dda8d5f87b02378d8efd821fe64a525dcc

Shift the meaning of aReadMark[] back so that +1 offset from mxFrame is
removed.  Add the new READMARK_NOT_USED value (0xffffffff) instead of
zero to signal an aReadMark[] that is not in use.

FossilOrigin-Name: c576827d55c156572b76cf7063e9f253ca6e7403

Simpler fix for the race condition also fixed by [7c102c7b5f]

FossilOrigin-Name: 3c2de820034e01c2e939bd90a05a58159f60df50

Close database opened by tester.tcl when it is sourced in all.test. Because test scripts are now run in slave interpreters, this connection was not being closed by the first script run as it was previously.

FossilOrigin-Name: b072e9f69ad5ec68b8ec4c716556070001f885e0

Changes to wal3.test to support small default cache size settings. And builds that create autovacuum databases by default.

FossilOrigin-Name: ac4cc2574bafce30390a34f13228380d017791cb

In os_unix.c, call munmap() to unmap a shared-memory region prior to closing the associated file descriptor.

FossilOrigin-Name: 95cc976f1520bdaedd8f93b0e9fbef94e4e2c8cc

Change all.test, quick.test and permutations.test so that they use a separate interpreter for each test file.

FossilOrigin-Name: 7c33eb5a5add8fe76dd412ecab5b6ff8cd78a98d

Refactor some of the global variables and commands used by tester.tcl.

FossilOrigin-Name: c2edf8e17f874d0ca4e94b75575bf6e14eea1f05

Add a couple of extra coverage tests for wal.c.

FossilOrigin-Name: cfe60254df50f086014b115f1a2d9e31c85d67fd

Add further test cases for the logic in sqlite3WalBeginReadTransaction().

FossilOrigin-Name: a49713db39d0d6940b368206d4e669aa69aa1fe5

Clarify the purpose of a test for a race-condition in walIndexReadHdr().

FossilOrigin-Name: c041c6a9786bc9ebb82527f7a2c96d255aec927f

Remove a condition from sqlite3WalRead() that is unreachable as of the changes to clear entries out of the wal-index hash tables on transaction or savepoint rollback.

FossilOrigin-Name: 394204735a842b04b677cca20485b1578e475d4c

Mark a condition in wal.c as ALWAYS().

FossilOrigin-Name: 3fe0cc784ac586358c08f87fba458dfbb5eec6f2

Add extra coverage test cases for wal.c. No changes to production code.

FossilOrigin-Name: f9d4ae0e8cc5d32c52eb78799f7959dd236ea9de

Clarify an assert in sqlite3WalExclusiveMode().

FossilOrigin-Name: 255850699ddbf4aad8cc3223aefbada35daa0703

Remove an unnecessary branch from wal.c.

FossilOrigin-Name: 8e54786c9a0c5c399f228f56c73271f84d75694b

Add an English language error message to corresponding to SQLITE_PROTOCOL. "locking protocol".

FossilOrigin-Name: ca327e32cfe1633f2c9d3f058e411f108aaa2b3c

Add test for the code that detects an inconsistent pair of wal-index headers to wal2.test.

FossilOrigin-Name: 157feba10f7ac01eecf79715c44bb16c98958280

If an attempt to sync the database file as part of a checkpoint fails, do not update the shared "nBackfill" variable. Otherwise, another process could wrap the log and overwrite content before it is synced into the database.

FossilOrigin-Name: b813233d7604a5fd91e1af91d5d812032eec700a

Fix a problem where an SQLITE_BUSY in the checkpoint code was being treated as an IO error (abandoning, instead of just limiting, the checkpoint).

FossilOrigin-Name: 02c4040ce2b4c970b3dee09f7c9ad5a2a3a9aa49

Fix another problem in test_vfs.c.

FossilOrigin-Name: df7d59899ceb2743764b0433cb68f4bc33f16344

Have test_vfs.c simulate IO errors in xShmLock.

FossilOrigin-Name: fcbf7cf189506e43fc2f0820aedffb195038d3a9

Performance fix for winShmClose().

FossilOrigin-Name: ed7774de04978803e979580240148eba1de9166d

Add extra tests for removing elements from wal-index hash tables as part of a rollback.

FossilOrigin-Name: af3e598ad9315a4642dd8fa098dfdbd727770aed

Delay opening the sub-journal until SQLite actually needs to write data to it.

FossilOrigin-Name: c43deb33ae5f191ea2e054181759beeeb9ea71bf

Remove global variables when compiled with SQLITE_OMIT_WSD

FossilOrigin-Name: dd10a547f10364058025c48b28d8fd240bf46aff

Enhancements to test_vfs.c and walfault.test.

FossilOrigin-Name: ac0de2f39e948f3b00e96eebf56ebee70472020d

If an error (OOM or SQLITE_FULL error) occurs while executing an SQL statement and a statement-transaction is automatically rolled back as a result, if a second error occurs during the statement rollback do a full transaction rollback instead. Otherwise the client can be left with an inconsistent cache.

FossilOrigin-Name: eb80ddc665132c607c258b59131025a296269dad

If a malloc fails while allocating a savepoint object at the pager level, do not try to roll that savepoint back later on.

FossilOrigin-Name: 91cb08ffb6332a142542c012b58aa49206ee5704

When a lock fails due to an I/O error (not an SQLITE_BUSY) then the checkpoint
should fail.

FossilOrigin-Name: c6eb0a27270df69018576232d8f97c16d63d8f6e

Fix a problem with rolling back to a savepoint opened before the writer decided to wrap the log file.

FossilOrigin-Name: 6b4aed6aae7dc9e92807d27375cbe1e83c15841b

If an error occurs while writing frames to the log to commit a transaction, do not mark the pages as clean in the cache. Otherwise, the subsequent rollback does not roll them back (leaving the client to continue with a cache that makes it appear that the transaction was committed - inconsistent with the database on disk).

FossilOrigin-Name: cb571c1b71a37b3a10d640987c77a6eec508235d

Added implementation of vfslog_time() for Windows testing.

FossilOrigin-Name: b3109f85bde0b24bfbcfe6c0f7bbe973be196c1d

Updated wal2.test for windows testing.

FossilOrigin-Name: c3606f3985e4ab38479409c13f3a01d1be4f8189

Make sure the directory used by os_unix.c for shared-memory files is always
the same, regardless of individual client permissions and environment
variable settings.

FossilOrigin-Name: f97bd520f06a16c61ccdd9ebeda7e138896b9ac2

When walTryBeginRead() encounters an I/O error trying to set a lock
(as opposed to SQLITE_BUSY) be sure to propagate that error back up
the call stack.

FossilOrigin-Name: aa2c2b67a7f50c97a44cca1af5c437bf5410869c

Changes to make WAL more robust against SHM locking failures and OOM errors.

FossilOrigin-Name: ebf4041383c3cdddb5861960359abd209d4a1028

In the rowhash.test, make sure global variables are cleared prior to use.

FossilOrigin-Name: 28efe0a40405567f3eaf334b6603282d5adac792

Undo one of the "const" markers from the previous check-in because the
value needs to be changable, even if it is not actually ever changed in
the current implementation.

FossilOrigin-Name: c24ac3563f46fc6bcf7e45ee171afd3ae7d2faa8

Add some 'const' markers to static data that is really constant.

FossilOrigin-Name: e7073e23b80e7cae0c76d42f014ee9b2d40a8f2f

The shared-memory used by WAL on linux now really is shared memory in /dev/shm.
On other unix flavors, the file is in a temporary directory rather than in the
same directory as the database.

FossilOrigin-Name: fc18c4aadb908c3b6f9b6481a2efca6a0daadc64

Changes to the way faults are injected into xShmXXX VFS calls.

FossilOrigin-Name: 716d99f3929b466c7a17190e0f18de8ab0e7f1fa

Change the OOM and IO error test cases in walfault.test so that each test case runs both types of error simulation.

FossilOrigin-Name: b627e1536822bb7e3ef91867661a53be0efc13ef

Delay the decision to restart the log file until data is actually ready to be written to the log file (instead of at the start of a write transaction).

FossilOrigin-Name: b1abfaaf5309cc0d0dda4fb2c237862c8cf83261

The incremental checkpoint feature is not perfect yet, but it is working
well enough to merge it into the trunk.

FossilOrigin-Name: 1d3e569e59ba89cc167f0a48951ecd82f10322ba

Merge with [15abbc3416].

FossilOrigin-Name: f4b9003a2d3db88eaabb4b291e6cea8e8ea6ff51

If an attempt to get a read-lock on the WAL fails with SQLITE_BUSY_RECOVER, call the busy-handler at the btree level.

FossilOrigin-Name: ce64496509a213c08c9dedae2a7a456b393d22e5

Fix a bug introduced by the previous check-in but only seen if
SQLITE_ENABLE_EXPENSIVE_ASSERTS is turned on.

FossilOrigin-Name: 9c9ec8994bf701249efce6c7bb911de4525808c8

Fix an off-by-one boundary-value issue in walCleanupHash().

FossilOrigin-Name: f039552e6330b6a04281748f985b41937f534bd0

Do not hold the shared-memory mutex in os_unix.c if returning NULL.

FossilOrigin-Name: 9622dd468c8914262e9d8bd8dbca9e22ec6ee75c

If the checkpoint fails to obtain an exclusive lock on one of the read-lock bytes, do not consider this an error.

FossilOrigin-Name: 9e95e35728cf69a0ae50e774d7f6c71a41b17d97

Fixes to the test cases in wal2.test.

FossilOrigin-Name: cd5fbcbce8b55f24c0bf349b179c26e333ff7172

Comment edits and cleanup in wal.c.  No functional code changes.

FossilOrigin-Name: e8e666ab8273f5db5265f0773b39820f75b6df1a

Attempt to get the filectrl.test script running.

FossilOrigin-Name: e46a8f2b752f86c4d8942ee125210516026ffdc2

Fix os_unix.c so that it will compile and build on a Mac.

FossilOrigin-Name: bc707c83e5f9849d9d201d695d0d071ca9ed93cb