Refactor and simplify the logic used to change journalmode.

FossilOrigin-Name: 95cc3f6fdec5494560c3cd4439d06870d1c62506

Adding original art for the new SQLite logo.

FossilOrigin-Name: af353bd89e5ec89f113d217225cc59cbc8373d64

Add the SQLITE_TESTCTRL_PGHDRSZ verb for sqlite3_test_control() used to get
the size of pcache headers for testing purposes.

FossilOrigin-Name: 5d694f04fecf47ca325e108d463c24f42def55d5

Update the test VFS in test_journal.c so that it implements the
xCurrentTimeInt64 method.

FossilOrigin-Name: ec3b4a7e5d3d7bd737d356b8a09ce94f8f0f8ce0

Store the MemPage structure in memory following, instead of preceding, the page data for cached pages. This reduces the likelihood of a corrupt database page image causing SQLite to read past the end of a buffer.

FossilOrigin-Name: 0ce42e76654d9ba52dac74c940d38b17866016ba

Remove a condition that must always be true.  Replace it with an assert().

FossilOrigin-Name: 7abcd54ec09e8025193d1e0ea57775051d823801

Fix test script problems causing errors in the "inmemory_journal" permutations.

FossilOrigin-Name: ea05b7f929e4696175dbc3ded36dba8ed2a6b575

When restarting (wrapping) a log file, set all unused aReadMark[] slots to READMARK_NOT_USED instead of 0. Setting them to 0 does not cause a problem, but may cause SQLite to obtain and release a few more file locks than would otherwise be necessary.

FossilOrigin-Name: 0797b10c0cc08ae38e26685d1f8331e37d428781

Fix for ticket [f973c7ac31].

FossilOrigin-Name: 6eb058dda8d5f87b02378d8efd821fe64a525dcc

Shift the meaning of aReadMark[] back so that +1 offset from mxFrame is
removed.  Add the new READMARK_NOT_USED value (0xffffffff) instead of
zero to signal an aReadMark[] that is not in use.

FossilOrigin-Name: c576827d55c156572b76cf7063e9f253ca6e7403

Simpler fix for the race condition also fixed by [7c102c7b5f]

FossilOrigin-Name: 3c2de820034e01c2e939bd90a05a58159f60df50

Close database opened by tester.tcl when it is sourced in all.test. Because test scripts are now run in slave interpreters, this connection was not being closed by the first script run as it was previously.

FossilOrigin-Name: b072e9f69ad5ec68b8ec4c716556070001f885e0

Changes to wal3.test to support small default cache size settings. And builds that create autovacuum databases by default.

FossilOrigin-Name: ac4cc2574bafce30390a34f13228380d017791cb

In os_unix.c, call munmap() to unmap a shared-memory region prior to closing the associated file descriptor.

FossilOrigin-Name: 95cc976f1520bdaedd8f93b0e9fbef94e4e2c8cc

Change all.test, quick.test and permutations.test so that they use a separate interpreter for each test file.

FossilOrigin-Name: 7c33eb5a5add8fe76dd412ecab5b6ff8cd78a98d

Refactor some of the global variables and commands used by tester.tcl.

FossilOrigin-Name: c2edf8e17f874d0ca4e94b75575bf6e14eea1f05

Add a couple of extra coverage tests for wal.c.

FossilOrigin-Name: cfe60254df50f086014b115f1a2d9e31c85d67fd

Add further test cases for the logic in sqlite3WalBeginReadTransaction().

FossilOrigin-Name: a49713db39d0d6940b368206d4e669aa69aa1fe5

Clarify the purpose of a test for a race-condition in walIndexReadHdr().

FossilOrigin-Name: c041c6a9786bc9ebb82527f7a2c96d255aec927f

Remove a condition from sqlite3WalRead() that is unreachable as of the changes to clear entries out of the wal-index hash tables on transaction or savepoint rollback.

FossilOrigin-Name: 394204735a842b04b677cca20485b1578e475d4c

Mark a condition in wal.c as ALWAYS().

FossilOrigin-Name: 3fe0cc784ac586358c08f87fba458dfbb5eec6f2

Add extra coverage test cases for wal.c. No changes to production code.

FossilOrigin-Name: f9d4ae0e8cc5d32c52eb78799f7959dd236ea9de

Clarify an assert in sqlite3WalExclusiveMode().

FossilOrigin-Name: 255850699ddbf4aad8cc3223aefbada35daa0703

Remove an unnecessary branch from wal.c.

FossilOrigin-Name: 8e54786c9a0c5c399f228f56c73271f84d75694b

Add an English language error message to corresponding to SQLITE_PROTOCOL. "locking protocol".

FossilOrigin-Name: ca327e32cfe1633f2c9d3f058e411f108aaa2b3c

Add test for the code that detects an inconsistent pair of wal-index headers to wal2.test.

FossilOrigin-Name: 157feba10f7ac01eecf79715c44bb16c98958280

If an attempt to sync the database file as part of a checkpoint fails, do not update the shared "nBackfill" variable. Otherwise, another process could wrap the log and overwrite content before it is synced into the database.

FossilOrigin-Name: b813233d7604a5fd91e1af91d5d812032eec700a

Fix a problem where an SQLITE_BUSY in the checkpoint code was being treated as an IO error (abandoning, instead of just limiting, the checkpoint).

FossilOrigin-Name: 02c4040ce2b4c970b3dee09f7c9ad5a2a3a9aa49

Fix another problem in test_vfs.c.

FossilOrigin-Name: df7d59899ceb2743764b0433cb68f4bc33f16344

Have test_vfs.c simulate IO errors in xShmLock.

FossilOrigin-Name: fcbf7cf189506e43fc2f0820aedffb195038d3a9

Performance fix for winShmClose().

FossilOrigin-Name: ed7774de04978803e979580240148eba1de9166d

Add extra tests for removing elements from wal-index hash tables as part of a rollback.

FossilOrigin-Name: af3e598ad9315a4642dd8fa098dfdbd727770aed

Delay opening the sub-journal until SQLite actually needs to write data to it.

FossilOrigin-Name: c43deb33ae5f191ea2e054181759beeeb9ea71bf

Remove global variables when compiled with SQLITE_OMIT_WSD

FossilOrigin-Name: dd10a547f10364058025c48b28d8fd240bf46aff

Enhancements to test_vfs.c and walfault.test.

FossilOrigin-Name: ac0de2f39e948f3b00e96eebf56ebee70472020d

If an error (OOM or SQLITE_FULL error) occurs while executing an SQL statement and a statement-transaction is automatically rolled back as a result, if a second error occurs during the statement rollback do a full transaction rollback instead. Otherwise the client can be left with an inconsistent cache.

FossilOrigin-Name: eb80ddc665132c607c258b59131025a296269dad

If a malloc fails while allocating a savepoint object at the pager level, do not try to roll that savepoint back later on.

FossilOrigin-Name: 91cb08ffb6332a142542c012b58aa49206ee5704

When a lock fails due to an I/O error (not an SQLITE_BUSY) then the checkpoint
should fail.

FossilOrigin-Name: c6eb0a27270df69018576232d8f97c16d63d8f6e

Fix a problem with rolling back to a savepoint opened before the writer decided to wrap the log file.

FossilOrigin-Name: 6b4aed6aae7dc9e92807d27375cbe1e83c15841b

If an error occurs while writing frames to the log to commit a transaction, do not mark the pages as clean in the cache. Otherwise, the subsequent rollback does not roll them back (leaving the client to continue with a cache that makes it appear that the transaction was committed - inconsistent with the database on disk).

FossilOrigin-Name: cb571c1b71a37b3a10d640987c77a6eec508235d

Added implementation of vfslog_time() for Windows testing.

FossilOrigin-Name: b3109f85bde0b24bfbcfe6c0f7bbe973be196c1d

Updated wal2.test for windows testing.

FossilOrigin-Name: c3606f3985e4ab38479409c13f3a01d1be4f8189

Make sure the directory used by os_unix.c for shared-memory files is always
the same, regardless of individual client permissions and environment
variable settings.

FossilOrigin-Name: f97bd520f06a16c61ccdd9ebeda7e138896b9ac2

When walTryBeginRead() encounters an I/O error trying to set a lock
(as opposed to SQLITE_BUSY) be sure to propagate that error back up
the call stack.

FossilOrigin-Name: aa2c2b67a7f50c97a44cca1af5c437bf5410869c

Changes to make WAL more robust against SHM locking failures and OOM errors.

FossilOrigin-Name: ebf4041383c3cdddb5861960359abd209d4a1028

In the rowhash.test, make sure global variables are cleared prior to use.

FossilOrigin-Name: 28efe0a40405567f3eaf334b6603282d5adac792

Undo one of the "const" markers from the previous check-in because the
value needs to be changable, even if it is not actually ever changed in
the current implementation.

FossilOrigin-Name: c24ac3563f46fc6bcf7e45ee171afd3ae7d2faa8

Add some 'const' markers to static data that is really constant.

FossilOrigin-Name: e7073e23b80e7cae0c76d42f014ee9b2d40a8f2f

The shared-memory used by WAL on linux now really is shared memory in /dev/shm.
On other unix flavors, the file is in a temporary directory rather than in the
same directory as the database.

FossilOrigin-Name: fc18c4aadb908c3b6f9b6481a2efca6a0daadc64

Changes to the way faults are injected into xShmXXX VFS calls.

FossilOrigin-Name: 716d99f3929b466c7a17190e0f18de8ab0e7f1fa

Change the OOM and IO error test cases in walfault.test so that each test case runs both types of error simulation.

FossilOrigin-Name: b627e1536822bb7e3ef91867661a53be0efc13ef

Delay the decision to restart the log file until data is actually ready to be written to the log file (instead of at the start of a write transaction).

FossilOrigin-Name: b1abfaaf5309cc0d0dda4fb2c237862c8cf83261

The incremental checkpoint feature is not perfect yet, but it is working
well enough to merge it into the trunk.

FossilOrigin-Name: 1d3e569e59ba89cc167f0a48951ecd82f10322ba

Merge with [15abbc3416].

FossilOrigin-Name: f4b9003a2d3db88eaabb4b291e6cea8e8ea6ff51

If an attempt to get a read-lock on the WAL fails with SQLITE_BUSY_RECOVER, call the busy-handler at the btree level.

FossilOrigin-Name: ce64496509a213c08c9dedae2a7a456b393d22e5

Fix a bug introduced by the previous check-in but only seen if
SQLITE_ENABLE_EXPENSIVE_ASSERTS is turned on.

FossilOrigin-Name: 9c9ec8994bf701249efce6c7bb911de4525808c8

Fix an off-by-one boundary-value issue in walCleanupHash().

FossilOrigin-Name: f039552e6330b6a04281748f985b41937f534bd0

Do not hold the shared-memory mutex in os_unix.c if returning NULL.

FossilOrigin-Name: 9622dd468c8914262e9d8bd8dbca9e22ec6ee75c

If the checkpoint fails to obtain an exclusive lock on one of the read-lock bytes, do not consider this an error.

FossilOrigin-Name: 9e95e35728cf69a0ae50e774d7f6c71a41b17d97

Fixes to the test cases in wal2.test.

FossilOrigin-Name: cd5fbcbce8b55f24c0bf349b179c26e333ff7172

Comment edits and cleanup in wal.c.  No functional code changes.

FossilOrigin-Name: e8e666ab8273f5db5265f0773b39820f75b6df1a

Attempt to get the filectrl.test script running.

FossilOrigin-Name: e46a8f2b752f86c4d8942ee125210516026ffdc2

Fix os_unix.c so that it will compile and build on a Mac.

FossilOrigin-Name: bc707c83e5f9849d9d201d695d0d071ca9ed93cb

Fix issues with locking_mode=EXCLUSIVE in WAL.

FossilOrigin-Name: 8deba0cebd135a18da68530fab9e7d19dc21ddcb

Add an "isInit" field in the wal-index header that must be non-zero for
a valid header.  Use this to detect an uninitialized wal-index.

FossilOrigin-Name: a16fde190183d1ae252d1aa305b23fdb88c603dc

Fix an inconsistent #ifdef in wal.c.  Fix os_unix.c so that it does not allow
moving an SHM lock directly exclusive to shared without going through unlocked.

FossilOrigin-Name: 552658da2845c2323167b6c7db6e5c00090f280c

Avoid dropping the checkpoint lock after a recovery run as a precursor to a checkpoint operation.

FossilOrigin-Name: cc25cfa04630a43c1de26f2dbdacbe46c110a2b5

Zero the checkpoint header as the last step of successful WAL recovery. Avoid an unnecessary lock/unlock in WalBeginReadTransaction.

FossilOrigin-Name: db3509c55dfe288650b803622e3a0828c6e59aea

Get the new xShmLock interface design working on os_win.c.

FossilOrigin-Name: 149a7082e266edf0dc25c23823a9e240f5285215

Make sure WAL alway requests enough shared-memory space.

FossilOrigin-Name: 138f128317b6695530ca3fde7be4cdf22548cd22

Remove the tests that enable tracing based on the existance of the "vdbe_*"
files when in SQLITE_DEBUG mode.

FossilOrigin-Name: cdbb4e7ca7ec27e7e80dd66529d9d565f547887a

Update another test case in wal.test.

FossilOrigin-Name: 99fde69e61d12cf95b47db70c4647c30be2d2f45

Change WAL test cases to account for the improved concurrency in the new
checkpoint logic.

FossilOrigin-Name: 2d6f2485053e6d2a67abda9a80693ca68f4556d2

Do not fail a checkpoint just because active readers prevent backfill.

FossilOrigin-Name: 9aa4243e0cedcc9204994d04af1b2b7a80c048bd

Add WALTRACE() macros to help with debugging and analysis.

FossilOrigin-Name: 765c33181a7b9d99b452ce750d69f217b3c81a5d

Another minor fix to checkpoint on the WAL branch.

FossilOrigin-Name: 853f1e3f7720af2723b552bdf086bb106e6e93fe

Fix a bug in checkpoint introduced by [181ceb32ea].

FossilOrigin-Name: b499dbc88a67b4200b5f527be88be4ac90f7043f

Fix some asserts and other things in the new WAL branch.

FossilOrigin-Name: 181ceb32ead7f540a7c6437f53a5b0f3e78162db

Changes to the way one of the WAL/OOM tests works.

FossilOrigin-Name: 15abbc34168f7a5bd418254c2b16aac97029e6ea

WAL runs but quickly deadlocks.

FossilOrigin-Name: ace58acbf1fad13d2be96cafebc3a22875098d03

Initial code for incremental checkpoint in WAL mode.  This check-in compiles
on unix and runs as long as you do not engage WAL mode.  WAL mode crashes and
burns.  Consider this check-in a baseline implementation for getting the new
capability up and running.

FossilOrigin-Name: ef3ba7a17ff90674d702e5694b9e792851ab6998

Add tests to fkey2.test to check that ON CONFLICT clauses do not affect SQLite's behaviour when an FK constraint is violated.

FossilOrigin-Name: e9e5b1001986348ef0f88c19de87b94559a5451e

i
i
Minor changes to checksum related test cases.

FossilOrigin-Name: 60c22bde52121993d4bea11eef38ab285c737e2c

Add a test to walcksum.test to stress the checksum calculation.

FossilOrigin-Name: 778d0c1768f73057be912793631e0cf0575858fb

Make sure the wal-index mapping is always large enough to cover the entire
active area of the wal-index.

FossilOrigin-Name: 42705babba0e9d2ef078845854bebbd168f23366

Change the semantics of xShmGet() such that it will never increase the size
of shared memory.  xShmSize() must be used to grow the size of shared memory.
A shared memory segment size cannot be shrunk (except by dropping it).

FossilOrigin-Name: 72de00731245277b2209103ec0a76e3d4f56530e

Updated header comments in wal.c.  No functional code changes.

FossilOrigin-Name: 687632a6b3a0aeb006c1eda5c27d5489f08c230e

Add a busy-handler to a test case in walthread.test to prevent errors.

FossilOrigin-Name: d3d348aa975c58c37088eb2830081880896b85e7

Modify walcrash2.test so that it works with DEFAULT_AUTOVACUUM=1.

FossilOrigin-Name: 77438882dd53ac4d98b24e2846c87a2418b4e3d8

Update header comments in wal.c to correctly describe the WAL file format.
Update the locking region offsets in os_unix.c and os_win.c and add assert()
statement to verify that the locking region offsets are correct.

FossilOrigin-Name: 40030c0739f821ea8ee188c28c579507f10448bc

If a writer exits unexpectedly in the middle of a transaction, have the following writer remove any wal-index hash-table entries left by the interrupted transaction.

FossilOrigin-Name: ed77556adcdf7011b95b9969b360269fb2ebe4e5

Remove unreachable code associated with WAL from the pager.

FossilOrigin-Name: 54c1718e6d15a20414cae15895eb5e83217722e2

OOM errors during an auto-checkpoint are benign.

FossilOrigin-Name: 3d252ce5d0d843e4e65beed672598e65c5745129

Remove the walmode.test case from the inmemory_journal test of
permutations.test.

FossilOrigin-Name: 27ba9c21fb591190b73010ced394cc62c1edff54

Fix the wal2.test script so that it works in auto_vacuum mode.

FossilOrigin-Name: 6a818afb93ca8383abb55e3835e14c74c3e3de23

Change the checksum used in WAL files so that each frames checksum depends on the content of the WAL header and all frame headers and content up to and including the frame to which the checksum is attached.

FossilOrigin-Name: 8a53f12c83a107684b99f4a9de371b5ea3ca810a

Make sure a WAL frame of all zeros is detected as an invalid frame.

FossilOrigin-Name: 02d99ad4b51065c67cc7689916130774be1c4c87

Fix up test_osinst.c to work with SQLITE_OMIT_VIRTUALTABLE.

FossilOrigin-Name: 51fd38152b92db637d1d346fca35ec2d3e4d4f57

Change the WAL file format to support two kinds of checksums - one that is fast to calculate on little-endian architectures and another that is fast on big-endian architectures. A flag in the wal-header indicates which the file uses.

FossilOrigin-Name: 65ba804dd1d31d1eef6ae3f40a3ade344a410b84

Add a couple of missing methods to test_osinst.c..

FossilOrigin-Name: 5c9e9c06ae350043e66f36087da4021a52e6ee17