If the sqlite3_wal_checkpoint() API is passed a NULL pointer in place of a database name, attempt to checkpoint all attached databases.

FossilOrigin-Name: 27a5c09ce8a35039d844d08cfe5698e8b438abfe

Make sure the mutex is held while calling sqlite3ApiExit() in
sqlite3_wal_checkpoint().  Other cleanup of WAL logic.

FossilOrigin-Name: 11a85b821abff1ecb7ec8c37bc7783be9fc4ea6d

Have sqlite3_wal_checkpoint() populate the database handle error message and error code (as returned by sqlite3_errmsg() and sqlite3_errcode()).

FossilOrigin-Name: ff234cf574c7ae384ab1ebc79b2171ef0541bc91

Add the "PRAGMA wal_autocheckpoint" command. Rename "PRAGMA checkpoint" to "PRAGMA wal_checkpoint".

FossilOrigin-Name: 714e5947264571386f966aa8fcdd5607b5832238

Merge two wal leaves.

FossilOrigin-Name: 23c0e6c3f333e878fe5a2ae5d61df0d765f437b4

Add the sqlite3_wal_checkpoint() and sqlite3_wal_autocheckpoint() APIs.

FossilOrigin-Name: 9803196dec85e3aa4105cc477e9cfe98d370e486

Change the SHM interface so that it does not take the name of the shared
object but rather the name of the WAL file and derives its own name from
that.  Remove the xShmDelete method from the VFS and replace it with a
delete flag on xShmClose.

FossilOrigin-Name: 94dea5f9c11a68564220cec76ac3fae2ba90e907

Remove the xShmPush and xShmPull methods from the VFS.

FossilOrigin-Name: 69e07fdbde5054593de948b76dfac157cf5d4058

Define an invariant to guarantee deadlock-free operation of SHM in os_unix.c
and check that invariant with assert() statements.

FossilOrigin-Name: 6af2dca75b8139134ea394c1d71aefc6523f02e9

Rework mutexes on the SHM implemention for os_unix to avoid a deadlock during
WAL recovery.

FossilOrigin-Name: 1a0f69bef2c489e81a3d4b910b426972e9ed4054

Support compile-time option SQLITE_OMIT_WAL, for building without WAL support.

FossilOrigin-Name: 9b230c43dfa112e3e1589f9775926807bd36b36e

Fix a typo in the walmode.test test script introducted yesterday.

FossilOrigin-Name: dcabc90ca588281fa7a290972ec8af6816932489

Fix the sqlite3_mutex_alloc() interface to return NULL (not segfault) when
operating in threadsafe mode.  (This is a general-purpose bug fix which
really ought to be ported to trunk.)

FossilOrigin-Name: 64840a3caf569959c9d5e63bdbc0cf675fda3882

Add test case demonstrating deadlock during recovery of very large log files. No fix yet.

FossilOrigin-Name: 63ea318eb19d264667909c70185b8a5cdc4454c0

Do not allow journal_mode=WAL if the underlying VFS does not support xShmOpen.

FossilOrigin-Name: d1fcccecdc8e9ac5d0d022914e51c545f4e1b04f

Merge in changes from the trunk.

FossilOrigin-Name: 76bf0eee1fd4003a3f1c39922f8f059611d41dd0

Avoid assertion faults in queries using indices with redundant columns.
Ticket [3dbdcdb14e7f41].

FossilOrigin-Name: 946e06cd2a2cc209b0786b7e9d28c0746320d646

Change the SHM VFS logic in os_unix.c so that it does not hold an exclusive
lock n the mapped memory when also holding a CHECKPOINT lock.  This
improves concurrency between readers and checkpointers.

FossilOrigin-Name: 8660cda6f8ef43bd276897ef3b5fc2376b5684dc

Remove some obsolete debugging parameters.

FossilOrigin-Name: a012aed498bf41a5f6f3006182b0c4c2ab0fe1bb

Fix a problem with resizing the wal-index mapping after the mapping has been extended by an external process.

FossilOrigin-Name: 79d356fea6008a8adf8ebd4906571375f3cf5213

Fix a problem with calculating the required size of the wal-index when appending frames.

FossilOrigin-Name: 9526b11130f3ed2f5227386a26263c767214603a

In the debugging output for SHM-LOCK in os_unix.c, use symbolic names
for the lock states rather than raw numbers.

FossilOrigin-Name: 2afc33de2b2012d034fb0d2057a5a45e304516ca

Fix a problem in the previous commit. Both unixShm.lockState and unixShm.readLock should be set to READ when downgrading from a WRITE to a READ lock

FossilOrigin-Name: 90119fecbce06c8db82194dfd9d5045be29b1cda

Fix a bug whereby upgrading from a READ_FULL to a WRITE lock, and then back to a read lock was dropping all WAL locks.

FossilOrigin-Name: 55f5af5e174df7a28deeb36faa51138926669897

Reapply commits [837d82a929] and [c05e7dca17] that were accidentally overwritten.

FossilOrigin-Name: 598de52700ba13e3228289220a74fc62073c62d4

Add xShmXXX() methods to the test VFS in test_devsym.test.

FossilOrigin-Name: 1d20342424b452ea96aaf161de1f98f26a9155a0

Correctly record the fact that the SHM lock reached PENDING if it did so
but failed to reach CHECKPOINT.

FossilOrigin-Name: d9250e84ac1fc6590f8670e1d801630650c7846a

Fix a couple uninitialized variables in the xShmLock method of the unix VFS.
Improved debugging logic for xShmLock.

FossilOrigin-Name: 69567c5fca9e30b7660e6f56350be929c3890d7e

When closing a WAL connection, attempt an exclusive lock on the database file. If the lock is obtained, checkpoint the database and delete the wal and wal-index files.

FossilOrigin-Name: c05e7dca172719f33e245c08d0c0e8ab47e5a537

If a reader attempts to upgrade to a writer, but is not reading the most recent database snapshot, return SQLITE_BUSY.

FossilOrigin-Name: 837d82a92977cbfa0963411daf8160d286a7ed32

Separate the concepts of underlying storage size and mapped size in the
VFS shared-memory implementation.

FossilOrigin-Name: 4cbe49f13fed288f94ff305bcfd99df907bf7baf

Add a missing walIndexUnmap() call to the checkpoint code. Change a couple of SQLITE_CANTOPEN constants to SQLITE_CANTOPEN_BKPT.

FossilOrigin-Name: 1f9e8c5c27ae2c68bc01d8e2bb2c662be7b3f161

Fix an assert() in sqlite3WalRead().

FossilOrigin-Name: 2e7a0050e192dd197d4db92393ab120897c14836

Add missing mutexes to unixShmClose().

FossilOrigin-Name: a4741cb54dd5e753d48fd05ac9dbe27ee4aa1ec0

Fix a couple of assert() statements in os_unix.c and wal.c. Combine sqlite3WalIsDirty() with sqlite3WalUndo().

FossilOrigin-Name: a8f958be804ee05c4137b3cd110db344713af5f2

Add a missing walIndexUnmap() to sqlite3WalSnapshotOpen().

FossilOrigin-Name: 72b95fde15dae56390dc8d4168fb2757447e289e

Merge latest bugfix into wal branch.

FossilOrigin-Name: 265e66e6984c32999bf93981e3b1d19887dfe599

The first 6 WAL tests now work.  It's a start.

FossilOrigin-Name: a92c1851da10acf51e7f6f086b8a23bd731940b3

Zero the "immediate FK constraint counter" associated with a statement object when sqlite3_reset() is called. Fix for [c39ff61c43].

FossilOrigin-Name: f660be615a0c1f4641782a83744533f5d3119218

Refactor wal.c to use the VFS.  This check-in compiles and links and works
ok as long as you leave WAL turned off, but WAL does not work.

FossilOrigin-Name: 62db5fa3b61be885b2d94e9b9ce3877b2c588350

Untested implementation of the shared-memory dead-man-switch.

FossilOrigin-Name: 706611283ea2575c2942543391026b36061cfc1c

Progress towards a VFS that will support WAL.  Locking code is in place
but is untested.  Still no support for the DMS.

FossilOrigin-Name: 1bde41cf081570ad257f927b641e752dff4ed014

Close all open database connections at the end of wal.test.

FossilOrigin-Name: 3cc55a7568daa3796483f632e33478969e381cf5

Fix a but in the WAL checkpoint code causing SQLite to use an inconsistent cache in a subsequent transaction.

FossilOrigin-Name: d1cadeed4eea20d8892726cc8c69f4f3f57d0cd4

Add tests to walthread.test.

FossilOrigin-Name: 9e891e7543ea4d7dee76deb2456af940f4cac49b

Add a test to walthread.test for changing between WAL and rollback modes.

FossilOrigin-Name: da229e44bd4a5d512261da05958d560808c9889f

Merge two "wal"
leaves.

FossilOrigin-Name: 13d2d5a66e9eaa81aa6314354201ee1fbd2b3824

Change walthread.test so that tests can be run with either multiple threads or multiple processes.

FossilOrigin-Name: 25f85f68723e56c18e44b094d85f67b99912dc86

Changes to the interface design for the xShmLock method of the VFS.

FossilOrigin-Name: 348409de26eafe12f5cb1236e8e167a4183d4051

Rename the sqlite3_log_hook() to sqlite3_wal_hook().  Added comments to
wal.h.

FossilOrigin-Name: bbc385111b19071e20fe963fab814262c815b3e9

Merge two "wal" leaves.

FossilOrigin-Name: 8c2d43babd61fe2225d5c402174253f412604092

Add a test to check that a checkpointer releases its locks before returning, even if it has been prevented by a conflicting lock from checkpointing the database.
Add a test to check that a checkpointer releases its locks before returning, even if it has been prevented by a conflicting lock from checkpointing the database.

FossilOrigin-Name: be44349d2b790fb470fcc9fb6a12e8b1076dc645

Fix a problem with identifying a corrupt database in WAL mode.

FossilOrigin-Name: c8658da44671e9c43c90ee4857bbe82c55d40f25

Add the xShmRelease() method to the VFS.  The os_unix.c implementation of
the shared memory logic is still non-functional.

FossilOrigin-Name: ed715b47c5f7657fbf901805981867898054b14d

Run trans.test and avtrans.test as part of the "wal" permutation.

FossilOrigin-Name: c8893310510148f7e71ede5691606b6fc1c3df4d

Fix a problem that occurs when one process causes the log-summary file to grow and then a second process attempts to read the database.

FossilOrigin-Name: b51a5f8bc660616aa264025dd7ad4bdab458814b

Merge in recent changes from the trunk

FossilOrigin-Name: 7a0ac682c3bffcb345321fe97434563350ac90f9

Optimization: Convert an ORDER BY clause into a no-op if the query also
contains a GROUP BY clause that will force the same output order.

FossilOrigin-Name: ca9d86baf70f210d331ce93102177c8005c494cb

Do not attempt to set journal_mode=wal on :memory: or temp file databases.

FossilOrigin-Name: 30d0134454734fd9335896372c30a903e9adcc64

Change the default_cache_size pragma to always store a positive value.

FossilOrigin-Name: 36fb2cae75b5dfe1fe818895f03c0b4f4190a722

Identify the SQLite version meta-value entry in the db-header output of
showdb.

FossilOrigin-Name: 245d934b72cbc6e897193e7892195b6561995939

Fixes for problems with small caches and SAVEPOINT rollback in WAL mode.

FossilOrigin-Name: 6a944f028d4a070bef29e1fbc6fbef481ebcd34c

Further enhancements to the showdb utility:  A page number followed by "b"
causes a btree decoding to occur on the page.

FossilOrigin-Name: 2ff824e58ce8b8f605c809ac960dcbfc51c30e30

Enhancements to the showdb.c utility program.  Automatically detect the
page size and adjust the display accordingly.  Add the "dbheader" display
option.

FossilOrigin-Name: 23eb408b5d08b89b41aaf245a7be8e235f30af8a

Add the "wal" permutation to run existing test files savepoint.test and savepoint2.test in WAL mode.

FossilOrigin-Name: 205e5d8ac08f7d7853427b4cd235fca125155d2d

Add mutexes to fix a race condition in wal.c. This isn't a very good fix.

FossilOrigin-Name: 3d159939cc2beb18c4ca0c8e9a99a75d4107e6e4

Change the names of the log.c and log.h source files to wal.c and wal.h.

FossilOrigin-Name: 56fe5d7624f840417152bcc63efbe21a5f557920

Begin moving WAL-specific I/O into the VFS.  This checkin contains VFS
infrastructure but it is untested and is not yet hooked up to the WAL.
The version number is bumped to 3.7.0 because of the VFS extension.

FossilOrigin-Name: f5e615c28c7035a7e6d896790b51cf9bc7371d5f

Remove an unreachable branch from the function initialization logic.

FossilOrigin-Name: 064d3ddd6199b7b049b1706974e4295f78fb5ab9

Add comment explaining checksum mechanism.

FossilOrigin-Name: 3e9ef5153ebf0543ad0f75a7561f73d22171da53

Fix bugs in WAL mode rollback.

FossilOrigin-Name: 31215969f59be536fe87431bb9fbfa7d13027e35

Merge with [0291ed974d].
Merge with [0291ed974d].
Merge with [0291ed974d].

FossilOrigin-Name: a352f6285e33a806fbe4475e720e763fdc5bb47d

When commands such as ALTER TABLE and VACUUM use SQL internally, make sure
they use only the built-in functions and not application-defined overrides
for those functions.

FossilOrigin-Name: 0291ed974d5bf1e344e2c38422530cc961b897da

Merge with [e79dac3c2f].

FossilOrigin-Name: 1e793d3a6d46ec5d744e077b10362e7cfa118eef

Reserve some space at the start of the log-summary file to apply locks to.

FossilOrigin-Name: a031aa1fa01f062b087154833738f011f7bc4eb5

Fixes and tests for backup of a WAL database.

FossilOrigin-Name: 480d12db4c0ebcc37598f7620d39193875eab15b

Merge of notify.c changes from experimental.
Reset stored blocking connection when registered unlock_notify callback is cleared.

FossilOrigin-Name: e79dac3c2f723ed7cc62fcef468f53952711f242

Add very simple test cases for backup and VACUUM of WAL databases. More to come.

FossilOrigin-Name: 1077d8130b8ed5716ad73f78382270909d347963

Create a version of the log checksummer that works on big-endian platforms. Remove the 512KB size limit on the log-summary.

FossilOrigin-Name: 5d6d4423d1def39bd2424703120aa985085c3f8e

Further tests and changes related to switching between WAL and rollback modes.

FossilOrigin-Name: 1236318477787a612f02cc98caf2931bd2e99d94

Tests for (and changes to) the code to switch between WAL and rollback modes.

FossilOrigin-Name: 9f4f933f2c6596064fcfc7fb5add87e8c5b57448

If, after obtaining a SHARED lock, there exists a *-wal file in the file-system, use WAL mode. This is necessary to recover from a crash that damages the first page of the database file.

FossilOrigin-Name: 33cabf271b8f4dda508a610bf59964273fe2cb84

Minor changes to test cases to account for the fact that databases with read/write versions of 2 are now understood.

FossilOrigin-Name: 278ed41e1d4bbff9544cb2cf4cf52dbbcf0c17df

Use the read and write version fields of the database header to mark a database as operating in wal-mode.

FossilOrigin-Name: 96bef18c1411c3e0348295886f105e1646c46320

Add the sqlite3_log_hook() interface for scheduling checkpoints.

FossilOrigin-Name: 9bda601455705475075e33bfa85687bce34b15ff

Add some comments regarding file-locks to log.c.

FossilOrigin-Name: 9d51c3b754f0b94fea5ef3d669ad583b93b2b024

Do not sync any files in wal mode if "PRAGMA synchronous=off" is set. If files are synced, pass either SQLITE_SYNC_FULL or SQLITE_SYNC_NORMAL to the xSync() callback as configured by "PRAGMA fullfsync".

FossilOrigin-Name: 0ae91b0008b242a47385fc1f295c6b645483ee22

It is possible for sqlite3.pUnlockConnection to be non-NULL when
sqlite3.pBlockingConnection is NULL, as the notify1.test script
demonstrates.

FossilOrigin-Name: 95ff76ef67d6189f54375973fa485d6eb464b029

Merge with trunk commit [3e646e3f4c].

FossilOrigin-Name: 43463970f5885fb116588695146f2a56cb22804a

In synchronous=normal mode, do not sync the log after every transaction. In synchronous=full mode, sync the log and add any extra frames required to avoid blast-radius related problems after each transaction.

FossilOrigin-Name: 9bc9b6847303d0324543a9ded8dd0473490122d8

Change sqlite3_step() so that it automatically calls sqlite3_reset() instead
of returning SQLITE_MISUSE when invoked on a prepared statement that
previously returned any value other than SQLITE_ROW.

FossilOrigin-Name: 3e646e3f4cd0ca288e444561e951cecfdaee2ab5

Enhancements to wal-mode locking scheme.

FossilOrigin-Name: 8549c286497f3d2cd118be1334fce00d6f8a26c4

Changes for branch coverage of notify.c.   Fixed quirk of
unlock_notify() where it would still think it was blocked
after a callback was cleared (even after the transaction
on the blocking connection was closed).

FossilOrigin-Name: c54e8dad01b0ecaf8d66b10e64e862dcad8a6746

Change the log file format to include a small (12 byte) header at the start of the file.

FossilOrigin-Name: 9865d14d6041874bc1239ce7a061d5c75f2d33c9

Fix bug in log recovery (last frame in log was being ignored). Also remove an incorrect assert statement.

FossilOrigin-Name: 67d2a89ec2d593a077eb19a6ea2b06cb1c2e9ba8

Disable query flattening when the outer query is a compound SELECT and
the inner query has a LIMIT clause.  Ticket [02a8e81d44].

FossilOrigin-Name: f96782b389b5b97b488dc5814f7082e0393f64cd

Allow writers to write dirty pages to the log mid-transaction in order to free memory.

FossilOrigin-Name: ecd828f96909895535d7dc744e5a8530e234e04d

Merge two leaves on the WAL branch.

FossilOrigin-Name: c9ed66cc3994b3b0d67a6c950b552a1a869f2ed2

The query planner fix of check-in [33b1f584ef] should have been on the trunk.

FossilOrigin-Name: f538d759beda67e042b66181b65bd432488f7650

Fix a problem in the result set size estimation logic of the query planner -
a problem introduced by the two previous changes.

FossilOrigin-Name: 33b1f584ef712625c4df8e2aefe895fa89f6a795