Run trans.test and avtrans.test as part of the "wal" permutation.

FossilOrigin-Name: c8893310510148f7e71ede5691606b6fc1c3df4d

Fix a problem that occurs when one process causes the log-summary file to grow and then a second process attempts to read the database.

FossilOrigin-Name: b51a5f8bc660616aa264025dd7ad4bdab458814b

Merge in recent changes from the trunk

FossilOrigin-Name: 7a0ac682c3bffcb345321fe97434563350ac90f9

Optimization: Convert an ORDER BY clause into a no-op if the query also
contains a GROUP BY clause that will force the same output order.

FossilOrigin-Name: ca9d86baf70f210d331ce93102177c8005c494cb

Do not attempt to set journal_mode=wal on :memory: or temp file databases.

FossilOrigin-Name: 30d0134454734fd9335896372c30a903e9adcc64

Change the default_cache_size pragma to always store a positive value.

FossilOrigin-Name: 36fb2cae75b5dfe1fe818895f03c0b4f4190a722

Identify the SQLite version meta-value entry in the db-header output of
showdb.

FossilOrigin-Name: 245d934b72cbc6e897193e7892195b6561995939

Fixes for problems with small caches and SAVEPOINT rollback in WAL mode.

FossilOrigin-Name: 6a944f028d4a070bef29e1fbc6fbef481ebcd34c

Further enhancements to the showdb utility:  A page number followed by "b"
causes a btree decoding to occur on the page.

FossilOrigin-Name: 2ff824e58ce8b8f605c809ac960dcbfc51c30e30

Enhancements to the showdb.c utility program.  Automatically detect the
page size and adjust the display accordingly.  Add the "dbheader" display
option.

FossilOrigin-Name: 23eb408b5d08b89b41aaf245a7be8e235f30af8a

Add the "wal" permutation to run existing test files savepoint.test and savepoint2.test in WAL mode.

FossilOrigin-Name: 205e5d8ac08f7d7853427b4cd235fca125155d2d

Add mutexes to fix a race condition in wal.c. This isn't a very good fix.

FossilOrigin-Name: 3d159939cc2beb18c4ca0c8e9a99a75d4107e6e4

Change the names of the log.c and log.h source files to wal.c and wal.h.

FossilOrigin-Name: 56fe5d7624f840417152bcc63efbe21a5f557920

Begin moving WAL-specific I/O into the VFS.  This checkin contains VFS
infrastructure but it is untested and is not yet hooked up to the WAL.
The version number is bumped to 3.7.0 because of the VFS extension.

FossilOrigin-Name: f5e615c28c7035a7e6d896790b51cf9bc7371d5f

Remove an unreachable branch from the function initialization logic.

FossilOrigin-Name: 064d3ddd6199b7b049b1706974e4295f78fb5ab9

Add comment explaining checksum mechanism.

FossilOrigin-Name: 3e9ef5153ebf0543ad0f75a7561f73d22171da53

Fix bugs in WAL mode rollback.

FossilOrigin-Name: 31215969f59be536fe87431bb9fbfa7d13027e35

Merge with [0291ed974d].
Merge with [0291ed974d].
Merge with [0291ed974d].

FossilOrigin-Name: a352f6285e33a806fbe4475e720e763fdc5bb47d

When commands such as ALTER TABLE and VACUUM use SQL internally, make sure
they use only the built-in functions and not application-defined overrides
for those functions.

FossilOrigin-Name: 0291ed974d5bf1e344e2c38422530cc961b897da

Merge with [e79dac3c2f].

FossilOrigin-Name: 1e793d3a6d46ec5d744e077b10362e7cfa118eef

Reserve some space at the start of the log-summary file to apply locks to.

FossilOrigin-Name: a031aa1fa01f062b087154833738f011f7bc4eb5

Fixes and tests for backup of a WAL database.

FossilOrigin-Name: 480d12db4c0ebcc37598f7620d39193875eab15b

Merge of notify.c changes from experimental.
Reset stored blocking connection when registered unlock_notify callback is cleared.

FossilOrigin-Name: e79dac3c2f723ed7cc62fcef468f53952711f242

Add very simple test cases for backup and VACUUM of WAL databases. More to come.

FossilOrigin-Name: 1077d8130b8ed5716ad73f78382270909d347963

Create a version of the log checksummer that works on big-endian platforms. Remove the 512KB size limit on the log-summary.

FossilOrigin-Name: 5d6d4423d1def39bd2424703120aa985085c3f8e

Further tests and changes related to switching between WAL and rollback modes.

FossilOrigin-Name: 1236318477787a612f02cc98caf2931bd2e99d94

Tests for (and changes to) the code to switch between WAL and rollback modes.

FossilOrigin-Name: 9f4f933f2c6596064fcfc7fb5add87e8c5b57448

If, after obtaining a SHARED lock, there exists a *-wal file in the file-system, use WAL mode. This is necessary to recover from a crash that damages the first page of the database file.

FossilOrigin-Name: 33cabf271b8f4dda508a610bf59964273fe2cb84

Minor changes to test cases to account for the fact that databases with read/write versions of 2 are now understood.

FossilOrigin-Name: 278ed41e1d4bbff9544cb2cf4cf52dbbcf0c17df

Use the read and write version fields of the database header to mark a database as operating in wal-mode.

FossilOrigin-Name: 96bef18c1411c3e0348295886f105e1646c46320

Add the sqlite3_log_hook() interface for scheduling checkpoints.

FossilOrigin-Name: 9bda601455705475075e33bfa85687bce34b15ff

Add some comments regarding file-locks to log.c.

FossilOrigin-Name: 9d51c3b754f0b94fea5ef3d669ad583b93b2b024

Do not sync any files in wal mode if "PRAGMA synchronous=off" is set. If files are synced, pass either SQLITE_SYNC_FULL or SQLITE_SYNC_NORMAL to the xSync() callback as configured by "PRAGMA fullfsync".

FossilOrigin-Name: 0ae91b0008b242a47385fc1f295c6b645483ee22

It is possible for sqlite3.pUnlockConnection to be non-NULL when
sqlite3.pBlockingConnection is NULL, as the notify1.test script
demonstrates.

FossilOrigin-Name: 95ff76ef67d6189f54375973fa485d6eb464b029

Merge with trunk commit [3e646e3f4c].

FossilOrigin-Name: 43463970f5885fb116588695146f2a56cb22804a

In synchronous=normal mode, do not sync the log after every transaction. In synchronous=full mode, sync the log and add any extra frames required to avoid blast-radius related problems after each transaction.

FossilOrigin-Name: 9bc9b6847303d0324543a9ded8dd0473490122d8

Change sqlite3_step() so that it automatically calls sqlite3_reset() instead
of returning SQLITE_MISUSE when invoked on a prepared statement that
previously returned any value other than SQLITE_ROW.

FossilOrigin-Name: 3e646e3f4cd0ca288e444561e951cecfdaee2ab5

Enhancements to wal-mode locking scheme.

FossilOrigin-Name: 8549c286497f3d2cd118be1334fce00d6f8a26c4

Changes for branch coverage of notify.c.   Fixed quirk of
unlock_notify() where it would still think it was blocked
after a callback was cleared (even after the transaction
on the blocking connection was closed).

FossilOrigin-Name: c54e8dad01b0ecaf8d66b10e64e862dcad8a6746

Change the log file format to include a small (12 byte) header at the start of the file.

FossilOrigin-Name: 9865d14d6041874bc1239ce7a061d5c75f2d33c9

Fix bug in log recovery (last frame in log was being ignored). Also remove an incorrect assert statement.

FossilOrigin-Name: 67d2a89ec2d593a077eb19a6ea2b06cb1c2e9ba8

Disable query flattening when the outer query is a compound SELECT and
the inner query has a LIMIT clause.  Ticket [02a8e81d44].

FossilOrigin-Name: f96782b389b5b97b488dc5814f7082e0393f64cd

Allow writers to write dirty pages to the log mid-transaction in order to free memory.

FossilOrigin-Name: ecd828f96909895535d7dc744e5a8530e234e04d

Merge two leaves on the WAL branch.

FossilOrigin-Name: c9ed66cc3994b3b0d67a6c950b552a1a869f2ed2

The query planner fix of check-in [33b1f584ef] should have been on the trunk.

FossilOrigin-Name: f538d759beda67e042b66181b65bd432488f7650

Fix a problem in the result set size estimation logic of the query planner -
a problem introduced by the two previous changes.

FossilOrigin-Name: 33b1f584ef712625c4df8e2aefe895fa89f6a795

Change the way checksums are calculated.

FossilOrigin-Name: 84955c2e9ce526c5a3ed479aa09f093a7e37c7d0

Bring over the recent query planner enhancements from the trunk.

FossilOrigin-Name: 82969f27e5ea843cb379666d8a02e4a3fddc03b2

Further refinements to table order selection on join query planning.

FossilOrigin-Name: defaf0d99a807027f8883bf821b6482025f9f54e

The query planner uses non-indexable WHERE clause terms to reduce the
estimated number of output rows, then uses the estimated number of output
rows as a tie-breaker when choosing table order.

FossilOrigin-Name: b87cb0c2bd9c52a938795a974e101879b81210e3

Add tests and fix bugs in WAL locking mechanism.

FossilOrigin-Name: c18077f2465fc34830f11c9832e76be5746eaeea

Add tests to check inter-process WAL locking.

FossilOrigin-Name: 9435f3135849e0d38fde1669201db508561a6308

Improve the logLockRegion() function in log.c.

FossilOrigin-Name: 5e9dd3bd8e829376408925fb4cfcd5bb1eb1105f

Fixes for locking issues in WAL mode.

FossilOrigin-Name: a9617eff39177250e2f118f25fdd4b3acb8b0478

Add experimental locking scheme.

FossilOrigin-Name: 3f958e87c33d667d299b03ffdef58db5dc6363f4

Fix an uninitialized variable in readDbPage of pager.c.

FossilOrigin-Name: f4e1150fed2c520c7c52612cb1019429d78dc32a

Remove old code to interpret an argument (no longer used) to "PRAGMA checkpoint".

FossilOrigin-Name: 27dc5977c19e717afd65d3805557e38dec7bedcb

Fix other problems in the WAL test scripts.

FossilOrigin-Name: dcb31181db246dd3f81ce63b144dd0cf95f06ee3

Fix test script issues preventing walthread.test from running.

FossilOrigin-Name: d90b1dde0702ceb0eae2a3da36733a7e5b1a6b3a

Fix a pager bug introduced by the wal code.

FossilOrigin-Name: 4a0b29dc5e573a5d696ede17db5d7acf8d23aa98

Sync wal branch with [012cf101bf].

FossilOrigin-Name: 9d690f24f634696f76fa38372461cfa69263e91e

Test that the rollback-hook is invoked if a commit-hook implementation returns non-zero (causing a rollback). Remove documentation comment that says otherwise from sqlite.h.in.

FossilOrigin-Name: 012cf101bf8be9e39c138786ea5a5039b8131e55

Add e_fts3.test to the set of tests excluded from the inmemory_journal
exclusion list, since it does simulated OOM errors which trigger I/O errors
and SQLite is unable to recover from I/O errors without a persistent journal.

FossilOrigin-Name: e7e7127f0b0db582274338a9fefc30a0c0be07c3

Recent changes cause the xSync method of the memory journal implementation
to be used, so remove the assert(0).

FossilOrigin-Name: 1f2cb9402838373f6370660dfc885013df079895

Clear a global variable in e_fts3.test before it is used.

FossilOrigin-Name: ae89dfd26b65fb1a3633a4338f5cb5e54a7d2035

Remove duplicate secure_delete pragma implemention.

FossilOrigin-Name: c15fda145b621fc86402914aa5b015e53590555a

Add "log.h", which should have been part of the previous commit.

FossilOrigin-Name: 8de9f010044fc992b5b45a7bb0da1284b404ecdb

Import experimental write-ahead-logging code.

FossilOrigin-Name: 409d61baeb0a19d1700c973f16c8acef7b8506cd

Fix a problem where a process in exclusive mode could delete a hot-journal file without rolling it back from within sqlite3_close() or DETACH. This problem was introduced by the previous commit, it is not present in any releases.

FossilOrigin-Name: 51a613950824698687c0db83b7884db33d45f7f5

Reset the simulated device in the test harness to its default
configuration whenever it is restarted.

FossilOrigin-Name: 562d20e662da474ea326165730ecfdfcf9b414ee

Fix issues and clarify the operation of pager_playback_one_page().
A block comment in pager.c identifies 13 invariants on the pager subsystem.
Ticket [9d68c883132c8].

FossilOrigin-Name: 0906597698b697ab2993a460f257e326cb58e475

Add a test case for the OOM-fault corruption issue.
Ticket [9d68c883132c8].

FossilOrigin-Name: 0a64a937b583c32c02c83fc669addf79662efea8

Candidate fix for a pager bug associated with sqlite3PagerMovepage().

FossilOrigin-Name: 8c046eb6d16682d5e755624deb4f76f57350b9c9

Avoid unnecessary calls to sqlite3_step() with null prepared statements
while parsing the schema.

FossilOrigin-Name: ae04d2d15d3d96f607adb394a631d96cd4cf2c1d

Fix a typo in a comment.  No changes to code.

FossilOrigin-Name: 332cb55113a621456c6522830585434146c388e7

Fix code coverage problems in where.c.

FossilOrigin-Name: b04a52824971e8880e4bf0d9862db4eef8b607ab

Additional automatic index tests.

FossilOrigin-Name: 99d8e325e9eb8905631b06676206e6412f386d08

New test cases for automatic indices.  New testcase() macros associated
with column-used bitmasks.

FossilOrigin-Name: e1aa48ace7e43c3805278120b8228ee597e2cee7

Fix the computation of the number of rows in a table during automatic
index generation.

FossilOrigin-Name: edeab06a5010c82491a6cc9393cf2a35a7622ac5

Fix an integer overflow bug in the automatic index logic.  The bug was
detected by the testcase() macros added in the previous check-in.  Also
add some more testcase() macros, since this issue points up their importance.

FossilOrigin-Name: af97b4881a8f010055cde672634141d7ed6898fc

Add testcase() macros to the automatic index logic to insure that boundary
cases are tested.

FossilOrigin-Name: 7286547847721b8f5f64bc2e7dc236652b1ae985

Make sure F_OK, R_OK, and W_OK are defined in test_demovfs.c.  Define them manually
if they are not.  This is necessary to get the module to compile on some systems.

FossilOrigin-Name: 7c8afc3272fa91e2b5685b009eb674dbc1b5920d

Merge automatic index changes into the trunk.

FossilOrigin-Name: bf7b8d863665870a38f0b2335cc71de856a515b4

When constructing automatic indices do not include the same column more than
once.

FossilOrigin-Name: d067d9f7a9138e026c1018361127e34385928657

Pull over the latest changes from the trunk.

FossilOrigin-Name: e388fe8be878c80ef0bfd1699a7268cdb22cb3c6

When rolling back a savepoint to the beginning of the transaction, make sure
to initialize the database size in the btree layer correctly even if the
database size field of the header is zeroed.

FossilOrigin-Name: a3540c6acf2bb6bdd44c101b63f17ca85e6b68ed

Add an interface to the SQLITE_STMTSTATUS_AUTOINDEX status information
to the TCL bindings.  Add some simple automatic index test cases.

FossilOrigin-Name: 1f40441204d9a912b1d6b67ff6ff9e17146c7abd

Wrap all automatic index changes inside SQLITE_OMIT_AUTOMATIC_INDEX.  Add
the automatic_index PRAGMA to turn it on and off.

FossilOrigin-Name: a811a47fbe4f757a7ab575ae5a0f65177a3f07c0

Make sure that all automatic indices are covering indices.  Otherwise, the
table and index might be used together in a query but the table could get
out of sync with the automatic index through out-of-band changes.

FossilOrigin-Name: 2364313142668b3d0ad144447b4862709be929cd

Enhance comments on the SrcList object definition to better explain the
operation of the SrcList.a[].colUsed field.  No changes to code.

FossilOrigin-Name: c0f67ea131c3e237e46311b1a3dcb3febf2ea036

Fix the trace output of the OP_Function opcode to show the correct
register numbers.

FossilOrigin-Name: 064c283eee82c5053e84058a0e1908e468da6ce3

Add file test_demovfs.c, containing a simple VFS implementation that demonstrates how writes to the journal file may be safely buffered by the VFS layer to improve performance on some embedded systems.

FossilOrigin-Name: af3b72d94a1b6513f02402af3ada5fb5dd390151

Veryquick.test is now working.  The SQLITE_STMTSTATUS_AUTOINDEX counter
added.

FossilOrigin-Name: abbf16e5e7895971710fb3a8fd9c782fc1218a77

Runs quicktest without hitting an assert now.  Some tests get unexpected
results still and there is a memory leak.

FossilOrigin-Name: a8224448cc305258a59a9023e6604783dda73e45

Progress toward getting automatic indices to work.  Still failing in corner
cases.

FossilOrigin-Name: ac6d0fba78eb9dcd69372e128d4a039aaff4b417

Automatically generate transient indices for tables in joins that would
otherwise have to use a full table scan.

FossilOrigin-Name: 1b2a04125f964e14f3fb90171c5ab86a0641d1c9

Minor comment changes to the OP_OpenEphemeral header.  No changes to code.

FossilOrigin-Name: 8e1d7ef47f643503aa823d9986a931a83c63648b

Silently abandon a rollback if the journal has been truncated.

FossilOrigin-Name: 7626f6c9ea04d1a5690dd11bb13e8c3c04e3b0f5

Check for a failure in the call to sqlite3PagerPagecount() from within
sqlite3PagerWrite().  (Error discovered by valgrind.)

FossilOrigin-Name: d64d181c79aee3501be6f7eb8c11ab2cc9a8d63c

Take care to avoid a buffer over-read when adding a KEYINFO structure
to the P4 parameter of an opcode.

FossilOrigin-Name: 937b931a7cdad6874638158ed6a9ab6356b0bd0c