Merge the stat2 query planner enhancements into the trunk.

FossilOrigin-Name: 499edcbc8ab70fcf35431d4e672c68dbcb6c5aad

If a deferred foreign key constraint fails on a statement that is not part
of a larger transation, make sure that the statement fully ends so that
subsequent invocations of the same statement will not pass the constraint
because they think the transaction is not closed.  This is a merge of
the deferred-fk-quirk branch together with a test case.

FossilOrigin-Name: 2f94d4623f9aae1b5bc7041bd85f4e3a7462c60e

Fix the ATTACH command so that the filename argument can be any expression
and so that if authorizer callback gets a NULL pointer for the filename
if the filename argument is anything other than a string literal.
Ticket [9013e13dba5b58c7]

FossilOrigin-Name: e64e1453a9c204d93de1af92dc0b3ca26762b024

Extra tests for fts4 compress/uncompress hooks. Fix some minor problems with the same.

FossilOrigin-Name: 80225abe79b0a7723b922ec129954438af95855a

Extra tests for the fts4aux module.

FossilOrigin-Name: cfc475690d85ea7e3547424289d9837f46ab7ef4

Fix a superlock test case to conform to the new wal_checkpoint returns.

FossilOrigin-Name: 8bf2d51b6a50da84cf6b0d2bd78e633d6810160b

Fix minor problems with the output of "PRAGMA wal_checkpoint". In both code and tests.

FossilOrigin-Name: aef61036b31963e4c3ff4e8acf8c1734dc9394af

Optimize handling of equality and range constraints on the "term" column of an fts4aux table.

FossilOrigin-Name: 386701ded2bcee5309ec9f285d94e6eb1eade193

Merge in the blocking-checkpoint enhancement, including the new
sqlite3_wal_checkpoint_v2() interface and the
PRAGMA wal_checkpoint(full) statement.

FossilOrigin-Name: bac7342c368a7c4f5f2878e08d9581dcbf57dd58

Merge fts4aux branch.

FossilOrigin-Name: c6d9f7d8c48e1ff405e1c1d98a166974fc829f58

Add missing file fts3_aux.c.

FossilOrigin-Name: 0147d9739f318a02721d3ae0e7be339a19231f60

Remove extra instances of the text "checked out." from sqlite.h.in. Also add new file fts3_aux.c to mksqlite3c.tcl.

FossilOrigin-Name: 9897da22c5b51611597350efbe8d5dcaf39d748b

Fix a problem causing builds with SQLITE_OMIT_WAL defined to fail.

FossilOrigin-Name: b9b48dd8ddceec009b5a22a3699e1524542c004a

Fix a case in fts4 where a corrupt %_stat table could lead to a crash.

FossilOrigin-Name: 4ade96ce974244fc34bb97713d3cba10e3d33056

Add virtual table module "fts4aux", used to inspect the full-text index of an fts4 table directly. Also add the "compress" and "uncompress" fts4 options.

FossilOrigin-Name: b010ddcc52889160af2183a33c5f483bb0ae91b9

SQLite version 3.7.5 release candidate 2

FossilOrigin-Name: ed759d5a9edb3bba5f48f243df47be29e3fe8cd7

Add test script pagerfault3.test. No changes to code or existing tests.

FossilOrigin-Name: 682fe41efd3578e8c9abc7138b61f361c3adbe95

Change pager_truncate() to a different method for extending files while
also ensuring that writes are page-size and page-aligned.

FossilOrigin-Name: 874bc8844f6494cdbf700bd884dee67d40f11fc0

When extending a database file, do so by writing one or more page-size chunks of data to the file, instead of just a single byte to the end.

FossilOrigin-Name: 58577135a81d3f19667b1de6167d2e3f1b74cd53

Reactivate the analyze5.test script.

FossilOrigin-Name: a2a9f6401c927f6259cda3ba35219cabef24e84d

Change the weighting of binary searches on tables to 1/10th the cost of a
search on an index.  Change the assumed reduction in search space from a
indexed range constraint from 1/3rd to 1/4th.  Do not let the estimated
number of rows drop below 1.

FossilOrigin-Name: 4847c6cb71423248b186ab7842b97c83e2f5fefd

SQLite version 3.7.5 release candidate 1

FossilOrigin-Name: 35ac78f55159705af140b949ee33852aedd62816

Update all built-in VFSes to return SQLITE_OK for the
SQLITE_FCNTL_SYNC_OMITTED file-control operation.  Also change the
xFileControl methods to return SQLITE_NOTFOUND for unrecognized
operation codes.

FossilOrigin-Name: 6f2c72a0f6579db3f40c079436ca40e3e52bd6d9

Update test file mutex1.test to account for [e3b500fb5d].

FossilOrigin-Name: c86e46f4fd8f485fa1d34c70e17ea3aa1b334ce3

More mutexes around another sqlite3StatusAdd() call.

FossilOrigin-Name: e3b500fb5d93d98e6e1ddf6d494a841274d1b68d

Add a mutex around an sqlite3StatusAdd() call to prevent the pagecount
overflow measurements from getting off in multithreaded applications.

FossilOrigin-Name: 3d8b298dc24fe13a3f390da41f79b8613a6f25a7

Update mutex1.test so that it works with the memsubsys1 permutation (pagecache memory). Change a few instances of SQLITE_MUTEX_STATIC_LRU2 in comments and test code to STATIC_PMEM.

FossilOrigin-Name: 456bd5c63b41bae8e389df81e318b830aa314000

Changes to exclusive2.test to make it more deterministic.

FossilOrigin-Name: 84b0c2bc7125623be2ee526b5ca75e1b72debb93

Rename the PCache1.mxPinned field to n90pct (since it is 90% of nMax) in order
to distinguish it from PGroup.mxPinned.  Fix the computation of n90pct so that
it does not overflow adversely on excessively large cache sizes.

FossilOrigin-Name: c85202baac49b22a4be36b9733d44f01d83edb28

Fix new compiler warnings in pcache1.c that were introduced by the recent
performance enhancement patches of [e14649301138b684].

FossilOrigin-Name: c17703ec1e604934f8bd5b1f66f34b19d17a6d1f

Add a missing call to sqlite3PagerSync() removed by [ce552d975] to the backup code.

FossilOrigin-Name: 1965b85318c1fac62fae9691059021b298c17dde

Make sure the return code from doing an xSync is correctly initialized
so that a valid return code is produced regardless of the path taken through
the logic.

FossilOrigin-Name: f12b5d76854c2f294ac60afe38a6dac37eb5b174

Change the name of SQLITE_FCNTL_SYNC to SQLITE_FCNTL_SYNC_OMITTED and only
send it when PRAGMA synchronous=OFF.  Add better documentation to explain
what that file-control opcode is used for.

FossilOrigin-Name: 64914980855dbbf19512642836ca962a507b3ddb

Fix a couple of typos in comments. No changes to actual code.

FossilOrigin-Name: 9167fdb3560b1567a0bdc9a1906a87ec98e161f1

Fix a broken assert() in pager.c.

FossilOrigin-Name: 13108ce13c281f31aa60b403567710ae3d925797

Fix a problem in memsubsys1.test. Modifications to test code only.

FossilOrigin-Name: 7ef3f7cba768ef0c4782a6c80424833b4df6a059

Shave a few cycles so that performance is better than 3.7.4 in speed tests.

FossilOrigin-Name: e14649301138b6840e24a4bbd2cf5205c0f72409

Modify the test_quote.c demonstration shim so that it works when
SQLITE_THREADSAFE=0 is defined.

FossilOrigin-Name: b70bcccaf5597c8a59cccb64fb997523f7b8fe4f

Fix a typo in the documentation for sqlite3_snprintf().  No changes to code.

FossilOrigin-Name: 8d1065411aadf189880606c48ab63dd2a56b9793

Fix a harmless compiler warning (a shadowed local variable) in analyze.c.

FossilOrigin-Name: a1ad7fb38bb38909ca2fddee31c7a8001f10686f

Restructuring and generalizing analyze5.test.   The whole script is
currently disabled and will need to be reenabled prior to merging with trunk.

FossilOrigin-Name: 31fcc7067bd76da4bf19232811b90cf8b76eed74

Ensure that if a deferred FK constraint is violated by a statement that creates its own implicit transaction, the statement is not an "active-write" after sqlite3_step() returns.

FossilOrigin-Name: 8063197ef141c0c62ba710efdd2b3421fbee4e5d

Change the cost estimator in the query planner to take into account the
logN rowid lookup cost when going from an index to a table.

FossilOrigin-Name: b442525b0ba642bb8d57b87b7b9e373b6046454a

Modify the trace callback mechanism so that SQL commands executed from within virtual table or user function callbacks are passed to the trace callback without parameter expansion and enclosed in SQL comments.

FossilOrigin-Name: a764915b87564fa91ee68e9b1f41394ce0f1fc7e

Add the ability to use indices for constraints of the form "x IS NOT NULL"
when sqlite_stat2 is available and most entries for column x are NULL.

FossilOrigin-Name: 5d5bddd290e71a7b03bcc23ff29881c23233cbff

Change sqlite3StrAccumAppend() to use realloc instead of malloc.

FossilOrigin-Name: 380f61df0754ceec6b3f6a758d04e951cce8c3d9

Adjustments to the result row estimator for the IN operator so that it gives
the same estimates as the equivalent OR operator.  Test cases for the same.

FossilOrigin-Name: c82cb9c028b3ba5463ae50c30196dbf157a7a305

Make use of histogram data to make better estimates for the number of rows
that will be returned from "x IN (v1,v2,v3,...)" constraints.

FossilOrigin-Name: fd3977a27ae68e694df12a4713e55515c1e87c5d

Add options to test command [do_faultsim_test] to support testing VFS implementations.

FossilOrigin-Name: 503ad889da675b3dd83da7338e2902e42f69acac

Add the ability to use indices when a range contraint is bounded on
the lower end by NULL.

FossilOrigin-Name: f73a167b434fadcbbd15e3891c4b7f4f87f6363c

Update ANALYZE test cases to check out the use of histograms for equality
constraints.

FossilOrigin-Name: c7b59afaf0c0bf85dbaf0a122cc8d65fca93680f

Use histogram data to improve the row-count estimates on equality constraints.

FossilOrigin-Name: 6bfc5c69eb22938972bbf4e60179952dc215f770

The first of a planned series of enhancements to the query planner that
enable it to make better use of sqlite_stat2 histograms when the table
has many repeated values.

FossilOrigin-Name: 2cd374cd23fa2fd38f49090d6eeb9b1e521d51d5

Comment improvements in pcache1.c.  No changes to code.

FossilOrigin-Name: 9660a0a22547656cc3765b673d0cee9e1dd829ef

Do not use mutexes in the pcache implementation unless
SQLITE_ENABLE_MEMORY_MANAGMENT is defined.  This is a performance enhancement.
A side effect is that pcaches will not steal pages from one another unless
ENABLE_MEMORY_MANAGEMENT is set, or unless SQLITE_THREADSAFE=0.

FossilOrigin-Name: e5ca59e63b18ac45a8c82ca39dc8cce1c4ce903c

Get all test cases working with the mutex-free-pcache implementation.

FossilOrigin-Name: 2dc98d29995bef51108e99aa8f7a56427cf9e1d7

Do not use SQLITE_MUTEX_STATIC_MEM2 since it has been reused as STATIC_OPEN.
Instead, create a new static mutex STATIC_PMEM which is an alias for the
unused STATIC_LRU2.

FossilOrigin-Name: f1cf02efcb3a871fef49f8b5f41bcf07622a6d29

Here is a completely new implementation of the mutex-free-pcache.  This
one uses a common code base and automatically selects whether or not to
use mutexes depending on compile-time and start-time options.

FossilOrigin-Name: d094a1bfb7569a52b637fe9ba5d3fa6ce5ea6d94

Fix a typo in the documentation for sqlite3_stmt_readonly().

FossilOrigin-Name: 56417a3386fc84dd36bf1488e88149b1ac6a0d02

Add the SQLITE_OMIT_AUTORESET compile-time option which if enabled causes
the sqlite3_step() routine to return SQLITE_MISUSE if it is called after
it has previously returned anything other than SQLITE_ROW, SQLITE_BUSY, or
SQLITE_LOCKED.

FossilOrigin-Name: 053ce76deb356d31358454507ba94947142e20ca

Add back an ALWAYS() to regain full test coverage.

FossilOrigin-Name: b93f6f3e679c7710f42580a8dd9ce43136376c1d

On a backup from a smaller to a larger page size, do not begin committing
the transaction until the source pages after the pending byte have been
copied.

FossilOrigin-Name: 612e2599d3e1a17c268402fce018a53dee6dffe1

Make sure the change-counter and SQLite-version fields of the header are
set correctly even when doing a VACUUM with locking_mode=EXCLUSIVE.
Ticket [5d863f876ee9561b].

FossilOrigin-Name: 04fa1e16905183b948ee6456675799a873d5f97d

Make sure the change counter and SQLite version numbers in the header are
set correctly, even when running in WAL mode and when VACUUMing in WAL mode.
Ticket [5d863f876ee9561b9].

FossilOrigin-Name: 0be92a75769dbafbc08c3b229089aaac03a9a907

Fix the change-counter increment for WAL pages so that it works even when
invoked from xStress.  Ticket [5d863f876ee9561b95e2].

FossilOrigin-Name: 228e7c34c64114670fe015747d47fdaa3b7e1270

Increment the change counter and update the SQLite version number whenever
page 1 is added to the WAL.  Ticket [5d863f876ee9561b9]

FossilOrigin-Name: c1e0d09cd3f5feae123468a35f147021d839641c

Add a test case demonstrating the problem described by ticket [5d863f876e].

FossilOrigin-Name: af54963f0fa0afafbc2d0847f30543c041b182ec

Rerun autoconf to bring the configure script up-to-date.

FossilOrigin-Name: 142174640d60e834cae27ccaa78b02ecef8bcfe5

Fix comments, including some documentation comments, in the page cache
logic.  No code changes.

FossilOrigin-Name: c80e9c1a0dc0e501b209874e147e1cb1348cb4a4

Fix a bug in test code (test_vfs.c).

FossilOrigin-Name: 772a3845f8ef5cd3131992c45f6ce607977820f3

Fix a typo on the sqlite3_open_v2() documentation.

FossilOrigin-Name: b0add45abc9929c5b8d1124879bc3e8acf2ab7c7

Fix a couple of crashes in fts3 that can occur if the database contents are inconsistent.

FossilOrigin-Name: 811e12cddfb3246c6cf3d5085bd9b72b12e05550

Fix a segfault that can occur in matchinfo if an fts4 table contains mostly zero-length documents. Specifically, if the table contains more rows than it does bytes of text.

FossilOrigin-Name: fe9047668eaaf76e7aa1ef1f32dec7c7c4226e45

Do not raise an SQLITE_CORRUPT error in Recoverymode
if the database size in the header is larger than the physical file
size.  This facilitates recovery of a database in which the database size
field has been corrupted.

FossilOrigin-Name: 114640d920e16c85de90b19d53c485135875de5b

Merge accidentally created fork.

FossilOrigin-Name: b7d080b8e850bd262f53f29ba4687a62cf76d4ef

Add the SQLITE_FCNTL_SYNC file-control.

FossilOrigin-Name: b3f2f465c310a2cfef8731a0dae3453593b68de9

Change the page size of the destination database in a backup, if it is
changeable, prior to starting the backup.

FossilOrigin-Name: a5e4e0caad788318bc973e2550488a3b83128b8b

If a rollback is attempted in journal_mode=off mode, force SQLite to discard the contents of the pager cache before processing any subsequent queries.

FossilOrigin-Name: ece7efce2733b4fdd71db385abebbde464ac8f30

Fix the sqlite3.h generator script so that it generates the correct
SQLITE_SOURCE_ID string with the latest versions of Fossil that
include fractional seconds on the date/time stamp.

FossilOrigin-Name: 3513bf6ee090d9be97f60e12a4b39f4361ee17b7

Update pager requirements to accound for the ZIPVFS extension.

FossilOrigin-Name: d94e59b514c16c5f7ea506e0af1c6e2ffecc13be

Reorder the fields in private structures in an effort to reduce alignment
gaps and thus make the structures smaller, and to put frequently accessed
fields first.  Also update some obsolete comments.  Valgrind shows a very
slight performance improvement.

FossilOrigin-Name: 378a1d13af4a6f4cb2bfa65944b3b0d444b9f21c

Enhance the showdb tool to show overflow page pointers at the end of
overflow cells.

FossilOrigin-Name: cda5eab18f48d3836dfd3e1f8c76e5f83b43485f

Enhance the showdb tool to show a btree page layout.  Add limit checks so that
overflow content does not overflow the buffer.

FossilOrigin-Name: 57ffa07e26a26d2f4527c8e6d7a9c1f48f380bf7

Fix a bug in the showdb utility: the serial types for BLOB and TEXT where
reversed.

FossilOrigin-Name: 65a13faf1e3cd18f3459cd410f65d334cfa7c376

Enhancements to the "showdb" debugging tool.  Add the ability to display
the content of a cell.

FossilOrigin-Name: e9023a4e1edd552a81dcb2dcd5a996edfa167709

Increment the version number to 3.7.5.

FossilOrigin-Name: 9ec3896e2fda5b04e609300463dc5b6e79d6cff1

Add the sqlite3_vsnprintf() interface.

FossilOrigin-Name: fc67adea414320e0c0b24054f76070cfaeebb401

Fix a null-pointer dereference that can occur on an OOM error while running
ANALYZE with SQLITE_ENABLE_STAT2.

FossilOrigin-Name: 73128d4ef5d7703bf7af0553c307b55dc1b783f6

Fix the ANALYZE command so that it takes collating sequences into account
when gathering index statistics.

FossilOrigin-Name: a5867cfc4c9b9155fa345247dec29e38fffa8002

The ANALYZE command now counts at all rows of an index, even those containing
NULL values.  A valid sqlite_stat1 entry is created even if the index contains
nothing but NULLs.

FossilOrigin-Name: 824c8dd3015bbd5c8a1dd661cfe09fe5bf7a80d3

Have testfixture invoke C routine Zipvfs_Init() when creating a new interpreter if SQLITE_ENABLE_ZIPVFS is defined.

FossilOrigin-Name: 430635dacfa818e8266a88214aaf60c77862de1c

Fix some off-by-one errors in the comments for API functions create_function() and value_blob(). No changes to code or tests.

FossilOrigin-Name: 7ded90baeb75db5af83345cd2c31211cbee1e91b

Reduce the number of calls to sqlite3_realloc() made by fts3 when querying for position information of a term prefix.

FossilOrigin-Name: 7088d9450f403f12f67eed558e368573101245d6

Do not include <sys/mmap.h> if SQLITE_OMIT_WAL is defined.

FossilOrigin-Name: b82e85ece94c8e25c1dc3251f5444a295fbf8c89

Add test cases for the new lookaside hit and miss status outputs.  Add
the output of lookaside hit and miss to the command-line shell statistics.

FossilOrigin-Name: b0888047bb6d9ac55e29b9224df2ff650728bb78

Merge into the trunk the experimental enhancements to sqlite3_db_status()
for measuring lookaside memory allocator performance.

FossilOrigin-Name: 8c3b06c299554759b67437e09ee7ef6420dacafc

Remove the obsolete compile-time option SQLITE_THREAD_OVERRIDE_LOCK
from the autoconf makefile.  Needed only for LinuxThreads, which we no
longer support.

FossilOrigin-Name: 09f6c053ff9239c22ecf527ae579446c6e21e550

Rearrange a variable declaration in the proxy locking code to avoid a harmless
compiler warning on recent MacOS versions.

FossilOrigin-Name: 39bbd35599e735b32f7ed18143073165b805dd98

Clarify the documentation of the SQLITE_STATUS_MALLOC_COUNT parameter to
sqlite3_status().

FossilOrigin-Name: 3b41bcc3e36a9ef0146bc2f6ae86377bd1700afd

Add additional DBSTATUS options for measuring the hit and miss rates against
the lookaside memory pool - information useful in tuning the lookaside size.
Currently experimental pending analysis of performance impact.

FossilOrigin-Name: 34613f1dc54c638531ca2f5907b71fbe8841233e