Merge trunk changes into experimental branch.

FossilOrigin-Name: aa81900153a2762cb2ad41e6710c1f1e7dc8b41e

Improve the accuracy of the Pager heap usage estimate.

FossilOrigin-Name: ae89777e7f8bae2cdd3407395ea84c1b39577c4b

Adjust the shell test script "shell4.test" to account for changes in the
".stat on" display format from the previous checkin.

FossilOrigin-Name: 2f2fa7dd809ae2a67048643da8c01a4664848ba7

Record the pcache allocation size statistics even for pcache overflow
allocations.  Adjust the wording on one of the stat output lines in
the shell.

FossilOrigin-Name: f9adf66ad575abbb63736caef27bd3c619e516a6

Modify CLI to optionally display "stats".

FossilOrigin-Name: 419ce0ed89d10252492b2926817259899ee74e71

Lookaside memory is not used to store schemas.  Change the
SQLITE_DBSATUS_SCHEMA_USED documentation to reflect this fact.

FossilOrigin-Name: 07abfd5268564c18afd1074c2069d65c64f4b8eb

Add documentation for the SQLITE_STATUS_MALLOC_COUNT parameter to
sqlite3_status().

FossilOrigin-Name: dbfbdb60c00b5aeae29c85acec0ae910b82dbdba

Fix errors in wal3.test caused by recent modifications.

FossilOrigin-Name: 0714aeccd82d82686c074c1bb74ea794b7bfa3a3

Support FCNTL_CHUNK_SIZE on windows too.

FossilOrigin-Name: a038688c991435967b935946c2283707820bb5da

Do not allow automatic indices for the RHS of IN expressions which are not
correlated subqueries.  Ticket [8011086c85c6c404014c9]

FossilOrigin-Name: 267492d3a7eff7b7b24ed6bd6d6ff55148fe37f3

Merge trunk changes into experimental branch.

FossilOrigin-Name: 621824092d443425c420ba9010bbe1202fe99ea2

Add experimental unix-only file-control to grow and truncate the database file by a configurable chunk size.

FossilOrigin-Name: 7cf0e851d4c5e826ea22ed08291b7c91d7b1abc7

Update the makefiles to prefer TCL version 8.5 instead of 8.4.

FossilOrigin-Name: 8118de2af33557f75b4f2f1b1194a21d46ccf7fe

Fix a bug in the SQLITE_STATUS_MALLOC_COUNT counter.  Add an ALWAYS() around
a condition in the SQLITE_DBSTATUS_SCHEMA_USED logic that is always true.

FossilOrigin-Name: 6df081adbfa581c477bd2c96bb3f7f44be131a8f

Add the SQLITE_STATUS_MALLOC_COUNT option for sqlite3_status().

FossilOrigin-Name: 8f8e442b3af553753e25c304efa289b626e3a227

Increase the version number to 3.7.1 due to the API enhancement of the previous
check-in.

FossilOrigin-Name: 1d7571e4be6d96aec13cd8b3b7b10b8dc44d19a5

Add support for SQLITE_DBSTATUS_SCHEMA_USED and SQLITE_DBSTATUS_STMT_USED to
the trunk.

FossilOrigin-Name: 008368b2bd1513e2df21c2070548c6fc94abebb1

When calculating schema memory, use the actual allocated size of hash elements, not sizeof(HashElem). Also fix a bug in dbstatus.test

FossilOrigin-Name: e327ef37faec52ce99591266160be2ce2d577cc3

Add virtual table test cases to dbstatus.test.

FossilOrigin-Name: 72b84d066a4eac90a77142c3ea66ef3d21a1104e

Further fixes to the P4_MEM size measurement logic.

FossilOrigin-Name: 934cda2987c331b57a195ed45e9a91794896672a

Fix an issue with P4_MEM and the schema size measurement logic.  Also fix
a compiler warning.

FossilOrigin-Name: 8166f33885b86029bb8a0fbaf70606a0d2d5ec2e

Make sure sqlite3_free() is not called for P4_MPRINTF during a size
measurement.

FossilOrigin-Name: 56f11f8823cd06a69eebce6a9613e22b1810b59b

Remove an assert() that uses a variable removed earlier.

FossilOrigin-Name: c04907e69820bd19f647c5f555327e0058db4e6d

Change the way SubProgram objects are deleted so that the code is the same for deletion and measurement.

FossilOrigin-Name: 00e55102a8309eb6df08ad4a8937ba02688bac62

Update comments to better documentation the new memory measurement functions.

FossilOrigin-Name: 620bad035755449c4e6a762f01ef2b1d9e521c7c

Make sure all memory from sqlite3DbMalloc() is freed by sqlite3DbFree()
and all memory from sqlite3_malloc() is freed by sqlite3_free().

FossilOrigin-Name: 629e38a8c9e31111e351fe4625a5835576d23584

Make sure all memory from sqlite3DbMalloc() is freed by sqlite3DbFree() and
all memory from sqlite3_malloc() is freed by sqlite3_free().

FossilOrigin-Name: ac1f37a647e9ed1c00a901d26d9956a86c40117a

Experimental code to measure memory consumed by database schemas and prepared statements.

FossilOrigin-Name: 9aa30342f4de4eff630520ea8e07ad253d3f0877

Fix a typo in the OS/2 vfs code.

FossilOrigin-Name: a6bb2108bfb562a7067ef6150e43382736c0c4f5

Merge two leaves.

FossilOrigin-Name: 54e5886d841af69c8fa965bbcd637441d4a398ba

Strenghten an assert() in malloc.c that helps to ensure that allocated memory
is freed by the appropriate routine.

FossilOrigin-Name: 80db61acca034a8edff0fd23a65a0bbc9206a7b3

Remove additional traces (mostly in comments) of the Table.dbMem field.

FossilOrigin-Name: 5c58f44aeb224e106497368d9290d75a08807761

Add a test case to shared.test. No changes to production code.

FossilOrigin-Name: bfb0dd3c2f7e1ffbdf236be4adc3e0d804ed5854

Remove the Table.dbMem variable, as it is no longer being used for its original purpose.

FossilOrigin-Name: 6eddc6e601cf8f585c6c2cf79f36fcbfe98a307e

Remove the unused Schema.db variable.

FossilOrigin-Name: 430be657be68687c998f2f5f8dcd112bf26106be

Add evidence marks to the where.c source file.  Comment only - no code changes.

FossilOrigin-Name: f3f9e8e5bb90cc36e0d63a7289a8acf534c5fa2a

Make the sqlite3_db_status() routine threadsafe.

FossilOrigin-Name: 241f7bd190329fa02ca428651072a4a206132eab

Enhance the LIKE/GLOB query optimization so that it works as long as there
is an index with the appropriate collating sequence and even if the default
collating sequence of the column is different.
Ticket [4711020446da7d93d99].

FossilOrigin-Name: 9f932655f9eb9fdab16d7deed98b7cad414e0ca6

Add test/threadtest3.c, containing multi-thread tests implemented in C.

FossilOrigin-Name: aad88cf54e9e55b757d2ece9e39d436e71dcaa9f

Try to optimize LIKE and GLOB operators when RHS contains no wildcard.
Ticket [e090183531fc274747]

FossilOrigin-Name: 613a87d62fd1f8526d53136efae5adae91824bcf

Tweaks to the virtual table documentation contained in comments of sqlite3.h.
No changes to actual code.

FossilOrigin-Name: f5866d4723460e80814b8599e0b84ff4a924da6f

Fix a comment typo.  This check-in is 3.7.0 release candidate 2.

FossilOrigin-Name: b36b105eab6fd3195f4bfba6cb5cda0f063b7460

Added fix for race conditions from os_unix.c; added saving of errno in two places.

FossilOrigin-Name: 13ed106c8c279422a6159e28c6887d13a88b7b8b

Fix a race condition in os_unix.c that may occur when one thread is opening a connection to a shared-memory block and another is either closing or locking the same shared-memory.

FossilOrigin-Name: 3b7330c19a5327322068e9460018fe0152b8ac87

Update the CLI test scripts for version 3.7.0.

FossilOrigin-Name: 92fe70dadde2eb551518d69ac2eaa6a0151d7dfe

Use exit(255) instead of abort() in the tcl [sqlite_abort] test command. This stops testfixture from creating dozens of core files each time tests are run.

FossilOrigin-Name: aec9e13148671e612d4ba674e74c12116573434f

Changes to stat.test so that it works with file-format 4.

FossilOrigin-Name: f87bb283615847764d24943695990564f02b939e

Re-introduce the prefix-search optimization of [feef1b15d6], which was lost in a reorganization of FTS3 code.

FossilOrigin-Name: d692434b4935e8e7858230af1c126b0be8203077

Enable previously failing tests in e_expr.test that pass following [3e5975aa3b].

FossilOrigin-Name: 3d59c54a39c4c3149bf01063a91c3db35ec84b31

Fix a parser bug that was causing the relative precedence of LIKE and <
operators to be incorrect.

FossilOrigin-Name: 3e5975aa3bb9df9e1f954bcce99384e0f13cb453

Improvements to the formatting of parse.out file from Lemon.  Add the -r option
to Lemon to disable the state sorting, making debugging easier.

FossilOrigin-Name: a2eaf8294f6d3fb39548987d632e934bb5d71cc9

Add the -p option to lemon to cause conflicts resolved by precedence rules
to appear in the parse.out file.

FossilOrigin-Name: fb6a59b0a905ddea071948f9a527483a1b1b219f

Add new test file e_expr.test.

FossilOrigin-Name: cbcf8abbb2cb3e603cc3da45075f6b076e5cad56

Do not run journal3.test with the inmemory_journal permutation.

FossilOrigin-Name: e1d228e992fe8da1fc5aef95d9bc8be62c6b46c7

Fix a problem with wal4.test caused by changes in the previous checkin.

FossilOrigin-Name: 1218d3703ad23d01ce0d7cbcabdc9e0d864f8717

Fix a test script bug uncovered by [a121cd80c5] that was causing shared_err.test to fail.

FossilOrigin-Name: d7b63a4c9fdd2acdb5829224b6189e7f2f6bedb9

Previous check-in [534aab837e] accidently reverted some
changes from [a121cd80c5].  This check-in restores those changes.

FossilOrigin-Name: abff795f38e33d778c8dd494a601bc029237da9e

Optionally support shared-memory in /dev/shm or other tmpfs directory
using an unsupported compile-time option.

FossilOrigin-Name: 534aab837e5a34fd58963ab2b505bfbb9da2e8ee

Changes to wal.c so that SQLite can read even if the WAL file is opened read-only, provided the wal-index (shm file) is opened read/write.

FossilOrigin-Name: 932d19da73c9673cdd4cc01289b17761c23d23cb

Handle the case where xShmMap returns SQLITE_BUSY.

FossilOrigin-Name: 75f5354876c4300a8e53fe551dc837dd383d1e38

When creating a journal file on unix, attempt to create it with the same permissions as the associated database file.

FossilOrigin-Name: a121cd80c5ac94e5977bc3164d2500e0ea132fed

Change a comment inside a block of code in parse.y from C++ to C style.

FossilOrigin-Name: dea7d33b2d7d25280a31a2b9c1573f4292b81187

Fix a typo in a comment in os_unix.c.

FossilOrigin-Name: e1e7312580a8b19825b0c52fa8af6c9382f99f22

The expression list on the RHS of an IN operator can no longer be empty
because an empty expression list is now optimized out by changes in
check-in [c288ac644d0bf].  Therefore add ALWAYS() macros around tests
for the expression list being non-empty.

FossilOrigin-Name: fd130ae56c0e23f2d5b4a82f1a09e89ed7ae1e85

Additional test cases and evidence marks for the empty RHS bug on the IN
operator - ticket [80e031a00f45dca877]

FossilOrigin-Name: 6851c517ac7f80538aa5f3a1994fa1921c0ec3f4

Make the result of an IN or NOT IN expression with an empty set on the
right-hand side always either false or true, respectively, even if the
left-hand side is NULL.  Ticket [80e031a00f45dc]

FossilOrigin-Name: c288ac644d0bfda2b9bc204dc86df8e74d4f6843

Fix an assert() failure in wal2.test caused by messing with the contents of shared memory.

FossilOrigin-Name: 9f452514d96ab8d424eadc55c283c53fe831476d

Test the libaries response to read-only or unreadable database, WAL and wal-index files. If a WAL file cannot be opened in read/write mode, return SQLITE_CANTOPEN to the caller.

FossilOrigin-Name: 45bb84c6283d803fc29077fdc2d06fa50ec06a59

On unix, try to create the *-wal and *-shm files with the same permissions as the associated database file.

FossilOrigin-Name: e5d180eed245437b61bfb257ee01e2571c93afe7

Add tests to pagerfault.test.

FossilOrigin-Name: b092f2a74bdc77c1f90ad3b4448cb68a891ecf63

Test that a corrupted WAL hash-table does not put the library into an infinite loop.

FossilOrigin-Name: c73886ed7497c0daf798c3b02ca6f5a1c2addde3

Fix a typo in the IS_BIG_INT macro used by coverage test instrumentation.

FossilOrigin-Name: 5314ca3928dab1c76fa4ec5dbe110e3212c95e9f

Fix the unix driver to return an I/O error if unlink fails for any reason
other than the file not existing in the first place.

FossilOrigin-Name: 90d73c66bfa880cdeb688b3016c8b1c58bfcf35f

Remove the xShmOpen method from the VFS.  Shared-memory is opened automatically
by a call to xShmMap.  Rename the xShmClose method to xShmUnmap.

FossilOrigin-Name: 2b68e50268412599576c86ae70b830d0388cb35c

Change the name of the xShmClose VFS method to xShmUnmap, everywhere.

FossilOrigin-Name: c2d27cf51d33e6f38bab37008d39074051f75274

Tweaks to the new shared-memory interface design - mostly comment changes.

FossilOrigin-Name: 6336de7aa96a6e1e68cc123e5d5f485d790d95a2

Fix a typo in a comment in sqlite.h.in.

FossilOrigin-Name: 4a6c4b6605ddce59e586ab17024de5269191a823

Changes so that the xShmOpen VFS method is no longer required. Its job can be done by the first call to xShmMap. Rename xShmClose to xShmUnmap.

FossilOrigin-Name: f4780bde62c6c19146d2723c101540b8db898d38

Improved documentation for the SQLITE_ACCESS_* constants that are used
with the xAccess() method of the VFS.

FossilOrigin-Name: 3d4bb65f10ed0297f38e732ce57e5440cba8deef

Add proposed interface change to sqlite.h.in. This commit breaks the build.

FossilOrigin-Name: 52577bb5e723d8de4fc609286666b581f8d9c746

Fixes to the pcache10 and pcache90 permutations.

FossilOrigin-Name: 597d40fa529073123a50ae6afc762c59404f8f5f

Fix problems with running the async.test script.

FossilOrigin-Name: 05ac2548652f3c9aa358289700b0b4c7fc22486d

Updates to comments and code organization to reflect changes in os_unix.c;
Updated winShmLock() with logic changes from unixShmLock();
Modified IO error returns in winShmMap() to match those in unixShmMap();

FossilOrigin-Name: b73fe2754b68af4c76a1788aa18b93359720d1f1

Fix test_stat.c so that it does not cause compilation errors if SQLITE_OMIT_VIRTUALTABLE is defined.

FossilOrigin-Name: bf4fc0888705108aab997e1cb491fc7f9c64c443

Fix makefiles so that they build sqlite3_analyzer again.  Tweaks to comments
in test_stat.c.  Fix tclsqlite.c to build the sqlite3_analyzer again.

FossilOrigin-Name: e6cd15451d8c47bfc86d07565655920134b494fe

In the async-IO module, do not increment the open file-counter until after an "open file" event has been added to the event queue. Otherwise, an OOM may cause the system to increment the counter even though no file was successfully opened.

FossilOrigin-Name: 15a190dc5769beb53b89254543e744a964cd86ed

Changes so that the space-analyzer script works with 3.7.0.

FossilOrigin-Name: 86159cb3f00a380dc55be3affb01c433618f0683

Exclude a few more FTS modules from the "in memory" permutation test suite.

FossilOrigin-Name: 4e9d69cd5ac3cc4d12ccea3028cba73e3c3f2965

Exclude fts3cov.test from the "in memory" permutation test suite to avoid a false positive.

FossilOrigin-Name: 6af6794cac5516f8cbc425cb8c73468ca371a1ad

Fix warning under MSVC.

FossilOrigin-Name: 0c32c4bbdd74297767dcf4ec4295f9cc72875af0

Reformat WAL code for clearer presentation.  Update comments for correctness.
Add checks to ensure that corruption in shared-memory does not result in
an infinite loop.

FossilOrigin-Name: 40eaada7ec45e70bdf64d060051f24c5c5e3faf3

Add a test case to cover code that was left untested by the journal_mode
simplification.

FossilOrigin-Name: bcdddba4f011cf008d29918bcac59131007a8138

Fix test case numbering in backup_malloc.test and issue when running under Windows.

FossilOrigin-Name: aef26438523bccf1ea2c19205cd05799e4c69a1f

Change the journal_mode pragma to remove the "default journal mode" concept.
The journal_mode pragma only effects currently attached databases and does
not change the behavior of future attachments.

FossilOrigin-Name: e396184cd3bdb96e29ac33af5d1f631cac553341

Merged experimental crashsql() into trunk.

FossilOrigin-Name: 01b575ff1aa512f34be78f9d67b6caaf825e5820

Changes to get crashsql() working on Windows.

FossilOrigin-Name: 8a5811ea80e8415f9ba6b1d9390ed723840402c3

Fix warning in test fixture code.

FossilOrigin-Name: 0bfcf3bcd77acab48344dde87cecb01e877f1a19

Fix test case number issue in walcrash.test.

FossilOrigin-Name: 6a46e64168705a31d86d29a60025f138a42c5b79

Fix to lock5.test so that it runs with the inmemory_journal permutation on osx.

FossilOrigin-Name: 948bb54568b5eb26644db78e8cd62381bdc22bac

Fixed a few tests in pagerfault.test so they work correctly on Windows.

FossilOrigin-Name: ffbdd954a05c003a213069e39ad0655e77983666