Merge experimental changes into trunk.

FossilOrigin-Name: aa092ac928dc19bd356d25a1dfd3f432dc145ce6

Fix a bug in pager.c causing it to omit the xSync() call required following a hot-journal rollback.

FossilOrigin-Name: 42ba43ac690dc800fb8b969ae257a79942918342

Add variable pager.dbHintSize, used to limit the number of calls made to the xFileControl(FCNTL_SIZE_HINT) method.

FossilOrigin-Name: eb3ac895bd92c880ac6acca58de8cf9643c2b5e4

Changes to debugging code in mutex_unix.c and mutex_w32.c to make an assert() statement threadsafe.

FossilOrigin-Name: e82e32bd431ccacd276df8241592eb5519d87122

Modify some comments in pager.c.

FossilOrigin-Name: 5662da6d4f648e5d07d7cbea6bbd92fa684c02c9

Merge latest trunk changes with experimental branch.

FossilOrigin-Name: aecbd890327dc676d6c2366b07f3d2e636a4983e

Fix a memory leak in test_journal.c causing tests to fail.

FossilOrigin-Name: f229487cccc7514b2663e8e6e04798702c9cfb10

Fix typos in comments.  No functional changes to the code.

FossilOrigin-Name: 9cebaf2dca6dc35e489537fe7c55474e1029a98e

Change to tcl test infrastructure so that --malloctrace=1 works when sizeof(int)!=sizeof(void*).

FossilOrigin-Name: c3e771b3cf685f4237a2516ee7111849bf0ffb3f

Fix two comment typos that were reported on the mailing list.

FossilOrigin-Name: 88bf9016277c133dfbf4f4b2be0c35c9fe9fabd6

Fix a problem causing the return code of an xSync call to be ignored in wal.c.

FossilOrigin-Name: f1b2b5f9c3a5561ea6108283ae08404106c3f8bc

In WAL mode, ignore any error returned by an xFileControl(FCNTL_SIZE_HINT) call. This matches the behaviour in rollback mode.

FossilOrigin-Name: 158a309737bd4cdc033cd504a6d0cc43c15b6e17

Fix minor problems and update comments in pager.c.

FossilOrigin-Name: 92e456374b052aceff356d10317b5b94fcdeaa5c

Fix a problem wherein changing the journal-mode immediately after leaving exclusive-locking mode could lead to the database being unlocked without clearing the changeCountDone flag.

FossilOrigin-Name: 531abc808526d607768bf6f503268d4cc66ab169

Add test case 'cgt_pager_1', intended for use with callgrind to detect performance regression in the pager module, to threadtest3.c.

FossilOrigin-Name: b5d46f1ea08db2b88d2205bc283b9262ad970b55

Remove all vestiges of ctype.h from FTS3.

FossilOrigin-Name: b8b465ed2c56b23b50334680a2a940885b1ac530

Further enhancements to comments in pager.c.

FossilOrigin-Name: 876162c7e036af1cb447409b685afc72c0061a32

Fix some problems with running test scripts with the inmemory_journal permutation.

FossilOrigin-Name: 7bd8ba084e75bcd5c744e1d4a1812df3a4d91887

Merge trunk changes into experimental branch.

FossilOrigin-Name: aef6698c732f3f9e46986f53e63ca2bdf5f7d208

Do not run some tests in notify3.test with the inmemory_journal permutation. They do not pass as the tests assume that the database schema is not loaded until the first invocation of [db eval]. This is not true with the inmemory_journal permutation.

FossilOrigin-Name: 698fba826e40ce6414cf6c261441d68b174c1637

Further updates to comments in pager.c.

FossilOrigin-Name: 5f4c17a33fd442d66c1bf75af9b21954f6906897

Modify test_journal.c to work with pre-allocated databases.

FossilOrigin-Name: 4894a5d21044b169f412fef095e689cb8a8575dc

Fix a bug to do with deleting the journal file when exiting exclusive-locking mode.

FossilOrigin-Name: 6217b607f0cd60383c6cb4ab0fe9da008f611244

Change two automatic array variables into static constant arrays.
Update and reformat some comments for cleaner presentation.

FossilOrigin-Name: a7a15547cccb4aeb719aba19641f31390c316d8c

Add comments describing UNKNOWN_LOCK to pager.c. Improve some other comments i the same file.

FossilOrigin-Name: 54eff6de9d8d87f33192c192ca91907c4c090988

Merge trunk changes with experimental branch.

FossilOrigin-Name: acd26b8b746980c344db017a0e96dbd92c89acdf

Catch an error code that was not being propagated back to the caller.

FossilOrigin-Name: 800f496929fb0d45d16c573c5dca0197ac922e2b

Fixes for error handling with temp databases. And for errors that occur within OS locking primitives.

FossilOrigin-Name: f99a902f9b3d0bf6f607c4ba641b4096fbbef5d5

Make the size of a Bitvec object 512 bytes on all platforms, instead of
having the size depend on the size of a pointer.  This makes testing easier.

FossilOrigin-Name: ca479f3de2927ccc05dc76d10e40c00b8e0c88d1

Do not read the database file size on a SAVEPOINT rollback any more since
after checkin [65b8636ac6e5] the in-header-size field is always valid.

FossilOrigin-Name: fbe70e1106bcc5086ceb9d8f39cc39baf3643092

Fix the query planner so that when it has a choice of full-scan tables to
move to the outer loop, it chooses the one that is likely to give the fewest
output rows.

FossilOrigin-Name: 309bbedf9648c750d7b8aedbc15d4fd68f846824

If the outer loop of a join must be a full table scan, make sure that an
incomplete ANALYZE does not trick the planner into use a table that might
be indexable in an inner loop.  Ticket [13f033c865f878]

FossilOrigin-Name: e7a714b52c45af096af74049826d32c647abfe3f

Fix some problems with error recovery introduced while reworking pager state.

FossilOrigin-Name: 77eaab6f77c53cc4f429b65dfcf287ad6084c2da

When opening a write-transaction on a database file that has been appended to or truncated by a pre-3.7.0 client, update the database-size field in the database header. Fix for [51ae9cad31].

FossilOrigin-Name: 65b8636ac6e5d3e4502d4f576ddf9350d5df3022

Merge trunk changes into experimental branch.

FossilOrigin-Name: 15368a9f8523d5fb611cd576080daed2cf2f1500

Set the Pager.eState variable to PAGER_ERROR whenever the pager enters the error state.

FossilOrigin-Name: 4d384761d27425b71555f4f3262778277a955835

Fix disabled implementation-mark comments in func.c.

FossilOrigin-Name: 57c0960038b8ce97f9d6665f15e7f6ec310c681f

Add comments to clarify the purpose of the pager "error state".

FossilOrigin-Name: fde4c59782e98366792e1552fd122e7d80a277ff

Fix the REPLACE conflict resolution so that it falls back to ABORT when
a CHECK constraint fails.  Ticket [c38baa3d969eab794].

FossilOrigin-Name: 4e157b774764b8bafc9fabb88decf54f178b5ff5

Add state diagram to comments in experimental version of pager.c.

FossilOrigin-Name: 16dcf5a6d3ebff9a734705693b5ac740f4ff2cc1

Incremental checkin on pager state refactoring.

FossilOrigin-Name: 0a636798bdb6961a47327091715b254f79add823

Experimental refactoring of the Pager object state.

FossilOrigin-Name: 03a240514aa07a22db787d221641253f23933e88

Modify wal2.test to disable tests requiring TCL 8.5 if the test harness is
compiled using TCL 8.4.

FossilOrigin-Name: 016486c7d544dcf9b7422cb0fb9804aa1c418f68

In shared-cache mode, do not allow one connection to checkpoint a database while a second connection is reading or writing the same shared-cache.

FossilOrigin-Name: e75b52d156905ce16bedb94f65c01a4640bdfa75

Fix a typo in an error message of the TCL interface.

FossilOrigin-Name: 8eadd7b87bfe8786e0352ca14b29d1451998c02c

If a database becomes corrupted such that an index is out of sync with its
table, make sure the corruption is detected and reported back.  Do not assume
that indices always contain rowids for valid table rows.

FossilOrigin-Name: 83395a3d24f18170fc068d9e644291678694c3f0

Fix typos in comments.  No code or logic changes.

FossilOrigin-Name: 15c294ca051ed8b5078e7ac9a969b0f9358d9184

Remove a test from sqlite3PagerCommitPhaseOne which is now always true
after the multi-file transaction fix.

FossilOrigin-Name: 6758f6a8ec97941e09847b309812b3194eb57f19

Remove variable Pager.needSync, which was almost completely unused.

FossilOrigin-Name: 347f22a5b777af92873590a5b9af5a6498bef918

Merge trunk changes into experimental again.

FossilOrigin-Name: 87e0f4e184284bf775c2fc7c4e9a334f4f237c59

Changes to the comments describing the Pager.setMaster variable in pager.c. Add an assert() statement to verify that two master journal pointers are not written to a single journal file.

FossilOrigin-Name: ad78ccacb00e2f8a5ca93e2c9006266d9477fe48

Cherry-pick the multi-file transaction fix for ticket [f3e5abed55] out of
the experimental branch.

FossilOrigin-Name: 40f7f0a583e6bba66cd006253a0ef4623ea74f17

Add the test cases for bug [f3e5abed55].

FossilOrigin-Name: cbbaf8e67a23dc332ce935bc7234246eacba60bf

Make sure a connection has an exclusive lock on all database files involved in a multi-file transaction before writing the master-journal pointer into any journal files. Fix for [f3e5abed55].

FossilOrigin-Name: 50c0f2202d21bbf6b593d75fd20f13c0fac23eff

Merge further trunk changes into experimental branch.

FossilOrigin-Name: fb847d70407b0f0e548919b7554f62bc1dab8a6c

Add tests to check that the ICU regexp() function can only be called with exactly two arguments.

FossilOrigin-Name: 451d965742cc219db709939b4ba1da2f2343dbce

Updates to the README.txt file for ICU.

FossilOrigin-Name: d37443d33388b402e610a00c362a1e2e79548801

Unconditionally include the pTmpSpace size in the estimate of the pager
memory used.

FossilOrigin-Name: 4b97f8640e9167cd355a24836fe74e4224cf12b9

Change the profile timer units back to nanoseconds and update the
sqlite3_profile() documentation.
Ticket [c43940c49b74c70a69]

FossilOrigin-Name: 7783b98a938b77d6b8e4e85b32b05452c47fbe4b

Correct handling of compound foreign key constraints that include the
integer primary key as one of the columns.
Ticket [ce7c133ea6cc9ccdc1]

FossilOrigin-Name: 53902f7d4a46aa70ecc5bf180a01ff888d52686a

Get SQLITE_OMIT_VIRTUALTABLE working again after being broken by recent
changes.

FossilOrigin-Name: 33b1e862ffa7109480cf4a77ceae8aebe98d3eee

Fix the dbstatus.test script so that it works correctly on 64-bit machines.

FossilOrigin-Name: a3401d9ee540828f3efd26d89f6b771e0ecb2777

Merge trunk changes into experimental branch.

FossilOrigin-Name: aa81900153a2762cb2ad41e6710c1f1e7dc8b41e

Improve the accuracy of the Pager heap usage estimate.

FossilOrigin-Name: ae89777e7f8bae2cdd3407395ea84c1b39577c4b

Adjust the shell test script "shell4.test" to account for changes in the
".stat on" display format from the previous checkin.

FossilOrigin-Name: 2f2fa7dd809ae2a67048643da8c01a4664848ba7

Record the pcache allocation size statistics even for pcache overflow
allocations.  Adjust the wording on one of the stat output lines in
the shell.

FossilOrigin-Name: f9adf66ad575abbb63736caef27bd3c619e516a6

Modify CLI to optionally display "stats".

FossilOrigin-Name: 419ce0ed89d10252492b2926817259899ee74e71

Lookaside memory is not used to store schemas.  Change the
SQLITE_DBSATUS_SCHEMA_USED documentation to reflect this fact.

FossilOrigin-Name: 07abfd5268564c18afd1074c2069d65c64f4b8eb

Add documentation for the SQLITE_STATUS_MALLOC_COUNT parameter to
sqlite3_status().

FossilOrigin-Name: dbfbdb60c00b5aeae29c85acec0ae910b82dbdba

Fix errors in wal3.test caused by recent modifications.

FossilOrigin-Name: 0714aeccd82d82686c074c1bb74ea794b7bfa3a3

Support FCNTL_CHUNK_SIZE on windows too.

FossilOrigin-Name: a038688c991435967b935946c2283707820bb5da

Do not allow automatic indices for the RHS of IN expressions which are not
correlated subqueries.  Ticket [8011086c85c6c404014c9]

FossilOrigin-Name: 267492d3a7eff7b7b24ed6bd6d6ff55148fe37f3

Merge trunk changes into experimental branch.

FossilOrigin-Name: 621824092d443425c420ba9010bbe1202fe99ea2

Add experimental unix-only file-control to grow and truncate the database file by a configurable chunk size.

FossilOrigin-Name: 7cf0e851d4c5e826ea22ed08291b7c91d7b1abc7

Update the makefiles to prefer TCL version 8.5 instead of 8.4.

FossilOrigin-Name: 8118de2af33557f75b4f2f1b1194a21d46ccf7fe

Fix a bug in the SQLITE_STATUS_MALLOC_COUNT counter.  Add an ALWAYS() around
a condition in the SQLITE_DBSTATUS_SCHEMA_USED logic that is always true.

FossilOrigin-Name: 6df081adbfa581c477bd2c96bb3f7f44be131a8f

Add the SQLITE_STATUS_MALLOC_COUNT option for sqlite3_status().

FossilOrigin-Name: 8f8e442b3af553753e25c304efa289b626e3a227

Increase the version number to 3.7.1 due to the API enhancement of the previous
check-in.

FossilOrigin-Name: 1d7571e4be6d96aec13cd8b3b7b10b8dc44d19a5

Add support for SQLITE_DBSTATUS_SCHEMA_USED and SQLITE_DBSTATUS_STMT_USED to
the trunk.

FossilOrigin-Name: 008368b2bd1513e2df21c2070548c6fc94abebb1

When calculating schema memory, use the actual allocated size of hash elements, not sizeof(HashElem). Also fix a bug in dbstatus.test

FossilOrigin-Name: e327ef37faec52ce99591266160be2ce2d577cc3

Add virtual table test cases to dbstatus.test.

FossilOrigin-Name: 72b84d066a4eac90a77142c3ea66ef3d21a1104e

Further fixes to the P4_MEM size measurement logic.

FossilOrigin-Name: 934cda2987c331b57a195ed45e9a91794896672a

Fix an issue with P4_MEM and the schema size measurement logic.  Also fix
a compiler warning.

FossilOrigin-Name: 8166f33885b86029bb8a0fbaf70606a0d2d5ec2e

Make sure sqlite3_free() is not called for P4_MPRINTF during a size
measurement.

FossilOrigin-Name: 56f11f8823cd06a69eebce6a9613e22b1810b59b

Remove an assert() that uses a variable removed earlier.

FossilOrigin-Name: c04907e69820bd19f647c5f555327e0058db4e6d

Change the way SubProgram objects are deleted so that the code is the same for deletion and measurement.

FossilOrigin-Name: 00e55102a8309eb6df08ad4a8937ba02688bac62

Update comments to better documentation the new memory measurement functions.

FossilOrigin-Name: 620bad035755449c4e6a762f01ef2b1d9e521c7c

Make sure all memory from sqlite3DbMalloc() is freed by sqlite3DbFree()
and all memory from sqlite3_malloc() is freed by sqlite3_free().

FossilOrigin-Name: 629e38a8c9e31111e351fe4625a5835576d23584

Make sure all memory from sqlite3DbMalloc() is freed by sqlite3DbFree() and
all memory from sqlite3_malloc() is freed by sqlite3_free().

FossilOrigin-Name: ac1f37a647e9ed1c00a901d26d9956a86c40117a

Experimental code to measure memory consumed by database schemas and prepared statements.

FossilOrigin-Name: 9aa30342f4de4eff630520ea8e07ad253d3f0877

Fix a typo in the OS/2 vfs code.

FossilOrigin-Name: a6bb2108bfb562a7067ef6150e43382736c0c4f5

Merge two leaves.

FossilOrigin-Name: 54e5886d841af69c8fa965bbcd637441d4a398ba

Strenghten an assert() in malloc.c that helps to ensure that allocated memory
is freed by the appropriate routine.

FossilOrigin-Name: 80db61acca034a8edff0fd23a65a0bbc9206a7b3

Remove additional traces (mostly in comments) of the Table.dbMem field.

FossilOrigin-Name: 5c58f44aeb224e106497368d9290d75a08807761

Add a test case to shared.test. No changes to production code.

FossilOrigin-Name: bfb0dd3c2f7e1ffbdf236be4adc3e0d804ed5854

Remove the Table.dbMem variable, as it is no longer being used for its original purpose.

FossilOrigin-Name: 6eddc6e601cf8f585c6c2cf79f36fcbfe98a307e

Remove the unused Schema.db variable.

FossilOrigin-Name: 430be657be68687c998f2f5f8dcd112bf26106be

Add evidence marks to the where.c source file.  Comment only - no code changes.

FossilOrigin-Name: f3f9e8e5bb90cc36e0d63a7289a8acf534c5fa2a

Make the sqlite3_db_status() routine threadsafe.

FossilOrigin-Name: 241f7bd190329fa02ca428651072a4a206132eab

Enhance the LIKE/GLOB query optimization so that it works as long as there
is an index with the appropriate collating sequence and even if the default
collating sequence of the column is different.
Ticket [4711020446da7d93d99].

FossilOrigin-Name: 9f932655f9eb9fdab16d7deed98b7cad414e0ca6