Fix some problems with running test scripts with the inmemory_journal permutation.

FossilOrigin-Name: 7bd8ba084e75bcd5c744e1d4a1812df3a4d91887

Merge trunk changes into experimental branch.

FossilOrigin-Name: aef6698c732f3f9e46986f53e63ca2bdf5f7d208

Do not run some tests in notify3.test with the inmemory_journal permutation. They do not pass as the tests assume that the database schema is not loaded until the first invocation of [db eval]. This is not true with the inmemory_journal permutation.

FossilOrigin-Name: 698fba826e40ce6414cf6c261441d68b174c1637

Further updates to comments in pager.c.

FossilOrigin-Name: 5f4c17a33fd442d66c1bf75af9b21954f6906897

Modify test_journal.c to work with pre-allocated databases.

FossilOrigin-Name: 4894a5d21044b169f412fef095e689cb8a8575dc

Fix a bug to do with deleting the journal file when exiting exclusive-locking mode.

FossilOrigin-Name: 6217b607f0cd60383c6cb4ab0fe9da008f611244

Change two automatic array variables into static constant arrays.
Update and reformat some comments for cleaner presentation.

FossilOrigin-Name: a7a15547cccb4aeb719aba19641f31390c316d8c

Add comments describing UNKNOWN_LOCK to pager.c. Improve some other comments i the same file.

FossilOrigin-Name: 54eff6de9d8d87f33192c192ca91907c4c090988

Merge trunk changes with experimental branch.

FossilOrigin-Name: acd26b8b746980c344db017a0e96dbd92c89acdf

Catch an error code that was not being propagated back to the caller.

FossilOrigin-Name: 800f496929fb0d45d16c573c5dca0197ac922e2b

Fixes for error handling with temp databases. And for errors that occur within OS locking primitives.

FossilOrigin-Name: f99a902f9b3d0bf6f607c4ba641b4096fbbef5d5

Make the size of a Bitvec object 512 bytes on all platforms, instead of
having the size depend on the size of a pointer.  This makes testing easier.

FossilOrigin-Name: ca479f3de2927ccc05dc76d10e40c00b8e0c88d1

Do not read the database file size on a SAVEPOINT rollback any more since
after checkin [65b8636ac6e5] the in-header-size field is always valid.

FossilOrigin-Name: fbe70e1106bcc5086ceb9d8f39cc39baf3643092

Fix the query planner so that when it has a choice of full-scan tables to
move to the outer loop, it chooses the one that is likely to give the fewest
output rows.

FossilOrigin-Name: 309bbedf9648c750d7b8aedbc15d4fd68f846824

If the outer loop of a join must be a full table scan, make sure that an
incomplete ANALYZE does not trick the planner into use a table that might
be indexable in an inner loop.  Ticket [13f033c865f878]

FossilOrigin-Name: e7a714b52c45af096af74049826d32c647abfe3f

Fix some problems with error recovery introduced while reworking pager state.

FossilOrigin-Name: 77eaab6f77c53cc4f429b65dfcf287ad6084c2da

When opening a write-transaction on a database file that has been appended to or truncated by a pre-3.7.0 client, update the database-size field in the database header. Fix for [51ae9cad31].

FossilOrigin-Name: 65b8636ac6e5d3e4502d4f576ddf9350d5df3022

Merge trunk changes into experimental branch.

FossilOrigin-Name: 15368a9f8523d5fb611cd576080daed2cf2f1500

Set the Pager.eState variable to PAGER_ERROR whenever the pager enters the error state.

FossilOrigin-Name: 4d384761d27425b71555f4f3262778277a955835

Fix disabled implementation-mark comments in func.c.

FossilOrigin-Name: 57c0960038b8ce97f9d6665f15e7f6ec310c681f

Add comments to clarify the purpose of the pager "error state".

FossilOrigin-Name: fde4c59782e98366792e1552fd122e7d80a277ff

Fix the REPLACE conflict resolution so that it falls back to ABORT when
a CHECK constraint fails.  Ticket [c38baa3d969eab794].

FossilOrigin-Name: 4e157b774764b8bafc9fabb88decf54f178b5ff5

Add state diagram to comments in experimental version of pager.c.

FossilOrigin-Name: 16dcf5a6d3ebff9a734705693b5ac740f4ff2cc1

Incremental checkin on pager state refactoring.

FossilOrigin-Name: 0a636798bdb6961a47327091715b254f79add823

Experimental refactoring of the Pager object state.

FossilOrigin-Name: 03a240514aa07a22db787d221641253f23933e88

Modify wal2.test to disable tests requiring TCL 8.5 if the test harness is
compiled using TCL 8.4.

FossilOrigin-Name: 016486c7d544dcf9b7422cb0fb9804aa1c418f68

In shared-cache mode, do not allow one connection to checkpoint a database while a second connection is reading or writing the same shared-cache.

FossilOrigin-Name: e75b52d156905ce16bedb94f65c01a4640bdfa75

Fix a typo in an error message of the TCL interface.

FossilOrigin-Name: 8eadd7b87bfe8786e0352ca14b29d1451998c02c

If a database becomes corrupted such that an index is out of sync with its
table, make sure the corruption is detected and reported back.  Do not assume
that indices always contain rowids for valid table rows.

FossilOrigin-Name: 83395a3d24f18170fc068d9e644291678694c3f0

Fix typos in comments.  No code or logic changes.

FossilOrigin-Name: 15c294ca051ed8b5078e7ac9a969b0f9358d9184

Remove a test from sqlite3PagerCommitPhaseOne which is now always true
after the multi-file transaction fix.

FossilOrigin-Name: 6758f6a8ec97941e09847b309812b3194eb57f19

Remove variable Pager.needSync, which was almost completely unused.

FossilOrigin-Name: 347f22a5b777af92873590a5b9af5a6498bef918

Merge trunk changes into experimental again.

FossilOrigin-Name: 87e0f4e184284bf775c2fc7c4e9a334f4f237c59

Changes to the comments describing the Pager.setMaster variable in pager.c. Add an assert() statement to verify that two master journal pointers are not written to a single journal file.

FossilOrigin-Name: ad78ccacb00e2f8a5ca93e2c9006266d9477fe48

Cherry-pick the multi-file transaction fix for ticket [f3e5abed55] out of
the experimental branch.

FossilOrigin-Name: 40f7f0a583e6bba66cd006253a0ef4623ea74f17

Add the test cases for bug [f3e5abed55].

FossilOrigin-Name: cbbaf8e67a23dc332ce935bc7234246eacba60bf

Make sure a connection has an exclusive lock on all database files involved in a multi-file transaction before writing the master-journal pointer into any journal files. Fix for [f3e5abed55].

FossilOrigin-Name: 50c0f2202d21bbf6b593d75fd20f13c0fac23eff

Merge further trunk changes into experimental branch.

FossilOrigin-Name: fb847d70407b0f0e548919b7554f62bc1dab8a6c

Add tests to check that the ICU regexp() function can only be called with exactly two arguments.

FossilOrigin-Name: 451d965742cc219db709939b4ba1da2f2343dbce

Updates to the README.txt file for ICU.

FossilOrigin-Name: d37443d33388b402e610a00c362a1e2e79548801

Unconditionally include the pTmpSpace size in the estimate of the pager
memory used.

FossilOrigin-Name: 4b97f8640e9167cd355a24836fe74e4224cf12b9

Change the profile timer units back to nanoseconds and update the
sqlite3_profile() documentation.
Ticket [c43940c49b74c70a69]

FossilOrigin-Name: 7783b98a938b77d6b8e4e85b32b05452c47fbe4b

Correct handling of compound foreign key constraints that include the
integer primary key as one of the columns.
Ticket [ce7c133ea6cc9ccdc1]

FossilOrigin-Name: 53902f7d4a46aa70ecc5bf180a01ff888d52686a

Get SQLITE_OMIT_VIRTUALTABLE working again after being broken by recent
changes.

FossilOrigin-Name: 33b1e862ffa7109480cf4a77ceae8aebe98d3eee

Fix the dbstatus.test script so that it works correctly on 64-bit machines.

FossilOrigin-Name: a3401d9ee540828f3efd26d89f6b771e0ecb2777

Merge trunk changes into experimental branch.

FossilOrigin-Name: aa81900153a2762cb2ad41e6710c1f1e7dc8b41e

Improve the accuracy of the Pager heap usage estimate.

FossilOrigin-Name: ae89777e7f8bae2cdd3407395ea84c1b39577c4b

Adjust the shell test script "shell4.test" to account for changes in the
".stat on" display format from the previous checkin.

FossilOrigin-Name: 2f2fa7dd809ae2a67048643da8c01a4664848ba7

Record the pcache allocation size statistics even for pcache overflow
allocations.  Adjust the wording on one of the stat output lines in
the shell.

FossilOrigin-Name: f9adf66ad575abbb63736caef27bd3c619e516a6

Modify CLI to optionally display "stats".

FossilOrigin-Name: 419ce0ed89d10252492b2926817259899ee74e71

Lookaside memory is not used to store schemas.  Change the
SQLITE_DBSATUS_SCHEMA_USED documentation to reflect this fact.

FossilOrigin-Name: 07abfd5268564c18afd1074c2069d65c64f4b8eb

Add documentation for the SQLITE_STATUS_MALLOC_COUNT parameter to
sqlite3_status().

FossilOrigin-Name: dbfbdb60c00b5aeae29c85acec0ae910b82dbdba

Fix errors in wal3.test caused by recent modifications.

FossilOrigin-Name: 0714aeccd82d82686c074c1bb74ea794b7bfa3a3

Support FCNTL_CHUNK_SIZE on windows too.

FossilOrigin-Name: a038688c991435967b935946c2283707820bb5da

Do not allow automatic indices for the RHS of IN expressions which are not
correlated subqueries.  Ticket [8011086c85c6c404014c9]

FossilOrigin-Name: 267492d3a7eff7b7b24ed6bd6d6ff55148fe37f3

Merge trunk changes into experimental branch.

FossilOrigin-Name: 621824092d443425c420ba9010bbe1202fe99ea2

Add experimental unix-only file-control to grow and truncate the database file by a configurable chunk size.

FossilOrigin-Name: 7cf0e851d4c5e826ea22ed08291b7c91d7b1abc7

Update the makefiles to prefer TCL version 8.5 instead of 8.4.

FossilOrigin-Name: 8118de2af33557f75b4f2f1b1194a21d46ccf7fe

Fix a bug in the SQLITE_STATUS_MALLOC_COUNT counter.  Add an ALWAYS() around
a condition in the SQLITE_DBSTATUS_SCHEMA_USED logic that is always true.

FossilOrigin-Name: 6df081adbfa581c477bd2c96bb3f7f44be131a8f

Add the SQLITE_STATUS_MALLOC_COUNT option for sqlite3_status().

FossilOrigin-Name: 8f8e442b3af553753e25c304efa289b626e3a227

Increase the version number to 3.7.1 due to the API enhancement of the previous
check-in.

FossilOrigin-Name: 1d7571e4be6d96aec13cd8b3b7b10b8dc44d19a5

Add support for SQLITE_DBSTATUS_SCHEMA_USED and SQLITE_DBSTATUS_STMT_USED to
the trunk.

FossilOrigin-Name: 008368b2bd1513e2df21c2070548c6fc94abebb1

When calculating schema memory, use the actual allocated size of hash elements, not sizeof(HashElem). Also fix a bug in dbstatus.test

FossilOrigin-Name: e327ef37faec52ce99591266160be2ce2d577cc3

Add virtual table test cases to dbstatus.test.

FossilOrigin-Name: 72b84d066a4eac90a77142c3ea66ef3d21a1104e

Further fixes to the P4_MEM size measurement logic.

FossilOrigin-Name: 934cda2987c331b57a195ed45e9a91794896672a

Fix an issue with P4_MEM and the schema size measurement logic.  Also fix
a compiler warning.

FossilOrigin-Name: 8166f33885b86029bb8a0fbaf70606a0d2d5ec2e

Make sure sqlite3_free() is not called for P4_MPRINTF during a size
measurement.

FossilOrigin-Name: 56f11f8823cd06a69eebce6a9613e22b1810b59b

Remove an assert() that uses a variable removed earlier.

FossilOrigin-Name: c04907e69820bd19f647c5f555327e0058db4e6d

Change the way SubProgram objects are deleted so that the code is the same for deletion and measurement.

FossilOrigin-Name: 00e55102a8309eb6df08ad4a8937ba02688bac62

Update comments to better documentation the new memory measurement functions.

FossilOrigin-Name: 620bad035755449c4e6a762f01ef2b1d9e521c7c

Make sure all memory from sqlite3DbMalloc() is freed by sqlite3DbFree()
and all memory from sqlite3_malloc() is freed by sqlite3_free().

FossilOrigin-Name: 629e38a8c9e31111e351fe4625a5835576d23584

Make sure all memory from sqlite3DbMalloc() is freed by sqlite3DbFree() and
all memory from sqlite3_malloc() is freed by sqlite3_free().

FossilOrigin-Name: ac1f37a647e9ed1c00a901d26d9956a86c40117a

Experimental code to measure memory consumed by database schemas and prepared statements.

FossilOrigin-Name: 9aa30342f4de4eff630520ea8e07ad253d3f0877

Fix a typo in the OS/2 vfs code.

FossilOrigin-Name: a6bb2108bfb562a7067ef6150e43382736c0c4f5

Merge two leaves.

FossilOrigin-Name: 54e5886d841af69c8fa965bbcd637441d4a398ba

Strenghten an assert() in malloc.c that helps to ensure that allocated memory
is freed by the appropriate routine.

FossilOrigin-Name: 80db61acca034a8edff0fd23a65a0bbc9206a7b3

Remove additional traces (mostly in comments) of the Table.dbMem field.

FossilOrigin-Name: 5c58f44aeb224e106497368d9290d75a08807761

Add a test case to shared.test. No changes to production code.

FossilOrigin-Name: bfb0dd3c2f7e1ffbdf236be4adc3e0d804ed5854

Remove the Table.dbMem variable, as it is no longer being used for its original purpose.

FossilOrigin-Name: 6eddc6e601cf8f585c6c2cf79f36fcbfe98a307e

Remove the unused Schema.db variable.

FossilOrigin-Name: 430be657be68687c998f2f5f8dcd112bf26106be

Add evidence marks to the where.c source file.  Comment only - no code changes.

FossilOrigin-Name: f3f9e8e5bb90cc36e0d63a7289a8acf534c5fa2a

Make the sqlite3_db_status() routine threadsafe.

FossilOrigin-Name: 241f7bd190329fa02ca428651072a4a206132eab

Enhance the LIKE/GLOB query optimization so that it works as long as there
is an index with the appropriate collating sequence and even if the default
collating sequence of the column is different.
Ticket [4711020446da7d93d99].

FossilOrigin-Name: 9f932655f9eb9fdab16d7deed98b7cad414e0ca6

Add test/threadtest3.c, containing multi-thread tests implemented in C.

FossilOrigin-Name: aad88cf54e9e55b757d2ece9e39d436e71dcaa9f

Try to optimize LIKE and GLOB operators when RHS contains no wildcard.
Ticket [e090183531fc274747]

FossilOrigin-Name: 613a87d62fd1f8526d53136efae5adae91824bcf

Tweaks to the virtual table documentation contained in comments of sqlite3.h.
No changes to actual code.

FossilOrigin-Name: f5866d4723460e80814b8599e0b84ff4a924da6f

Fix a comment typo.  This check-in is 3.7.0 release candidate 2.

FossilOrigin-Name: b36b105eab6fd3195f4bfba6cb5cda0f063b7460

Added fix for race conditions from os_unix.c; added saving of errno in two places.

FossilOrigin-Name: 13ed106c8c279422a6159e28c6887d13a88b7b8b

Fix a race condition in os_unix.c that may occur when one thread is opening a connection to a shared-memory block and another is either closing or locking the same shared-memory.

FossilOrigin-Name: 3b7330c19a5327322068e9460018fe0152b8ac87

Update the CLI test scripts for version 3.7.0.

FossilOrigin-Name: 92fe70dadde2eb551518d69ac2eaa6a0151d7dfe

Use exit(255) instead of abort() in the tcl [sqlite_abort] test command. This stops testfixture from creating dozens of core files each time tests are run.

FossilOrigin-Name: aec9e13148671e612d4ba674e74c12116573434f

Changes to stat.test so that it works with file-format 4.

FossilOrigin-Name: f87bb283615847764d24943695990564f02b939e

Re-introduce the prefix-search optimization of [feef1b15d6], which was lost in a reorganization of FTS3 code.

FossilOrigin-Name: d692434b4935e8e7858230af1c126b0be8203077

Enable previously failing tests in e_expr.test that pass following [3e5975aa3b].

FossilOrigin-Name: 3d59c54a39c4c3149bf01063a91c3db35ec84b31

Fix a parser bug that was causing the relative precedence of LIKE and <
operators to be incorrect.

FossilOrigin-Name: 3e5975aa3bb9df9e1f954bcce99384e0f13cb453

Improvements to the formatting of parse.out file from Lemon.  Add the -r option
to Lemon to disable the state sorting, making debugging easier.

FossilOrigin-Name: a2eaf8294f6d3fb39548987d632e934bb5d71cc9

Add the -p option to lemon to cause conflicts resolved by precedence rules
to appear in the parse.out file.

FossilOrigin-Name: fb6a59b0a905ddea071948f9a527483a1b1b219f

Add new test file e_expr.test.

FossilOrigin-Name: cbcf8abbb2cb3e603cc3da45075f6b076e5cad56

Do not run journal3.test with the inmemory_journal permutation.

FossilOrigin-Name: e1d228e992fe8da1fc5aef95d9bc8be62c6b46c7

Fix a problem with wal4.test caused by changes in the previous checkin.

FossilOrigin-Name: 1218d3703ad23d01ce0d7cbcabdc9e0d864f8717