Parser bug fix:  Make sure the table constraints allowed by prior releases
can still be parsed, even if they are technically not allowed by the
syntax diagram.  This is a cherry-pick of
[a1c014d8a87c8940b3], [38bf90af1ede6ee64e], and [e536ac041815b118c4].

FossilOrigin-Name: 28aed847c6a9d5a3eae4627e1c23eb5cb9c3aabe

Cherrypick commit [1d5e744cc6] from the trunk in order to avoid leaving a file-ddescriptor open in test scripts capi3.test and capi3c.test.

FossilOrigin-Name: 86b8481be7e76cccc92d14ce762d21bfb69504af

bad assert

FossilOrigin-Name: 0c0150f2a349460d685e63be1a747d2bfbe5c8c4

Merge in latest changes, autologging options, read only file system wal support, test config conditionalization, WAL frame write prebuffering

FossilOrigin-Name: d51c086e5c006821e2ab932f229649a729d914b2

Merge all the latest trunk changes into the apple-osx branch.

FossilOrigin-Name: 18ec60cacd37a70d598ac1af5e50faffa73bb134

Do more aggressive optimization of the AND operator where one side or the
other is always false.

FossilOrigin-Name: f9a7e179cbbeeab5e57bbf392bef89750215546b

Avoid using the OVERLAPPED struct on WinCE.

FossilOrigin-Name: 196ca3a8b007b9f792e969893d981f6c5aa2fccc

Simplify the winRead and winWrite VFS functions to reduce the number
of system calls.

FossilOrigin-Name: b34491869c4fb31d2fdd14c94a7db2e1c0e572ba

When a named CHECK constraint fails, include the name of the constraint
in the error message.

FossilOrigin-Name: 1b75f301affac654bee24fa247046ea0782d3c4d

Fix MSVC compiler warnings in test code.

FossilOrigin-Name: cb7a850439c9a4a7887650d6b81d95ab8025de5b

Fix an FTS4 test script problem for windows.

FossilOrigin-Name: 36aa6665e709b5942b3558afbd555058b42f2c78

Change the name of a local variable from "not" to "bNot" to lessen the
chances of it colliding with some prior #define in the appliation.

FossilOrigin-Name: cbdd86387630600b309de4aaeaa131ec7b053ce2

In the ".output" command-line shell, if the first character of the output
filename is '|' then use popen() instead of fopen().

FossilOrigin-Name: fa82062c659ffbe7ad01106d3ef54d7bb44f1f44

Fix compiler warnings on GCC and MSVC and fix a C89-ism that
broke the build for MSVC.

FossilOrigin-Name: b451c0f97f0abe78ebe6c62ff489ec1ad8a1f767

Merge fts4-incr-merge with trunk.

FossilOrigin-Name: 4d6de3e9bef3487f2d89167939ab2c42872d05b3

Disable the LIKE optimization if the column on the left-hand-side of the LIKE operator belongs to a virtual table.

FossilOrigin-Name: 0bacb879e18026f2a8e22fe3e4bc8d27de5c4416

Fix an out of date comment on sqlite3ArrayAllocate().

FossilOrigin-Name: 4afdd5ae53ef0ff7c0fde74eaa04638c923c679b

Merge in the latest changes from trunk.

FossilOrigin-Name: 66c4aaadda433c9d479a25c27cdff84560088402

Avoid loading overflow pages just to satisfy typeof() or length() functions
if the correct result can be computed without the extra page fetches.

FossilOrigin-Name: 0733c98c329bc9942460746e9bbaf4b4c94c1520

Minor changes to the core of OP_Column for performance and to clarify the
critical path.

FossilOrigin-Name: 868394761e41b7483a5874426ee052dfb3a9e2be

Fix a problem in fts4merge3.test.

FossilOrigin-Name: 64fc8b30f8bc7ddc697b6042040e958787ff3118

Improvements to comments.  Minor changes to code in the hot path of
OP_Column - with the hope of get a few cycles of performance improvement.

FossilOrigin-Name: ca093103437f141caa3eb11539c6eb7b4dd65175

Test cases for length() of a large blob in an aggregate query.

FossilOrigin-Name: d095fa4bfabd765c8e935ed227a334161097dd34

Fix the typeof() and length() optimization so that it works for aggregates
as well as scalar queries.

FossilOrigin-Name: bc18215a8a660442db6ddeeda4a88df0acffe0f7

Evaluate typeof(X) and length(Y) where X is any column and Y is a blob column
without actually loading X and Y from disk.

FossilOrigin-Name: b899dbeb60752843287e2c6ad3577e1d00f0d587

Add output of PRAGMAs auto_vacuum and encoding to the "schema" command of the
fts3view utility program.

FossilOrigin-Name: e31076319363a46905836880765bae3bf204ed19

Really delete the fts3merge.test script (should have been deleted by the previous commit).

FossilOrigin-Name: 83838149d9dd7956c5f48f760c2f321180d2db5f

Remove the fts3merge.test script in favour of changing the fts4merge.test script so that it runs tests using both fts4 and fts3. Fix some problems with incr-merge and FTS3 tables.

FossilOrigin-Name: 5c447e226afca0d46b9ed994dea26a16a9ae168c

In the fts3view utility, label the blank segments used to mark the end of a
segment sequence for a level/idx as "null".  Improve the alignment of root
segment names.

FossilOrigin-Name: 04aea0245e4183fef3664609f5a6353b65d71a85

Enhance the fts3view tool with the big-segment command and fix a bug in the
display of doclists.

FossilOrigin-Name: e9436d8038e5a0d1ba992a77d1064d4a55595f57

Merge the fts4-incr-merge-exp branch with fts4-incr-merge.

FossilOrigin-Name: eb00b95885023a8592693f0babbb0066207073b0

Allow multiple incremental merges to proceed concurrently. This is required to prevent a large crisis-merge from occuring while an even larger incremental-merge is underway.

FossilOrigin-Name: 7ed9d2f24a650b424b97dfc19b8042c4cf09c82c

Minor correct errors in the file format description for FTS3/4 contained in
the fts3.c header comment.

FossilOrigin-Name: fb8aacdd8fbdc946cb271cc589f76b806387937d

Enhance fts3view to show decodes of segments and doclists.

FossilOrigin-Name: 6d09de231b68dd9520d99c65d133f26e90eb784f

Add the fts3view utility program.

FossilOrigin-Name: f936c8ea16d21345fd1622272dc7e9850acb2493

Fix FTS3 so that it works even without SQLITE_DEBUG.

FossilOrigin-Name: a18c103121529c2e3c6a8ada16a4c40d14080670

Modify the FTS integrity-check so that the checksums do not depend on the results of signed integer overflow, which is undefined in C.

FossilOrigin-Name: f907fc3fb387e74bb66babcbf050748cb253a6fa

Add a comment to explain how the FTS integrity-check works.

FossilOrigin-Name: 64e8a116f39434a3b7347f01a47f88eef3276742

Add an experimental integrity-check function to FTS.

FossilOrigin-Name: 40fc8804743dfb005991e9c5ef7b0ebcb3c2e731

Increase the version number to 3.7.12

FossilOrigin-Name: d95f9fb713c7ba4e570556d835fbd77e574afdea

Add SQLITE_DBSTATUS_CACHE_WRITE to the command-line shell.

FossilOrigin-Name: 30b8dd326d28c0c08543989e376011ea41773a7e

Add SQLITE_DBSTATUS_CACHE_WRITE. Used to query a database connection for the cumulative number of database pages written.

FossilOrigin-Name: 05f98d4eec0f029b76fd471f8d9edf2807de6b55

Add SQLITE_DBSTATUS_CACHE_WRITE. Used to query a database connection for the cumulative number of database pages written.

FossilOrigin-Name: 3cb6a879f1220db03a66429d63330e27e8ca6e49

Enable fts3 tables to use incremental merge by automatically creating the
%_stat table when it is needed.

FossilOrigin-Name: cc051fc0b2d89603b27b94cf2afdbda417ee9d94

Fix a failing assert() in the FTS3_LOG_MERGES related code.

FossilOrigin-Name: 4220d52cb3426f1680b72d57ecc9f4ade029357d

Add a comment to fts3SyncMethod() to justify the nMinMerge=64 constant.

FossilOrigin-Name: af55ca5fc6778cb6d1a79a17dfa2d4e567ea1ccc

Fix a bug in debugging code enabled when FTS3_LOG_MERGES is defined.

FossilOrigin-Name: 2e06babf49de844d0e878d68114dbcc5ad4d6e54

Remove the Fts3Table.mxLevel variable.

FossilOrigin-Name: 67a0cffc9d07be7f09dad9d019a18160711295cd

Merge auto-incr-merge with incr-merge branch.

FossilOrigin-Name: 1c68687ab6d05b100191663820e7d82377d52445

Modify the way the number of leaves written and the maximum relative level are calculated in the auto-incr-merge code.

FossilOrigin-Name: 0d841c957c6ec4afecb49504177c6279e09d7012

An attempt at automatic incremental merging for FTS4.

FossilOrigin-Name: ed69434cd89084f4b57bd2cc4f5cc558904af565

Fix a spurious SQLITE_CONSTRAINT error that may be returned by an incr-merge operation.

FossilOrigin-Name: ed7c17ea165f6348506bd23ebc58c427bb65d697

Add a test to verify that sqlite3_total_changes() works with incr-merge operations.

FossilOrigin-Name: 1c72cecc6bf5be2a5c04ad6214a6bac22a29f860

Remove an incorrect assert() statement. Fix a const-related warning.

FossilOrigin-Name: 96ed47493b3d46344fd2105642f31690aee06674

When an incremental blob cursor is invalidated (occurs when an SQL statement modifies or deletes the row the blob cursor points to) release all page references held by the cursor. Otherwise, the presence of these references may cause other code in btree.c to incorrectly infer that the database is corrupt.

FossilOrigin-Name: 341b703ce16361a64ed8bba64ff46792132c0b56

Fix another test case issue in trace2.test.

FossilOrigin-Name: 02a8e4236cf2c1c74b3c6537be1b5f197175a32e

When an incremental blob cursor is invalidated (occurs when an SQL statement modifies or deletes the row the blob cursor points to) release all page references held by the cursor. Otherwise, the presence of these references may cause other code in btree.c to incorrectly infer that the database is corrupt.

FossilOrigin-Name: 82c3f2ba42f2c75ba6951cc2743148886a4dc0bc

Update a couple of existing test cases.

FossilOrigin-Name: dcb8fa0f77a44250df0e8c4f6cfb9f6e181982d7

Add test cases to fts4merge.test.

FossilOrigin-Name: ecab2083334dcdde24a3c56864114979b7a6f25a

Following an incr-merge operation that does not completely consume its input segments, store context in the rowid==1 row of the %_stat table that allows the next incr-merge to pick up where the previous left off.

FossilOrigin-Name: ab0a4f44fb67e9f0cb82297b80e728ca58cdb0fb

Always quote the names of tables in the output of the shell's ".dump" command,
even if the name is pure alphabetic text, in case the name is a keyword.

FossilOrigin-Name: 638b71150281a211f89b4057b0d5d32d3fbcf323

Add fts4merge3.test, for testing that older versions of FTS4 may interoperate with incr-merge capable versions.

FossilOrigin-Name: 903ec5126dd981da6d7bab45c568f34b99446159

Merge trunk changes into the fts4-incr-merge branch.

FossilOrigin-Name: f61d5fb0281381228eb1a12a233bacaeb26b12a3

Remove the _SafeInit() entry points from the TCL interface.  They have long
been no-ops.  Removing them completely avoids confusion as to why they
don't work.

FossilOrigin-Name: 0fb26c7bfa7a4bb1503f90fd6f5b9c70f444665b

Version 3.7.11

FossilOrigin-Name: 00bb9c9ce4f465e6ac321ced2a9d0062dc364669

Fix out-of-bounds array references in the "echo" virtual table module
used for testing.  No changes to the SQLite core.

FossilOrigin-Name: 7b449b301ea03295262b8d572b02625e4b39cfa5

Add additional test cases to e_insert.test.  Update evidence marks.
no changes to core code.

FossilOrigin-Name: 036395c0a8e08883b11df025e3da9e2461e4b1eb

Merge latest trunk changes into apple-osx branch.

FossilOrigin-Name: f999197b75465a1f71ac1dab8f22ba2167fc0c67

Fix one more compiler warning missed by the previous check-in.

FossilOrigin-Name: bc03d99a78e90c02b69037e5f5f81537b5a3ac60

Suppress harmless compiler warnings on windows in FTS4 and RTREE.

FossilOrigin-Name: 4fd68647c8d4b120e04d054617cef31001f44c6f

Avoid a compiler warning (an incorrect compiler warning, at that) in vs2010.

FossilOrigin-Name: 7dd97f12cd268cac1241f0f3e8de94bb629b97c7

Ensure that compatible malloc and free functions are used with stat3 data if SQLITE_ENABLE_STAT3 is defined.

FossilOrigin-Name: 32bb1ecee4e43a4683512dbca047abf735afd313

Fix various incorrect and missing comments and other style issues in and around the FTS incremental merge code.

FossilOrigin-Name: 7aabb62c8ccbd2b8d216e25226f06e5820dec38a

In pager1.test, use "file attr test.db -readonly 0" before "file attr test.db -perm rw-rw-rw-", not after.

FossilOrigin-Name: 4f5283f18f570a09b95c26e5aa14885ada518dd2

Modify a test in ioerr2.test to account for the new SQLITE_ABORT_ROLLBACK extended error code.

FossilOrigin-Name: affaebde109e8dd851474ffe7b7d48b1aae8c7ed

Update the trace2.test script for languageid.

FossilOrigin-Name: a11528ac575fa20fd8022756d042a32fe1272e12

Cherrypick the [3475092cff] fix for 32-bit overflow with large language-ids
into trunk.

FossilOrigin-Name: 2755edc7f1186ba8955f2c3550a90f40a55ddae2

Fix some integer overflow problems that can occur when using large langauge id values.

FossilOrigin-Name: 3475092cff862080a020d386076d739f0d22c9b2

Add a comment to the FTS getAbsoluteLevel() function. No actual code changes.

FossilOrigin-Name: 7e0f861beda4d74d0c3c9fb4abb3ddb5fee346bd

Fix harmless compiler warnings.

FossilOrigin-Name: 74eadeec34c4b19cf5f8b7f648db3b7ad601a00e

Add the sqlite3_db_readonly() API to trunk.

FossilOrigin-Name: fed134a5f395533de0c9d76950697c060ddb126d

Add the sqlite3_db_readonly() interface.  This is still tentative, pending
a closer look at other ideas to accomplish the same thing.

FossilOrigin-Name: 254f99ea9ff1534948bdb179e69ab0c940c87ec1

Modify incremental merge code to merge nMin segments at a time.

FossilOrigin-Name: cd34bc1af4ba608ea3b52bab55bcfe0086711900

Add tests for incremental merge code.

FossilOrigin-Name: 570473729d6561d81e6e5f8884fd18487008636e

Avoid allocating a large object on the stack in the incremental merge code. Use sqlite3_malloc() instead.

FossilOrigin-Name: 36ae510de45be44efd34cff242d02fb21b7419ac

Fix another bug in the incremental merge code.

FossilOrigin-Name: f97b12e0955c4c29f9c31a186d72d87f7407782e

Fix some bugs in the incremental merge code. Some remain.

FossilOrigin-Name: bff21683705a61b8b8672e0b44c287d1dc7c32a9

Candidate fix for the optimizer problem described in ticket
[b7c8682cc17f3] which can causes a LEFT JOIN to be changed
into a INNER JOIN if there are OR terms in the WHERE clause.

FossilOrigin-Name: 0dc4cb935514131c99172175d57feec3a1743aa9

Minor commenting and stylistic changes only.

FossilOrigin-Name: a1747086c5e0c152fcf4bd9fa80a61b6f03f4a94

On Windows, make sure the returned test current directory value does not contain any backslashes.

FossilOrigin-Name: efee39e64bd95c284220fdb0ae8ee6c1847fadab

On Windows, make sure the current directory value used by the test suite is 'normalized' to what the parent command shell sees.  Also, clean the test directories used by the quota2.test file.

FossilOrigin-Name: 82bcd7ec1531f6d71c079578434c58d3ce46a1de

Add the 'merge=?,?' command to fts4. This still needs some work.

FossilOrigin-Name: 741b8f897750eac3c9774fd65de7e40bb89781b1

If a CHECK constraint is named, report that name on the error message when
the constraint fails.

FossilOrigin-Name: 9a0f90d9deb335ac71044b8afa81538d85cc7ccf

Pull in all the latest trunk changes.

FossilOrigin-Name: 504bf4908618f4dc8c9d67380934016b311ca6d0

Fix a problem compiling the test code in fts3_test.c when SQLITE_ENABLE_FTS3 is not defined.

FossilOrigin-Name: b00ccda307caae597c143ab0586f90acb77f79cf

Merge the fts4-languageid branch with the trunk.

FossilOrigin-Name: 99a9073b5e411ce94f38ce49608baaa15de8b850

Add the xLanguageid method to sqlite3_fts3_tokenizer versions 1 and greater.

FossilOrigin-Name: f8e9c445dd358c40e5a7bf3756b9f291909dbea7

Add a test case for ticket [3557ad65a076c].

FossilOrigin-Name: 4f34d7077b9acf7926c5e7375ca870d4ed3c60b9

Fix a bug [3557ad65a07] that causes incorrect DISTINCT processing on
an indexed query involving the IN operator.

FossilOrigin-Name: dec9a995d7012a1f85be4edb71240b9d4f07c60e

Fix test pragma-19.5 so that it works on file names that may contain spaces and/or backslashes.

FossilOrigin-Name: 9aaa1ab7c63c9045fecf5e965b333cc5f28b0791