Merge the fts4-incr-merge-exp branch with fts4-incr-merge.

FossilOrigin-Name: eb00b95885023a8592693f0babbb0066207073b0

Allow multiple incremental merges to proceed concurrently. This is required to prevent a large crisis-merge from occuring while an even larger incremental-merge is underway.

FossilOrigin-Name: 7ed9d2f24a650b424b97dfc19b8042c4cf09c82c

Minor correct errors in the file format description for FTS3/4 contained in
the fts3.c header comment.

FossilOrigin-Name: fb8aacdd8fbdc946cb271cc589f76b806387937d

Enhance fts3view to show decodes of segments and doclists.

FossilOrigin-Name: 6d09de231b68dd9520d99c65d133f26e90eb784f

Add the fts3view utility program.

FossilOrigin-Name: f936c8ea16d21345fd1622272dc7e9850acb2493

Fix FTS3 so that it works even without SQLITE_DEBUG.

FossilOrigin-Name: a18c103121529c2e3c6a8ada16a4c40d14080670

Modify the FTS integrity-check so that the checksums do not depend on the results of signed integer overflow, which is undefined in C.

FossilOrigin-Name: f907fc3fb387e74bb66babcbf050748cb253a6fa

Add a comment to explain how the FTS integrity-check works.

FossilOrigin-Name: 64e8a116f39434a3b7347f01a47f88eef3276742

Add an experimental integrity-check function to FTS.

FossilOrigin-Name: 40fc8804743dfb005991e9c5ef7b0ebcb3c2e731

Increase the version number to 3.7.12

FossilOrigin-Name: d95f9fb713c7ba4e570556d835fbd77e574afdea

Add SQLITE_DBSTATUS_CACHE_WRITE to the command-line shell.

FossilOrigin-Name: 30b8dd326d28c0c08543989e376011ea41773a7e

Add SQLITE_DBSTATUS_CACHE_WRITE. Used to query a database connection for the cumulative number of database pages written.

FossilOrigin-Name: 05f98d4eec0f029b76fd471f8d9edf2807de6b55

Add SQLITE_DBSTATUS_CACHE_WRITE. Used to query a database connection for the cumulative number of database pages written.

FossilOrigin-Name: 3cb6a879f1220db03a66429d63330e27e8ca6e49

Enable fts3 tables to use incremental merge by automatically creating the
%_stat table when it is needed.

FossilOrigin-Name: cc051fc0b2d89603b27b94cf2afdbda417ee9d94

Fix a failing assert() in the FTS3_LOG_MERGES related code.

FossilOrigin-Name: 4220d52cb3426f1680b72d57ecc9f4ade029357d

Add a comment to fts3SyncMethod() to justify the nMinMerge=64 constant.

FossilOrigin-Name: af55ca5fc6778cb6d1a79a17dfa2d4e567ea1ccc

Fix a bug in debugging code enabled when FTS3_LOG_MERGES is defined.

FossilOrigin-Name: 2e06babf49de844d0e878d68114dbcc5ad4d6e54

Remove the Fts3Table.mxLevel variable.

FossilOrigin-Name: 67a0cffc9d07be7f09dad9d019a18160711295cd

Merge auto-incr-merge with incr-merge branch.

FossilOrigin-Name: 1c68687ab6d05b100191663820e7d82377d52445

Modify the way the number of leaves written and the maximum relative level are calculated in the auto-incr-merge code.

FossilOrigin-Name: 0d841c957c6ec4afecb49504177c6279e09d7012

An attempt at automatic incremental merging for FTS4.

FossilOrigin-Name: ed69434cd89084f4b57bd2cc4f5cc558904af565

Fix a spurious SQLITE_CONSTRAINT error that may be returned by an incr-merge operation.

FossilOrigin-Name: ed7c17ea165f6348506bd23ebc58c427bb65d697

Add a test to verify that sqlite3_total_changes() works with incr-merge operations.

FossilOrigin-Name: 1c72cecc6bf5be2a5c04ad6214a6bac22a29f860

Remove an incorrect assert() statement. Fix a const-related warning.

FossilOrigin-Name: 96ed47493b3d46344fd2105642f31690aee06674

When an incremental blob cursor is invalidated (occurs when an SQL statement modifies or deletes the row the blob cursor points to) release all page references held by the cursor. Otherwise, the presence of these references may cause other code in btree.c to incorrectly infer that the database is corrupt.

FossilOrigin-Name: 341b703ce16361a64ed8bba64ff46792132c0b56

Fix another test case issue in trace2.test.

FossilOrigin-Name: 02a8e4236cf2c1c74b3c6537be1b5f197175a32e

Update MSVC makefile to support compiling for WinRT using one setting.

FossilOrigin-Name: c10794bfac0989c611ec3ea98d069cb9631a7b15

When an incremental blob cursor is invalidated (occurs when an SQL statement modifies or deletes the row the blob cursor points to) release all page references held by the cursor. Otherwise, the presence of these references may cause other code in btree.c to incorrectly infer that the database is corrupt.

FossilOrigin-Name: 82c3f2ba42f2c75ba6951cc2743148886a4dc0bc

Update a couple of existing test cases.

FossilOrigin-Name: dcb8fa0f77a44250df0e8c4f6cfb9f6e181982d7

Add test cases to fts4merge.test.

FossilOrigin-Name: ecab2083334dcdde24a3c56864114979b7a6f25a

Following an incr-merge operation that does not completely consume its input segments, store context in the rowid==1 row of the %_stat table that allows the next incr-merge to pick up where the previous left off.

FossilOrigin-Name: ab0a4f44fb67e9f0cb82297b80e728ca58cdb0fb

Always quote the names of tables in the output of the shell's ".dump" command,
even if the name is pure alphabetic text, in case the name is a keyword.

FossilOrigin-Name: 638b71150281a211f89b4057b0d5d32d3fbcf323

Add fts4merge3.test, for testing that older versions of FTS4 may interoperate with incr-merge capable versions.

FossilOrigin-Name: 903ec5126dd981da6d7bab45c568f34b99446159

Merge trunk changes into the fts4-incr-merge branch.

FossilOrigin-Name: f61d5fb0281381228eb1a12a233bacaeb26b12a3

Remove the _SafeInit() entry points from the TCL interface.  They have long
been no-ops.  Removing them completely avoids confusion as to why they
don't work.

FossilOrigin-Name: 0fb26c7bfa7a4bb1503f90fd6f5b9c70f444665b

Version 3.7.11

FossilOrigin-Name: 00bb9c9ce4f465e6ac321ced2a9d0062dc364669

Fix out-of-bounds array references in the "echo" virtual table module
used for testing.  No changes to the SQLite core.

FossilOrigin-Name: 7b449b301ea03295262b8d572b02625e4b39cfa5

Add WinRT comments to MSVC makefile.

FossilOrigin-Name: ddea657bd8fe3762bd460524ac9223f0a5b09752

Remove version information from the MSVC makefile as it is no longer necessary.

FossilOrigin-Name: 6f0c1f9761be0402b82945517fdb3a36aeacbaeb

Merge updates from trunk.

FossilOrigin-Name: 4ab1ffd45d4c25368b9b393a3336068b747d8b22

Fix typo, use the syscall table for osOutputDebugStringA.

FossilOrigin-Name: 9598c2a398a6e7d9c3ee8b2ae32c21538ad3e15a

Add additional test cases to e_insert.test.  Update evidence marks.
no changes to core code.

FossilOrigin-Name: 036395c0a8e08883b11df025e3da9e2461e4b1eb

Fix one more compiler warning missed by the previous check-in.

FossilOrigin-Name: bc03d99a78e90c02b69037e5f5f81537b5a3ac60

Suppress harmless compiler warnings on windows in FTS4 and RTREE.

FossilOrigin-Name: 4fd68647c8d4b120e04d054617cef31001f44c6f

Avoid a compiler warning (an incorrect compiler warning, at that) in vs2010.

FossilOrigin-Name: 7dd97f12cd268cac1241f0f3e8de94bb629b97c7

Merge the latest trunk changes into the sessions branch.

FossilOrigin-Name: 2277c70b6f14e2f8043112a5c49a8bc18b7504f3

Ensure that compatible malloc and free functions are used with stat3 data if SQLITE_ENABLE_STAT3 is defined.

FossilOrigin-Name: 32bb1ecee4e43a4683512dbca047abf735afd313

On Windows, when no temporary path is available, skip prepending the directory separator.

FossilOrigin-Name: 32b5c20e54474fcc33ba937293e97566a555e733

Add SQLITE_OMIT_SHUTDOWN_DIRECTORIES compile-time option to disable clearing the sqlite3_data_directory and sqlite3_temp_directory variables during sqlite3_shutdown.  Also, only clear the variables if the heap was actually shutdown.

FossilOrigin-Name: 1ae9f9e4f730eccbc0fc3408de1ac3c4be931e01

Fix various incorrect and missing comments and other style issues in and around the FTS incremental merge code.

FossilOrigin-Name: 7aabb62c8ccbd2b8d216e25226f06e5820dec38a

In pager1.test, use "file attr test.db -readonly 0" before "file attr test.db -perm rw-rw-rw-", not after.

FossilOrigin-Name: 4f5283f18f570a09b95c26e5aa14885ada518dd2

Modify a test in ioerr2.test to account for the new SQLITE_ABORT_ROLLBACK extended error code.

FossilOrigin-Name: affaebde109e8dd851474ffe7b7d48b1aae8c7ed

Update the trace2.test script for languageid.

FossilOrigin-Name: a11528ac575fa20fd8022756d042a32fe1272e12

Cherrypick the [3475092cff] fix for 32-bit overflow with large language-ids
into trunk.

FossilOrigin-Name: 2755edc7f1186ba8955f2c3550a90f40a55ddae2

Fix some integer overflow problems that can occur when using large langauge id values.

FossilOrigin-Name: 3475092cff862080a020d386076d739f0d22c9b2

Add a comment to the FTS getAbsoluteLevel() function. No actual code changes.

FossilOrigin-Name: 7e0f861beda4d74d0c3c9fb4abb3ddb5fee346bd

Reset the sqlite3_data_directory and sqlite3_temp_directory variables when the sqlite3_shutdown function is called since they may refer to memory allocated by the heap subsystem that was just shutdown.

FossilOrigin-Name: cd70bc4b788b947d47a7a7158c27028160df06bd

Fix harmless compiler warnings.

FossilOrigin-Name: 74eadeec34c4b19cf5f8b7f648db3b7ad601a00e

Add the sqlite3_db_readonly() API to trunk.

FossilOrigin-Name: fed134a5f395533de0c9d76950697c060ddb126d

Add the sqlite3_db_readonly() interface.  This is still tentative, pending
a closer look at other ideas to accomplish the same thing.

FossilOrigin-Name: 254f99ea9ff1534948bdb179e69ab0c940c87ec1

Modify incremental merge code to merge nMin segments at a time.

FossilOrigin-Name: cd34bc1af4ba608ea3b52bab55bcfe0086711900

Add SQLITE_WIN32_HEAP_CREATE compiler define to control whether or not the Win32 native allocator will create an isolated heap for all allocated data.

FossilOrigin-Name: 8693fb652ecd1ad0b03e9067839970b321c3f904

Fix macro issues for osGetProcessHeap and sqlite3_win32_write_debug.

FossilOrigin-Name: d3d071598aba367e3d73001ab38d7a78306875ea

Fix typos, use #if instead of #ifdef when checking for the Win32 native heap validation define.

FossilOrigin-Name: 845aa46f69784420ada4116078f8dc0a68cf3707

Avoid redefining macros.  Enable use of the Win32 native heap on WinRT.  Use the syscall table to call OutputDebugStringW and fix type casting warnings.

FossilOrigin-Name: 46c412a8f6470c9e8c4bdeafaf4db435fbb694ab

Add tests for incremental merge code.

FossilOrigin-Name: 570473729d6561d81e6e5f8884fd18487008636e

Avoid allocating a large object on the stack in the incremental merge code. Use sqlite3_malloc() instead.

FossilOrigin-Name: 36ae510de45be44efd34cff242d02fb21b7419ac

Fix another bug in the incremental merge code.

FossilOrigin-Name: f97b12e0955c4c29f9c31a186d72d87f7407782e

Remove SQLITE_OS_WINRT setting from MSVC makefile.

FossilOrigin-Name: df4caf1326f5aa3ba11345e5e9604d7af4385fe8

Add warning to the docs about changing the data directory when a database connection is open.

FossilOrigin-Name: c07cd85ca9698b48f960b164cab3a38472a17640

Add experimental support for resolving relative database file paths using a fixed user-defined directory.

FossilOrigin-Name: 7354ae8fd3eccee2cf9f6501da5b1a014c31556f

Fix some bugs in the incremental merge code. Some remain.

FossilOrigin-Name: bff21683705a61b8b8672e0b44c287d1dc7c32a9

Add assert to verify the number of characters to write in sqlite3_win32_write_debug.

FossilOrigin-Name: 8083f6164f3308c1c1d4f4d84be1894e382fe2e6

Defer creation of the sleep event object until it is needed.  Added sqlite3_win32_write_debug and sqlite3_win32_sleep APIs to assist in portability to WinRT.

FossilOrigin-Name: 7af88ad306612dd316827c506dbf8df7477b2ec1

Cleanup the Windows syscall table, removing the unused CreateFileMapping entry.

FossilOrigin-Name: fb7d8bf6ec5c0ef9a948bc14c28770e34f57db1a

More changes required to compile for WinRT using VS 11 beta.  Also, replace more APIs with their WinRT alternatives.

FossilOrigin-Name: 6b997d9c32076c480ff4f101ff93bae3f443e252

Candidate fix for the optimizer problem described in ticket
[b7c8682cc17f3] which can causes a LEFT JOIN to be changed
into a INNER JOIN if there are OR terms in the WHERE clause.

FossilOrigin-Name: 0dc4cb935514131c99172175d57feec3a1743aa9

Minor commenting and stylistic changes only.

FossilOrigin-Name: a1747086c5e0c152fcf4bd9fa80a61b6f03f4a94

Merge test current directory value fix from trunk and fix uri tests.

FossilOrigin-Name: 88963c33c19a051280f7f31bdc1b322d6837cf43

On Windows, make sure the returned test current directory value does not contain any backslashes.

FossilOrigin-Name: efee39e64bd95c284220fdb0ae8ee6c1847fadab

Merge and manually resolve testing updates from trunk.

FossilOrigin-Name: 5eecdb44dd809e91002b8ecf59ada72f4b56549a

On Windows, make sure the current directory value used by the test suite is 'normalized' to what the parent command shell sees.  Also, clean the test directories used by the quota2.test file.

FossilOrigin-Name: 82bcd7ec1531f6d71c079578434c58d3ce46a1de

Add the 'merge=?,?' command to fts4. This still needs some work.

FossilOrigin-Name: 741b8f897750eac3c9774fd65de7e40bb89781b1

When compiled for WinRT, use the CreateFile2 and LoadPackagedLibrary functions instead of CreateFile and LoadLibrary.

FossilOrigin-Name: 27d6942ca270d6e724ffd230ed58a8683d67dfa4

If a CHECK constraint is named, report that name on the error message when
the constraint fails.

FossilOrigin-Name: 9a0f90d9deb335ac71044b8afa81538d85cc7ccf

Merge in the latest trunk changes.

FossilOrigin-Name: ca4708531a5e0debbe3d0999a4d210ef2a347972

Fix for test issues when there is no current directory support due to being compiled for WinRT.

FossilOrigin-Name: a811cb01528beab8afd899411d187d4d960ddcc8

Add compile-time define to indicate if the VFS supports the concept of a current directory (as WinCE and WinRT do not).  Avoid using the GetTempPath and GetFullPathName APIs on WinRT.  Some tests still need adjustments.

FossilOrigin-Name: 86c049a171acc3f4a43771f3e7176a90210d7799

Merge in the latest trunk changes.

FossilOrigin-Name: ff86875ca35e04cea6c3d5e1b5117a4f227a6b15

Fix a problem compiling the test code in fts3_test.c when SQLITE_ENABLE_FTS3 is not defined.

FossilOrigin-Name: b00ccda307caae597c143ab0586f90acb77f79cf

Merge the fts4-languageid branch with the trunk.

FossilOrigin-Name: 99a9073b5e411ce94f38ce49608baaa15de8b850

When creating the event used to sleep on WinRT, request the minimum access rights required for the desired operations on it (i.e. SYNCHRONIZE).

FossilOrigin-Name: ed603d75941ace159773b1a22ace84d51b630ad5

Add the xLanguageid method to sqlite3_fts3_tokenizer versions 1 and greater.

FossilOrigin-Name: f8e9c445dd358c40e5a7bf3756b9f291909dbea7

When compiled for WinRT, avoid using MapViewOfFile and GetFileAttributes.  Also, reset the private 'sleep' event handle when the VFS is cleaned up.

FossilOrigin-Name: 38df8fc1b49d55b61cb168a61134b4a314a62f21

Add a test case for ticket [3557ad65a076c].

FossilOrigin-Name: 4f34d7077b9acf7926c5e7375ca870d4ed3c60b9

Fix a bug [3557ad65a07] that causes incorrect DISTINCT processing on
an indexed query involving the IN operator.

FossilOrigin-Name: dec9a995d7012a1f85be4edb71240b9d4f07c60e

When compiled for WinRT, avoid using the FORMAT_MESSAGE_ALLOCATE_BUFFER flag to FormatMessage (i.e. because LocalFree is unavailable).

FossilOrigin-Name: 9eb331be7e905d11d9075ce1596478b55a7f488b

Fix test pragma-19.5 so that it works on file names that may contain spaces and/or backslashes.

FossilOrigin-Name: 9aaa1ab7c63c9045fecf5e965b333cc5f28b0791

When running on Windows with an NT-based kernel, always use the LockFileEx/UnlockFileEx functions (with the correct flags).

FossilOrigin-Name: 3e7ba3ddb956056b8132ed383feed4f329c634e0

Remove an obsolete comment from FTS3.  No code changes.

FossilOrigin-Name: 74d224b14467d8a6915d3cf372f45e0d28708fa2