An attempt at automatic incremental merging for FTS4.

FossilOrigin-Name: ed69434cd89084f4b57bd2cc4f5cc558904af565

Fix a spurious SQLITE_CONSTRAINT error that may be returned by an incr-merge operation.

FossilOrigin-Name: ed7c17ea165f6348506bd23ebc58c427bb65d697

Add a test to verify that sqlite3_total_changes() works with incr-merge operations.

FossilOrigin-Name: 1c72cecc6bf5be2a5c04ad6214a6bac22a29f860

Remove an incorrect assert() statement. Fix a const-related warning.

FossilOrigin-Name: 96ed47493b3d46344fd2105642f31690aee06674

Fix another test case issue in trace2.test.

FossilOrigin-Name: 02a8e4236cf2c1c74b3c6537be1b5f197175a32e

When an incremental blob cursor is invalidated (occurs when an SQL statement modifies or deletes the row the blob cursor points to) release all page references held by the cursor. Otherwise, the presence of these references may cause other code in btree.c to incorrectly infer that the database is corrupt.

FossilOrigin-Name: 82c3f2ba42f2c75ba6951cc2743148886a4dc0bc

Update a couple of existing test cases.

FossilOrigin-Name: dcb8fa0f77a44250df0e8c4f6cfb9f6e181982d7

Add test cases to fts4merge.test.

FossilOrigin-Name: ecab2083334dcdde24a3c56864114979b7a6f25a

Following an incr-merge operation that does not completely consume its input segments, store context in the rowid==1 row of the %_stat table that allows the next incr-merge to pick up where the previous left off.

FossilOrigin-Name: ab0a4f44fb67e9f0cb82297b80e728ca58cdb0fb

Add fts4merge3.test, for testing that older versions of FTS4 may interoperate with incr-merge capable versions.

FossilOrigin-Name: 903ec5126dd981da6d7bab45c568f34b99446159

Merge trunk changes into the fts4-incr-merge branch.

FossilOrigin-Name: f61d5fb0281381228eb1a12a233bacaeb26b12a3

Remove the _SafeInit() entry points from the TCL interface.  They have long
been no-ops.  Removing them completely avoids confusion as to why they
don't work.

FossilOrigin-Name: 0fb26c7bfa7a4bb1503f90fd6f5b9c70f444665b

Version 3.7.11

FossilOrigin-Name: 00bb9c9ce4f465e6ac321ced2a9d0062dc364669

Fix out-of-bounds array references in the "echo" virtual table module
used for testing.  No changes to the SQLite core.

FossilOrigin-Name: 7b449b301ea03295262b8d572b02625e4b39cfa5

Add additional test cases to e_insert.test.  Update evidence marks.
no changes to core code.

FossilOrigin-Name: 036395c0a8e08883b11df025e3da9e2461e4b1eb

Fix one more compiler warning missed by the previous check-in.

FossilOrigin-Name: bc03d99a78e90c02b69037e5f5f81537b5a3ac60

Suppress harmless compiler warnings on windows in FTS4 and RTREE.

FossilOrigin-Name: 4fd68647c8d4b120e04d054617cef31001f44c6f

Avoid a compiler warning (an incorrect compiler warning, at that) in vs2010.

FossilOrigin-Name: 7dd97f12cd268cac1241f0f3e8de94bb629b97c7

Ensure that compatible malloc and free functions are used with stat3 data if SQLITE_ENABLE_STAT3 is defined.

FossilOrigin-Name: 32bb1ecee4e43a4683512dbca047abf735afd313

Fix various incorrect and missing comments and other style issues in and around the FTS incremental merge code.

FossilOrigin-Name: 7aabb62c8ccbd2b8d216e25226f06e5820dec38a

In pager1.test, use "file attr test.db -readonly 0" before "file attr test.db -perm rw-rw-rw-", not after.

FossilOrigin-Name: 4f5283f18f570a09b95c26e5aa14885ada518dd2

Modify a test in ioerr2.test to account for the new SQLITE_ABORT_ROLLBACK extended error code.

FossilOrigin-Name: affaebde109e8dd851474ffe7b7d48b1aae8c7ed

Update the trace2.test script for languageid.

FossilOrigin-Name: a11528ac575fa20fd8022756d042a32fe1272e12

Cherrypick the [3475092cff] fix for 32-bit overflow with large language-ids
into trunk.

FossilOrigin-Name: 2755edc7f1186ba8955f2c3550a90f40a55ddae2

Fix some integer overflow problems that can occur when using large langauge id values.

FossilOrigin-Name: 3475092cff862080a020d386076d739f0d22c9b2

Add a comment to the FTS getAbsoluteLevel() function. No actual code changes.

FossilOrigin-Name: 7e0f861beda4d74d0c3c9fb4abb3ddb5fee346bd

Fix harmless compiler warnings.

FossilOrigin-Name: 74eadeec34c4b19cf5f8b7f648db3b7ad601a00e

Add the sqlite3_db_readonly() API to trunk.

FossilOrigin-Name: fed134a5f395533de0c9d76950697c060ddb126d

Add the sqlite3_db_readonly() interface.  This is still tentative, pending
a closer look at other ideas to accomplish the same thing.

FossilOrigin-Name: 254f99ea9ff1534948bdb179e69ab0c940c87ec1

Modify incremental merge code to merge nMin segments at a time.

FossilOrigin-Name: cd34bc1af4ba608ea3b52bab55bcfe0086711900

Add tests for incremental merge code.

FossilOrigin-Name: 570473729d6561d81e6e5f8884fd18487008636e

Avoid allocating a large object on the stack in the incremental merge code. Use sqlite3_malloc() instead.

FossilOrigin-Name: 36ae510de45be44efd34cff242d02fb21b7419ac

Fix another bug in the incremental merge code.

FossilOrigin-Name: f97b12e0955c4c29f9c31a186d72d87f7407782e

Fix some bugs in the incremental merge code. Some remain.

FossilOrigin-Name: bff21683705a61b8b8672e0b44c287d1dc7c32a9

Candidate fix for the optimizer problem described in ticket
[b7c8682cc17f3] which can causes a LEFT JOIN to be changed
into a INNER JOIN if there are OR terms in the WHERE clause.

FossilOrigin-Name: 0dc4cb935514131c99172175d57feec3a1743aa9

Minor commenting and stylistic changes only.

FossilOrigin-Name: a1747086c5e0c152fcf4bd9fa80a61b6f03f4a94

On Windows, make sure the returned test current directory value does not contain any backslashes.

FossilOrigin-Name: efee39e64bd95c284220fdb0ae8ee6c1847fadab

On Windows, make sure the current directory value used by the test suite is 'normalized' to what the parent command shell sees.  Also, clean the test directories used by the quota2.test file.

FossilOrigin-Name: 82bcd7ec1531f6d71c079578434c58d3ce46a1de

Add the 'merge=?,?' command to fts4. This still needs some work.

FossilOrigin-Name: 741b8f897750eac3c9774fd65de7e40bb89781b1

Fix a problem compiling the test code in fts3_test.c when SQLITE_ENABLE_FTS3 is not defined.

FossilOrigin-Name: b00ccda307caae597c143ab0586f90acb77f79cf

Merge the fts4-languageid branch with the trunk.

FossilOrigin-Name: 99a9073b5e411ce94f38ce49608baaa15de8b850

Add the xLanguageid method to sqlite3_fts3_tokenizer versions 1 and greater.

FossilOrigin-Name: f8e9c445dd358c40e5a7bf3756b9f291909dbea7

Add a test case for ticket [3557ad65a076c].

FossilOrigin-Name: 4f34d7077b9acf7926c5e7375ca870d4ed3c60b9

Fix a bug [3557ad65a07] that causes incorrect DISTINCT processing on
an indexed query involving the IN operator.

FossilOrigin-Name: dec9a995d7012a1f85be4edb71240b9d4f07c60e

Fix test pragma-19.5 so that it works on file names that may contain spaces and/or backslashes.

FossilOrigin-Name: 9aaa1ab7c63c9045fecf5e965b333cc5f28b0791

Remove an obsolete comment from FTS3.  No code changes.

FossilOrigin-Name: 74d224b14467d8a6915d3cf372f45e0d28708fa2

Fix problems with combining content= and languageid= in a single fts4 table.

FossilOrigin-Name: 22491e7bc38aee43819b888e04241cb6a6ef73a3

Add test for FTS 'rebuild' command.

FossilOrigin-Name: 181bc35731f19c3e4497ba3338c209918d34ea69

Fix the FTS 'optimize' command on multi-lingual databases.

FossilOrigin-Name: 65fa693729a336e4d905ce72e6b9ccf4faa772bd

Fix a bug in merging FTS language tables for languages other than language 0.

FossilOrigin-Name: d281cb8984c911a4c0cce2ec299e1351d8e580e4

Fix a typo in the header comment of sqlite3_commit_hook().

FossilOrigin-Name: 3784d1475b49f24e4a51450edc94aee66fd48fe4

Add the "languageid=" option to fts4. This code is still largely untested and alsmost certainly buggy.

FossilOrigin-Name: bea257f70f10dd1111d79cabd1e1462dc651704d

Fix spurious errors that may occur if an empty database is opened and then initialized as a WAL database by a second connection.

FossilOrigin-Name: 16330a2f7262173a32ae48a72c0ee2522b6dc554

Fix a case where an error code was being overwritten in multiplexDelete().

FossilOrigin-Name: c267893a0813beb1764071409025e178318e1ca3

Fix the xDelete implementation of the multiplexor VFS so that it correctly
deletes overflow WAL files.

FossilOrigin-Name: e44e26771e5aa48f3bfa14d6db3e669b5b2a1e73

Separate multiplexor overflow pages for -wal and -journal files into
separate namespaces when in 8+3 filename mode.

FossilOrigin-Name: d6850667ea61172ea0ebea4a22b6b306f74775fa

Fix the multiplexor so that it works with WAL mode and 8+3 filenames.

FossilOrigin-Name: a9fcb46bc08c29aebaf3bc999f45846c3c320f68

Add #ifdef SQLITE_ENABLE_ZIPVFS around those bits of code that are only
used by ZIPVFS.

FossilOrigin-Name: 3130275c64a60c5cfacbd11123305e6d99ea866d

If the SQLITE_FCNTL_PRAGMA file control returns something other than
SQLITE_NOTFOUND, then skip the rest of Pragma code generation.

FossilOrigin-Name: 9e6d340f557c2f2c8a07300ac60357af9906a7fa

A simple change that allows the SQLITE_32BIT_ROWID compile-time option to
work better.

FossilOrigin-Name: f9df4063fbd100ce306a89fc649c1860fd801f31

Fix an obscure bug that causes a crash when parsing certain invalid SQL
statements.

FossilOrigin-Name: c8c7846fb990199dcc0774a69e8257510bc36f2d

Fix a typo made inside an assert() statement in the previous commit.

FossilOrigin-Name: f0640615f25ebe8bf2eed0e1a0f2e309471889fe

Add the sqlite3PagerWalFramesize() function to pager.c. This is used by zipvfs.

FossilOrigin-Name: 786e24dc56504d1958db0618e645610f2600a087

Expose the sqlite3_stricmp() interface.  Add the SQLITE_FCNTL_PRAGMA file
control.

FossilOrigin-Name: c539cf21ef8f4eb4782790aa97a67d10ae9ffd64

Move test logic for SQLITE_FCNTL_PRAGMA out of os_unix.c and into test_vfs.c.

FossilOrigin-Name: c81fc40b2b584820ac7d1c3848ebeb7225d4eeeb

If the SQLITE_FCNTL_PRAGMA file-control returns anything other than
SQLTIE_NOTFOUND and SQLITE_OK, then treat the result as an error.

FossilOrigin-Name: 5643618108a8aafba67ed4004039b862bb5e5da8

Disable the "filename" pragma implemented by os_unix.c except when compiled
with SQLITE_TEST.

FossilOrigin-Name: 9a1da91850b6074e5f9d18382f517eb868cad63c

Make benign any malloc failures inside the sqlite3_file_control() call within
PRAGMA parsing.  Add a couple simple tests for SQLITE_FCNTL_PRAGMA.

FossilOrigin-Name: a1f29fa653b788f563967f55c3d20e64cbe3f549

Change the SQLITE_FCNTL_PRAGMA file-control so that it can return a string
value.

FossilOrigin-Name: fd8d7440277b17f57a6dc0a210f42adf1fa2dcd2

Begin adding support for SQLITE_FCNTL_PRAGMA.

FossilOrigin-Name: 5be07904baf6e5b8b99ca6f4bb6ddec973e59cd4

Avoid redefining NDEBUG if the fuzzer is included in an amalagmated source file.

FossilOrigin-Name: f8ac826f95ae6b7b981e4765d2e65b6839d0eff9

Prevent the fuzzer from ever returning a string longer than 100 bytes.

FossilOrigin-Name: 969095ca3067d60f4d3a0a4ad419541cb8b146db

Further fuzzer test cases. Fix a case in the fuzzer where an error code was being dropped.

FossilOrigin-Name: 8b77d3953f082e6fa42e42fe903ea9eddf99dd91

Add further test cases and minor fixes for the fuzzer.

FossilOrigin-Name: 583dde93a9176ba4fff85241bafbbe4e5a6cc95f

Updates to the instructions in the header comment of the fuzzer implementation.
New test cases for the fuzzer.

FossilOrigin-Name: bf1dc7907cf1a5c7e19b04fa1278b2089316c30a

Change the way the fuzzer (test_fuzzer.c) works so that it loads its configuration from a database table.

FossilOrigin-Name: 90b7b957f8933047fd2878048dfa3ec4891988b8

Fix a case in test_fuzzer.c causing transformations from the wrong ruleset to be applied in some cases.

FossilOrigin-Name: cb5f5ebc563b8d3e47bc30b6dbb374bb91efd3ef

Increase the maximum ruleset id in the fuzzer from 50 to 2^31-1.

FossilOrigin-Name: 760e009adc6d0fffb8e6f64c7ec283938a417a77

Enhance the fuzzer virtual table to support multiple rule sets.

FossilOrigin-Name: a82938731b21d6166d7d482994cb065c8b725083

Merge the non-blocking ROLLBACK changes into trunk.

FossilOrigin-Name: 9c572d424a20b0585bfac358a5d1ee5276dd05ba

Fix a harmless compiler warning introduced by the previous check-in.

FossilOrigin-Name: a8a042a751557d06bf04455ed7629cb29adcd87f

On unix, ignore the umask when creating journal files.  That way, journal files
will have exactly the same permissions as the original database and any
process that has permission to write to the database can also recover
hot journals.

FossilOrigin-Name: 84b324606adc8437338c086404eb157f30f04130

Add the new SQLITE_ABORT_ROLLBACK extended error code to be returned for
statements that are cancelled due to a rollback.

FossilOrigin-Name: 549f4fd00d8325c10099b100e5202b77ee1d83ad

Change the ROLLBACK command so that pending statements to not block it.  The
pending statements instead return SQLITE_ABORT upon next access.  Note: This
causes separate shared-cache connections in read_uncommitted mode to abort as
well.

FossilOrigin-Name: 9b66c79e054c8a109d1ee8d35fed1c42814c330d

Changes to various test scripts so that veryquick.test runs with OMIT_COMPOUND_SELECT defined.

FossilOrigin-Name: 76bb649ee2633226324130f5898622c348f93769

Fix a typo in the type of the fchown() function in os_unix.c.

FossilOrigin-Name: bfbfe05b81919ecc3d6e7be4c24994f795f16582

Make fchown() an overrideable system call in os_unix.c.

FossilOrigin-Name: 98efac9630ca96ba0497c8e206dc5022612ff381

Cleanup some directories and files left by the MinGW build, even when using the MSVC Makefile.

FossilOrigin-Name: 3ab89e255d1f2f8004d3256515ac43f74e57f39b

Revise the preprocessor directives used to handle malloc.h and _msize, in order to detect and handle the MSVC special-case automatically.

FossilOrigin-Name: 90e73dc3682680847238e625d415b27fa9c59ba8

Silence GCC compiler warnings about unused return value from fchown().

FossilOrigin-Name: b022547389a40930cf0d2a75f5eb293acc9fbfe0

Another attempt to fix warnings in the randomFunc() function.

FossilOrigin-Name: 768df4e11670ac704d96e3b601d009aaa2fd793a

When creating journal files (including -wal and -shm files) try to set the
ownership to be the same as the original database.  This will prevent root
from locking out the original owner of the file.

FossilOrigin-Name: 1254dffe4071656a783cd000b1dd40c975ac18cb

Remove a redundant test from the shared-memory logic in os_unix.c.

FossilOrigin-Name: 31142ca795005bf664f34000591e6572c72652f2

Fix a warning coming from the Solaris Studio compiler.

FossilOrigin-Name: 33294bbd1724665832464b33f865a29dc82b90f6

Disable the ability to have multiple values in the VALUES clause of an
INSERT statement when SQLITE_OMIT_COMPOUND_SELECT is used.

FossilOrigin-Name: 92131195d0c24c0116992db51ed5d8316626ba57

Fix an important bug in the handling of EINTR in unixRead().  Never came
up on x86 but crashes on sparc.

FossilOrigin-Name: 1a16db0bca717a2582a48332d81854ca90d6d49b

Fix a boundary case for the integer affinity routine for non-x86 processors.

FossilOrigin-Name: bea05ddddf5089bac9b1aa9fe1d2cd24b069ad44

Add an autoconf test for malloc.h and use the results of that test to
conditionally #include the malloc.h header file.

FossilOrigin-Name: 16a471129d497f45935b5d00df7ce9ec731ee498

Command-line shell enhancements:  Reorganize the "usage" comment so that
options are in alphabetical order.  Add the new "--cmd" option.  Allow
either "--option" or "-option" for options.

FossilOrigin-Name: 9497893b1b9219eac4ec2183bd90b4e4b860d9fe

More structure packing for smaller objects and less memory usage.

FossilOrigin-Name: f14e7f29ff7f2d7706dc3cdd715e103e04ba0ef1