Merge updates from trunk.

FossilOrigin-Name: 45acf6a85150839d591316418dad59ae20ce3aa4

Enhancements to OSTRACE usage in the Win32 VFS.

FossilOrigin-Name: ab5800291e1908b5b51d912feeacf748dc9be14b

Fix the ".testctrl imposter" command in the command-line shell to be
consistent in error reporting and results with the other .testctrl
commands.

FossilOrigin-Name: 0ec08ba8a0fa188146b071a489908332693ba59a

Using MSVC, get the sqlite3IoTrace variable working with the USE_STDCALL and/or DYNAMIC_SHELL options.

FossilOrigin-Name: fe976c9130f6eecfa0a10347ee3f800f32051b89

In the MSVC Makefile, make the DYNAMIC_SHELL option work without USE_STDCALL.

FossilOrigin-Name: 25b46a9c7e03a84bee2ffddc6d7fd6ae280e9d7b

When syncing a memory mapped file on Windows, flush the mapped view as well.

FossilOrigin-Name: df204049b9ec8dd3e43ed7dc251eaecedc05af4b

Revise Win32 locking test to account for recent log message changes.

FossilOrigin-Name: 1bc76339e8542770bff7829a3dd346680950c0a5

Avoid leaving the malloc subsystem in a partially initialized state if
the low-level initialization callback fails.

FossilOrigin-Name: 3e872011ff5e27738c282f46d2b5803d94fe4b76

Provide source code line numbers for errors in the Windows VFS generated
by the winLogIoerr() routine.

FossilOrigin-Name: b5da0d93cd1a3c0917399af3775a32327b883c8e

Fix a harmless compiler warning in FTS3.

FossilOrigin-Name: 1688f60c08cc9270948402d98a2333382aa32681

Change an unreachable branch into an assert().

FossilOrigin-Name: fb076b28c36975ff2e41440f22fe5de115c195da

Fix the saveCursorPosition() routine in btree.c so that it works
correctly for a eState=CURSOR_SKIPNEXT cursor.

FossilOrigin-Name: 37866b4d483296ab9b7fcb9f5486695d4c2b8ddd

Reactivate an older assert() (adding an "|| CORRUPT_DB" term) and add a
new assert() in btree.c.

FossilOrigin-Name: 1e96520ac1d12ca83f019a60482efa0a074f2f94

Add two new assert()s to the sqlite3BtreeDataSize() method.

FossilOrigin-Name: 42d1793d6516e285a8925bbfd96b3d3375603d15

Add SQLITE_STDCALL and SQLITE_CDECL macros on public function definitions.

FossilOrigin-Name: cae3239aa58b4f7016fc9dcac3966fe6ef833879

Further simplifications to the amalgamation builder.

FossilOrigin-Name: e826cd7db6b3ab010533d81a759794c2470343d2

Update the 'mksqlite3c-noext' tool as well.

FossilOrigin-Name: a532256688c3a7a6385e041ec73913842e2c3ab3

Fix a couple comment typos in a tool script.  No changes to code.

FossilOrigin-Name: 83421af67063825981f6051eb415944d90e9b2f6

Add SQLITE_STDCALL and SQLITE_CDECL macros on public function definitions.

FossilOrigin-Name: 242f09d4d1c92ee9058857a5e780442f4b7bad55

Suppress a compiler warning that was appearing with SQLITE_THREADSAFE=0.

FossilOrigin-Name: 436314b5728c9413f9ac2d837e1c19364f31be72

Prevent a virtual table from being destroyed while it is in use.
Also: replace Vdbe.inVtabMethod with sqlite3.nVDestroy.  Simplify the
EXPLAIN output for P4.pVtab to only show the sqlite3_vtab pointer.

FossilOrigin-Name: cbeb9a1aed8ce3fb569a7717ad03c7c058b68de6

Add tests to check that attempting to DROP a virtual table while it is use does not cause problems.

FossilOrigin-Name: 5ee625b1980f9fab6294d308349dfd9ba960b60b

Simplify the EXPLAIN output of virtual table P4 parameters to only show the
pointer to the sqlite3_vtab object and omit the sqlite3_module object.

FossilOrigin-Name: 85610bbbc60cb4a6ec856123447fdb2ba948e52f

More defenses against virtual table being deleted out from under a running
statement.

FossilOrigin-Name: 116c99823022c017946b6088878a2d46759deb6e

Prevent a virtual table from being destroyed while it is in use.

FossilOrigin-Name: fba674c083286dabb37fed9357b67593b56ed3a5

Replace the Vdbe.inVtabMethod field with the sqlite3.nVDestroy counter.

FossilOrigin-Name: 9faefb96272967e731e83ef516a8c1e1b876391b

Disable loadable extensions in the command-line shell on VxWorks user-space.

FossilOrigin-Name: 0ee2d38deb35aefc55395e86984a9a773caf6218

Track total memory usage using a 64-bit integer on 64-bit systems.  Add
the sqlite3_status64() interface.  Make the sqlite3_status() and
sqlite3_status64() interfaces atomic using mutexes and verify correct
mutex operation using assert() statements.

FossilOrigin-Name: 6fc4e79a2350295a15ac464593ad39d904953041

Fix a non-C89 variable declaration that causes problems for MSVC.

FossilOrigin-Name: 3de085eab2fbe491f2242b340851e8af8f61ad13

Fix datetype size asserts in btree.c.

FossilOrigin-Name: ff4812d0e8e6322ca8b6992925fd4ef4aee463e6

Add the SQLITE_PTRSIZE macro.  Use it to help sqlite3_status() run faster
on 32-bit systems.

FossilOrigin-Name: c742bd6047bc6d0319a5a8c31d97f6b9229507f6

Add the sqlite3_status64() interface.  Make the new interface and the legacy
sqlite3_status() both atomic and threadsafe.  Check threadsafety using
assert()s.

FossilOrigin-Name: 1ce8e8fa4b866aafa12b1da0eb4d02321af9293e

Fix a potential NULL pointer dereference following a syntax error.

FossilOrigin-Name: 8d27e3e16a9be79fe227e833f4770ebe09a9d90b

Fix harmless compiler warnings with MSVC when assert() and SQLITE_MEMDEBUG are both enabled.

FossilOrigin-Name: 9513dbd4860c8dd391f831982d09aff227d16f5c

Add more comments to the MSVC batch build tool.

FossilOrigin-Name: 03522da37821958c647d49bf8189a5affa3f6720

Increase the debugging level for the debug configuration in the MSVC batch build tool.

FossilOrigin-Name: 041484ff91fd4615368ccb2257ab50acc2cd4fea

Do not invoke a C preprocessor macro with an empty argument, as (reportedly)
some versions of GCC are unable to deal with that.

FossilOrigin-Name: de9da317d4df3efefe9a1a48f954af8a19e7d098

Add a missing "int" on a constant declaration.

FossilOrigin-Name: 235157de5113ac4c750e36a498e2a1f1cf461751

Avoid a segfault if NULL is passed as the first argument to SQL scalar function fts3_tokenizer().

FossilOrigin-Name: 6d0989695b486275824c14d5f88357267c1e8104

Change walblock.test to block an external process for 10 seconds, not 5. 5 seconds is not long enough to tell the difference between a blocking lock and a series of retries.

FossilOrigin-Name: 717335fcdb15430ed977cbc98d30345b71728b66

Fix the blocking WAL lock so that it works and so that it compiles on a Mac.

FossilOrigin-Name: 67d69d21de32816894be53e4b446656d4174eb0d

Remove an unreachable branch from the OP_VCreate opcode (merge accidental fork in trunk).

FossilOrigin-Name: 2fbfec62fc03d42ee240dfefaa0aeb59a3f04d88

Avoid an integer overflow in fts3 causing gcc 4.7.1 with -O2 to behave counter-intuitively (perhaps because the behaviour is undefined). Add an "ifcapable trace" to a test in shell4.test.

FossilOrigin-Name: e3e234649616f20610abce9ae9da1c572d3a4377

Remove an unreachable branch from the OP_VCreate opcode.

FossilOrigin-Name: 5fca41a3811766b48f5f23d5d49cc4e6e79fa867

Add a missing "ifcapable fts3" to a test case in vtab2.test.

FossilOrigin-Name: d845b0f69093178517d66e1fc5060e8f62c681c7

Correctly detect the error of having a "*" wildcard on a SELECT without
a FROM clause on the left-hand side of a recursive CTE.

FossilOrigin-Name: b11d1793a06a44931edcbf12a615b49794d53a62

If a column is both UNIQUE and a PRIMARY KEY, make sure the PRIMARY KEY
designation takes precedence.

FossilOrigin-Name: d871a7921722bb0fef6d51e1110a9703ddff78c8

Remove superfluous define from the MSVC makefile.

FossilOrigin-Name: 880d2513a0fb084fae82080401b108fb13e61478

Improvements to the MSVC build.  Fix harmless compiler warnings.  Enable use of 'stdcall'.

FossilOrigin-Name: 737630b87314283b2c38790ace9d25ec05f81f4a

Provide the BTREE_SEEK_EQ hint to the b-tree layer.

FossilOrigin-Name: 3c367004dab0a1a24d955482c97b0f2d84129ab6

Fix to get SQLITE_SMALL_STACK working correctly again after the previous change.

FossilOrigin-Name: 78df0ce13d4f35226f2571bd7de78484ccbee4bb

Provide the BTREE_SEEK_EQ hint to the b-tree layer.

FossilOrigin-Name: e750830f1e61160c0c67e35b13e50b35a95b50e1

Fix a problem causing collation sequence names to be dequoted multiple times under some circumstances.

FossilOrigin-Name: eddc05e7bb31fae74daa86e0504a3478b99fa0f2

If a virtual table is created with a malformed UTF8 name in a UTF16 database,
make sure that does not cause problems.

FossilOrigin-Name: b74cb0a92bba69f8ea705adf4695d03ea4470984

Fix a crash that can occur following an OOM condition within a CREATE VIRTUAL TABLE statement on a utf-16 database.

FossilOrigin-Name: 9453e7da046c55715631f10f018e97a336197969

Fix a problem with creating virtual table with names specified using malformed utf-8 within utf-16 databases.

FossilOrigin-Name: 9969cff2d0553c9bfa88a437e1bb0cc4200d49d7

Fix an FTS3/4 problem with handling empty tokenizer declarations (e.g. "CREATE VIRTUAL TABLE t(tokenize=);").

FossilOrigin-Name: 26d2def8a53094356008861636d66f9ae8f2448a

Silently ignore any attempt to add a prefix index for prefixes zero bytes in size to an fts3/4 table. Or any prefix index size so large that it overflows a 32-bit signed integer.

FossilOrigin-Name: ad4b19d2ac0889a23fe3b0fd844286efc10cdd82

Add an assert() to check that the database mutex is held in sqlite3BtreeLeave().

FossilOrigin-Name: 31f54d7b0798e70da6a60b8ea3c5d9e35dce164c

Fix typo in shell error message.

FossilOrigin-Name: 775a02d597549567a0634483525664643064b3fd

Fix a bug in error handling in the ".trace" command of the command-line shell.

FossilOrigin-Name: 6a48b5d794e891fdd167547c76835d677eb5e31d

Add another sqlite3FaultSim() to the multi-threaded sorter logic to
improve testability.

FossilOrigin-Name: 49ea2cded4a76596f85419c820cdaf4a1751d7ac

Clarify the documentation on sqlite3_errcode().  No changes to code.

FossilOrigin-Name: 2c0e0d87fb418d684fba1c83d9fd8e4e96588c54

Also merge the WAL blocking lock tests that were somehow missed on the
previous check-in.

FossilOrigin-Name: 7214dab7443d35c105904dd69635c1f8b45b2fc8

Transient locks in WAL mode can now block in order to resolve priority
inversions.

FossilOrigin-Name: ec2f46de531ec8ef91981b19b48ab64db7727264

Add a test for the change on this branch.

FossilOrigin-Name: e22dde187eb0b389d6d93e2e39a26fd0f4e6196e

Make SQLite slightly more likely to use an auto-index within a sub-query.

FossilOrigin-Name: ab832336f4a28193c4d2b61e833564822a7b86a8

Fix typo of test prefix in the new WHERE test file.

FossilOrigin-Name: 34779c528f1817d6ec34216b58fb4277956b5167

When the WHERE clause contains two OR-connected terms with identical
operands but different operators, try to combine them into a single term.
Example:  (X=A OR X>A) becomes (X>=A).

FossilOrigin-Name: 8bdda827a3d268009297a0216e3d94bf0eceeb2e

Modify the fts3query.test script so that it works even when testfixture is
built using a version of TCL that is unable to sort the
integer -9223372036854775808

FossilOrigin-Name: f61fd24b4d3b686911ea578f77612309099f0cc6

When deleting the master journal to commit a multi-database transaction, do
not sync the directory if PRAGMA synchronous=OFF for all participating
database files.

FossilOrigin-Name: 018d7671402a0f8103d1306641655b69f9fa235d

When estimating the number of rows visited by a range scan for which the keys consist of more than one field, consider prefixes of stat4 samples as well as the full samples. This generates more accurate estimates.

FossilOrigin-Name: 3e0590dee0e68cc1599858757c650a7378026170

Use #ifdef to omit code that is only used for STAT3 and STAT4.

FossilOrigin-Name: f2c9c5b57b7739daafc44e8ec36d4a2beacd5f17

Improved comments.  No code changes.

FossilOrigin-Name: 23f71a26386ff2aff9800fe96cec1dc9c805b5b6

When a WHERE clause contains disjuncts with the same operands, try to
combine them into a single operator.  Example:  (x=A OR x>A) becomes
(x>=A).

FossilOrigin-Name: 7a3097689d17625fb0dfc4372712f375f3bdb9a1

Another test case for the planner change on this branch.

FossilOrigin-Name: f2207a0691ed361061719f4dacf021a677a9d892

When estimating the number of rows visited by a range scan for which the keys consist of more than one field, consider prefixes of stat4 samples as well as the full samples.

FossilOrigin-Name: e1caf93c9ad0ee15d42030af95619f212d3fcf9d

Add tests to ensure "PRAGMA incremental_vacuum" and "PRAGMA auto_vacuum = incremental" handle corrupt databases correctly.

FossilOrigin-Name: 1c2166cb2a387a0856f41b399c3648bf8c5fce73

Extra tests for commit [0f250957].

FossilOrigin-Name: 5aa522dcb9bfa18d49683f7cc889516984e2bcd2

Remove debugging logic accidently included in the previous check-in.

FossilOrigin-Name: 2887fb38ffc28712c34028cd38db2b7993d864eb

Fix the "now" option for date-time functions for cases when STAT4 is disabled.

FossilOrigin-Name: 3ac1f6a3cf1a8fd3ab1ca96b2564c13c4b8d2234

When STAT4 is enabled, allow probes of the STAT4 table using the value
of constant functions computed at compile-time.

FossilOrigin-Name: 0f250957cd82be63e44eb99be6cc10760f4fdfc4

Always disallow functions as the DEFAULT of a column.  Add assert()s and

FossilOrigin-Name: a991bb1a9eb54bdbd45bd623e8b304bdfeb481a3

Disable multiplexing of master-journal files in the test_multiplex.c module.

FossilOrigin-Name: b8684df395b5585a9428417c2bfd076515560f19

If an error occurs in the compile-time evaluation of an application-defined
function, then propagate back out the exact error code, not just the
generic SQLITE_ERROR.

FossilOrigin-Name: 93f42586cc9db63c5a4599ce06630e60204a5bc9

The valueFromFunction() routine is better able to handle OOM errors.
Omit unreachable branches.

FossilOrigin-Name: 8fb6bd9be59d6b04e922d7b246aaefd4851539b6

Improve the text on one of the opcode documentation comments in vdbe.c.

FossilOrigin-Name: 08958f57970d2346f3e98e62225e2b5d351d12d8

Allow the default value for columns added using ALTER TABLE ADD COLUMN to be a function in existing schemas loaded from disk. But prevent this version of SQLite from being used to create such a column.

FossilOrigin-Name: ff868e22ca0393eaac417872a4c10738f0d7d970

Allow the query planner to evaluate deterministic scalar SQL functions used in WHERE constraints if all arguments are SQL literals in order to compare the results with sqlite_stat4 sample data.

FossilOrigin-Name: b7f1fc26d24012e1e7c7f6b3cc0b84ad2b02b8ad

Expand the multi-process test cases to repeat each case 20 times and
to repeat tests using different journal modes.

FossilOrigin-Name: a2715b049a86555990abccc7aa363c524ddb9982

Arrange for some of the transient locks in WAL mode to block, as a single
to the OS to fix priority inversions.

FossilOrigin-Name: c6e6d5f4e06c3ac0bfb620c0c728fbc7230c4a02

Fix an incrblob2 test case so that it works on 32-bit systems.

FossilOrigin-Name: 8d0b11c96e15556dd65ced05708a832aef134e69

Revise test cases in malloc5.test to accommodate varying allocation
sizes returned by some system malloc() implementations.

FossilOrigin-Name: fbae6bafd74d8da9c72be5f562a62f80b01cc846

Fix the LIKE optimization so that it works even if there are additional
range contraints on the column that is subject to the LIKE or GLOB.

FossilOrigin-Name: 984c3fd5261619fb542a5a95dab37707b5d79dbf

Always use LIKE optimization range constraints in pairs.

FossilOrigin-Name: 0e02dc94fd1bb891d0edd1e34b57e923b17712a7

Increase the version number to 3.8.9

FossilOrigin-Name: e5da5e7d5dc5a3438ced23f1ee83e695abc29c45

Fix another problem with the LIKE optimization.

FossilOrigin-Name: 465bfc72d252f94778248253142faeba78ceea02

Fix the LIKE optimization so that it finds BLOB entries in addition to text
entries.  Ticket [05f43be8fdda9f].

FossilOrigin-Name: 74cb0b032fcf598537fae04412771450124ae712

New test cases for LIKE and GLOB with BLOB left-hand side values.

FossilOrigin-Name: 50fa3c5fae90bd3b2f4121e99ab52d79963a6fda

Remove some code that is commented out.

FossilOrigin-Name: 55ff429177acfdab056a16a67361a5381115c6c7