Merge all recent changes from trunk.

FossilOrigin-Name: a353a8515fb2eff86042d0c33e39772f4d04e0b3

Fix typos in the opcode documentation.  Comment changes only.  No changes
to code.

FossilOrigin-Name: 717245d48714c08156c9b7636aaa6c3a402bad66

A simpler fix for ticket [3a88d85f36704eebe1] - one that uses less code.
The error message is not quite as good, but as this error has apparently
not previously occurred in over 8 years of heavy use, that is not seen as
a serious problem.

FossilOrigin-Name: 0ad1ed8ef0b5fb5d8db44479373b2b93d8fcfd66

Ensure that aggregate functions are not used when evaluating a default
value for a table column.
Candidate fix for ticket [3a88d85f36704eebe134f7].

FossilOrigin-Name: 29ba812825bf06ef230f2480bba0579653f0a52d

Add the ability to evaluate IN operators as a sequence of comparisons as
an alternative to the long-standing algorithm of building a lookup table.
Use the new implementation in circumstances where it is likely to be faster,
such as when the RHS of the IN changes between successive evaluations.

FossilOrigin-Name: 952868216854e8355edf57af62bd1a6bcb70ce61

Rename the internal Schema.flags field to Schema.schemaFlags.

FossilOrigin-Name: 5ae80b3c8f032528359c8c762505ce24da8db96f

Improved VdbeCoverage() macros.  A few minor simplifications to generated
VDBE code.

FossilOrigin-Name: 01f60027ad1841051fa493a646141445f8971357

Part of the change in the previous check-in was incorrect and can result
in an incorrect UPDATE for WITHOUT ROWID tables.  This check-in fixes the
problem.

FossilOrigin-Name: ee5f6eae57a656d09a4b3f7fbef664b2c696ddb4

Further enhancements to IN-operator processing.

FossilOrigin-Name: 7fdf26da1d2f40b80f9e44ff6f5af22ace8f95f3

Refinements to the enhanced IN-operator logic.

FossilOrigin-Name: 92ba2821468ecbfac2469161d81c873de67b2243

Enhancements to the code generator for the IN operator that result in much
faster queries in some cases, for example when the RHS of the IN operator
changes for each row of a large table scan.

FossilOrigin-Name: 436e884215e2b33ca3fbb555362237b12827c07a

Remove (newly) incorrect preprocessor check to fix build on WinRT.

FossilOrigin-Name: ba7826542908eac2e14789d183d0b3e35b143fed

A better comment on the generated code for the NULL-in-RHS-of-IN detection
logic.

FossilOrigin-Name: 9bc1c730a366e75b760b58e7a343d39165b2a469

Improved detection and handling of NULL values on the RHS of a IN operator.

FossilOrigin-Name: 468e730036edac22cfeb9ea3515aa16e6bcd6650

Remove an unnecessary OP_Null in the IN-operator logic.  Attempt to clarify
comments explaining the IN-operator code, though it is not clear that the
comments are correct even yet - more work to be done.

FossilOrigin-Name: c11e55fabbc718cb324ecd3540453c25db98f50c

Clean up the IN operator code generation logic to make it easier to reason
about.  In the process, improve code generation to omit some unused OP_Null
operations.

FossilOrigin-Name: 7c6fbcfe6ed5739e8e4639b7b123fbf9828cbfc0

The idea of coding IN operator with a short list on the RHS as an OR expression
turns out to be helpful.  If the list is of length 1 or 2, the OR expression
is very slightly faster, but the ephemeral table approach is clearly better for
all list lengths greater than 2.  Better to keep the code simple.

FossilOrigin-Name: e13175d3579e1045165bab091b3b28951d691704

Begin making changes to the IN operator in an attempt to make it run faster
and to make the code easier to understand.

FossilOrigin-Name: ee0fd6aaf94cda1dce3fe752bfe3b0f83e0043f1

Enhance the PRAGMA integrity_check command to detect UNIQUE and NOT NULL
constraint violations.

FossilOrigin-Name: 9abcf2698c09f4f6a44a68e74f9f6b538f3253d6

Refactoring:  Change "pIndex->onError!=OE_None" to use a macro:
"IsUniqueIndex(pIndex)".  Easier to understand that way.

FossilOrigin-Name: e75b26ee357bb3d3c1a539b05d633ebf314726d7

Omit a pointless OP_Null when processing a value-list RHS of an IN operator
where the LHS is a rowid.

FossilOrigin-Name: 1361450a9dfe9476e8df98f370a3695752252245

Optimizations to the OS sub-type checking in the Win32 VFS.

FossilOrigin-Name: 1e5489faff093d6a8e538061e45532f9050e9459

Add a missing call to "test_sqlite3_log" to multiplex.test.

FossilOrigin-Name: 0708f9df23a325349f658741358c5994b5c4c873

Fix a leaked statement handle in pager2.test.

FossilOrigin-Name: 47457b0488abcbec2137abf706c1d677563b9ea5

Deactivate the DISTINCT in a SELECT on the right-hand side of an IN operator,
since it should not make any difference in the output but dues consume extra
memory and CPU time.

FossilOrigin-Name: f4cb53651b1e352fae7378878b830a902bcd9248

Re-integrate the recent changes from the 'winMutex' branch back into the Win32 mutex subsystem.

FossilOrigin-Name: 5360ecb0b8891d0c27f3f02d81b6c7b548361a10

Add three new static mutexes for use by the application.  This is a partial
import of changes from the threads branch.

FossilOrigin-Name: 3aad01960f92c5e77dba64ac1a6c6b063378fb97

Add a new sqlite3FaultSim() call to vdbePmaReaderSeek() to facilitate
tests of error handling in the sorter.

FossilOrigin-Name: 655d8cfc752b3f5f63521a57f2155f8e14aaf7c4

Mark some invariants in the vdbesort.c logic when SQLITE_MAX_WORKER_THREADS==0.

FossilOrigin-Name: 721cd965859c9ccc24d2a1d2851c914229e584b3

Add the "eForce" parameter to the sqlite3_multiplex_shutdown() entry point
in test_multiplex.c.  Shutdown is forced if true.  Shutdown is not done if
there are pending database connections and eForce is false, but an error log
entry is made instead.

FossilOrigin-Name: c7303d0139f7e7f4fa7060b52942e6c6c6d4b622

Merge recent trunk changes, and especially the fix for the CREATE UNIQUE INDEX
problem of ticket [9a6daf340df99ba9].

FossilOrigin-Name: 5b50a8380b2b678c1646ff303e3696efc1d7d92c

Ensure that the correct number of columns in a UNIQUE index are checked for
uniqueness, regardless of whether or not the original table has a ROWID or
if the columns are NOT NULL, etc.  Ticket [9a6daf340df99ba93c].

FossilOrigin-Name: 6b785e92f279cb65746834d5cd25594fd3333342

Disable an assert that is sometimes generated spuriously.

FossilOrigin-Name: bd9ee0ea69181526cfc3cadac33a5ec5190112b0

Enhancements and updates to the Win32 mutex subsystem.

FossilOrigin-Name: ca9868cdae19045dc522490b34dee0f14d928ebe

Update return value checking to conform to the beginthreadex() specs.

FossilOrigin-Name: 3144a16f91364b455e54e6030714e1c12ab0bdb7

Add a couple more assert statements.

FossilOrigin-Name: 4e816db235025c7998c649fddabfd807290a08b9

Fix unreachable branches in the threads.c module.

FossilOrigin-Name: 3175e366bbf7579ec9ab27214b0a4e5cd27ea204

Merge updates from trunk.

FossilOrigin-Name: 08c9a4ea6353900095a471365a8611a443f5f399

Fix a harmless compiler warning.

FossilOrigin-Name: 216d21d0e62b3c0ad49f3cb395c845bf4f17ac61

Make the Win32 thread handles are available after the threads exit.

FossilOrigin-Name: 565c5af7a75ad5c759ce1a61dab3a61c42819644

Fix the threads build on Windows when SQLITE_MAX_WORKER_THREADS is greater
than 0.

FossilOrigin-Name: f37db3a03d95b508066745613029b7dd1240b31c

Merge the R-Tree fix and the new SQLITE_TESTCTRL_ISINIT test control from
trunk.

FossilOrigin-Name: b2f7eb3cc27ecf9a6a88907991148bca1a7d54b3

Add the SQLITE_TESTCTRL_ISINIT file control.

FossilOrigin-Name: 8b651d4d6cde7efbc0cc7155948f477477be100e

Have calls to the xFilter() method of rtree virtual tables ensure that cursor is initialized before proceeding. Fix for [d2889096e7bdeac].

FossilOrigin-Name: 8cc41b0bf365af47c2061ffe44c86018945dd239

Enhancements and updates to the Win32 mutex subsystem.

FossilOrigin-Name: 18984c321049a759f6619cfa17fb3f4e7b3e08ea

Add some asserts to the Win32 mutex subsystem.

FossilOrigin-Name: e8f2dc5fadae96252649875c234fcdef1108bd48

Fix the build on windows.

FossilOrigin-Name: 2773a5f9879a106a89a3d0bc3c5bfdcb2fe43c7c

Remove an unnecessary parameter from vdbeMergeEngineStep().  Rename a couple
other routines to be more descriptive of what they do.

FossilOrigin-Name: f2407a40f339fa6c2cec194f78ae7c93655b1ec1

Rename vdbeIncrMergerInit() to vdbeMergeEngineInit() - a much more accurate
name.

FossilOrigin-Name: 5b084a2dd581141b2d0cd9d1a5975625f65ec34d

In vdbesort.c, rename vdbeSorterDoCompare() to vdbeMergeEngineCompare() and
move it closer to the one place where it is called.  Other minor comment
changes.

FossilOrigin-Name: 09d50d9f0fe7df26dadb0a332731683a07a89fde

In vdbesort.c, rename all pointers to sqlite3_file objects "pFd" and use the
name "pFile" only for pointers to SortFile objects.  Other comment enhancements.

FossilOrigin-Name: 518290a7fc0994f9593c5c3ba5b2610a1b86dae1

Merge recent trunk changes into the threads branch.

FossilOrigin-Name: 163c247bd8280ab14fe577329c631c8bd884707f

Improvements to comments in the multi-threaded sorter.  Also include a
function name change for clarity.  And add a test to help show that the
MergeEngine object is only used by a single thread.

FossilOrigin-Name: 9af50a878f67c1c2a4f1520160cc989650d7196a

Remove an unreachable branch from the sqlite3_value_numeric_type() interface.

FossilOrigin-Name: 5350229b52b18a4961858a30538c5c75e5bd3048

Avoid unnecessary no-op calls to applyNumericAffinity() for a small
performance improvement.

FossilOrigin-Name: 413d7287977702fa651c0140bd5cf29021fe3e79

Try to fix harmless compiler warnings reported by Fortify.

FossilOrigin-Name: e0fa6fdc14ac5458f9200cbae124f8025ea534ea

Improved comments on VDBE opcodes, for better documentation.  No code
or logic changes.

FossilOrigin-Name: 2d32e4876e0b162730f81e5c2658be12d64a9a99

Add constraints (enforced only when SQLITE_DEBUG is enabled) on the use of
OP_Next and OP_Prev.

FossilOrigin-Name: 2230c74f1efa591770176c9b40e920724a3c39e1

Improve the performance of the ANALYZE command by taking advantage of
UNIQUE constraints on indices.

FossilOrigin-Name: 114dcf33670fd98a1ebbac0e44f66b2d8bcccddf

Fix a bug in the whereRangeSkipScanEst() procedure (added by
check-in [d09ca6d5efad3e4cfa]) where it fails to consider the possibility
of a ROWID column when computing the affinity of a table column.

FossilOrigin-Name: 6aea2258dd7d3967900cefe4cd0af48a7ee7e169

Avoid trying to allocation zero bytes when analyzing a unique non-null index.

FossilOrigin-Name: 85e2badeeb7f7599eb6fd35512f9bd524f0b1b3f

Avoid change tests when analyzing single-column unique indexes after
getting past the initial NULL entries.

FossilOrigin-Name: 4690e99c07024f40fafba1db8e4487b287b788a9

Merge all recent trunk changes into the threads branch.

FossilOrigin-Name: 770685892c8f09b9cddb2fbb2877cfb291e19425

Add the readfile(FILENAME) and writefile(FILENAME,CONTENT) SQL functions to
the command-line shell.

FossilOrigin-Name: fb1048cb2b613a0dbfe625a5df05e9dcd736a433

Add support for hexadecimal integer literals in the parser.

FossilOrigin-Name: f8f79f28785db716b10c3bc9d6652b98253fd125

In the command-line shell, in CSV output mode, terminate rows with CRNL but
do not expand NL characters in data into CRNL.  Provide the extra -newline
command-line option and the extra argument to .separator to designate an
alternative newline character sequence for CSV output.

FossilOrigin-Name: 16c8ce10e1530731441e6c4538691b71564684ed

Add experimental "costmult" logic.  Only enabled when compiled with
-DSQLITE_ENABLE_COSTMULT.

FossilOrigin-Name: 729ece40885ed7f52c5981364833fc62281a388b

Ugh.  Consecutive UNIQUE index entries are only distinct if the index is
on NOT NULL columns.  So the previous version was not quite right.  This
check-in fixes the problem.

FossilOrigin-Name: 30033f965030a015fad15e532bcaba1314c8cc0f

Enhancements to the hex literal tests.

FossilOrigin-Name: a3cc027fa7ca41da23ecd0770a075a48416af020

Improve the performance of the ANALYZE command by taking advantage of the
fact that every row of a UNIQUE index is distinct.

FossilOrigin-Name: 3e1e79e1335f7ad33cd35f384f2a063c4aa2253b

Updated documentation on sqlite3_temp_directory.  No changes to code.

FossilOrigin-Name: e6225a7bf77a700b318563b1a854b4b3a9e031e1

Remove a surplus function prototype.  #ifdef code that is not used when
hex integers are omitted at compile time.

FossilOrigin-Name: a5b383e077e4b277a65920f7cc202f32f07aa9ee

Change the hex literal processing so that only the SQL parser understands
hex literals.  Casting and coercing string literals into numeric values does
not understand hexadecimal integers.  This preserves backwards compatibility.
Also:  Throw an error on any hex literal that is too big to fit into 64 bits.

FossilOrigin-Name: 6c6f0de59bf96b79c8ace8c9bfe48c7a6a306a50

Casting hex literals directly from string to float always results in a
positive number.

FossilOrigin-Name: 4b86ccdf4f4eb4339a5706e10ad24f01b6c3939e

Reformatting a few test cases for clarity.

FossilOrigin-Name: 7e1bbacb11a4689b69856450125cae3d045307af

Test cases for hex literals.

FossilOrigin-Name: 19054339c47448bcdfd1f7be35daa3826c409077

Add support for parsing C-style hexadecimal literals.

FossilOrigin-Name: 34a1f38b7a23c64f5c6e5b34c19a20480be53961

When running ANALYZE, it is not necessary to check the right-most key column
for changes since that column will always change if none of the previous
columns have.

FossilOrigin-Name: 48f40861db4fbd10725a2b8b606d44fe16d5bd27

Add the OP_ReopenIdx opcode that works like OP_OpenRead except that it becomes
a no-op if the cursor is already open on the same index.  Update the
OR-optimization logic to make use of OP_ReopenIdx in order to avoid
unnecessary cursor open requests sent to the B-Tree layer.

FossilOrigin-Name: 77f412caf0192d3e7fecb377d6d72123d8b64424

The optimization of check-in [b67a6e33f2] does not work (it generates
incorrect VDBE code) if an OR term is AND-ed with a constant expression.
So back that optimization out and add a test case to make sure it does not
get added back in.

FossilOrigin-Name: eed754fe93644f4df082eac0c0a7ffc5c78ccd10

Fix the index name for the shadow tables in the spellfix1 extension so that
multiple instances of the spellfix1 virtual table can each have their own
index.

FossilOrigin-Name: 438c348a40383796a710499e4e1b7a6b08f75778

Correction:  The maximum SQLITE_MAX_ATTACHED value to avoid overflowing a
signed 8-bit integer is 125, not 127.

FossilOrigin-Name: 48e378029528dac33d29866016128d236a7995d9

Enhance the sqlite_stat1.stat parsing to allow additional text parameters
at the end.  Unrecognized parameters are silently ignored.

FossilOrigin-Name: ca2a5a2c770fa94cd8db1b1b241ede058a7c58e2

Expire prepared statements after running ANALYZE.

FossilOrigin-Name: b083a961f8ac3a6158e822574d73cd63e3103b09

Enhance the comment on whereLoopAddBtree().  No changes to code.

FossilOrigin-Name: b22dd165da227a52d88b17a91e80a1701dce61ad

For the OR-optimization, avoid generating OP_OpenRead opcodes that reopen
exactly the same index.

FossilOrigin-Name: b67a6e33f23ce5f5d9a545fa9d6700a7ed636901

Limit the maximum SQLITE_MAX_ATTACHED to 127, since a signed character
is sometimes used to store the database index.

FossilOrigin-Name: f1c76c7c4c7d16855db60d16e23ecdf8d7ca862a

Allow the SQLITE_MAX_ATTACHED compile-time option to be larger than 62.  The
default limit on the number of attached databases remains 10.

FossilOrigin-Name: 1a817ae2f35fa0396148dda2782cd4f919bf5c6f

Update the sqlite3_stmt_busy() function so that it correctly returns true for "ROLLBACK" statements that have been stepped but not yet reset.

FossilOrigin-Name: 61cee3c0678f5abd9131a29ab946a5e71f55643e

Fix harmless compiler warnings in the showdb and showwal tools and in
the unicode tokenizer of FTS3.

FossilOrigin-Name: 574cc8eb1448cff67390f2e16cc9b7c3ddd4658b

Fix some harmess compiler warnings in the FTS3 Unicode module.

FossilOrigin-Name: c01caea5d6ad7a570628b85fb3056ac955ff03dd

Fix warnings related to having a 64-bit size_t.

FossilOrigin-Name: 29ac9336dba2b62d13315cecfc5c4a74cc54087a

Fix warnings caused by the previous commit.

FossilOrigin-Name: 89634a419d0c1ef899d0591c7c6ab9290bf665d2

Fix harmless compiler warnings for MSVC in the showdb/showwal command line tools.

FossilOrigin-Name: 6dc7b2f119eb92da17c9e914bdad30a9ceaebdb5

Update clean targets with the recently added command-line tools.

FossilOrigin-Name: 2beefa68c0c53f663321bebf0ac06f6c936be63f

Improved documentation for checkpoints and the busy handler.  No changes
to code.

FossilOrigin-Name: ca92c0240681b199c4b8ecc557792b8aea71692d

SQLite has long accepted some unadvertised and non-standard join syntax.
Add a test to ensure that future versions continue to accept this non-standard
syntax, to avoid breaking legacy applications that use the undefined syntax.

FossilOrigin-Name: 824dde7fc48dbca6d6c956c4eb79bbfa2d139ee5

Improvements to the ".fullschema" command in the command-line shell.

FossilOrigin-Name: fa80c64caa573297bf43cb5b11d9e7db58567200

Fix harmless compiler warnings in the fts3view utility program that can occur with MSVC.

FossilOrigin-Name: 1cec1e030035e5253fb7ebbdfe5c1a3029e4e29b

Add the fts3view utility program to the MSVC makefile.

FossilOrigin-Name: b04751bd59fed513ab615e7f368fe25c64b3607c