Modify GetVersionEx Win32 VFS fix for use with the test suite.

FossilOrigin-Name: fd2221768b45d9006bbb2919a4977cf2791826d6

Further clarification and typo fixes for the previous comment change.

FossilOrigin-Name: 87ef9e2f293afd89901fed6be45b0f0052df6846

Clarify the comment explaining the meaning of the SQLITE_WIN32_GETVERSIONEX
macro in the Windows VFS.

FossilOrigin-Name: 69714287dbbdbf4ef2a2c5e99ed740ae7d27e051

Fix for #ifdef issue with GetVersionEx in the Win32 VFS.

FossilOrigin-Name: 1a0d466dd48163c86de4774035fe4a30c1c55311

Add a few more requirements tests.

FossilOrigin-Name: b5652439d5d770f0edeb80c8f55fa7cc515482e3

Updates to evidence marks and requirements.  No changes to code.

FossilOrigin-Name: 62d38308b519a5362f559b296a0cf1acccf8f673

Fix harmless compiler warnings.

FossilOrigin-Name: 52b03f045edf6fc29f9ba9a5cac53a59f0feb0eb

Changes that will perhaps enable SQLite to work better on VxWorks.

FossilOrigin-Name: de27c742c0dcda20b51339598bf6094a8dcf5fb9

Fix an uninitialized variable causing a problem during fts5 table initialization.

FossilOrigin-Name: a14fa876f0eb66028e302b908967cc4a05ede9fc

Use multiple memory allocations for a single Fts5Structure object. This is probably less efficient but much easier to get right.

FossilOrigin-Name: 2821825f7a481755a333dcdcad780b3e24448f20

Update requirements marks.  No changes to code.

FossilOrigin-Name: 7556bd9aa5db1b9cd92d0e48effcda9fe96f3128

Improvements to the way the query planner handles sorting costs, so that
very large sorting costs do not overwhelm the loop costs.

FossilOrigin-Name: bdaa6947371a60a31b6a13267b0ba6e46df2a8ce

Fix a buffer overrun in the previous commit.

FossilOrigin-Name: 43c59c85436dc8001c81f4aac7f5231b13d741cb

Because SQLite internally calculates query plan costs using a logarithmic scale, very large estimated sorting costs can cause all other estimated costs to be rounded down to zero. In these cases break ties between plans with the same total cost by comparing the costs with sorting excluded. This is an alternative fix for the same problem as addressed by [2af630c572].

FossilOrigin-Name: 299b9570279ded7158d22349ef93384286a5c755

The SQLITE_IOERR_BLOCKED extended error code is not longer used, so remove
assert() statements and documentation for that error code.  Also make other
documentation improvements.

FossilOrigin-Name: 36b7c5cefcad6bad044806092593c84876fee8bc

Reworking the documentation on integer result codes.  This is a comment
and documentation change only.  There are no changes to code.

FossilOrigin-Name: 54f1df7b63166f14b2f0d5955c546820e5cbdec9

When the estimated sorting cost overwhelms the estimated lookup cost, ensure
that lookup costs are still taken into account when selecting a lookup
algorithm.

FossilOrigin-Name: 2af630c5720a4d71f22a952af29346a09bd8dfd0

Clarify the computation of compatible isOrdered by in the plan solver of
the query planner.

FossilOrigin-Name: b5e8fd575a80334160de0aac8084ed5cd28816a5

Remove the extraneous debugging printf() from the previous check-in.

FossilOrigin-Name: 8f04d2c0084afa6381e78847c9aa296498d448cb

Add "segment promotion" to fts5. This prevents the FTS index from growing indefinitely as data is added and deleted.

FossilOrigin-Name: ba359d78e166d78e0dc89e3c63a9a41e9ffea989

When the estimated cost to do a sort overwhelms the estimated cost to do
individual table lookups, make sure that the table lookup costs are still
taken into consideration when selecting the lookup algorithm.

FossilOrigin-Name: ec5d84ba69c100d9565425ed74040a49e410ea03

Avoid writing delete markers to the oldest segment in an FTS index.

FossilOrigin-Name: 1baeb1cee61d9c56c718b50af034a24f1018a322

A couple more harmless compiler warnings eliminated.

FossilOrigin-Name: bcf6d775f90f4d1ba018a1b965f2f710df130f01

Fix two more harmless compiler warnings.  Make sure the fts3_unicode2.c file
is in sync with mkunicode.tcl.

FossilOrigin-Name: a2a60307ea68a3230952a56cb65369ba0a208967

Add support for savepoints to fts5.

FossilOrigin-Name: 3b19eba042bb2eeb1be60f8d58ebaa0a045d6a5c

Fix harmless compiler warnings.  In the command-line shell, report if the
".system" command returns a non-zero result.

FossilOrigin-Name: 1202e9771f6d699dbf5268368108a3527d06d799

Merge the second InterlockedCompareExchange() fix from trunk.

FossilOrigin-Name: 69018967f6e38521dd9b0fa9ce05c9b947635335

Fix an obsolete comment in the func.c source file.  No changes to code.

FossilOrigin-Name: 5c6bb57d90bad32785d6d9cdf110a825bbc5ec73

On the windows VFS, do not try to make InterlockedCompareExchange an
overloadable function, since sometimes it is a macro.

FossilOrigin-Name: ab1a751e1304749bef5bc5c833f9abed8950f7d0

Fix an obsolete comment in the func.c source file.  No changes to code.

FossilOrigin-Name: 7a145c9409e70b92946534eb44c2e205f7309897

Merge in the fix for the InterlockedCompareExchange() build issue.

FossilOrigin-Name: 091aa5f1047f0ec984a69ab1f356c1960813b77b

In the Win32 VFS, work around InterlockedCompareExchange() being a macro on some platforms (e.g. x64).

FossilOrigin-Name: 7be244ce129d6502f3a3e3f3e8a1dd61ef71d878

Merge all recent changes from trunk.

FossilOrigin-Name: a353a8515fb2eff86042d0c33e39772f4d04e0b3

Merge the latest 3.8.6 beta changes from trunk.

FossilOrigin-Name: 68a6d5e2f43702c78057ae2f2a7345c981d24e17

Fix typos in the opcode documentation.  Comment changes only.  No changes
to code.

FossilOrigin-Name: 717245d48714c08156c9b7636aaa6c3a402bad66

A simpler fix for ticket [3a88d85f36704eebe1] - one that uses less code.
The error message is not quite as good, but as this error has apparently
not previously occurred in over 8 years of heavy use, that is not seen as
a serious problem.

FossilOrigin-Name: 0ad1ed8ef0b5fb5d8db44479373b2b93d8fcfd66

Ensure that aggregate functions are not used when evaluating a default
value for a table column.
Candidate fix for ticket [3a88d85f36704eebe134f7].

FossilOrigin-Name: 29ba812825bf06ef230f2480bba0579653f0a52d

Use doclist indexes for AND queries as well as phrases.

FossilOrigin-Name: 5d38e6edc40ef188fbf96505073797036aa6783a

Add the ability to evaluate IN operators as a sequence of comparisons as
an alternative to the long-standing algorithm of building a lookup table.
Use the new implementation in circumstances where it is likely to be faster,
such as when the RHS of the IN changes between successive evaluations.

FossilOrigin-Name: 952868216854e8355edf57af62bd1a6bcb70ce61

Use doclist-indexes with "ORDER BY rowid ASC" fts5 queries as well.

FossilOrigin-Name: d028ba6589f3122b635474c2683c0f93d5bc6c7c

Rename the internal Schema.flags field to Schema.schemaFlags.

FossilOrigin-Name: 5ae80b3c8f032528359c8c762505ce24da8db96f

Improved VdbeCoverage() macros.  A few minor simplifications to generated
VDBE code.

FossilOrigin-Name: 01f60027ad1841051fa493a646141445f8971357

Part of the change in the previous check-in was incorrect and can result
in an incorrect UPDATE for WITHOUT ROWID tables.  This check-in fixes the
problem.

FossilOrigin-Name: ee5f6eae57a656d09a4b3f7fbef664b2c696ddb4

Fix fts5_index.c to use doclist-indexes when possible. Only some cases work so far.

FossilOrigin-Name: 90b82d3ef613b2915e0e280dc1d2e5a2b617d59c

Further enhancements to IN-operator processing.

FossilOrigin-Name: 7fdf26da1d2f40b80f9e44ff6f5af22ace8f95f3

Refinements to the enhanced IN-operator logic.

FossilOrigin-Name: 92ba2821468ecbfac2469161d81c873de67b2243

Enhancements to the code generator for the IN operator that result in much
faster queries in some cases, for example when the RHS of the IN operator
changes for each row of a large table scan.

FossilOrigin-Name: 436e884215e2b33ca3fbb555362237b12827c07a

Start changing things to use doclist indexes as required. code is not activated yet.

FossilOrigin-Name: b8864da95db2c0e611116304d607e35a86c9247d

Remove (newly) incorrect preprocessor check to fix build on WinRT.

FossilOrigin-Name: ba7826542908eac2e14789d183d0b3e35b143fed

A better comment on the generated code for the NULL-in-RHS-of-IN detection
logic.

FossilOrigin-Name: 9bc1c730a366e75b760b58e7a343d39165b2a469

Improved detection and handling of NULL values on the RHS of a IN operator.

FossilOrigin-Name: 468e730036edac22cfeb9ea3515aa16e6bcd6650

Add a special case to the integrity-check code to check that the final integer in a doclist index is as expected.

FossilOrigin-Name: c98934155cb48adfda57bd0fd1b950226d45f67a

Have the fts5 integrity-check verify that doclist indexes match the contents of the leaf pages that they index.

FossilOrigin-Name: 37a7d3035eb4bbad7e32fe550321ac9fae611a57

Remove an unnecessary OP_Null in the IN-operator logic.  Attempt to clarify
comments explaining the IN-operator code, though it is not clear that the
comments are correct even yet - more work to be done.

FossilOrigin-Name: c11e55fabbc718cb324ecd3540453c25db98f50c

Clean up the IN operator code generation logic to make it easier to reason
about.  In the process, improve code generation to omit some unused OP_Null
operations.

FossilOrigin-Name: 7c6fbcfe6ed5739e8e4639b7b123fbf9828cbfc0

The idea of coding IN operator with a short list on the RHS as an OR expression
turns out to be helpful.  If the list is of length 1 or 2, the OR expression
is very slightly faster, but the ephemeral table approach is clearly better for
all list lengths greater than 2.  Better to keep the code simple.

FossilOrigin-Name: e13175d3579e1045165bab091b3b28951d691704

Begin making changes to the IN operator in an attempt to make it run faster
and to make the code easier to understand.

FossilOrigin-Name: ee0fd6aaf94cda1dce3fe752bfe3b0f83e0043f1

Add "doclist index" records to the database. These are to make navigating within very large doclists faster. They are not yet used by queries.

FossilOrigin-Name: 89377421ff69f2450364987afe781b6d8bcbf087

Enhance the PRAGMA integrity_check command to detect UNIQUE and NOT NULL
constraint violations.

FossilOrigin-Name: 9abcf2698c09f4f6a44a68e74f9f6b538f3253d6

Refactoring:  Change "pIndex->onError!=OE_None" to use a macro:
"IsUniqueIndex(pIndex)".  Easier to understand that way.

FossilOrigin-Name: e75b26ee357bb3d3c1a539b05d633ebf314726d7

Omit a pointless OP_Null when processing a value-list RHS of an IN operator
where the LHS is a rowid.

FossilOrigin-Name: 1361450a9dfe9476e8df98f370a3695752252245

Optimizations to the OS sub-type checking in the Win32 VFS.

FossilOrigin-Name: 1e5489faff093d6a8e538061e45532f9050e9459

Add a missing call to "test_sqlite3_log" to multiplex.test.

FossilOrigin-Name: 0708f9df23a325349f658741358c5994b5c4c873

Add a comment explaining why fts5 cannot cache "sorter statements".

FossilOrigin-Name: e6af3b7a3cf331210f4c87848e2af007dbd5ef30

Fix a leaked statement handle in pager2.test.

FossilOrigin-Name: 47457b0488abcbec2137abf706c1d677563b9ea5

Deactivate the DISTINCT in a SELECT on the right-hand side of an IN operator,
since it should not make any difference in the output but dues consume extra
memory and CPU time.

FossilOrigin-Name: f4cb53651b1e352fae7378878b830a902bcd9248

Add further tests for the extension APIs with "ORDER BY rank" queries.

FossilOrigin-Name: 37a417d27e4ebafd4783f62728d7467316b75b17

Re-integrate the recent changes from the 'winMutex' branch back into the Win32 mutex subsystem.

FossilOrigin-Name: 5360ecb0b8891d0c27f3f02d81b6c7b548361a10

Add three new static mutexes for use by the application.  This is a partial
import of changes from the threads branch.

FossilOrigin-Name: 3aad01960f92c5e77dba64ac1a6c6b063378fb97

Fix things so that the fts5 extension API works with "ORDER BY rank" queries.

FossilOrigin-Name: f1b4e1a98d49ecaba962beba16f8224175e4ba59

Add hidden column "rank". Currently this always returns the same value as the bm25() function.

FossilOrigin-Name: 4cc048c3651e830a6aeded924c7f3a60b634e133

Add a new sqlite3FaultSim() call to vdbePmaReaderSeek() to facilitate
tests of error handling in the sorter.

FossilOrigin-Name: 655d8cfc752b3f5f63521a57f2155f8e14aaf7c4

Mark some invariants in the vdbesort.c logic when SQLITE_MAX_WORKER_THREADS==0.

FossilOrigin-Name: 721cd965859c9ccc24d2a1d2851c914229e584b3

Add the "eForce" parameter to the sqlite3_multiplex_shutdown() entry point
in test_multiplex.c.  Shutdown is forced if true.  Shutdown is not done if
there are pending database connections and eForce is false, but an error log
entry is made instead.

FossilOrigin-Name: c7303d0139f7e7f4fa7060b52942e6c6c6d4b622

Merge recent trunk changes, and especially the fix for the CREATE UNIQUE INDEX
problem of ticket [9a6daf340df99ba9].

FossilOrigin-Name: 5b50a8380b2b678c1646ff303e3696efc1d7d92c

Merge the fix for the CREATE UNIQUE INDEX problem into the sessions branch.

FossilOrigin-Name: 43401ee624587ffa166c3cda7e5265ad0d81da5c

Ensure that the correct number of columns in a UNIQUE index are checked for
uniqueness, regardless of whether or not the original table has a ROWID or
if the columns are NOT NULL, etc.  Ticket [9a6daf340df99ba93c].

FossilOrigin-Name: 6b785e92f279cb65746834d5cd25594fd3333342

Disable an assert that is sometimes generated spuriously.

FossilOrigin-Name: bd9ee0ea69181526cfc3cadac33a5ec5190112b0

Enhancements and updates to the Win32 mutex subsystem.

FossilOrigin-Name: ca9868cdae19045dc522490b34dee0f14d928ebe

Update return value checking to conform to the beginthreadex() specs.

FossilOrigin-Name: 3144a16f91364b455e54e6030714e1c12ab0bdb7

Add a couple more assert statements.

FossilOrigin-Name: 4e816db235025c7998c649fddabfd807290a08b9

Fix unreachable branches in the threads.c module.

FossilOrigin-Name: 3175e366bbf7579ec9ab27214b0a4e5cd27ea204

Merge updates from trunk.

FossilOrigin-Name: 08c9a4ea6353900095a471365a8611a443f5f399

Fix a harmless compiler warning.

FossilOrigin-Name: 216d21d0e62b3c0ad49f3cb395c845bf4f17ac61

Make the Win32 thread handles are available after the threads exit.

FossilOrigin-Name: 565c5af7a75ad5c759ce1a61dab3a61c42819644

Fix the threads build on Windows when SQLITE_MAX_WORKER_THREADS is greater
than 0.

FossilOrigin-Name: f37db3a03d95b508066745613029b7dd1240b31c

Merge the R-Tree fix and the new SQLITE_TESTCTRL_ISINIT test control from
trunk.

FossilOrigin-Name: b2f7eb3cc27ecf9a6a88907991148bca1a7d54b3

Add the SQLITE_TESTCTRL_ISINIT file control.

FossilOrigin-Name: 8b651d4d6cde7efbc0cc7155948f477477be100e

Merge recent trunk changes, and especially the fix for the R-Tree problem
described in ticket [d2889096e7bdeac6].

FossilOrigin-Name: 8f1beeade0ddf802900c9d203a4fd678d1190394

Have calls to the xFilter() method of rtree virtual tables ensure that cursor is initialized before proceeding. Fix for [d2889096e7bdeac].

FossilOrigin-Name: 8cc41b0bf365af47c2061ffe44c86018945dd239

Enhancements and updates to the Win32 mutex subsystem.

FossilOrigin-Name: 18984c321049a759f6619cfa17fb3f4e7b3e08ea

Add some asserts to the Win32 mutex subsystem.

FossilOrigin-Name: e8f2dc5fadae96252649875c234fcdef1108bd48

Fix the build on windows.

FossilOrigin-Name: 2773a5f9879a106a89a3d0bc3c5bfdcb2fe43c7c

Remove an unnecessary parameter from vdbeMergeEngineStep().  Rename a couple
other routines to be more descriptive of what they do.

FossilOrigin-Name: f2407a40f339fa6c2cec194f78ae7c93655b1ec1

Add the "loadfts" program, for performance testing the loading of data into fts3/fts4/fts5 tables.

FossilOrigin-Name: 770b9540c19ad1e3d24adff382332bf032065efd

Rename vdbeIncrMergerInit() to vdbeMergeEngineInit() - a much more accurate
name.

FossilOrigin-Name: 5b084a2dd581141b2d0cd9d1a5975625f65ec34d

In vdbesort.c, rename vdbeSorterDoCompare() to vdbeMergeEngineCompare() and
move it closer to the one place where it is called.  Other minor comment
changes.

FossilOrigin-Name: 09d50d9f0fe7df26dadb0a332731683a07a89fde

In vdbesort.c, rename all pointers to sqlite3_file objects "pFd" and use the
name "pFile" only for pointers to SortFile objects.  Other comment enhancements.

FossilOrigin-Name: 518290a7fc0994f9593c5c3ba5b2610a1b86dae1

Merge recent trunk changes into the threads branch.

FossilOrigin-Name: 163c247bd8280ab14fe577329c631c8bd884707f

Improvements to comments in the multi-threaded sorter.  Also include a
function name change for clarity.  And add a test to help show that the
MergeEngine object is only used by a single thread.

FossilOrigin-Name: 9af50a878f67c1c2a4f1520160cc989650d7196a