Merge updates from trunk.

FossilOrigin-Name: 69698ae90c415cb32d2c144725853483da65f0ff

Update the template VSIX package file as well.

FossilOrigin-Name: 99d96765cc378fde7b285f4577ea2b5d130d9a61

Merge updates from trunk.

FossilOrigin-Name: 7579c44ac1865133c37b16f2acc074d1eed4fdfd

Enhance the VSIX package creation tool to better support Visual Studio 2013.

FossilOrigin-Name: c1fb04f61eb74d80d1b7607ae6904fe2e1717988

Add a little extra variety to the tests in sort4.test.

FossilOrigin-Name: 7de6aee6a5cb5c7f89dced89f2ebf38f8be7a4fa

Re-implement the core of the multi-threaded sorter tests in sort4.test using C. Run each test in sort4.test ten times, or repeat all tests for 300 seconds as part of the "multithread" permutation test.

FossilOrigin-Name: 208b2b04d4d282bec4424ea7160a123ba549d118

Refactor VSIX package creation tool to better support Visual Studio 2013.

FossilOrigin-Name: 8be166af239cbdaff3937c4003a6dc6e8a96e53a

Merge updates from trunk.

FossilOrigin-Name: 668ed76ac6cfd5810aea7319c752d77fafaab319

When building for Windows 8.0 using Visual Studio 2013, make sure the cross-compilation native library path is set correctly.

FossilOrigin-Name: c1ab9092e29bc9d172c1f1a3becbcc83b79f2080

More modularization work on the MSVC batch build tool.

FossilOrigin-Name: 9a06773acc181e981f61f476a8e56417b98beba9

Merge updates from trunk.

FossilOrigin-Name: eaa8fc810fcff8171b6c5cff8c661a6faf0e023b

Create new header file "os_setup.h" used to detect the operating system
at compile-time, and "os_win.h" that contains windows-specific header in
formation.

FossilOrigin-Name: bd92e0f80c1158d810b0d47e38f2fe06ff24bb8c

Work on cleaning up the MSVC batch build tool integration with Visual Studio 2013.

FossilOrigin-Name: b5a72dfd59fba6a9938ac1afdec06a2e6809fd2d

Attempt to fix the build on beagleboard.

FossilOrigin-Name: 3ac75725a66730566105ad184a988a8f80f51055

Add test file sort4.test, containing brute force tests for the multi-theaded sorter.

FossilOrigin-Name: 9cc364c42cc64ab7b55b5c55e303fb63a456cf00

Centralize and reform use of the Win32 related include files.

FossilOrigin-Name: 857f2baf9b722e4eb1ac0d50fe03e32d5176185b

Merge updates from trunk.

FossilOrigin-Name: 6f07f20e41446212a86989a5e6ce7f12998a3ae3

Merge updates from trunk.

FossilOrigin-Name: a3cfd81339267c87db511cedf35ec209ee1f1a72

Fix several header file comments.  No changes to code.

FossilOrigin-Name: dd6eb5d1eb4d50023a008fac116497ede29600c1

Fix a race condition in the sorter code.

FossilOrigin-Name: 2d2edfe58db101d42a96772b856e6e55b401aab6

Add tests so that the "coverage-sorter" test permutation covers all branches in vdbesort.c. Fix a few minor problems in the same file.

FossilOrigin-Name: bde28b702dabd02269e333535cc41481351c5efc

Add an extra fault-injection test to sortfault.test. Remove an unreachable branch from vdbesort.c.

FossilOrigin-Name: a33a366ba8a0da81ddd895d552a348441ef8529a

Fix a race condition in the sorter.

FossilOrigin-Name: 32ccf3ae18531682dfd039fa8df6ad9a907ac455

Fix a problem in the sorter causing it to return spurious SQLITE_NOMEM errors when configured to use memsys3 or memsys5.

FossilOrigin-Name: 3a66c4e1bf311d38668dfcdcd77867feff6db7bd

Get SQLITE_MUTEX_STATIC_APP1 and _APP2 working for the debugMutex
implementation.

FossilOrigin-Name: f49ba1c926c63ee1c4609930138389fca182c845

Add two new static mutexes, SQLITE_MUTEX_STATIC_APP1 and _APP2, for use by
the application program.  First intended use is in test programs for the
memory allocation logic where one does not want to allocating a _FAST
or _RECURSIVE mutex since that would involve using the memory allocation
system under test.

FossilOrigin-Name: 13686035dd1cf67ad9c6d282ab13c3259e7273d1

Add the SQLITE_DEFAULT_WORKER_THREADS compile-time option.
Fix a NULL-pointer dereference that can occur following OOM.

FossilOrigin-Name: e0dea89b3e9f295f80210fcca007681bf1b08692

Enhance the Win32 VFS I/O retry logic.

FossilOrigin-Name: 4760504396bcf44528eb8de9ed7aa5d9659c54b6

Merge updates from trunk.

FossilOrigin-Name: 598a3875ce98015e9a38db54bd0cb6290424c3d8

Merge updates from trunk.

FossilOrigin-Name: c4d1d8a0db48f523d1624f2468261c171152c0f7

Fix typo in Windows makefile.  Make sure the WaitForSingleObjectEx system call is always available.

FossilOrigin-Name: d7ed529fa2aa5cb13edaabca2acaad06dffef569

Do not run the vdbeRecordCompareDebug() assert if pKeyInfo->db is NULL since
in that case there would be no way to check for a memory allocation failure.

FossilOrigin-Name: 63ed2d6acb82be8a74dbf6a61388be6da6113985

Merge orderby-planning with this branch.

FossilOrigin-Name: d9549de31741239ece060e448b592ce8fc5b8042

Simplify assert() statements used to verify correct operation of
record comparison routines.

FossilOrigin-Name: 3300d62dcbe74842cf86ca436959fe4e77a89f84

Fix some broken asserts in btree.c and vdbeaux.c that may fail following an OOM error.

FossilOrigin-Name: e15f47064bef431c0afd8bf93eb4e160c23ad562

Failure to extend a temp file for use with mmap() in vdbesort.c is benign.

FossilOrigin-Name: d4d396387d373bd1e82eda2c7c2e7ca35ec099c4

Remove a faulty assert() from vdbesort.c.

FossilOrigin-Name: d95d68aa1d14b750888d50068380cc107f9070df

Fix a faulty assert() statement.

FossilOrigin-Name: 9196ce407379ca3b151b601b98848771e5cb4e8f

Fix a broken test case in fuzz.test.

FossilOrigin-Name: faa469355eabb2c407f24638b090725448aac37f

Merge latest trunk enhancements and fixes into the orderby-planning branch.

FossilOrigin-Name: 84862d3a095629d20c8e7b8a16f4dc26cd41ab6d

Add a comment explaining why WhereLoop cost adjustments are omitted for
skip-scan loops.

FossilOrigin-Name: 3bc43594aaeee9225c0590677fcce480bedcb37b

Fix an obscure problem to do with temp register allocation that could occur if more than one simple SELECT within a compound SELECT uses a partial sort.

FossilOrigin-Name: 427409ae106cdab7892a6b50fe30c5f52de5addc

Add #ifdefs for test coverage.  Add a testcase().

FossilOrigin-Name: be2702ce35c713b33c9b7689643b45fb0de6af2a

Update a test case in wal2.test that explicitly corrupts a checksum in the wal file to account for the fact that the first byte of said checksum may initially be 0xFF.

FossilOrigin-Name: 2b935bdea1452505f36dc8c7aad49e6c42f4eceb

Take out the special handling of nolock=true in os_win.c and add it to
pager.c, so that it works for all VFSes.  Add the pPager->noLock boolean
for clarity.

FossilOrigin-Name: 725c1c14be331bce9bf074960dbfa7b6d4c1ba87

Avoid unnecessary xUnlock operations on temp file.

FossilOrigin-Name: 1829c38c3233c8cb194fae6d560d35a8916b1348

Add the immutable=TRUE query parameter and SQLITE_IOCAP_IMMUTABLE, either
of which prevents locking of the database and omits tests for existance
of journal files.

FossilOrigin-Name: 71f152c85d79ebd9ca48bc9c4c71fc4debaf2437

Merge in all recent changes and enhancements from trunk.

FossilOrigin-Name: 84243f844417f888ab731841f7dbf95749f6e034

Fix a problem in calculating the costs of "OR" scans.

FossilOrigin-Name: 9bbca48b42e4fe16f2188e18dc736da30a96435c

Modify the way the costs of various query plans are estimated. If the user supplies a likelihood() value (or equivalent) on an indexed WHERE constraint, use it to estimate the number of index rows visited.

FossilOrigin-Name: 90e36676476e8db00658772e6c938242f766d306

Add text to the header comment of whereLoopAddBtree() describing how the costs of various b-tree loops are estimated.

FossilOrigin-Name: 05e6e16cb28c9ffb4596bd2ef81f687c5403ecbb

Update a couple of test cases to account for the fact that this branch prefers an index scan and partial sort over a full-table scan and full external sort.

FossilOrigin-Name: 9b975bf33cd8fc28c64183a9642bf9fb436a4746

Fix a couple of out-of-date comments in where.c.

FossilOrigin-Name: eefeda32d54efbbdf7d20b719299eda48b891fae

Improved rendering of LogEst values corresponding to real values near 0.0
in the tool/logest.c utility program.

FossilOrigin-Name: 32910c8c595858245bb7ecfe3aa0f90eeae641af

Fix long-standing typos in comments.

FossilOrigin-Name: b9f91317c34d07769a95dc2f905a6ccabceb64a3

Test that the default values used when sqlite_stat1 data is not available are calculated correctly. Fixes for the same.

FossilOrigin-Name: e2d42f909de85a0586389f2dc0e654f7af2e351a

Merge trunk changes into this branch.

FossilOrigin-Name: d74299f037f3a6a4b3bce8b4d1c76c407c1f3b3e

Ignore likelihood() values on indexed IPK lookups.

FossilOrigin-Name: 5bb7757a7b32a74482d3e93e9c9eea02273fe981

Fix a test case so that it updates sqlite_stat1 consistently.

FossilOrigin-Name: 2dc5a0b55567f13f0528ed17242e680cde2f2a29

Do not reduce the number of rows scanned at all for "IS NOT NULL" constraints. Fix a bug in calculating the number of rows visited by scans of partial indicies.

FossilOrigin-Name: a8ae93f0cffa116df0ba34d46a53f49d42dace41

The trunk assumes that an open range constraint on an indexed term (col>?) term matches 1/4 of the indexed rows, and that a closed constraint (col BETWEEN ? AND ?) matches 1/64. Change this branch to do the same.

FossilOrigin-Name: 4047ac75e2a8f0b330255501c42e4f04e5ab500d

Merge all recent trunk enhancements and fixes into the sessions branch.

FossilOrigin-Name: e158812c34b01ce516d26636a489509bf61d1c27

Add the sqlite3_rtree_query_callback() API to the RTree virtual table.
(Cherrypick from the sessions branch.)

FossilOrigin-Name: af2cbe64adab5f9e3b0f3da00d06428088589d7f

Add the sqlite3_rtree_query_callback() API to the RTree virtual table.

FossilOrigin-Name: 3dca2809352c6c6d56db74447a814f77011c6220

Update unordered.test to take into account for the fact that SQLite now prefers a full-table scan over a non-covering index scan that visits a large percentage of the table rows.

FossilOrigin-Name: 20f468dfbcb247e51446fad411a6e6cc0d130411

Add an extra column to a table in analyze9.test to give the planner a little more reason to select an index.

FossilOrigin-Name: 1b95544f84bf83c28cc15f6d0690fdf8a6bb3941

Update test script analyze3.test to account for the fact that SQLite now prefers a full-table scan over a non-covering index scan that visits a large percentage of the table rows.

FossilOrigin-Name: 35f46a55d866b9a87c1321aab8e0cfe86ccadb93

Modify internal function whereLoopAdjustCost() so that it does not prefer a skip-scan over a regular index scan even if the regular scan uses a subset of the WHERE terms used by the skip-scan.

FossilOrigin-Name: 88a5758dcce891eb7be15432ebdc9f80071d413b

Fix an error in estimating of the number of rows visited by a range scan.

FossilOrigin-Name: d491de62fce69d93e89f65f7713972f7c2c451f7

Fix an sqlite3_stmt_status() problem caused by recent changs on this branch.

FossilOrigin-Name: dee204092421a239f9f60ab83c3a5b3e24d1baea

Update requirements marks to fix typos in the requirements text.
No changes to code.

FossilOrigin-Name: f5a263658187250044afc1a74000e6f6962733ca

Allow the xfer optimization to proceed if the DEFAULT on the very first
column of the two tables is different.  This is a refinement of the
fix for ticket [f67b41381a].

FossilOrigin-Name: 349f483499dd685a8da94923b6bd810a52e5e236

Avoid transfering records between tables unless the default values for all columns are the same. Fix for [f67b41381a].

FossilOrigin-Name: f8c4c495e6de1f124d205383d4bafa46accbff5c

If the user provides likelihood() data for a WHERE clause term used as part of an index key, have the planner use it when calculating the expected number of rows visited by the loop.

FossilOrigin-Name: c51efaa5d29ee0a91b9e6a83a8dd82530670811a

Add test cases to ensure correct operation of joins with a virtual table
that include DISTINCT and ORDER BY clauses.  Verification for ticket
[388d01d4bb8f9].

FossilOrigin-Name: 5ada136f43ce744ae8c349eff39838eb44611b6e

Enhance the sqlite3_rtree_query_info object to report on the number of
elements in the priority queue at each level.

FossilOrigin-Name: f7dad408dd46a1e3612b6142a3afb1d0d4fcda00

Store values loaded from the stat1 table as logarithmic values in memory.

FossilOrigin-Name: 1bd74c49ddab6f53bb6eaa57907eff44c2580dd6

Make sure ORDER BY clauses on joins that involve virtual tables and that
have a DISTINCT clause work correctly.  This is a candidate fix for
ticket [388d01d4bb8f9].  Test cases for that ticket will be checked in
separately.

FossilOrigin-Name: 171138122690faafde0dcab0201b90bdf02d3637

When VDBE_PROFILE is enabled, ignore negative opcode times, which sometimes
occur, perhaps due to context swaps.

FossilOrigin-Name: 4e88042f9d3e678914da96c0eb276f3d8fca5a94

Changes to the way the planner calculates the costs of various table and index scans. Some test cases still failing.

FossilOrigin-Name: c5a6ec0a880652dc8f4593d9f7acd58ddc3dc5f3

Improved header comment on the vdbesort.c module.  No changes to code.

FossilOrigin-Name: bf09ce24d054bc68c226064f5f28d97e0e648a13

Reopen the orderby-planning branch and merge in the latest trunk enhancements
and fixes.

FossilOrigin-Name: 6077ddcd93318e24b9756adaaf293ba9fb3cedf7

Improvements to comments.  Store some extra information in SqliteThread that
is useful for debugging.

FossilOrigin-Name: 9fb5e212089d85cdd3b4787dd69c72e6d84560b6

Merge all recent trunk changes into the threads branch.

FossilOrigin-Name: e2c9f71a451e44040624b9f255b4510743513019

Change from using the win32-none VFS to just a query parameter.

FossilOrigin-Name: ffceacf61905dc3553978ba5f68e133947eca2fa

Add some OSTRACE calls for consistency.

FossilOrigin-Name: be292d559748a24ff012266a1f58ce6c027e0411

Add the win32-none VFS which omits rollback-journal locking.

FossilOrigin-Name: 03e3c5a8b17a219a49bfbe79b7debd27ace8ad85

Fix the generation of sqlite3_rtree_query_info.iRowid and add test cases
to verify that it is fixed.

FossilOrigin-Name: eba95ead49f8f8ce45d400186562ff0066537c5c

Preliminary changes to support building VSIX packages for Windows 8.0 and Windows Phone 8.0 using Visual Studio 2013.

FossilOrigin-Name: 3bf97c811a25babf760f256245c756ed6710f8ba

Be sure to initialize the sqlite3_rtree_query_info.iRowid field for the
leaves of the R-Tree when doing a query callback search.

FossilOrigin-Name: 4394693882c04c19ebe87ef7547c57e679554397

Fix an off-by-one error in setting the "iLevel" field of the
sqlite3_rtree_query_info structure passed into the RTree query callback.

FossilOrigin-Name: d708f159abfb3b87e2844463088d4fb7f8da9c97

Comment tweaks on the test case for the [b75a9ca6b0] bug fix.

FossilOrigin-Name: 65d2544af9adc1e2f1d193e57f8be0422fb0d5eb

Avoid discarding an ORDER BY clause in the case where an identical GROUP BY clauses uses an index to group, but not sort, the rows. Fix for [b75a9ca6b0].

FossilOrigin-Name: de9a490f594183f337a2ec9e0f87792eac83548b

Clean up the proper-subset cost adjustment logic to make it more compact
and easier to read and so that full branch test coverage is more easily
obtained.

FossilOrigin-Name: 9a5d38c79d2482a23bcfbc3ff35ca4fa269c768d

Add to speedtest1.c the --threads option for setting the
SQLITE_CONFIG_WORKER_THREADS configuration.

FossilOrigin-Name: 5fce40c44aacf883df2e8e9472c399a6e92197b3

Fix harmless compiler warnings.

FossilOrigin-Name: f8f72ecb9052a4cace1db75879fb8b5131ea4f50

Merge recent trunk changes into the threads branch.

FossilOrigin-Name: 8729aa3e3ed1da2e15408ef8705cbe185cd2a5ac

Further improvements to the RTREE_DECODE_COORD() method, to take advantage
of known processor byte orders when available.  This makes the code 3% faster,
according to valgrind.  Also add test cases to make sure the on-disk
representation is correct.

FossilOrigin-Name: 6f3e94f4b1b403cd7bfc5e8e0ffbd61b5174d3a4

Merge the latest changes from sessions.

FossilOrigin-Name: d9eef5b03c7c4bb69c11eda41152ee81aed1cac7

Merge recent trunk changes into sessions.

FossilOrigin-Name: 95e77efe076ab421bd246119c47dba5dacf9d087