Merge latest trunk changes with this branch.

FossilOrigin-Name: 5809986ffcc5d9cbab64760f8d7fbfbb6b626ee7

Fix a problem with the handling of delete markers by automerge on large databases.

FossilOrigin-Name: 2b09bd17eb85ea3c682e930d2aabc6441f2265e0

Do not search for promotable segments following an FTS 'optimize' operation or creation of a new segment on the oldest existing level.

FossilOrigin-Name: 34f6b4b8e4cb8ea45fd518672dc96335d1ce06ab

Fix a problem to do with loading the value of the FTS automerge setting from the database.

FossilOrigin-Name: 7268119f74602929b372b88eca7b3c3b4964f7d5

Fix various problems to do with segment promotion. Add test file fts4growth2.test, containing tests to check that the FTS index does not grow indefinitely as the table is updated.

FossilOrigin-Name: 21491a9bc686e63bec32f1a67103622f1160a2f9

Fix a problem preventing delete markers from ever being removed from the FTS index.

FossilOrigin-Name: 7f47ae5c5ddb1227484ddae7c6960183932a052a

Improve a comment in the MSVC makefile.  No changes to code.

FossilOrigin-Name: 0901dccedaf5679691ba803ec76d113de170185d

Add VSIX packaging support for Windows Phone 8.1 using Visual Studio 2013 Update 2.

FossilOrigin-Name: 013738f3d531078fb47f9992c18a0d630e771a32

Experimental code to prevent FTS indexes from growing indefinitely as the table is updated.

FossilOrigin-Name: b3b505a4dd0c679437a4272109f1188175088cd1

In mutex_w32.c, make inclusion of the Windows header file dependent on SQLITE_OS_WIN, not SQLITE_MUTEX_W32.

FossilOrigin-Name: 93ffbcc0b1d207950851dbb16a8c101afb949d5f

Merge updates from trunk.  Emit the AppliesTo and DependsOn SDK manifest attributes when building the VSIX for Windows Phone 8.1.

FossilOrigin-Name: f6237a5f190bd5693ceed0ca1f048c3ec2a4da67

When using Visual Studio 2013, add the appropriate MaxPlatformVersion attribute to the VSIX SDK manifest.

FossilOrigin-Name: 0a4f59676bd0ab33b2c86c9a35a2ebbdbaf09ee7

Further MSVC makefile changes to support Windows Phone 8.1.

FossilOrigin-Name: a9c81815e1b7a9c05da61f75edac45cb1a954135

Merge updates from trunk.

FossilOrigin-Name: f4fea7bb8a4b118bdceff400a6c49c6291c0d58e

When cross-compiling with the MSVC makefile, make sure the correct library path is used.  Also, keep track of the required compilation options separately.

FossilOrigin-Name: c3dce2e7390eec3a337be1b99f80ad5f721cc647

Include sqlite3rtree.h in the tsrc/ pile of source files during
target_source in the main.mk makefile.

FossilOrigin-Name: 116bed5af664899a73b46dca528ac0c021fc50c3

Remove a superfluous variable initialization.

FossilOrigin-Name: 68766f837491cb89c2103f2627eb9e23ab326a68

A better fix for the group_concat() problem.

FossilOrigin-Name: 1c086deebd0eb442918972e4b9185a5a0db3b8c3

Fix the way parenthesis in MATCH expressions are handled by FTS if the tokenizer considers them to be token characters.

FossilOrigin-Name: e21bf7a2ade6373e94ea403c665f78e1ad22143f

Make sure the group_concat() function returns an empty string, not a NULL,
if it has at least one input row. Fix for ticket [55746f9e65f8587].

FossilOrigin-Name: d01cedaa73d8f9e5502502a1068a9509d1de295c

Ensure that the sqlite3StrAccumAppend() routine is never called with a NULL
second argument.  Doing so is harmless when N==0, but it causes an assert()
to fail that was placed to quiet static analyzers.

FossilOrigin-Name: f03fbf3700d9d4a654e3aa2e5caa810a8416bed9

Make sure the group_concat() function returns an empty string, not a NULL,
if it has at least one input row.  Fix for ticket [55746f9e65f8587].

FossilOrigin-Name: 0deac8737545a020d344be96fff16660a7977ab8

Add the SQLITE_IOCAP_IMMUTABLE bit as a possible return value from
the xDeviceCharacteristics method in the VFS.  Add the "nolock" and
"immutable" query parameters to URI filenames.

FossilOrigin-Name: 1a0d7d3d9dd54b783e3a805961287dd01f94770c

Fix nolock and immutable so that they work even if READONLY is requested.

FossilOrigin-Name: e193aced2942e7405d0f45f90d4954b5663b4ba5

Add test cases and documentation for the nolock and immutable query
parameters.

FossilOrigin-Name: 19d56cbaca222b32e2e354063149cccd89441d73

Merge updates from trunk.

FossilOrigin-Name: 69698ae90c415cb32d2c144725853483da65f0ff

Update the template VSIX package file as well.

FossilOrigin-Name: 99d96765cc378fde7b285f4577ea2b5d130d9a61

Merge updates from trunk.

FossilOrigin-Name: 7579c44ac1865133c37b16f2acc074d1eed4fdfd

Enhance the VSIX package creation tool to better support Visual Studio 2013.

FossilOrigin-Name: c1fb04f61eb74d80d1b7607ae6904fe2e1717988

Refactor VSIX package creation tool to better support Visual Studio 2013.

FossilOrigin-Name: 8be166af239cbdaff3937c4003a6dc6e8a96e53a

Merge updates from trunk.

FossilOrigin-Name: 668ed76ac6cfd5810aea7319c752d77fafaab319

When building for Windows 8.0 using Visual Studio 2013, make sure the cross-compilation native library path is set correctly.

FossilOrigin-Name: c1ab9092e29bc9d172c1f1a3becbcc83b79f2080

More modularization work on the MSVC batch build tool.

FossilOrigin-Name: 9a06773acc181e981f61f476a8e56417b98beba9

Merge updates from trunk.

FossilOrigin-Name: eaa8fc810fcff8171b6c5cff8c661a6faf0e023b

Create new header file "os_setup.h" used to detect the operating system
at compile-time, and "os_win.h" that contains windows-specific header in
formation.

FossilOrigin-Name: bd92e0f80c1158d810b0d47e38f2fe06ff24bb8c

Work on cleaning up the MSVC batch build tool integration with Visual Studio 2013.

FossilOrigin-Name: b5a72dfd59fba6a9938ac1afdec06a2e6809fd2d

Attempt to fix the build on beagleboard.

FossilOrigin-Name: 3ac75725a66730566105ad184a988a8f80f51055

Centralize and reform use of the Win32 related include files.

FossilOrigin-Name: 857f2baf9b722e4eb1ac0d50fe03e32d5176185b

Merge updates from trunk.

FossilOrigin-Name: 6f07f20e41446212a86989a5e6ce7f12998a3ae3

Merge updates from trunk.

FossilOrigin-Name: a3cfd81339267c87db511cedf35ec209ee1f1a72

Fix several header file comments.  No changes to code.

FossilOrigin-Name: dd6eb5d1eb4d50023a008fac116497ede29600c1

Enhance the Win32 VFS I/O retry logic.

FossilOrigin-Name: 4760504396bcf44528eb8de9ed7aa5d9659c54b6

Merge updates from trunk.

FossilOrigin-Name: 598a3875ce98015e9a38db54bd0cb6290424c3d8

Merge updates from trunk.

FossilOrigin-Name: c4d1d8a0db48f523d1624f2468261c171152c0f7

Fix a broken test case in fuzz.test.

FossilOrigin-Name: faa469355eabb2c407f24638b090725448aac37f

Add a comment explaining why WhereLoop cost adjustments are omitted for
skip-scan loops.

FossilOrigin-Name: 3bc43594aaeee9225c0590677fcce480bedcb37b

Fix an obscure problem to do with temp register allocation that could occur if more than one simple SELECT within a compound SELECT uses a partial sort.

FossilOrigin-Name: 427409ae106cdab7892a6b50fe30c5f52de5addc

Add #ifdefs for test coverage.  Add a testcase().

FossilOrigin-Name: be2702ce35c713b33c9b7689643b45fb0de6af2a

Update a test case in wal2.test that explicitly corrupts a checksum in the wal file to account for the fact that the first byte of said checksum may initially be 0xFF.

FossilOrigin-Name: 2b935bdea1452505f36dc8c7aad49e6c42f4eceb

Take out the special handling of nolock=true in os_win.c and add it to
pager.c, so that it works for all VFSes.  Add the pPager->noLock boolean
for clarity.

FossilOrigin-Name: 725c1c14be331bce9bf074960dbfa7b6d4c1ba87

Avoid unnecessary xUnlock operations on temp file.

FossilOrigin-Name: 1829c38c3233c8cb194fae6d560d35a8916b1348

Add the immutable=TRUE query parameter and SQLITE_IOCAP_IMMUTABLE, either
of which prevents locking of the database and omits tests for existance
of journal files.

FossilOrigin-Name: 71f152c85d79ebd9ca48bc9c4c71fc4debaf2437

Merge in all recent changes and enhancements from trunk.

FossilOrigin-Name: 84243f844417f888ab731841f7dbf95749f6e034

Fix a problem in calculating the costs of "OR" scans.

FossilOrigin-Name: 9bbca48b42e4fe16f2188e18dc736da30a96435c

Modify the way the costs of various query plans are estimated. If the user supplies a likelihood() value (or equivalent) on an indexed WHERE constraint, use it to estimate the number of index rows visited.

FossilOrigin-Name: 90e36676476e8db00658772e6c938242f766d306

Add text to the header comment of whereLoopAddBtree() describing how the costs of various b-tree loops are estimated.

FossilOrigin-Name: 05e6e16cb28c9ffb4596bd2ef81f687c5403ecbb

Update a couple of test cases to account for the fact that this branch prefers an index scan and partial sort over a full-table scan and full external sort.

FossilOrigin-Name: 9b975bf33cd8fc28c64183a9642bf9fb436a4746

Fix a couple of out-of-date comments in where.c.

FossilOrigin-Name: eefeda32d54efbbdf7d20b719299eda48b891fae

Improved rendering of LogEst values corresponding to real values near 0.0
in the tool/logest.c utility program.

FossilOrigin-Name: 32910c8c595858245bb7ecfe3aa0f90eeae641af

Fix long-standing typos in comments.

FossilOrigin-Name: b9f91317c34d07769a95dc2f905a6ccabceb64a3

Test that the default values used when sqlite_stat1 data is not available are calculated correctly. Fixes for the same.

FossilOrigin-Name: e2d42f909de85a0586389f2dc0e654f7af2e351a

Merge trunk changes into this branch.

FossilOrigin-Name: d74299f037f3a6a4b3bce8b4d1c76c407c1f3b3e

Ignore likelihood() values on indexed IPK lookups.

FossilOrigin-Name: 5bb7757a7b32a74482d3e93e9c9eea02273fe981

Fix a test case so that it updates sqlite_stat1 consistently.

FossilOrigin-Name: 2dc5a0b55567f13f0528ed17242e680cde2f2a29

Do not reduce the number of rows scanned at all for "IS NOT NULL" constraints. Fix a bug in calculating the number of rows visited by scans of partial indicies.

FossilOrigin-Name: a8ae93f0cffa116df0ba34d46a53f49d42dace41

The trunk assumes that an open range constraint on an indexed term (col>?) term matches 1/4 of the indexed rows, and that a closed constraint (col BETWEEN ? AND ?) matches 1/64. Change this branch to do the same.

FossilOrigin-Name: 4047ac75e2a8f0b330255501c42e4f04e5ab500d

Add the sqlite3_rtree_query_callback() API to the RTree virtual table.
(Cherrypick from the sessions branch.)

FossilOrigin-Name: af2cbe64adab5f9e3b0f3da00d06428088589d7f

Update unordered.test to take into account for the fact that SQLite now prefers a full-table scan over a non-covering index scan that visits a large percentage of the table rows.

FossilOrigin-Name: 20f468dfbcb247e51446fad411a6e6cc0d130411

Add an extra column to a table in analyze9.test to give the planner a little more reason to select an index.

FossilOrigin-Name: 1b95544f84bf83c28cc15f6d0690fdf8a6bb3941

Update test script analyze3.test to account for the fact that SQLite now prefers a full-table scan over a non-covering index scan that visits a large percentage of the table rows.

FossilOrigin-Name: 35f46a55d866b9a87c1321aab8e0cfe86ccadb93

Modify internal function whereLoopAdjustCost() so that it does not prefer a skip-scan over a regular index scan even if the regular scan uses a subset of the WHERE terms used by the skip-scan.

FossilOrigin-Name: 88a5758dcce891eb7be15432ebdc9f80071d413b

Fix an error in estimating of the number of rows visited by a range scan.

FossilOrigin-Name: d491de62fce69d93e89f65f7713972f7c2c451f7

Fix an sqlite3_stmt_status() problem caused by recent changs on this branch.

FossilOrigin-Name: dee204092421a239f9f60ab83c3a5b3e24d1baea

Update requirements marks to fix typos in the requirements text.
No changes to code.

FossilOrigin-Name: f5a263658187250044afc1a74000e6f6962733ca

Allow the xfer optimization to proceed if the DEFAULT on the very first
column of the two tables is different.  This is a refinement of the
fix for ticket [f67b41381a].

FossilOrigin-Name: 349f483499dd685a8da94923b6bd810a52e5e236

Avoid transfering records between tables unless the default values for all columns are the same. Fix for [f67b41381a].

FossilOrigin-Name: f8c4c495e6de1f124d205383d4bafa46accbff5c

If the user provides likelihood() data for a WHERE clause term used as part of an index key, have the planner use it when calculating the expected number of rows visited by the loop.

FossilOrigin-Name: c51efaa5d29ee0a91b9e6a83a8dd82530670811a

Add test cases to ensure correct operation of joins with a virtual table
that include DISTINCT and ORDER BY clauses.  Verification for ticket
[388d01d4bb8f9].

FossilOrigin-Name: 5ada136f43ce744ae8c349eff39838eb44611b6e

Store values loaded from the stat1 table as logarithmic values in memory.

FossilOrigin-Name: 1bd74c49ddab6f53bb6eaa57907eff44c2580dd6

Make sure ORDER BY clauses on joins that involve virtual tables and that
have a DISTINCT clause work correctly.  This is a candidate fix for
ticket [388d01d4bb8f9].  Test cases for that ticket will be checked in
separately.

FossilOrigin-Name: 171138122690faafde0dcab0201b90bdf02d3637

When VDBE_PROFILE is enabled, ignore negative opcode times, which sometimes
occur, perhaps due to context swaps.

FossilOrigin-Name: 4e88042f9d3e678914da96c0eb276f3d8fca5a94

Changes to the way the planner calculates the costs of various table and index scans. Some test cases still failing.

FossilOrigin-Name: c5a6ec0a880652dc8f4593d9f7acd58ddc3dc5f3

Change from using the win32-none VFS to just a query parameter.

FossilOrigin-Name: ffceacf61905dc3553978ba5f68e133947eca2fa

Add some OSTRACE calls for consistency.

FossilOrigin-Name: be292d559748a24ff012266a1f58ce6c027e0411

Add the win32-none VFS which omits rollback-journal locking.

FossilOrigin-Name: 03e3c5a8b17a219a49bfbe79b7debd27ace8ad85

Preliminary changes to support building VSIX packages for Windows 8.0 and Windows Phone 8.0 using Visual Studio 2013.

FossilOrigin-Name: 3bf97c811a25babf760f256245c756ed6710f8ba

Comment tweaks on the test case for the [b75a9ca6b0] bug fix.

FossilOrigin-Name: 65d2544af9adc1e2f1d193e57f8be0422fb0d5eb

Avoid discarding an ORDER BY clause in the case where an identical GROUP BY clauses uses an index to group, but not sort, the rows. Fix for [b75a9ca6b0].

FossilOrigin-Name: de9a490f594183f337a2ec9e0f87792eac83548b

Clean up the proper-subset cost adjustment logic to make it more compact
and easier to read and so that full branch test coverage is more easily
obtained.

FossilOrigin-Name: 9a5d38c79d2482a23bcfbc3ff35ca4fa269c768d

Add the SQLITE_RUNTIME_BYTEORDER compile-time option to force SQLite to check
the processor byte-order at run-time.  Add additional compile-time byte order
checks for ARM, PPC, and SPARC.

FossilOrigin-Name: 2c5363873a6f990a0abaacac6303acd46b48befc

Preliminary changes to support building VSIX packages for Windows Phone 8.1.

FossilOrigin-Name: a1b2f28ba85b043df68875f5d3446140db4f2cb0

Add the SQLITE_TESTCTRL_BYTEORDER test control to interrogate SQLite's notion
of the processor byte order and whether the byte order is known at compile-time
or determined at run-time.

FossilOrigin-Name: 9c6961967ae00e563ebe2859eaf2639a79f2cb01

Make sure the undocumented sqlite_rename_parent() function does not
crash even if it is invoked with NULL arguments.
Ticket [264b970c4379fd4b94]

FossilOrigin-Name: c6fa8d0d82805be230f672eabccdfa5680d4ddfd

Remove the unused second argument from sqlite3ExprCachePop().  Add an
ALWAYS() on an always-true conditional in sqlite3VdbeResolveLabel().

FossilOrigin-Name: ab23abf392175d3e256ff619b13abbbe732a49ed

Make sure column cache elements are cleared correctly when jumping over
code for key generation in a partial index.
Fix for ticket [2ea3e9fe6379fc3f6].

FossilOrigin-Name: 3122b8364082be783821da01d4af2af6a9586327

Modify the OR-clause handling so that it can safely deal with OR-clause
with 17 or more terms.  Fix for ticket [10fb063b1179be53ea0b53bb].

FossilOrigin-Name: a67b5312f63909737c052fe58ab5772d45530d49

Performance improvements when reading large blobs, especially if
SQLITE_DIRECT_OVERFLOW_READ is defined.

FossilOrigin-Name: 2312eb6a9eb31051db4e0baf19e033ba39adc7b1

Merge changes to the query planner that strive to ensure that any index
usage that is a proper subset of some other index usage always has a slightly
higher cost.

FossilOrigin-Name: 683dd379a293b2f330e1e4cd746f190527fe48ee

Ensure the "PRAGMA journal_mode=WAL" works coming from any other journal_mode
with ATTACH-ed databases.

FossilOrigin-Name: e54330b43127e46fc6494748cbb353a6fc91cfd7

Use OP_Copy instead of OP_SCopy when moving results out of a subquery,
to prevent the subquery results from changing out from under the outer
query.  Fix for ticket [1e64dd782a126f48d78].

FossilOrigin-Name: d5513dfa23baa0b0a095aaf17d19aacd30dcef61