Fix a problem preventing delete markers from ever being removed from the FTS index.

FossilOrigin-Name: 7f47ae5c5ddb1227484ddae7c6960183932a052a

Experimental code to prevent FTS indexes from growing indefinitely as the table is updated.

FossilOrigin-Name: b3b505a4dd0c679437a4272109f1188175088cd1

When using Visual Studio 2013, add the appropriate MaxPlatformVersion attribute to the VSIX SDK manifest.

FossilOrigin-Name: 0a4f59676bd0ab33b2c86c9a35a2ebbdbaf09ee7

When cross-compiling with the MSVC makefile, make sure the correct library path is used.  Also, keep track of the required compilation options separately.

FossilOrigin-Name: c3dce2e7390eec3a337be1b99f80ad5f721cc647

Include sqlite3rtree.h in the tsrc/ pile of source files during
target_source in the main.mk makefile.

FossilOrigin-Name: 116bed5af664899a73b46dca528ac0c021fc50c3

Remove a superfluous variable initialization.

FossilOrigin-Name: 68766f837491cb89c2103f2627eb9e23ab326a68

A better fix for the group_concat() problem.

FossilOrigin-Name: 1c086deebd0eb442918972e4b9185a5a0db3b8c3

Fix the way parenthesis in MATCH expressions are handled by FTS if the tokenizer considers them to be token characters.

FossilOrigin-Name: e21bf7a2ade6373e94ea403c665f78e1ad22143f

Make sure the group_concat() function returns an empty string, not a NULL,
if it has at least one input row. Fix for ticket [55746f9e65f8587].

FossilOrigin-Name: d01cedaa73d8f9e5502502a1068a9509d1de295c

Ensure that the sqlite3StrAccumAppend() routine is never called with a NULL
second argument.  Doing so is harmless when N==0, but it causes an assert()
to fail that was placed to quiet static analyzers.

FossilOrigin-Name: f03fbf3700d9d4a654e3aa2e5caa810a8416bed9

Make sure the group_concat() function returns an empty string, not a NULL,
if it has at least one input row.  Fix for ticket [55746f9e65f8587].

FossilOrigin-Name: 0deac8737545a020d344be96fff16660a7977ab8

Add the SQLITE_IOCAP_IMMUTABLE bit as a possible return value from
the xDeviceCharacteristics method in the VFS.  Add the "nolock" and
"immutable" query parameters to URI filenames.

FossilOrigin-Name: 1a0d7d3d9dd54b783e3a805961287dd01f94770c

Fix nolock and immutable so that they work even if READONLY is requested.

FossilOrigin-Name: e193aced2942e7405d0f45f90d4954b5663b4ba5

Add test cases and documentation for the nolock and immutable query
parameters.

FossilOrigin-Name: 19d56cbaca222b32e2e354063149cccd89441d73

Update the template VSIX package file as well.

FossilOrigin-Name: 99d96765cc378fde7b285f4577ea2b5d130d9a61

Enhance the VSIX package creation tool to better support Visual Studio 2013.

FossilOrigin-Name: c1fb04f61eb74d80d1b7607ae6904fe2e1717988

When building for Windows 8.0 using Visual Studio 2013, make sure the cross-compilation native library path is set correctly.

FossilOrigin-Name: c1ab9092e29bc9d172c1f1a3becbcc83b79f2080

More modularization work on the MSVC batch build tool.

FossilOrigin-Name: 9a06773acc181e981f61f476a8e56417b98beba9

Create new header file "os_setup.h" used to detect the operating system
at compile-time, and "os_win.h" that contains windows-specific header in
formation.

FossilOrigin-Name: bd92e0f80c1158d810b0d47e38f2fe06ff24bb8c

Work on cleaning up the MSVC batch build tool integration with Visual Studio 2013.

FossilOrigin-Name: b5a72dfd59fba6a9938ac1afdec06a2e6809fd2d

Attempt to fix the build on beagleboard.

FossilOrigin-Name: 3ac75725a66730566105ad184a988a8f80f51055

Centralize and reform use of the Win32 related include files.

FossilOrigin-Name: 857f2baf9b722e4eb1ac0d50fe03e32d5176185b

Merge updates from trunk.

FossilOrigin-Name: a3cfd81339267c87db511cedf35ec209ee1f1a72

Fix several header file comments.  No changes to code.

FossilOrigin-Name: dd6eb5d1eb4d50023a008fac116497ede29600c1

Enhance the Win32 VFS I/O retry logic.

FossilOrigin-Name: 4760504396bcf44528eb8de9ed7aa5d9659c54b6

Merge updates from trunk.

FossilOrigin-Name: 598a3875ce98015e9a38db54bd0cb6290424c3d8

Merge updates from trunk.

FossilOrigin-Name: c4d1d8a0db48f523d1624f2468261c171152c0f7

Fix a broken test case in fuzz.test.

FossilOrigin-Name: faa469355eabb2c407f24638b090725448aac37f

Add a comment explaining why WhereLoop cost adjustments are omitted for
skip-scan loops.

FossilOrigin-Name: 3bc43594aaeee9225c0590677fcce480bedcb37b

Fix an obscure problem to do with temp register allocation that could occur if more than one simple SELECT within a compound SELECT uses a partial sort.

FossilOrigin-Name: 427409ae106cdab7892a6b50fe30c5f52de5addc

Add #ifdefs for test coverage.  Add a testcase().

FossilOrigin-Name: be2702ce35c713b33c9b7689643b45fb0de6af2a

Update a test case in wal2.test that explicitly corrupts a checksum in the wal file to account for the fact that the first byte of said checksum may initially be 0xFF.

FossilOrigin-Name: 2b935bdea1452505f36dc8c7aad49e6c42f4eceb

Take out the special handling of nolock=true in os_win.c and add it to
pager.c, so that it works for all VFSes.  Add the pPager->noLock boolean
for clarity.

FossilOrigin-Name: 725c1c14be331bce9bf074960dbfa7b6d4c1ba87

Avoid unnecessary xUnlock operations on temp file.

FossilOrigin-Name: 1829c38c3233c8cb194fae6d560d35a8916b1348

Add the immutable=TRUE query parameter and SQLITE_IOCAP_IMMUTABLE, either
of which prevents locking of the database and omits tests for existance
of journal files.

FossilOrigin-Name: 71f152c85d79ebd9ca48bc9c4c71fc4debaf2437

Merge in all recent changes and enhancements from trunk.

FossilOrigin-Name: 84243f844417f888ab731841f7dbf95749f6e034

Fix a problem in calculating the costs of "OR" scans.

FossilOrigin-Name: 9bbca48b42e4fe16f2188e18dc736da30a96435c

Modify the way the costs of various query plans are estimated. If the user supplies a likelihood() value (or equivalent) on an indexed WHERE constraint, use it to estimate the number of index rows visited.

FossilOrigin-Name: 90e36676476e8db00658772e6c938242f766d306

Add text to the header comment of whereLoopAddBtree() describing how the costs of various b-tree loops are estimated.

FossilOrigin-Name: 05e6e16cb28c9ffb4596bd2ef81f687c5403ecbb

Update a couple of test cases to account for the fact that this branch prefers an index scan and partial sort over a full-table scan and full external sort.

FossilOrigin-Name: 9b975bf33cd8fc28c64183a9642bf9fb436a4746

Fix a couple of out-of-date comments in where.c.

FossilOrigin-Name: eefeda32d54efbbdf7d20b719299eda48b891fae

Improved rendering of LogEst values corresponding to real values near 0.0
in the tool/logest.c utility program.

FossilOrigin-Name: 32910c8c595858245bb7ecfe3aa0f90eeae641af

Fix long-standing typos in comments.

FossilOrigin-Name: b9f91317c34d07769a95dc2f905a6ccabceb64a3

Test that the default values used when sqlite_stat1 data is not available are calculated correctly. Fixes for the same.

FossilOrigin-Name: e2d42f909de85a0586389f2dc0e654f7af2e351a

Merge trunk changes into this branch.

FossilOrigin-Name: d74299f037f3a6a4b3bce8b4d1c76c407c1f3b3e

Ignore likelihood() values on indexed IPK lookups.

FossilOrigin-Name: 5bb7757a7b32a74482d3e93e9c9eea02273fe981

Fix a test case so that it updates sqlite_stat1 consistently.

FossilOrigin-Name: 2dc5a0b55567f13f0528ed17242e680cde2f2a29

Do not reduce the number of rows scanned at all for "IS NOT NULL" constraints. Fix a bug in calculating the number of rows visited by scans of partial indicies.

FossilOrigin-Name: a8ae93f0cffa116df0ba34d46a53f49d42dace41

The trunk assumes that an open range constraint on an indexed term (col>?) term matches 1/4 of the indexed rows, and that a closed constraint (col BETWEEN ? AND ?) matches 1/64. Change this branch to do the same.

FossilOrigin-Name: 4047ac75e2a8f0b330255501c42e4f04e5ab500d

Add the sqlite3_rtree_query_callback() API to the RTree virtual table.
(Cherrypick from the sessions branch.)

FossilOrigin-Name: af2cbe64adab5f9e3b0f3da00d06428088589d7f

Update unordered.test to take into account for the fact that SQLite now prefers a full-table scan over a non-covering index scan that visits a large percentage of the table rows.

FossilOrigin-Name: 20f468dfbcb247e51446fad411a6e6cc0d130411

Add an extra column to a table in analyze9.test to give the planner a little more reason to select an index.

FossilOrigin-Name: 1b95544f84bf83c28cc15f6d0690fdf8a6bb3941

Update test script analyze3.test to account for the fact that SQLite now prefers a full-table scan over a non-covering index scan that visits a large percentage of the table rows.

FossilOrigin-Name: 35f46a55d866b9a87c1321aab8e0cfe86ccadb93

Modify internal function whereLoopAdjustCost() so that it does not prefer a skip-scan over a regular index scan even if the regular scan uses a subset of the WHERE terms used by the skip-scan.

FossilOrigin-Name: 88a5758dcce891eb7be15432ebdc9f80071d413b

Fix an error in estimating of the number of rows visited by a range scan.

FossilOrigin-Name: d491de62fce69d93e89f65f7713972f7c2c451f7

Fix an sqlite3_stmt_status() problem caused by recent changs on this branch.

FossilOrigin-Name: dee204092421a239f9f60ab83c3a5b3e24d1baea

Update requirements marks to fix typos in the requirements text.
No changes to code.

FossilOrigin-Name: f5a263658187250044afc1a74000e6f6962733ca

Allow the xfer optimization to proceed if the DEFAULT on the very first
column of the two tables is different.  This is a refinement of the
fix for ticket [f67b41381a].

FossilOrigin-Name: 349f483499dd685a8da94923b6bd810a52e5e236

Avoid transfering records between tables unless the default values for all columns are the same. Fix for [f67b41381a].

FossilOrigin-Name: f8c4c495e6de1f124d205383d4bafa46accbff5c

If the user provides likelihood() data for a WHERE clause term used as part of an index key, have the planner use it when calculating the expected number of rows visited by the loop.

FossilOrigin-Name: c51efaa5d29ee0a91b9e6a83a8dd82530670811a

Add test cases to ensure correct operation of joins with a virtual table
that include DISTINCT and ORDER BY clauses.  Verification for ticket
[388d01d4bb8f9].

FossilOrigin-Name: 5ada136f43ce744ae8c349eff39838eb44611b6e

Store values loaded from the stat1 table as logarithmic values in memory.

FossilOrigin-Name: 1bd74c49ddab6f53bb6eaa57907eff44c2580dd6

Make sure ORDER BY clauses on joins that involve virtual tables and that
have a DISTINCT clause work correctly.  This is a candidate fix for
ticket [388d01d4bb8f9].  Test cases for that ticket will be checked in
separately.

FossilOrigin-Name: 171138122690faafde0dcab0201b90bdf02d3637

When VDBE_PROFILE is enabled, ignore negative opcode times, which sometimes
occur, perhaps due to context swaps.

FossilOrigin-Name: 4e88042f9d3e678914da96c0eb276f3d8fca5a94

Changes to the way the planner calculates the costs of various table and index scans. Some test cases still failing.

FossilOrigin-Name: c5a6ec0a880652dc8f4593d9f7acd58ddc3dc5f3

Change from using the win32-none VFS to just a query parameter.

FossilOrigin-Name: ffceacf61905dc3553978ba5f68e133947eca2fa

Add some OSTRACE calls for consistency.

FossilOrigin-Name: be292d559748a24ff012266a1f58ce6c027e0411

Add the win32-none VFS which omits rollback-journal locking.

FossilOrigin-Name: 03e3c5a8b17a219a49bfbe79b7debd27ace8ad85

Comment tweaks on the test case for the [b75a9ca6b0] bug fix.

FossilOrigin-Name: 65d2544af9adc1e2f1d193e57f8be0422fb0d5eb

Avoid discarding an ORDER BY clause in the case where an identical GROUP BY clauses uses an index to group, but not sort, the rows. Fix for [b75a9ca6b0].

FossilOrigin-Name: de9a490f594183f337a2ec9e0f87792eac83548b

Clean up the proper-subset cost adjustment logic to make it more compact
and easier to read and so that full branch test coverage is more easily
obtained.

FossilOrigin-Name: 9a5d38c79d2482a23bcfbc3ff35ca4fa269c768d

Add the SQLITE_RUNTIME_BYTEORDER compile-time option to force SQLite to check
the processor byte-order at run-time.  Add additional compile-time byte order
checks for ARM, PPC, and SPARC.

FossilOrigin-Name: 2c5363873a6f990a0abaacac6303acd46b48befc

Add the SQLITE_TESTCTRL_BYTEORDER test control to interrogate SQLite's notion
of the processor byte order and whether the byte order is known at compile-time
or determined at run-time.

FossilOrigin-Name: 9c6961967ae00e563ebe2859eaf2639a79f2cb01

Make sure the undocumented sqlite_rename_parent() function does not
crash even if it is invoked with NULL arguments.
Ticket [264b970c4379fd4b94]

FossilOrigin-Name: c6fa8d0d82805be230f672eabccdfa5680d4ddfd

Remove the unused second argument from sqlite3ExprCachePop().  Add an
ALWAYS() on an always-true conditional in sqlite3VdbeResolveLabel().

FossilOrigin-Name: ab23abf392175d3e256ff619b13abbbe732a49ed

Make sure column cache elements are cleared correctly when jumping over
code for key generation in a partial index.
Fix for ticket [2ea3e9fe6379fc3f6].

FossilOrigin-Name: 3122b8364082be783821da01d4af2af6a9586327

Modify the OR-clause handling so that it can safely deal with OR-clause
with 17 or more terms.  Fix for ticket [10fb063b1179be53ea0b53bb].

FossilOrigin-Name: a67b5312f63909737c052fe58ab5772d45530d49

Performance improvements when reading large blobs, especially if
SQLITE_DIRECT_OVERFLOW_READ is defined.

FossilOrigin-Name: 2312eb6a9eb31051db4e0baf19e033ba39adc7b1

Merge changes to the query planner that strive to ensure that any index
usage that is a proper subset of some other index usage always has a slightly
higher cost.

FossilOrigin-Name: 683dd379a293b2f330e1e4cd746f190527fe48ee

Ensure the "PRAGMA journal_mode=WAL" works coming from any other journal_mode
with ATTACH-ed databases.

FossilOrigin-Name: e54330b43127e46fc6494748cbb353a6fc91cfd7

Use OP_Copy instead of OP_SCopy when moving results out of a subquery,
to prevent the subquery results from changing out from under the outer
query.  Fix for ticket [1e64dd782a126f48d78].

FossilOrigin-Name: d5513dfa23baa0b0a095aaf17d19aacd30dcef61

Fix a typo in the "Synopsis:" comment for the OP_VFilter opcode.

FossilOrigin-Name: 48ecdd4aff03741f96c070dced69c3c273b652cb

In the command-line shell, run set writable_schema before running the
".clone" command.

FossilOrigin-Name: 9d2ae6342c8afa904bec591ebe134ff7f536b71c

Remove an unnecessary conditional, replacing it with an assert().
Improvements to comments.

FossilOrigin-Name: 834bf1c367e1ccd498c7f9f843be2d2aa11ffb3c

Fix a compiler warning when SQLITE_DIRECT_OVERFLOW_READ is defined.
Minor performance enhancement and size reduction.

FossilOrigin-Name: 96385dc460545807a5c8fcf6280a971700f84866

Merge in the latest changes and fixes from trunk.

FossilOrigin-Name: f6211540c9d66a08dc580dd733e4f4a98968ae30

Remove an unnecessary conditional.

FossilOrigin-Name: 7473c4dfc10a47594affa6f4e071a08dc8838c0c

Also make sure an index that is a proper subset of some other index has a
higher cost than that other index.  Add test cases.

FossilOrigin-Name: b7830d232b073a197aa1092e78cb24e88cb10fd3

Make sure that an index that covers a proper superset of the WHERE clause
terms of some other index has a lower cost than the other index.

FossilOrigin-Name: ea8b0910040198751551b0b960e6b783913607df

Avoid a (harmless) buffer overread that is possible on an OOM when
MEMSYS5 is engaged.

FossilOrigin-Name: b3296267fb67b9f59719a37093253062edde3746

Experiments in picking better query plans, especially when the usage of one
index is a subset of another.

FossilOrigin-Name: 8f869ca7a6eaa9ca7a08102290e6c606735f9090

Disable the wal64k.test script for non-unix systems since it depends on
unix-only features.

FossilOrigin-Name: 27deb6e49bcc76714dbdc61b34748603155ac770

Fix a harmless compiler warning.

FossilOrigin-Name: a4e47150f32b3a4120b1f89ccc66d633d829e3bb

Enhance the sqlite3VdbeRecordCompare() routines so that if they encounter
database corruption, they will set the UnpackedRecord.isCorrupt field and
return 0.  The sqlite3BtreeMovetoUnpacked() routine detects this and returns
SQLITE_CORRUPT, causing the corruption to be reported back to the top-level.

FossilOrigin-Name: 7fa85eaaaf6d211378620d728a759fdfe30a15b0

Minor cleanup of the code in the query planner that computes the costs
estimates for the various plans.  There are no changes to the costs at this
time.  But the code is slightly more readable now and that might facilitate
future enhancements.

FossilOrigin-Name: 9b4d7226bcee38be5ac68a54bee03b4179cb69fc

Enhance the logest.c utility with new operators: "dup", "inv", "log", and
"nlogn".  Provide help on an invalid input.

FossilOrigin-Name: b4bd2a062c4baf5f622d61b7411f00de5904ef56

Add an extra test case for the potential buffer overread patched by [28ddecff04].

FossilOrigin-Name: f585f5d7a0f9bf8c590388654a3638231eba8892

Add a test case to verify that the previous change avoids excess buffer
overread in sqlite3VdbeRecordCompare().

FossilOrigin-Name: 2b28e8d582cf10936fa1faca04a16ca2eeead66f

Earlier detection of corruption in sqlite3VdbeRecordCompare() in order to
avoid a potential buffer overread.

FossilOrigin-Name: 28ddecff044dbc2dff50a7d8406ab67dfe06587f

Add an assert() and a comment to clarify the operation of the
vdbeRecordCompareInt() routine.

FossilOrigin-Name: 851abdb8fd9b5a8a6ce21db53d30dbac3c430cc7