Merge trunk fixes.

FossilOrigin-Name: 1df8cbbea66f303029737752f37cf2a6db98fcd4

Remove stray outputs from the test suite.

FossilOrigin-Name: afc6db9b105f32110112b877f06091757888a5f2

When generating code for partial indexes, be sure not to modify the
index condition expression in the schema.

FossilOrigin-Name: e63d01c69c3e50f49ee3022a519c4f3e91f00520

More test output refinements.

FossilOrigin-Name: e64a5681793238fa04fe3636f48d34b2dd36cdfa

Remove possibly stray output from various tests.

FossilOrigin-Name: f38e0be56fc086a3ce08134ade83ab61c9fca106

Fix minor typo in the quicktest MSVC makefile target.

FossilOrigin-Name: 75b65f9d49daaf48e97042cb82ea554e2ec74eec

Merge enhancements from trunk.

FossilOrigin-Name: 0e23a079bd648f9778c857ec51e39acfd30a4040

"test" targets on all makefiles use --verbose=file --output=test-out.txt.
Add the new "quicktest" target to all makefiles - designed to run in under
three minutes.  The --quick option on releasetest.tcl now uses quicktest.

FossilOrigin-Name: 6ddef2ad35ceb5822fc14c65bc7c6a2662edb63c

Resolve FROM-clause subqueries after query planning instead of before.
Greatly reduce the estimated cost of automatic indexes for VIEWs and
ephemeral tables since performance problems there cannot be mitigated
via a CREATE INDEX.

FossilOrigin-Name: a1eaf1718e4544c17495ad7a4e333276979b8299

Avoid passing constraints that are unusable due to LEFT or CROSS joins to virtual table xBestIndex() methods.

FossilOrigin-Name: 7b446771cadedafbe8924ad0658adc2597816dc7

Add the --output=$file and --verbose=(0|1|file) options to tester.tcl.

FossilOrigin-Name: f7b2c70362f10ee0347c1d2318918ffefa53243d

Remove some repeated lines of source code. Probably introduced by careless cut'n'pasting.

FossilOrigin-Name: a34cd71c8aafaece04a2332a127e9b8e99c1403c

Code refactoring to try to shift FROM-clause subquery manifesting until after
the query planner runs.  Except this does not currently work because the
query planner needs an estimated of the number of rows in the manifested table.
Work in progress.

FossilOrigin-Name: cabf218716e3ba584dc27781ba5e2f9f00eab74c

Add the valgrindfuzz target to unix makefile.

FossilOrigin-Name: e62aed01f1a6dbc12d6e21386c1671eb640b8d49

If a query contains "FROM t1 LEFT JOIN t2, t3, t4", ensure that tables t3 and t4 are not scanned before t2. The trunk already does this.

FossilOrigin-Name: 0d9edfab9fb61322620f188b48ae2a1798a07581

Avoid passing constraints that are unusable due to LEFT or CROSS joins to virtual table xBestIndex() methods.

FossilOrigin-Name: 80ee56dda7db3860f8be5f6968c8745138f8453f

Fix typo in comment.  No changes to code.

FossilOrigin-Name: e49c291735e613e384f6da044ef865dd274cabc8

Split out some source code into new files: wherecode.c, whereexpr.c, and
treeview.c.  Other minor refactoring changes.

FossilOrigin-Name: 50f336818c8509d8b8bde282e9399d2b2b5ea70a

Factor out the TreeView parse tree printing module into a separate file.

FossilOrigin-Name: c32ce54ca46a4be4373983be6fd44b1f3a0250d1

Split more subfunctions of where.c out into a new whereexpr.c source file,
for improved maintainability.

FossilOrigin-Name: 46ef95c108ad8961f2bf3d2dc839d4fb1fddd770

Split out the bulk of the actual VDBE code generation logic from where.c
into a new file, leaving behind the analysis logic.  This makes the original
where.c smaller and hopefully easier to edit.

FossilOrigin-Name: faa0e420e93a2bc1c84df9eb9fef4748d29ce339

Code simplifications in select.c and where.c.

FossilOrigin-Name: 4f20ac90bce8bd7ba43ef59af5cc4ef7aa282fe8

Minor cleanup of the sqlite3Select() procedure.

FossilOrigin-Name: f4c90d06bb941453d8110680c7b279e471e8f034

Split FROM-clause subquery flattening and code generation into separate loops.

FossilOrigin-Name: be8e3fc70e4c13b28b07985df3457960f58ffddd

Provide one final Select tree dump prior to WHERE clause analysis
when ".selecttrace 0x400" tracing bit is set with SELECTTRACE_ENABLED.
Analysis and debug changes only - normal builds are unaffected.

FossilOrigin-Name: 283bf0b64da7acc5aa5812fc659954965002d409

Change the name of SrcList.a[].zIndex to the more descriptive
SrcList.a[0].zIndexedBy.

FossilOrigin-Name: 6a9cf063379118dbb95c6cdc6d60af50e9867177

Always check for cell overflow before returning a slot from the
pageFindSlot routine in btree.c.

FossilOrigin-Name: 9f035c45a4b84203e67b6e1b23cf11691dc43f1e

For FROM-clause subqueries that cannot be flattened, try to push relevant
WHERE clause terms of the outer query down into the subquery in order to help
the subquery run faster and/or use less memory.

FossilOrigin-Name: 6df18e949d3676290785143993513ea1b917d729

Add test cases for type affinity rules.

FossilOrigin-Name: 9678646d9a14ba283a83839be329599a676a537a

Rename SQLITE_AFF_NONE to SQLITE_AFF_BLOB to avoid confusion with
"no affinity".

FossilOrigin-Name: 29ad9e917330969810ac1bc685bba4282401bdae

Rename SQLITE_AFF_NONE to SQLITE_AFF_BLOB.

FossilOrigin-Name: bce3f04186cd2d69414a5a98b5b77dc8f060554a

Fix a faulty assert() in btree.c.  Update the database fuzz test file with
new test cases.

FossilOrigin-Name: 4e621af1345a001360938de76e3b0a14deb5e991

For FROM-clause subqueries that cannot be flattened, try to push WHERE clause
terms of the outer query down into the subquery in order to help the subquery
run faster and/or use less memory.

FossilOrigin-Name: 297fae7551a2af9e600d833801ff79fca0602ad5

Corrections to comments in expr.c.  No code changes.

FossilOrigin-Name: f925389eaf5bf8962a28fcaa652b75caa606efba

Typo fixes and additional background information in README.md.

FossilOrigin-Name: 9b8e5823bccf69f5cdedd8655e75df6e9718b809

Updates to configure.ac to help it find where the TCL libraries hidden
on Ubuntu 14.04.

FossilOrigin-Name: c864ff912db8bc0a3c3ecc1ceac61a25332e76c5

Fix minor typo in comment.  No changes to code.

FossilOrigin-Name: 73fc058b3a74c1b018cff990de793f19a602c12f

Ensure that allocateBtreePage() always clears the MemPage pointer when
it fails due to an I/O or memory allocation error.

FossilOrigin-Name: 09a38bf665902834936d39341627ded88142e6ae

Move two unreachable conditionals inside of NEVER() or assert().

FossilOrigin-Name: db4e9728fae5f7b0fad6aa0a5be317a7c9e7c417

Remove a corruption test in balance_nonroot that is superceded by a prior
better check.

FossilOrigin-Name: 00693682d8664fa608ba43684f6376a9bd5b84eb

Omit the rowallock.test script (Read-Only WAL lock) from the
inmemory_journal permutation.

FossilOrigin-Name: d21db3308996510ffc3c869c2ac093de70d03412

Add support for automatic indexes on FROM-clause subqueries that are
implemented via co-routine.

FossilOrigin-Name: 020b8b106fc8f840f6b506e1c9c3bc75676daec3

Add some extra source-code comments and a test case.

FossilOrigin-Name: 6d410442fb532e2cf0ad1859bc9e843651f8ff4d

An attempt to allow automatic index creation on subqueries accessed via
co-routine.

FossilOrigin-Name: 521345add67e9dfd7df1446eb942aa0d84b9e6eb

Using "SELECT ALL" instead of just "SELECT" on a query that uses a single
unflattenable subquery or view in its FROM clause will force the subquery to
be manifested into a temporary table rather than run incrementally using a
co-routine.  This is a stop-gap means of controlling the decision to manifest
while we try to work out a better to make that decision automatically.

FossilOrigin-Name: a29e117d7ecec05da949348689dbfb0d3acb1280

Added comments and testcase() macros to error cases in the btree search.

FossilOrigin-Name: 7da7dc714bf1fe34b38fc33a923490dfd3e4f070

Earlier detection of incompatible sibling pages in balance_nonroot.

FossilOrigin-Name: 60a09f17d8b70dbc4b020586a1b81bce76882729

Add new test cases to the fuzzdata3.db set of database fuzz tests.

FossilOrigin-Name: 467b13a40171dd8462dc11d05bb1e9cb588e6a23

Add the btreeGetUnusedPage() routine to btree.c, and use it to detect content
pages on the freelist and to cause that condition to trigger an SQLITE_CORRUPT.

FossilOrigin-Name: fe15d1f70360d6fef8ef1a111dd43e060d059623

Do not attempt to take any write lock on a read-only database on Windows.

FossilOrigin-Name: a47ff0cdab0f82398c68ea770053f193f4812a51

The fuzzoomtest makefile target is no longer supported, so update
releasetest.tcl accordingly.

FossilOrigin-Name: 06959d4ada53b765cae4b192a691fced4b8aebbb

Fix a minor and harmless memory leak in fuzzcheck.  Adjust the makefiles
to run fuzzcheck with --quiet on valgrind tests.

FossilOrigin-Name: 8bfe834432b37f94779da6c71fc369651f024590

All bytes of a page are initialized, even bytes that follow a 2-byte cell
on a malformed page.

FossilOrigin-Name: 7373a004ed0e2781cda503c73e9a94f24350ef79

A different approach to preventing buffer overreads when comparing a vector
of values with a corrupt index record that spans at least one overflow page.

FossilOrigin-Name: 95eaa49f4ee071c7a0f690a695f1f2d1ebca68a8

Disallow the use of "rowid" in CTEs - it has never worked correctly and it
makes no sense, so we might as well make it an explicit error.
Also: add the PRAGMA cell_size_check=ON command.

FossilOrigin-Name: 19e2cebc12aaa4e72d3bad74af73575a0457e5d4

A different approach to preventing buffer overreads when comparing a vector of values with a corrupt index record that spans at least one overflow page.

FossilOrigin-Name: 7e9e1b6123bc455dd7d1c894b6154ccd27acec18

CTEs have never add working rowids.  So disallow the use of the "rowid" column
within CTEs.

FossilOrigin-Name: 0055df0445932a43e42b318ef88672dcbe312c3a

Add the "PRAGMA cell_size_check=ON" command.

FossilOrigin-Name: 2ead43f074d01312c7642e1df9abccc95547f019

Avoid a buffer overread when comparing against a corrupt record that spans at least one overflow page.

FossilOrigin-Name: 62a5b3633a086694ef0e579a0a82322cb1ae3d60

Avoid branching on an uninitalized variable when comparing SQL values with the undefined serial types 10 and 11 (which only appear in corrupt databases).

FossilOrigin-Name: b4a45d3b78fede2433ac18f20b1ab7bddee77059

The "make fuzztest" target now uses fuzzcheck instead of fuzzershell.  Test
data is added for database fuzz testing.

FossilOrigin-Name: 5e3e410bf49a29efbf9ff3ef048e158804ca0027

Merge accidental fork.

FossilOrigin-Name: e85628e34ac684b8a23f49eee71e4d6546e0ef64

Fix a one-byte buffer overread that may follow a syntax error while preparing an SQL statement.

FossilOrigin-Name: 075003930da98419f671b7833a5850693529fb62

Fix fuzzcheck so that it responds correctly to the TEST_FAILURE environment
variable.

FossilOrigin-Name: 76770c9e061e2eb106d7ea402eef888b98ba9d0e

The "make fuzztest" target now uses fuzzcheck instead of fuzzershell.

FossilOrigin-Name: 4a5f6f1f0128657fd8d4d99d0682edd5bac2a19e

Enhance fuzzcheck with the ability to store descriptions in each source
database and to run multiple source databases in a single invocation.

FossilOrigin-Name: 193364c81c301a41c16835108d23ad2ab84d9dd7

Add a cast to one side of the test added by [97806a78] in order to avoid a signed/unsigned comparison warning.

FossilOrigin-Name: 5b46d2a78a45de4176b666bfc89c2aaa6f083662

Avoid using a zero-sized array within a struct in fts3 code.

FossilOrigin-Name: b05cae36cedd98d59813e637f328a52eee7ef0d2

Fix another bug in the in-memory VFS for fuzzcheck.

FossilOrigin-Name: 16878a314baceb14632a3ec43187fcc020089a76

Update test cases in corruptI.test so that they work with both SQLITE_ENABLE_OVERSIZE_CELL_CHECK and SQLITE_DEFAULT_AUTOVACUUM builds.

FossilOrigin-Name: 22a14663782312fa7f4f18545509ef4b27e9b8c1

Return SQLITE_CORRUPT to the user if an attempt is made to add database page 1 to the free page list.

FossilOrigin-Name: 68876003f922635737349f55bc73a78891ea7028

Fix a problem with ignoring UNIQUE constraints on WITHOUT ROWID tables rendered redundant by the PRIMARY KEY.

FossilOrigin-Name: 3b936913f3dc2cae4c94f983f28d85b136a44c9f

Silence harmless compiler warnings when building the command line utilities with MSVC.

FossilOrigin-Name: d26060c468cc6997e9933d9623a47fcc7d86c2da

Add fuzzcheck to makefile clean targets.  Also, for consistency, replace a few tabs with spaces.

FossilOrigin-Name: eda2a437506f148bcb5bb33baa64b5ad8ae73ada

Add the --result-trace option to fuzzcheck, and other interface enhancements.

FossilOrigin-Name: c415bb7bbfd531b138462589cdd58fa0204804e8

Fix an important bug in the xRead method of the in-memory VFS for fuzzcheck.

FossilOrigin-Name: 58cd40e89f3060c63abb9a3fca385a1e72ce7bb4

Add the fuzzcheck test program.

FossilOrigin-Name: 341cb6abe74e1e9d03c82ffdeba86be6a2d00397

Add fuzzcheck to all makefiles and fix compiler warnings.

FossilOrigin-Name: 7b3d21906a9650377cda56b94facdff75b2cb858

Merge in trunk fixes.

FossilOrigin-Name: c71c2e1a991775e1711e9621a59dd8a60eec329b

Improved tracing capabilities in fuzzcheck.

FossilOrigin-Name: 864bfdbfe7b196cc9df2136b15a28e2a0f2713cb

Add the --native-vfs option on fuzzcheck.

FossilOrigin-Name: 12e95e3f178b89d649bc7e30db731df439ae1653

Fix a case of a corrupt database causing SQLite to read from up to 4 bytes before the start of a memory allocation.

FossilOrigin-Name: 7d2c4f7b6695806ab8ce0c6f49d8bc1d77a4320b

Merge the btree fixes out of trunk.

FossilOrigin-Name: f3cd8cecf4f7aa3429e3ebc90ed31c4e8fff7bc2

Add the --dbid and --sqlid parameters to fuzzcheck.  Other fuzzcheck fixes.

FossilOrigin-Name: 75ec9299faca8ce3d49d825ba6ea60588a91d113

Have the b-tree layer return SQLITE_CORRUPT to any attempt to open a cursor with a root page number less than 1.

FossilOrigin-Name: aa18c8e9d1676b1caa53bc5f5c1dc5f201089b88

First code for a new utility program to rerun checks on a large number of
fuzzer-generated test cases.

FossilOrigin-Name: c5b4e363528aa1d2d5f41451f16de0aa91152b38

Fix a couple of btree asserts that would fail when encountering 32-bit rollover in cell payload size fields (cell payloads this large always indicate corruption).

FossilOrigin-Name: 8fa0937a2f3476dd280259e252d6f422c33d38ee

Fix a case where database corruption may cause SQLite to write past the end of a buffer.

FossilOrigin-Name: 97806a78142b15f89878e25ee70dc5b0524d6793

Fix an assert() in btree routine freeSpace() that may be false if the database is corrupt.

FossilOrigin-Name: 00a473c56188cd60a74559effb114140e3fe8a8d

Fix an fts4 matchinf() problem triggered by deferred tokens that are part of phrases that are part of AND expressions.

FossilOrigin-Name: f1e942a1dda496a509741e9cc2a17e8b4dac63a3

Fix an obsolete comment - no changes to code.

FossilOrigin-Name: 4e4228c47f862c7f1fb078bf1b8c1d604f09d365

Remove an incorrect and pointless assert().

FossilOrigin-Name: 8c3929bd42ff9c041df341aced5b7dbc0f563506

The assert() changes removed in the previous check-in are needed after all.

FossilOrigin-Name: 336fccc84cd7b770c9c3720efc9976269096232e

Better detection of corruption in allocateSpace() in btree.c.

FossilOrigin-Name: bf7bb53ee2485a5342916d514d6c7291eb84c5f1

Detect database corruption in the modifyPagePointer() routine and abort.

FossilOrigin-Name: 4f0bba42f904e505900be67b00179ebb1f24ed03

Instead of early detection of corruption in balance_nonroot, simply ignore
the error, as it is harmless and exceedingly uncommon.

FossilOrigin-Name: 7bbf9b3cd6ebf103ebd8347579aef721d0dcd2dc

Earlier detection of a specific kind of corruption in the balance_nonroot()
routine.

FossilOrigin-Name: ee6dc9913a8733891576e6e298241f7440209c5e

Minor documentation improvements.  No changes to code.

FossilOrigin-Name: e446d9ce0049b8ce0fd4f03205a0c32776fc76cd

Improved error messages in fuzzershell when unable to open the database.

FossilOrigin-Name: c404fcace83613a50015f15097b7f28123c221c3

Fix a bug in fuzzershell caused by an uninitialized local variable.

FossilOrigin-Name: 745deab87adc378a5376aaa9451fb9485bc2f4c4