Merge updates from trunk.

FossilOrigin-Name: a88b5be01e68b26267ff6eb05e931ef2e7fc9f99

Restore the index_list pragma back to its former operation.  Create a new
PRAGMA stats used to access the table and index widths and heights.

FossilOrigin-Name: f0cf8c85dcbcc7778aed2816792c368d777f79cb

Fix handling of "DROP TABLE" commands when "PRAGMA defer_foreign_keys=1" is set.

FossilOrigin-Name: 27001356ed8201529b3f31d4313f2010f1b4e1b1

Add tests that demonstrate that PRAGMA defer_foreign_keys will reset to off
at the conclusion of the next transaction.

FossilOrigin-Name: 67e28a11de97e97889f0c0f41c05605721c605c1

Fix harmless compiler warning.

FossilOrigin-Name: 4b130f88fba216e088f61252bbcdde57ec7ee6a9

Permit the creation of VSIX packages for Win32.

FossilOrigin-Name: 035d03e94252f31025b39da49d8401933352fb77

Fix Unicode character encoding issues on Windows.

FossilOrigin-Name: c9310c9a2bad11f1d033a57b33ea7aed43a8238d

Identify requirements text in the SQLITE_CONFIG_ documentation.  Fix a typo
(a duplicated word) in part of that documentation.  Add some requirements
marks for DETACH to the test scripts.  No code changes.

FossilOrigin-Name: 1be0a3adaba2914c65c46fbebc4906ae4e70f899

The split amalgamation option should be disabled by default.

FossilOrigin-Name: 7c24d22ffa1e12f3d24cad06b5ff7cc34219b2bb

Enhance debugging support for the split amalgamation files when compiling with MSVC.

FossilOrigin-Name: 8ff17c553d8c159fa81c961441e16dbba8da62ba

Fix a harmless compiler warning in lemon.c.

FossilOrigin-Name: 62959c0ce3a2c486ebd82e6511efad0412b944a0

Add -no-undefined option when linking the shared libraries.

FossilOrigin-Name: 977d2b12e5efc70c26129b08c1f6d65c9d6d211e

Fix test numbering.

FossilOrigin-Name: cef39f6933dcfec4b4a087a05dbb4e7766003fb7

Add requirements marks.  No code changes.

FossilOrigin-Name: 5e0d43ab55de006b20c58cb18b938d1c7b658e51

Additional test cases and requirements marks for the unlikely(),
likelihood() and instr() functions.

FossilOrigin-Name: 5f01cd36ee8678a07b79f9e01855daffb6bb8c43

Fix various harmless compiler warnings.  Change the "warnings.sh" script to
work with STAT4 instead of STAT3.

FossilOrigin-Name: 7df06684ab36bfdad9e9aca6940b7a665c2a0cb5

Make sure the sqlite3.h file occurs at the very top of the sqlite3.c
amalgamation.

FossilOrigin-Name: 03593817ab5abdd4bbaa5e47e2e4745eef025af9

Fix compilation issue for WinRT.

FossilOrigin-Name: 7a2006ca94c458c7b1eae7b2b6df51da67546462

Add a rule to the main.mk makefile for building showdb.

FossilOrigin-Name: fc5552da0d3c41aea58292d267c247f9ca8ed474

Enhancements to the vfslog.c module to show all change-counter changes and
to show the hostname and pid of the process that creates each log file.

FossilOrigin-Name: af7abebeb1f70466833bc766d294d721eaef746f

Another fix to the hash signature algorithm in vfslog.c.

FossilOrigin-Name: 34212aa8c405c4ff3f8045ec0cf2a860af61540f

Fix the hash signature algorithm in vfslog.c.  Add a utility program to
show the hash signatures for every page of a database file.

FossilOrigin-Name: eaf4de13a63b2294ae575432a022493308a4313a

Add ext/misc/vfslog.c, a VFS shim for unix that keeps a log of method calls made by SQLite.

FossilOrigin-Name: 24a827b87666670c56d68a18685f4f712852fa92

Estimate row sizes for tables and indices and use those estimates during
query planning.  Enhance the index_info pragma to show the estimated row
sizes and to show the estimated row size for the main table as well.  Allow
an alternative row size estimate to be specified in the sqlite_stat1 table.

FossilOrigin-Name: d27b88b8c2705f444f794096c719e6f38a792165

Make sure the correct printf format is used for type tRowcnt regardless
of whether 32-bit or 64-bit row counts are specified at compile-time.

FossilOrigin-Name: e97d7d3044aa6c5e21d1faab7d5e709d92faa261

Move a conditional inside of an #ifdef in order to make all branches
reachable regardless of compile-time options used.

FossilOrigin-Name: f7cc30d45b77f58c258b21f5823c2b39a44e2bf5

Fix test cases for the new information in PRAGMA index_list.

FossilOrigin-Name: dd03be1065537679c2daf5e4200902c47714fceb

Rollback some of the previous changes in the branch such that the estimated
row sizes are now only used as a tie-breaker for index scans.

FossilOrigin-Name: 65553ff34b41e54d129ff2fee96be714105503c4

Use #ifdefs to omit unused code in the columnType() routine depending on
compile-time options.

FossilOrigin-Name: 3fd5e33217a91402b3499fa0977469b91618a928

Further refinement of the idea of multiplying run-time cost estimates by
the estimated row size.

FossilOrigin-Name: 18bd6ba96d19de6047baebfa15b1f739577c9ec4

Fix compilation issue with MSVC.

FossilOrigin-Name: 36d64dc36f18c166b2c93c43579fa3bbb5cd545f

Multiply all cursor step cost estimates by the estimated size of the row in
bytes, in order to get the query planner ot make use of estimated row sizes.
This check-in uses magic numbers in a few places (for example, estimates of
the size of output rows) and needs lots of refinement.  Consider this a
proof-of-concept only.

FossilOrigin-Name: cb34cfe57c2a664fbfae8106e95114400ea222d5

Merge bug fixes from trunk.

FossilOrigin-Name: 1d7b2dc0eae70c0c0e523b715acf758bb4cfa9ac

Restore the hexrekey pragma which was accidently deleted during the
pragma refactoring.  Make sure the hexkey and hexrekey pragmas do not
overflow buffers with a over-length key.

FossilOrigin-Name: 0aca31e1514b3df254c049b4251bcb199831681a

Remove an incorrect debugging assert() that was accidently added during the
STAT4 enhancement.

FossilOrigin-Name: 2bb7f74bbd467b74581699d16b06758f9c9457dc

Accept the sz=N parameter on table-only lines of sqlite_stat1.

FossilOrigin-Name: e9e932aa400f217e383cda9922fbde8a4356f57a

Fix an issue in the test8.c test module that arises because of the change
to PRAGMA index_list().  Remove an unused local variable.

FossilOrigin-Name: 029430c503f243a34439698779db7e591cfbe126

Completely remove the iScanRatio field.  The PRAGMA index_list(TABLE) command
shows the estimated row size in the forth column.  It also generates a row
for the table with an index name of NULL.  The query planner still does not
take row size estimates into account - that is the next step.

FossilOrigin-Name: 8b4aa0c7a2122bbe60432edadf27e490e31ec987

Improvements to the LogEst command-line tool used to convert between
ordinary numbers and the LogEst representation.

FossilOrigin-Name: 5252aeb61988e511dcf8d527fa81e51a5c9385f9

Begin an experimental refactoring to estimate the average number of bytes
in table and index rows and to use that information in query planner.
Begin by renaming WhereCost to LogEst and making that type and its
conversion routines available outside of where.c.

FossilOrigin-Name: 66c4a251d61582b47d5cbe50cbca160a9209bd06

In the index_list pragma, make sure the "r" column is the same on output
as it was on input in the sqlite_stat1 table.

FossilOrigin-Name: de78250ad2a6210dd4f03045248f7192d64427f2

Merge trunk changes.

FossilOrigin-Name: c6ac80ed8d5240dd30783d62d9f133e159809dec

Further refinements of the index scanning speed logic.

FossilOrigin-Name: e5d9371da92b4cc2c1df177cf40e0ced4d4c7421

If an "INSERT INTO ... SELECT" can use the xfer optimization, pass the OPFLAG_BULKCSR hint to btree cursors used to update indices. This results in a tighter key packing.

FossilOrigin-Name: 087af29ee2e1572f8668dd0152a14d7f9796a530

Fix test cases so that they work when the query planner uses index size
estimates to determine whether or not to try an covering index scan.

FossilOrigin-Name: 2f394de88f23dacd3c61e586a4214ffc6f927d97

Improved estimates of the relative speed of index scans based on declared
datatypes of columns in the table.  Add "r" column to PRAGMA index_info,
showing the estimated relative scan rate.

FossilOrigin-Name: 07462bb6059f023c22a6c84a4a02afbd84e69255

Progress toward using the iScanRatio information on indices.  Many tests
are still failing.

FossilOrigin-Name: 6c352edbba85a15ca356b5e131f4b3b2723d1774

Make sure the count(*) optimization works correctly even when partial
indices are present.  Ticket [a5c8ed66cae].

FossilOrigin-Name: 9f2f4c0a50808910ad01c8c4352367f25747be08

Have FTS take advantage of "docid<?" constraints when they are present. Extend the FTS "incremental doclist" optimization so that it is used for tokens within multi-token phrases.

FossilOrigin-Name: baf8ce5916ea9baf0ec557263cb9c7ecf716431f

Merge latest trunk changes.

FossilOrigin-Name: 24aa20da222a9cc181473bc41d0f8791be91fa97

Allow FTS4 multi-token phrases to use a combination of in-memory and incrementally loaded doclists. This allows phrases to (partially) benefit from incremental doclists without disabling the deferred token optimization.

FossilOrigin-Name: f6819c5f3363d358e7ef65fe6978f13991bd44af

Experimental branch allowing different postulated scan rates for each index.

FossilOrigin-Name: d59d97b0a8d70dc31d45db61bbc11ebb5375a224

The sqlite3FixInit() routine cannot fail.  So change the return type from "int"
to "void".

FossilOrigin-Name: 500c5932fe3f5fcd0940522f7839d581c555e0eb

Rework the PRAGMA implementation to only call sqlite3ReadSchema() from a single
place, based on a flag in the pragma table, rather than separately from each
case which needs the schema.

FossilOrigin-Name: 8338232a111be16d6c2ab57176d0a23a001f02ad

Return an error if an attempt is made to create a trigger with an SQL variable embedded within it. If such a variable reference is found within a trigger definition loaded from the sqlite_master table, silently replace it with a NULL.

FossilOrigin-Name: f35f6ae3da77dbdf5f7a4a9927475659fc6e0ca6

Remove unnecessary memset() calls from test code.

FossilOrigin-Name: eec3187bc68ddebdbc2113f77c7f5cd32e9be61f

In the lemon parser generator, change all hashes to unsigned to avoid
potential problems with signed integer overflow.

FossilOrigin-Name: 8d399a03de63c15908d63ed69140ee15c6275b8d

Add a test to check that the new multi-token phrase optimization is actually helping.

FossilOrigin-Name: bc3a2ed5fb2402805928b0002457eebf06f87c47

Bring some file format comments in btreeInt.h up to date.

FossilOrigin-Name: 012d54d0d2b40888d08915082592ba75d70891c1

Merge trunk changes with this branch.

FossilOrigin-Name: 65d9c6fafbc19d3582e07c31fd915a70e7fcfa8e

Allow multi-token phrases to load doclists from the database incrementally. This allows queries that feature such phrases to benefit from the "docid<?" optimization.

FossilOrigin-Name: ea543f081d93ed1bf66c21ce2108ec94e349f4c5

Fix comments in the fast_vacuum.c demonstration program.

FossilOrigin-Name: e0db7b38e1bc0edb1c3995cb23c46488aa6a0909

Add the "fast_vacuum.c" demonstration program to the tool/ subdirectgory.

FossilOrigin-Name: 2b60320d57a4638ebf97a2854527649c671d108e

Change the ".dump" command in the command-line shell so that it COMMITs
if there are database corruption errors but invokes ROLLBACK on any other
kind of error.

FossilOrigin-Name: 473234632ff7617680ab151076153f5c1088e55b

Fix a minor typo in a comment in where.c.

FossilOrigin-Name: 9c9fa151e9a3bdab0264c08b66cbcc89d61bfca5

Add some timing tests to the amatch test script.

FossilOrigin-Name: ad71c72be56786d8dcf6917efd10a8d3c2d50419

Merge trunk changes with this branch.

FossilOrigin-Name: e294a9c7c525d1da698259c2fef089579bfd1c0b

Fix a performance problem in the FTS4 auxiliary functions triggered by an OR clause in the full-text query.

FossilOrigin-Name: fa0f2f0e3e79ae653118b901e1cca7725dfaf249

Fix memory leaks in the amatch extension.  Add a few simple test cases.

FossilOrigin-Name: 604134732e309a738e21bcb4240b9ff285d2bfe4

Have fts4 full-text queries consider "docid<?" and similar constraints.

FossilOrigin-Name: 6622424a3a149edd35ba2ba0881aa41b4536417b

Update and modernize an obsolete comment associated with VACUUM.  No
changes to code.

FossilOrigin-Name: 94c914e3fa632f88a0d0c14537f81aa46759e2be

Fix typo in comment.  No changes to code.

FossilOrigin-Name: 0b7bd46825b09c9e46290baee3e239344ca5bf0e

Add new test file fts3defer3.test.

FossilOrigin-Name: a6cd14effef0a4e5520eea871523e6e7a7d30aef

In the nextchar.c extension, allow the second argument to the next_char()
function to be a subquery.

FossilOrigin-Name: 59b9fa223681a7329533b350be7bf5a0a3609255

Updates to the sqlite3_analyzer utility:  Change the names of some labels,
especially change "Fragmentation" to "Non-sequential pages".  Revise the
computation of non-sequential pages so that it ignores itercalated non-leaf
pages (overflow and index pages).

FossilOrigin-Name: 3e5c7771fa91d8ae1e495432329b87af87b1ebc6

Obtain the required shared-cache write-lock when executing "DELETE FROM tbl" statements. Fix for [1e1321ee98].

FossilOrigin-Name: 1f8f4fdf3ff2b8de27e167a44a19b0f479f5ee1a

Fix a faulty assert() in sqlite3BtreeBeginTrans() that may fail in shared-cache mode.

FossilOrigin-Name: 1e1321ee985370c2b7e5bd64286bb4d7704b5a30

Merge updates from trunk.

FossilOrigin-Name: 435ce3b3fc0cffb4d7e6f2694c3100066e19f9ed

Test that the unicode61 tokenchars= and separators= options work with the fts3tokenize virtual table.

FossilOrigin-Name: ed24051462c09220ebfb82a347b4a2b5c820ef63

Clear the current time value on prepared statements when the prepared statement
is reset.

FossilOrigin-Name: cebd6fc551d26aea0f28cd7d25338fe0b72aae88

Readability improvements to the Win32 RC file.

FossilOrigin-Name: e64590625774228b5602a66cfb087cf74e2b438b

Minor consistency fixes to the Win32 RC file.

FossilOrigin-Name: 619c5211b91aef98794e2e0a6f03832619fc83c0

The date and time functions use the exact same notion of "now" for every
invocation within the same call to sqlite3_step().

FossilOrigin-Name: daf6ba413cb3cb6065774ba07495eab4a28b49b0

Fix Windows SDK compiler warning.

FossilOrigin-Name: d5fc3f1dabc7227230dcabdd808357f63432357b

Fix test issues for Windows portability.

FossilOrigin-Name: 650b32825a85baff11b8e568649fd797066c8ab1

VSIX tooling changes to support Visual Studio 2013.

FossilOrigin-Name: d56fac40313e7d2e77dac3e2bc47cbbb3d10c656

Fix the "const" qualifiers on the pragma name table.

FossilOrigin-Name: b74e6be818fa7d19f1af6d86ad1d2ecba334b01b

Add the soft_heap_limit pragma.

FossilOrigin-Name: c326356f9a18bff5cf36bd59331e2cc207e349fa

Tweak the new PRAGMA name parser to achieve full branch test coverage.

FossilOrigin-Name: c82e05c4b8e000684d95ac8417afaef5e4d633e6

Remove one unreachable branch and add asserts() to dupedExprStructSize().
New asserts verify that removed branch is unused and that constants that are
ORed together in the output do not overlap.

FossilOrigin-Name: 86ad358b5a7567857f2f998fbb8266b7de9ec87e

Adjust the query planner to take into account WHERE clause terms that do not
drive indices.  Add the unlikely() and likelihood() functions used to give
hints to the query planner about the selectivity of WHERE clause terms.

FossilOrigin-Name: bc446449a19171c0fa0681973b06bc80d3c0517f

Enhance the pragma lookup table generator script to output a comment that
gives the number of pragmas.

FossilOrigin-Name: ca05205050752b5d5f583421b7813fba62f5085c

Change the PRAGMA parser to use a binary search for the pragma name.
Also:  Minor performance enhancement to sqlite3DbFree() and to the
token dequoter.

FossilOrigin-Name: 870c030b4e1854e6e0d39907fadbd82774c16f56

Add tests for the fts4 unicode61 tokenchars and separators options.

FossilOrigin-Name: 9ce6f40dfb54b35cecba3cc9c1ec0d111f6e9f11

Refactor the ExprSetIrreducible() macro into ExprSetVVAProperty(*,EP_NoReduce).
This is a naming change only.  The logic is the same.

FossilOrigin-Name: 695aee46e9bdf15159ab52db7f522b30c91aed0f

Fix typo in a macro name:  "GlogUpperToLower" should be "GlobUpperToLower"

FossilOrigin-Name: 73634ca463f46027bfa8ea23f18abaa530460e24

Merge in the Expr.flags expansion to 32-bits.  Use an extra bit to help
optimize the sqlite3ExprSkipCollate() routine.

FossilOrigin-Name: 4c84d1b4c20f18921dd705bf67e8225975b83e86

Increase the number of bits available in Expr.flags.  Other tweaks aimed at
making expression processing more robust.

FossilOrigin-Name: 579a512538528cf4bb4381ba393c5d9e7310086b

For error log messages generated by the Win32 native allocator, make sure the correct format specifier is used for the value returned by GetLastError().

FossilOrigin-Name: 75a8a8c1b39725d36db627536d0c69401f8e0815

Fix a couple more harmless compiler warnings.

FossilOrigin-Name: 59708674f66e06c9c31c1a24f2f1c51f0bf4fa3e