Merge latest trunk changes.

FossilOrigin-Name: 24aa20da222a9cc181473bc41d0f8791be91fa97

Allow FTS4 multi-token phrases to use a combination of in-memory and incrementally loaded doclists. This allows phrases to (partially) benefit from incremental doclists without disabling the deferred token optimization.

FossilOrigin-Name: f6819c5f3363d358e7ef65fe6978f13991bd44af

The sqlite3FixInit() routine cannot fail.  So change the return type from "int"
to "void".

FossilOrigin-Name: 500c5932fe3f5fcd0940522f7839d581c555e0eb

Rework the PRAGMA implementation to only call sqlite3ReadSchema() from a single
place, based on a flag in the pragma table, rather than separately from each
case which needs the schema.

FossilOrigin-Name: 8338232a111be16d6c2ab57176d0a23a001f02ad

Return an error if an attempt is made to create a trigger with an SQL variable embedded within it. If such a variable reference is found within a trigger definition loaded from the sqlite_master table, silently replace it with a NULL.

FossilOrigin-Name: f35f6ae3da77dbdf5f7a4a9927475659fc6e0ca6

Remove unnecessary memset() calls from test code.

FossilOrigin-Name: eec3187bc68ddebdbc2113f77c7f5cd32e9be61f

In the lemon parser generator, change all hashes to unsigned to avoid
potential problems with signed integer overflow.

FossilOrigin-Name: 8d399a03de63c15908d63ed69140ee15c6275b8d

Add a test to check that the new multi-token phrase optimization is actually helping.

FossilOrigin-Name: bc3a2ed5fb2402805928b0002457eebf06f87c47

Bring some file format comments in btreeInt.h up to date.

FossilOrigin-Name: 012d54d0d2b40888d08915082592ba75d70891c1

Merge trunk changes with this branch.

FossilOrigin-Name: 65d9c6fafbc19d3582e07c31fd915a70e7fcfa8e

Allow multi-token phrases to load doclists from the database incrementally. This allows queries that feature such phrases to benefit from the "docid<?" optimization.

FossilOrigin-Name: ea543f081d93ed1bf66c21ce2108ec94e349f4c5

Fix comments in the fast_vacuum.c demonstration program.

FossilOrigin-Name: e0db7b38e1bc0edb1c3995cb23c46488aa6a0909

Add the "fast_vacuum.c" demonstration program to the tool/ subdirectgory.

FossilOrigin-Name: 2b60320d57a4638ebf97a2854527649c671d108e

Change the ".dump" command in the command-line shell so that it COMMITs
if there are database corruption errors but invokes ROLLBACK on any other
kind of error.

FossilOrigin-Name: 473234632ff7617680ab151076153f5c1088e55b

Fix a minor typo in a comment in where.c.

FossilOrigin-Name: 9c9fa151e9a3bdab0264c08b66cbcc89d61bfca5

Add some timing tests to the amatch test script.

FossilOrigin-Name: ad71c72be56786d8dcf6917efd10a8d3c2d50419

Merge trunk changes with this branch.

FossilOrigin-Name: e294a9c7c525d1da698259c2fef089579bfd1c0b

Fix a performance problem in the FTS4 auxiliary functions triggered by an OR clause in the full-text query.

FossilOrigin-Name: fa0f2f0e3e79ae653118b901e1cca7725dfaf249

Fix memory leaks in the amatch extension.  Add a few simple test cases.

FossilOrigin-Name: 604134732e309a738e21bcb4240b9ff285d2bfe4

Have fts4 full-text queries consider "docid<?" and similar constraints.

FossilOrigin-Name: 6622424a3a149edd35ba2ba0881aa41b4536417b

Update and modernize an obsolete comment associated with VACUUM.  No
changes to code.

FossilOrigin-Name: 94c914e3fa632f88a0d0c14537f81aa46759e2be

Fix typo in comment.  No changes to code.

FossilOrigin-Name: 0b7bd46825b09c9e46290baee3e239344ca5bf0e

Add new test file fts3defer3.test.

FossilOrigin-Name: a6cd14effef0a4e5520eea871523e6e7a7d30aef

In the nextchar.c extension, allow the second argument to the next_char()
function to be a subquery.

FossilOrigin-Name: 59b9fa223681a7329533b350be7bf5a0a3609255

Updates to the sqlite3_analyzer utility:  Change the names of some labels,
especially change "Fragmentation" to "Non-sequential pages".  Revise the
computation of non-sequential pages so that it ignores itercalated non-leaf
pages (overflow and index pages).

FossilOrigin-Name: 3e5c7771fa91d8ae1e495432329b87af87b1ebc6

Obtain the required shared-cache write-lock when executing "DELETE FROM tbl" statements. Fix for [1e1321ee98].

FossilOrigin-Name: 1f8f4fdf3ff2b8de27e167a44a19b0f479f5ee1a

Fix a faulty assert() in sqlite3BtreeBeginTrans() that may fail in shared-cache mode.

FossilOrigin-Name: 1e1321ee985370c2b7e5bd64286bb4d7704b5a30

Test that the unicode61 tokenchars= and separators= options work with the fts3tokenize virtual table.

FossilOrigin-Name: ed24051462c09220ebfb82a347b4a2b5c820ef63

Clear the current time value on prepared statements when the prepared statement
is reset.

FossilOrigin-Name: cebd6fc551d26aea0f28cd7d25338fe0b72aae88

Readability improvements to the Win32 RC file.

FossilOrigin-Name: e64590625774228b5602a66cfb087cf74e2b438b

Minor consistency fixes to the Win32 RC file.

FossilOrigin-Name: 619c5211b91aef98794e2e0a6f03832619fc83c0

The date and time functions use the exact same notion of "now" for every
invocation within the same call to sqlite3_step().

FossilOrigin-Name: daf6ba413cb3cb6065774ba07495eab4a28b49b0

Fix Windows SDK compiler warning.

FossilOrigin-Name: d5fc3f1dabc7227230dcabdd808357f63432357b

Fix test issues for Windows portability.

FossilOrigin-Name: 650b32825a85baff11b8e568649fd797066c8ab1

VSIX tooling changes to support Visual Studio 2013.

FossilOrigin-Name: d56fac40313e7d2e77dac3e2bc47cbbb3d10c656

Fix the "const" qualifiers on the pragma name table.

FossilOrigin-Name: b74e6be818fa7d19f1af6d86ad1d2ecba334b01b

Add the soft_heap_limit pragma.

FossilOrigin-Name: c326356f9a18bff5cf36bd59331e2cc207e349fa

Tweak the new PRAGMA name parser to achieve full branch test coverage.

FossilOrigin-Name: c82e05c4b8e000684d95ac8417afaef5e4d633e6

Remove one unreachable branch and add asserts() to dupedExprStructSize().
New asserts verify that removed branch is unused and that constants that are
ORed together in the output do not overlap.

FossilOrigin-Name: 86ad358b5a7567857f2f998fbb8266b7de9ec87e

Adjust the query planner to take into account WHERE clause terms that do not
drive indices.  Add the unlikely() and likelihood() functions used to give
hints to the query planner about the selectivity of WHERE clause terms.

FossilOrigin-Name: bc446449a19171c0fa0681973b06bc80d3c0517f

Enhance the pragma lookup table generator script to output a comment that
gives the number of pragmas.

FossilOrigin-Name: ca05205050752b5d5f583421b7813fba62f5085c

Change the PRAGMA parser to use a binary search for the pragma name.
Also:  Minor performance enhancement to sqlite3DbFree() and to the
token dequoter.

FossilOrigin-Name: 870c030b4e1854e6e0d39907fadbd82774c16f56

Add tests for the fts4 unicode61 tokenchars and separators options.

FossilOrigin-Name: 9ce6f40dfb54b35cecba3cc9c1ec0d111f6e9f11

Refactor the ExprSetIrreducible() macro into ExprSetVVAProperty(*,EP_NoReduce).
This is a naming change only.  The logic is the same.

FossilOrigin-Name: 695aee46e9bdf15159ab52db7f522b30c91aed0f

Fix typo in a macro name:  "GlogUpperToLower" should be "GlobUpperToLower"

FossilOrigin-Name: 73634ca463f46027bfa8ea23f18abaa530460e24

Merge in the Expr.flags expansion to 32-bits.  Use an extra bit to help
optimize the sqlite3ExprSkipCollate() routine.

FossilOrigin-Name: 4c84d1b4c20f18921dd705bf67e8225975b83e86

Increase the number of bits available in Expr.flags.  Other tweaks aimed at
making expression processing more robust.

FossilOrigin-Name: 579a512538528cf4bb4381ba393c5d9e7310086b

For error log messages generated by the Win32 native allocator, make sure the correct format specifier is used for the value returned by GetLastError().

FossilOrigin-Name: 75a8a8c1b39725d36db627536d0c69401f8e0815

Fix a couple more harmless compiler warnings.

FossilOrigin-Name: 59708674f66e06c9c31c1a24f2f1c51f0bf4fa3e

Remove two obsolete fields from the sqlite3 object.

FossilOrigin-Name: 117fa5fbc9bed1a7b982c8ddc21b7e228905ccb4

Fix harmless compiler warning.

FossilOrigin-Name: 2b510614dc6d878bd49eb428f167014f7f2e2568

Merge updates from trunk.

FossilOrigin-Name: fca799f03ad04b7d36381108ff10e9c7d03656ac

Improvements to likelihood processing so that commuting an unindexed term in
the WHERE clause does not change the query plan.

FossilOrigin-Name: 6e6bded055cdbc902731687c86d92c39a3ba5904

Add test cases to cover TPC-H Q8.

FossilOrigin-Name: eb5cef8351d12c0f8550dac96ee7a6e495975b5a

Additional unlikely() test cases.  Logic tweaks to support test coverage.

FossilOrigin-Name: 5d00cce74a7aefaf30022ae971ab1e0451e0ad6e

Change the name of the two-argument unlikely() function to likelihood().
Add test cases.

FossilOrigin-Name: 29a359b8d7f90e6fa2b28ce2a112284fd3870494

Tweaks to the index selection logic.

FossilOrigin-Name: 52d52688644f635a50a60ff17b160f3affa8fa6c

Merge trunk fixes into the unlikely-func branch.

FossilOrigin-Name: a51d751553b14aa26912c516f60727551deb8e60

Deterministically initialize the PRNG used as a tie-breaker in the ANALYZE
command, so that the analysis is always the same given the same database.
This simplifies testing.

FossilOrigin-Name: 48ed8b565b84c8fa7898c2f9817c01f7e9c9182e

Make sure that the transitive constraint optimization does not cause
WHERE clause terms to be disabled prematurely.  We are unable to find a test
case that fails because of this, but it seems prudent to make this
preventative change nevertheless.

FossilOrigin-Name: d6e361d7fb8013d616af91ef2c10038c97d1be5f

Continuing refinements of the logic to take WHERE clause terms not used for
indexing into account when computing the number of output rows from each
table.

FossilOrigin-Name: b65dc53415f42d8402d0ec7f4bedf59d7b39b486

Enhance the plan solver to take into account the number of output rows when
computing the set of paths to retain for the next cycle.

FossilOrigin-Name: 1a46a7242313da96420985fa52e1de3f84533e5b

Initial implementation of the unlikely() SQL function used as a hint to
the query planner.

FossilOrigin-Name: 036fc37a034093a4c6fc190633bd41c2b7230d77

Combine the FuncDef.iPrefEnc and FuncDef.flags fields into a single
new FuncDef.funcFlags field.

FossilOrigin-Name: 97b10e66e98e84755aa577f8da017bf1aea2056c

Make sure the destination WhereLoop is left in a sane state when an
OOM fault occurs inside of whereLoopXfer().

FossilOrigin-Name: a99a53b81e29c9514b85318bea028d1667e5f760

When preparing an UPDATE statement, avoid generating VDBE code for those foreign key related actions and constraint checks that may be seen to be unnecessary by considering the subset of table columns potentially modified by the UPDATE.

FossilOrigin-Name: e940b5de49baa1d6a4cf859fbbc0e0df86ac5dbf

Rearrange the order of conditions in an "if" statement to facilitate testing.

FossilOrigin-Name: 8462fb43c275a70db59c4339650225deeadeef00

Add tests to improve coverage when SQLITE_ENABLE_STAT3 is defined.

FossilOrigin-Name: f929e9b41f2f69b086be3dd48fe557adbba7ae5c

Fix a bug in the command-line shell for ".mode insert" on UTF16 databases
with BLOB values.

FossilOrigin-Name: d8fdc7821808e2bfa048144ee3015b745232dc30

The sqlite3Stat4ProbeSetValue() routine should always return results using
the database encoding.

FossilOrigin-Name: eb21663271369c3862bc8fd800f76d568c8579fe

Fix out-of-order variable declaration.  Fix harmless compiler warning.

FossilOrigin-Name: 8df95bb0b3f72222cf262174247a467c234f9939

Conditionally exclude code from analyze.c that is not used by STAT3.

FossilOrigin-Name: a48948a170056dfb87541dd5eb2773094dec6f8a

Harden the STAT4 logic in where.c against OOM faults.

FossilOrigin-Name: 91d2cfbc95c34c0040deb69106bb9f895abb94c0

Fix another problem in stat4 sample selection.

FossilOrigin-Name: d59f580904e6e7e90fc0a692a3dd4eeff5942479

Make sure the omit-noop-left-join optimization is not applied if columns
of the LEFT JOIN are used in the ORDER BY clause.
Ticket [be84e357c035]

FossilOrigin-Name: 0303d6bc7112e6f810ae1bd75cafc5ffc51f5212

Simplify branch coverage testing by interchanging the order of two tests
in the whereLoopInsert() function.

FossilOrigin-Name: f7079b5365dd6cd8324a4fb23605e81476122ed6

Further stat4 related tests.

FossilOrigin-Name: 0a702c4b4c35fdbcb62e3ab88b9e57d7ea0052a8

Add tests to check if ANALYZE is choosing common non-periodic samples for the stat4 table.

FossilOrigin-Name: 175842997af134138784bff6f8e93573deb5b36b

Fix a problem with using stat4 data to estimate the number of rows scanned by a range constraint on the second or subsequent column of any index where an affinity transformation must be applied to the constraint argument.

FossilOrigin-Name: c21f58d84859e479a6cc619671a0df48b2f9692e

Cleanup of the windows VFS, including added support for Cygwin, fixes
for compiler warnings under unusual configurations, and improved diagnostic
error messages.

FossilOrigin-Name: c94933f13208f3f7d6d1b117ce6d2821100655a4

Revise the amalgamation tool to allow 'duplicate' include files to be retained manually while still preserving the existing line numbers.

FossilOrigin-Name: aa48284637b954d63bcf77e19b25e75c7ad1a6d3

Fix a problem causing SQLite not to use stat4 or stat3 data to analyze constraints of the form "column = expr COLLATE collation" (those with an explicit COLLATE on the non-column side of the comparison operator).

FossilOrigin-Name: 1e86d81d46c9da6aaee0c6938ee40933f35e3d0d

Enhancements to the Win32 API definition macros.

FossilOrigin-Name: b1811baab6e35ecb1ba920a7ed3302997758d309

Reenable a test accidentally disabled when the stat4 branch was merged.

FossilOrigin-Name: d9fadc8fa6ef02d516678d57896d93e0a5f52cfe

Avoid commenting out #include statements when building the amalgamation source code file.

FossilOrigin-Name: 2fca6d784b000fd3a4d6890e38a0b087767f3a7f

Fix harmless MSVC compiler warning with MEMDEBUG defined.

FossilOrigin-Name: b48cfd2dfca70091a52deeeee16619237e1c270b

Improve the consistency of the diagnostic messages on Windows.

FossilOrigin-Name: c6f174a0cb27fe79740fffc7ce51081ec52a5dbd

Add support for Cygwin when handling temporary file names.  Improve error codes and diagnostic messages for temporary file name handling on Windows.  Rename winConvertUtf8Filename to winConvertFromUtf8Filename.  Improve placement and comments for forward function declarations.

FossilOrigin-Name: a411df725153119acb3bcf44fb71deecaa307887

Fix compiler warnings in analyze.c.

FossilOrigin-Name: 5bbd2ccb3d2d6286fd667dac2ab658d6b89640a6

Fix comment typo in analyze.c. No changes to code.

FossilOrigin-Name: dbc31750440226702fbf88f1bf6140ef403c9be1

Fix comment typos in the where.c module.  No code changes.

FossilOrigin-Name: 1e0b77cf0edf3d26f76d83aa5466e9ec0e60a710

If the cost of two whereLoop objects is the same in every way except that
one has fewer expected output rows than the other, then choose the one with
fewer output rows.

FossilOrigin-Name: 79e458ef7acfddbc189163e3e958da529becb130

Add the SQLITE_MINIMUM_FILE_DESCRIPTOR compile-time option, for control over
exactly which low-numbered file descriptors SQLite will use.

FossilOrigin-Name: ba5190534330a25722eeb7ea9c42da7a6d146014

Add a test for fts4 unicode61 option remove_diacritics=0.

FossilOrigin-Name: 6bf7ae6ff6b18712544ddeafb6848b3b27ff22d2

Improvements to the robust_open() logic in the unix VFS so that if an attempt
is made to open a repository on file descriptors 0, 1, or 2, and blocking
that file descriptor by opening it on /dev/null fails, then the open will
fail.

FossilOrigin-Name: d9c018f8155ab48df8e0e02519bba50588fe49fc

Make the unix VFS defensive against the error of having a database file open
on file descriptors 1 or 2, as an error message might easily be written onto
those file descriptors and thus overwrite and corrupt the database.

FossilOrigin-Name: 30d38cc44904d93508b87e373b2f45d5f93e556b

Change the unix VFS so that it refuses to open a database file using
a file descriptor less than 3.

FossilOrigin-Name: 66dddda06898abbf97fe0ac6a10ce1527ca8605e

Never leave an open file descriptor pointing into the middle of the
database file if the file descriptor number is 2 or less.

FossilOrigin-Name: 3426673e4659eb68dbd14a3e41d4620d748432db

Restore fix [f15591f802], which was accidentally clobbered by the stat4 merge.

FossilOrigin-Name: d4b6ad3333cc3bad500c2ebf7a6ea552b6762b69

Candidate fix for [9f2eb3abac]: Have the whereShortCut() planner ignore indexes with more than four columns.

FossilOrigin-Name: c1152bdcbb5ac185f743015fff63769effa81b4b