Adjustments to #ifdefs in analyze.c to all a clean compile with no
extra code with both ENABLE_STAT3 and ENABLE_STAT4 and with neither.

FossilOrigin-Name: f86b75b6c7290ee6ddb3636090b00e99fc68c45e

Add a test for the problem fixed by [91733bc485].

FossilOrigin-Name: 5c591104813a7e55e59f4f557cbb3e500fa817c2

In sqlite3Stat4ProbeSetValue() change a local variable name iVar to iBindVar
to avoid confusion with iVal, and fix a place where the name was actually
confused.

FossilOrigin-Name: 91733bc4856034c10bc2ba0acdae1970b05d62b9

Merge the fork that resulted from a check-in race.

FossilOrigin-Name: b7fe4f362bdf7b233a7b09eb9ce16d296165f82a

Fix valueFromExpr() so that it returns SQLITE_NOMEM following an OOM when
changing text encodings.  Also fix some asserts to accommodate OOM errors.

FossilOrigin-Name: dc1ccd09c443cebc4731dbe1a0dea84a9ccf6a9b

Fixes for test code that was not working with utf16 databases. Run the analyze*.test scripts as part of the 'utf16' permutation test.

FossilOrigin-Name: fe99494d99df95f699ffab07b1e212800b5ff00d

Add extra tests. No code changes.

FossilOrigin-Name: 949127d53e0a907ed6f73c6828637d94b265468c

Avoid buffer overreads and false OOM error reports that could be caused by corrupted sample records in the sqlite_stat4 table.

FossilOrigin-Name: 9f85b6a52a0b9b1524daa6f24d85257e7f591e95

Fix a potential segfault following an OOM while running ANALYZE.

FossilOrigin-Name: 0118797823c9093e68113578f3f3aae65de41453

Merge recent trunk changes into the STAT4 branch.

FossilOrigin-Name: c69b512af276a438399747af22659415af3a5d4d

Make sure that GROUP BY terms select input column names in preference to
output column names, in compliance with the SQL standard.
Ticket [1c69be2dafc28].

FossilOrigin-Name: f2d175f975cd0be63425424ec322a98fb650019e

Bare identifiers in ORDER BY clauses bind more tightly to output column name,
but identifiers in expressions bind more tightly to input column names.
This is a compromise between SQL92 and SQL99 behavior and is what
PostgreSQL and MS-SQL do.  Ticket [f617ea3125e9c].

FossilOrigin-Name: c78b357c00a35ed48ce2ffbc041de8d22570d1e2

Make it easy to attach a debugger the test fixture process prior to any tests being run.

FossilOrigin-Name: 53cd9ebfaf401c7932bf591e134a527c9962b88e

Fix a crash that can occur if the sqlite_stat3 or sqlite_stat4 table is corrupt.

FossilOrigin-Name: d51df8a8fcc31c37f6e1c9612204af5738ed865e

Fix a crash that can occur following an OOM fault.

FossilOrigin-Name: 9f80b2687012ab7c4d6d654fe19f40878bd78bd8

Change some assert() statements in vdbe.c to ensure that a memory cell used to store a VdbeCursor object is not also used for some other purpose.

FossilOrigin-Name: 71070c9fce86103f174220e07771df99b2e01405

Make sure the ANALYZE command allocates enough VDBE registers.

FossilOrigin-Name: 46fec9b1a1c4616df5a634dbf9235bd13408d3a9

Add tests for sqlite_stat4 sample selection. And a fix for the same.

FossilOrigin-Name: 1fb4d9d6f2675515feb8e3d971bbd54716372549

Clarification and typo fixes in comments related to name resolution.
No changes to code.

FossilOrigin-Name: f30abdf9d814d6c75bf1c803054737c737ad636f

Make it easy to attach a debugger the test fixture process prior to any tests being run.

FossilOrigin-Name: c23acba11bfefc019b5945cfb345f9afcf4b6242

Change the way ANALYZE works to use a single cursor when scanning indices.

FossilOrigin-Name: bdce612b35193abf72de1a563ea7962375b3574e

Fix a few more minor comment typos.  No changes to code.

FossilOrigin-Name: 9e999081a59b161a0a1f968fbc01a1db9ea43b93

Fix an outdated comment and a comment typo.  No changes to code.

FossilOrigin-Name: ac336959490083ffeaaf25aaec97ecb59a2f4536

If ENABLE_STAT3 is defined but ENABLE_STAT4 is not, have ANALYZE create and populate the sqlite_stat3 table instead of sqlite_stat4.

FossilOrigin-Name: cca8bf4372ab7a0258aa5c9397818415c6cf0abf

If there is data in both the sqlite_stat4 and sqlite_stat3 tables for a single index, ignore the sqlite_stat3 records.

FossilOrigin-Name: 2a41736728d83a777ea8112da927cb047ec6684e

Handle a NULL input to decodeIntArray() that can result from a prior OOM.

FossilOrigin-Name: fa1588adab6759fd3d1be02524aa19a0d1c6adaa

Re-enable reading from the sqlite_stat3 table (as well as sqlite_stat4).

FossilOrigin-Name: 6d45078e621526fc2bac0eaefbb0f9602b9a8ec5

Fix a bug in calculating the average number of entries for keys not present in the sqlite_stat4 table.

FossilOrigin-Name: ec3ffb174844406a6186c3dcc41b76d0331b502c

Fix minor problems caused by adding the rowid to the records in stat4.

FossilOrigin-Name: 088d1ff94890ada50d43e6a366a58167ec5a8e96

Add the rowid field to the end of sample records stored in the sqlite_stat4 table.

FossilOrigin-Name: 3a5e8ab7ddbe1d943b35ef329fe4e5a1bfdb0d9d

Fix a couple of typos in a comment in analyze.c. No code changes.

FossilOrigin-Name: 5bcccb93df98f5dfee0ea4d797b07fe0257258a9

Update the header comment on analyze.c to describe the sqlite_stat4 table
format.

FossilOrigin-Name: 4d97809d6b29809f12d753043bda1976bdb1bd3b

Fix problems in estimating the number of rows visited by a range query using sqlite_stat4 data when the column subject to the range query is not the leftmost of the index.

FossilOrigin-Name: 9228aaf54dd2700c4f460f94f9c2309407578983

Use a binary search instead of a linear scan when comparing a sample key against data from the sqlite_stat4 table.

FossilOrigin-Name: e50dc30523210ba12324d5d8379503610f13aa34

If the SQLITE_EXTRA_INIT function is defined, make sure it is called only
once by the effective sqlite3_initialize() call.

FossilOrigin-Name: e2b597cafe7c8a8313b051d6a302fed54f235727

Fix a segfault in "ALTER TABLE t1 ADD COLUMN b DEFAULT (-+1)". Also an assert() failure that could occur if SQLITE_ENABLE_STAT4 were not defined.

FossilOrigin-Name: 9fec3e38287067d60874530300fbeb602958c951

Fix a bug in using stat4 data to estimate the number of rows selected by a range constraint.

FossilOrigin-Name: f783938ea999731ea073cd2c78e278095f7bea6d

If the SQLITE_ALLOW_URI_AUTHORITY compile-time option is set, then allow
non-localhost authorities on URI filenames and pass them through as a UNC
to the underlying VFS.

FossilOrigin-Name: 3adb6c1bfda897859dc9cf9ae7f1e6719855ee68

Replace variable Index.avgEq (average number of rows in keys for which there is no sample in sqlite_stat4) with vector Index.aAvgEq.

FossilOrigin-Name: 7b70b419c43b2c3b2daf11d833a1d60245bfaef5

Merge latest trunk changes with this branch.

FossilOrigin-Name: 08f74c45ecf711a2373af578d44470add9082377

Fix typos in a comment in analyze.c. No code changes.

FossilOrigin-Name: 812ed0c58fc5f729a2d4f16775fad6724cc367a6

Change the way samples for the sqlite_stat4 table are collected.

FossilOrigin-Name: 13ed5ac13562e7a39905d70fd47059f4d8001bba

Fix the ".dump" command on the command-line shell so that it works for
"sqlite_stat4" in addition to "sqlite_stat1".

FossilOrigin-Name: 1e80c4b12dbb5beab422e2a33a8782ac9d767321

Remove the unused sqlite3Utf8to16() utility function.

FossilOrigin-Name: 9159b43eb2cb5d6ed18a5ad168fa27134fec2553

When estimating the number of rows scanned using data from the sqlite_stat4 table, avoid allocating UnpackedRecord and KeyInfo structures until they are definitely required.

FossilOrigin-Name: 353950a5269fa439cc3e57b62e16558a84ea2557

Add a guard #ifndef to test_intarray.h to prevent harm if it is #included
more than once.  Add a comment on the closing #endif of the guards on
sqlite3.h and test_multiplex.h.

FossilOrigin-Name: 0ad83ceb79767738bd06a28840cf84da0464ab4f

Fix typos and add clarification to comments in where.c.  No code changes.

FossilOrigin-Name: f8d8790ede0fcaf6c5b60ac22919c1d97c74e838

Fixes for builds without SQLITE_ENABLE_STAT4.

FossilOrigin-Name: 84999e27cc0d14b89d9fe024e29d287c69285369

When possible, use the multi-column samples in sqlite_stat4 to estimate the number of index rows scanned by a query plan.

FossilOrigin-Name: 2973f5ca736c4a6f13c653d54b6a29d7cae8d0ed

Fix a test case related to partial indices so that it works even if
STAT3 is disabled.

FossilOrigin-Name: 153c645025637bbff14dfce793e4b92210ded7e8

Adjust #ifdefs in test_autoext.c so that it compiles with
SQLITE_OMIT_LOAD_EXTENSION.  Fix compiler warnings in two other
test modules.  No changes to the core.

FossilOrigin-Name: 89930ea3c3b3bd078f641b2c5203d851083bbf1a

Update the configure script to use the latest version number (3.8.0).

FossilOrigin-Name: 52e8ec5e24730efa6d89cbaf1e03bc1d5c59cc05

Add a testcase() macro to verify OOM coverage.

FossilOrigin-Name: d43dcbc488120aeb7104ab9e6a27f62bb348bf6a

Remove unreachable branches in expr.c, replacing them with assert() and
testcase() statements.

FossilOrigin-Name: 9103c27ceb3f4023ea3a41b679a10717d3f80210

For the ".import" command of the command-line shell, start a transaction
if there is not one active already.

FossilOrigin-Name: 5dcc2d91bd343cd0fac79d3c8f079a5ce534cdf7

Clean up the input reader in the command-line shell for improved legibility
and performance.

FossilOrigin-Name: 2b1743d60171635c1e5a6ede6b4928f4671f948d

More than double the speed of the resolveP2Values() routine in vdbeaux.c by
moving from an extended if-else on every opcode to a switch.  Opcodes are
reordered in mkopcodesh.awk to put the switched opcodes close together,
for additional performance and to reduce code footprint.

FossilOrigin-Name: 924f7e4d7a8fa2fe9100836663f3733b6e1a9084

Performance optimization: Avoid calling convertCompoundSelecctToSubquery()
on queries that do not use the UNION, EXCEPT, or INTERSECT operators.

FossilOrigin-Name: c589b2fed7beabc2337d701094c22635914d9c23

For the vtshim module, always zero out the xChildDestroy function pointer after calling it.

FossilOrigin-Name: 240f7252c66ad3ff5ae0ef06455c1ff9bd78bbb4

Factor all KeyInfo object allocations into a single function:
sqlite3KeyInfoAlloc().  Always allocate enough space so that
sqlite3VdbeRecordCompare() can avoid checking boundaries and hence
run faster.

FossilOrigin-Name: 7301bedd94c8610568349953b18ff3575203e1b2

Modify the vdbe code generated by ANALYZE to use fewer memory cells and cursor slots.

FossilOrigin-Name: 4a51cf289fad8aebc637b5f96488de18e861195d

Use N separate cursors when scanning an index with N columns to collect sqlite_stat4 data. This fixes a problem with collecting incorrect nEq values from multi-column indexes.

FossilOrigin-Name: 3a71afe67418ce00097cd9714c395fe9ff16f23b

Improve performance of sqlite3VdbeRecordCompare() by using an approximation
that might give false negatives and only running the more expensive exact
subexpression if the approximation fails.

FossilOrigin-Name: 28979dcd16f53e0ddca8eed74b668834e2856f03

Add a missing '#include "tcl.h"' to test_rtree.c.

FossilOrigin-Name: 4b8b426f10f8ae13bf553f7adf5ae09383fa0bd4

Fix a couple of problems in code related to sqlite_stat4.

FossilOrigin-Name: badd24d987240db5528b37d1c177431617079f9b

Begin adding experimental sqlite_stat4 table. This commit is buggy.

FossilOrigin-Name: 2beea303a1d609cd2ff252412c50b966b9e5e8f1

Updates to requirements marks.  No code changes.

FossilOrigin-Name: 213020769f310aec1591d97756b53891d0b64005

Add NEVER() and ALWAYS() macros on some unreachable yet prudent branches.

FossilOrigin-Name: c5c0a8ab6c222185d5f9d4321e64d9f93cd36b7d

Add support for partial indices.

FossilOrigin-Name: 478113f18b1d28606b107b5a0bed04cb90a82cf2

Silently ignore database name qualifiers in CHECK constraints and in
partial index WHERE clauses.

FossilOrigin-Name: 2e8c845eb5011a2743dace333aa38383588f2080

Fix typos in documentation for SQLITE_DBSTATUS_DEFERRED_FKS .
No changes to code.

FossilOrigin-Name: f3efbfcd515ad6ac833f4b26391dcc44603a96e8

Fix the CREATE INDEX statement so that trying to create a TEMP index on
a non-TEMP table throws an error rather than segfaulting.

FossilOrigin-Name: e3c8935f8736d00dc83644fa21d86ca7fec6d2fc

Fix an incorrect expected result in a test case in corruptG.test.

FossilOrigin-Name: 6913831ad2892fdc8331ee53426d935386eacb9e

Fix a potential buffer overread in sqlite3VdbeRecordCompare() when a
serial_type specifies a field that starts in bounds but is much too large
for the allocated buffer.  Mostly harmless.  The overread is unlikely to
go more than one or two bytes past the end of the buffer.

FossilOrigin-Name: e436b2f4e5c5e6b2f70e65332c0c7d618e2ef20a

Make sure signed integer overflow does not cause a segfault while attempting
to read a corrupt database where the header size varint on a record is larger
than the maximum 32-bit signed integer.

FossilOrigin-Name: c3baca99f4580652afb2c3f73036ab83796a1557

Add test case for the problem fixed by [127a5b776d].

FossilOrigin-Name: 65816718b59b286c11d939235a23c7325f25594b

An improved method for avoiding the use of the STAT3 samples to compute
the estimated number of outputs when the left-most index is equality
constrained.  This check-in undoes the previous fix and applies a new one.

FossilOrigin-Name: 127a5b776d16e1e23c5b3d454f6aaea67f1ded3a

Avoid using left-most column STAT3 samples if the left-most column has an
equality constrain and there are inequality constraints on the second column.

FossilOrigin-Name: 31b4e63b3c30fcad22340d84d6076a306f26b49e

Fix bug in the logic that determines the end of a CREATE INDEX statement.
Added a VACUUM test case that exposed the bug.

FossilOrigin-Name: 2e3df0bc900c01286d3ce32c2bbf9e5293973f9b

More test cases and corresponding bug fixes.

FossilOrigin-Name: 0c8cfdfae215c95cf167f404a1d346690b28e972

Fill out an initial implementation of the sqlite3ExprImpliesExpr() function.

FossilOrigin-Name: 8e07aa2ad5579aeb82174ce5bd432ddb9c058bc1

Refactor internal function name sqlite3VdbeGetValue() to
sqlite3VdbeGetBoundValue().

FossilOrigin-Name: 81834c3023876487a1188390aae850cf71683701

Fix the ANALYZE command to work with partial indices.

FossilOrigin-Name: 60353124f4e965393ecd864019bdbca1999fb69e

Test cases and bug fixes for the partial index logic.

FossilOrigin-Name: 6b73ae7c123801787c8994113cbeb87ee96ba653

Add the logic to keep partial indices up to date through DML statements and
when new partial indices are created.  This new logic is untested except to
verify that it does not interfere with full indices.

FossilOrigin-Name: fb9044d15ad4fd6ae4a38858c0c0e6fe9d4faa25

Limit the number of memset() calls used when determining a temporary file name on Windows.  Also, fix a harmless compiler warning.

FossilOrigin-Name: 136fc2931b156f91cdd76a7a009298cdf09d826a

Add logic to the query planner to only use partial indices if the WHERE clause
constrains the search to rows covered by the partial index.  This is just
infrastructure.  The key routine, sqlite3ExprImpliesExpr(), is currently a
no-op so that partial indices will never be used.

FossilOrigin-Name: 8ca3eac111e06a1854f878a74bffe8f20eb47f1b

Slight modifications to path name translation handling for Cygwin.

FossilOrigin-Name: 33ba1f4c5dc2ef8292adf17a32ade0cde0887d88

Use a new error code to represent a failure to get the configured temporary directory on Windows.

FossilOrigin-Name: c93d891b03c626b9ed01ed5ef2f246b2d4a40a64

The MAX_PATH constant in windows is measured in characters, so multiple by 3
to get the number of bytes assuming worst-case UTF8 pathnames.

FossilOrigin-Name: bb06e1579022c24546ac5117a99846b3c37ef59b

Resolve names in CREATE INDEX WHERE clauses and detect errors.  Disallow
expressions that contain variables, subqueries, or functions.
The expression is still not used for anything, however.
still unused.

FossilOrigin-Name: f2aa7842c8b9df24294f09e2bde27b3f08c455c7

Here begins an experimental branch for exploring the idea of a partial index.
This check-in is able to parse a WHERE clause on a CREATE INDEX statement, but
does not actually do anythingn with that WHERE clause yet.

FossilOrigin-Name: 6794b2dcb48b3507caccfc7867fc185818cf8291

Reduce the size of the stack required by the codeOneLoopStart() function in
where.c.

FossilOrigin-Name: eb6d4278b8516e0571269049d1eaa55066f51b1a

For the MSVC makefile, recompile vdbe.lo and parse.lo first.

FossilOrigin-Name: 9e819f0f12b6f2a8e0e7a90251b3115ff1595f25

Comment and preprocessor macro cleanup.

FossilOrigin-Name: c0809b5e32c2ca0600098447a573e718eaeb319f

In main.mk, always recompile vdbe.o and parse.o first, since changes to either
parse.y or vdbe.c will cause all files to be recompiled and if there are
syntax errors in vdbe.c or parse.y we want to hit them early in the compile
process.

FossilOrigin-Name: a94a66d10f160ee79fffa8527655c2cc4a0c7103

In the command-line shell, work around the fact that popen() and pclose()
are not defined in stdio.h. in C89 and later.

FossilOrigin-Name: 8bcbb33fd0a970e16a920e1d35571836dbb9ba50

Fix a typo in main.c: SQLITE_DEAULT_AUTOMATIC_INDEX -> SQLITE_DEFAULT_AUTOMATIC_INDEX

FossilOrigin-Name: cc78e21c7794948a187e694773735058fc7460d7

Enhance the progress handler so that it keeps track of the number of VDBE
cycles across sqlite3_step() calls and issues callbacks when the cumulative
instruction count reaches threshold.

FossilOrigin-Name: 4698a82ef855a8e56163622283fb25317d7efdc4

Add 'queryplantest' target to the MSVC makefile.

FossilOrigin-Name: ad0551e039ccaa9e7a28682b756b56ac2b8fef0d