Update the ".import" command of the command-line shell so that it can
accept field values that span multiple lines and so that it issues
error messages if the input text does not strictly conform to RFC4180.

FossilOrigin-Name: 93f632152e464a89322a0130adaf9f342411bf7d

Add the "vtshim" extension, implementing a wrapper around the virtual
table interface to make it Disposable for the CLR.  No changes to the
core.

FossilOrigin-Name: 6c3839ef311a53076650c6479c932e545a26b96f

Update the boundary3.tcl script so that it can be run with tcl 8.5 or 8.6 to regenerate boundary3.test.

FossilOrigin-Name: ebac5afa471526dffc8026e66753263476137a3b

Add the SQLITE_STMTSTATUS_VM_STEPS option for sqlite3_stmt_status().

FossilOrigin-Name: bd4267f17bbf5d01fb3f12a5a06e94fcbcbd785c

Omit tables from the FROM clause of a join if their presence makes no difference
in the final output.

FossilOrigin-Name: 6505e2ab0200736c525b5cfcf1cb62c0bd4d18ee

Cut over the next generation query planner.  Increase the version number
to 3.8.0.

FossilOrigin-Name: 0fe31f60cadc5fe5a9d87e110bfaed5fd026cba1

Fix an uninitialized variable detected by valgrind.  Unclear whether or not
this should apply to trunk.

FossilOrigin-Name: 19ab4811d542ba781aeb6a4eb3c74642677225e1

Add a new (experimental) sqlite3_stmt_status() verb that returns the number
of VM steps.

FossilOrigin-Name: f1366bab737a3ac2ea20a0ec014cc306d7ded8a5

Add the ability to disable the omit-join-table optimization for testing
purposes.

FossilOrigin-Name: d929df9b1ba214c27d8c437099a53ee9b07aa169

Enhance error message handling for the vtshim module.

FossilOrigin-Name: b4a0d5327addd90bef758e6a1403ac69f61b3886

Remove an unused function declaration from the FTS3 source code.

FossilOrigin-Name: 096ae1d8f9a08f92daedece6b0615f4d22b05023

Merge the fts4-notindexed branch with the trunk.

FossilOrigin-Name: 361084e1eb281e985568d19fe217263be92be31d

Add a few more tests for the fts4 notindexed option.

FossilOrigin-Name: b53c0c41f97c7ddaeea61f0e6035d1c4747db3f7

Add the "notindexed" option to fts4.

FossilOrigin-Name: 8ff2b8f5948ccddce70102e6d68d464c66e4f7ca

Only eliminate inner loops of a JOIN if they are the RHS of a LEFT JOIN
and if they give no more than a single result.  This appears to give correct
answers in all cases.

FossilOrigin-Name: d7a25cc79794817504ca1a4262008a68b2a4dece

Attempt to disable inner loops of a join that do not generate output.
This does not work, since the inner loops might run zero times and thus
inhibit all output.  Needs to be enhanced to work only for LEFT JOINs
or when we know that the inner loop will always run at least once.

FossilOrigin-Name: ca839723a21bb13d3e0666a672c15c6f3a267c2f

Modify the query planner interface so that it always passes in the result set.
This is the first step toward adding an optimization that will omit tables
from a join that do not contribute to the result.

FossilOrigin-Name: 2c2577e69ccb47f1af674a755e71221e2ca0b322

Add a NEVER() macro and an explanation comment around an unreachable branch
in the STAT3 logic.

FossilOrigin-Name: 604c3c5de6fd8f8a569aa9ed981055a5b0123ba1

Pull in the posix_fallocate() change from trunk.

FossilOrigin-Name: d94db3fd921890ab1d6414ab629410ae50779686

Disable posix_fallocate() for all systems, all the time, unless the
HAVE_POSIX_FALLOCATE compile-time macro is supplied.

FossilOrigin-Name: b674462243138fcee192ef05d434665e30c681c4

The vtshim xCreate and xConnect functions need to store the pAux pointer into the newly created vtable object.  Style fixes.

FossilOrigin-Name: 43913c7bd5409791916dfa268258d22f34731273

Integration adjustments for the vtshim module.

FossilOrigin-Name: bf2e28ddb292ef0b9a1262ec249aed3243dcfb20

Merge in trunk changes to os_unix.c that allow the code to build on
unix platforms that lack posix_fallocate().

FossilOrigin-Name: bf5764067ab848e19e5971cbdf892c633495e325

Add in the cost of doing a table lookup on OR searches.  Make test case
changes to deal with difference in STAT3 behavior.

FossilOrigin-Name: d97898e8e3990ae8c1882c9102b57692d8810730

Only default HAVE_POSIX_FALLOCATE on for linux, and then only if it is not
previously defined.

FossilOrigin-Name: 2b2ade92788be623af6f57e37d98994be2cec142

Only enable posix_fallocate by default on linux and mac.

FossilOrigin-Name: b9b30d4f9845d212e2d3206abbf2795099e5d71d

Additional compiler warning fixes.

FossilOrigin-Name: 8d2ae8e2f343f82f6fba6d0e89cee7f15b444aa3

Fix a harmless uninitialized variable warning.

FossilOrigin-Name: 9d3ef3bd2c6281784a537a22a87279f420649935

Simplify and add invariants to the WhereLoop merging logic inside of
whereLoopInsert().

FossilOrigin-Name: 8f27f35f288434b9e7bc503c608f1e2b590ade4d

Fix compiler warnings.  Fix a harmless off-by-one error in the solver.

FossilOrigin-Name: 10021941d0258951b916e788881df140113f0597

Adjustments to testcase() macros for improved testability.

FossilOrigin-Name: 4fbb0c4d26c54aaefbe5397cde2a0b9d2ce3885f

Remove some redundant and unreachable code.

FossilOrigin-Name: 4c6d58d75d51e1ce829aec214617c3a89e784a2d

Add more testcase() macros.  Fix a memory leak following OOM in the
virtual table analysis logic.

FossilOrigin-Name: b61402af690ac08b68974f3c807096b0cffd9bc0

Simplifications to the NGQP.  Add the queryplantest makefile target.  Add
testcase() macros in the NGQP.

FossilOrigin-Name: eaf1f1b405ec2c498092527fae00e5dbe9e176c1

Use automatic indices on subqueries of the FROM clause when appropriate.

FossilOrigin-Name: e8f124284ee0d0e373dc4431668630f1e17015c1

Fix compiler warnings.

FossilOrigin-Name: 3e8ac46918c68723bd199dbec8b0901457d524a9

Comment tweaks in where.c.  No changes to code.

FossilOrigin-Name: cecc5fdd5d8fbad7d9e8c275b9ba9ade3dbee8ef

Add a new ORDER BY optimization that bypasses ORDER BY terms that are
constrained by == and IS NULL terms of the WHERE clause.

FossilOrigin-Name: b920bb70bb009b7c54e7667544c9810c5ee25e19

An index might be useful for ORDER BY if any indexed column is in the
ORDER BY clause, not just the first indexed column.

FossilOrigin-Name: ade473b5ae3fe2162b0ec29731d8e864a9301e07

Make sure that disabling the covering index scan optimization does not
prevent a covering index from being used to satisfy an ORDER BY clause.

FossilOrigin-Name: e8b7ea8202c443bfc8a978588c7d2cfaa14a8fea

Restore the ability to do a BETWEEN query on the rowid.  Also fix a
nearby comment.

FossilOrigin-Name: 459a7b9068310b36fed950940d251c4b798ffc58

Make the MIN() and MAX() macros available in sqliteInt.h.  Add TUNING
comments to the NGQP and adjust costs slightly.

FossilOrigin-Name: 3a72af2a95b04b8e195ef17cb3e9d9021a4f0915

Fix an off-by-one error in the WhereCost to integer conversion.

FossilOrigin-Name: b5ca80d924f8c6d31f036247ba6e20d234f4482e

Add a prototype for an extension that sits in between the SQLite native code
virtual table interface and a CLR IDisposable object.

FossilOrigin-Name: 10bba8d0821159a45c6a0d6c3cef897cb4d4e9a6

Activate the one-pass optimization.  Update comments, especially the
descriptions of the various objects.

FossilOrigin-Name: e120c558a5bafc0f0d2cc12ee5c9d36e20cc642d

Bug fixes in the handling of virtual tables.

FossilOrigin-Name: 25c0f7292a20c0db6ef176966d9987f29c7d73e5

Merge all changes from trunk.

FossilOrigin-Name: f2e15b1974e55373b5819e3b2326653f890f409f

"make test" now passing.

FossilOrigin-Name: addd7f466d6ff55f82d907286650c26b06e9397b

Add the "queryplanner" test permutation.  Continuing refinements to NGQP.

FossilOrigin-Name: 25e2cde105a19293bdb9c001b48624e5d7f8c4e5

Continue refining the NGQP

FossilOrigin-Name: 40567fddd468d00295275af8df09a7a1785e684a

Improved processing of DISTINCT.

FossilOrigin-Name: ba897100fed291d2025f68d09334f9985312298b

Add the SQLITE_FTS3_MAX_EXPR_DEPTH compile time option.

FossilOrigin-Name: 24fc9d4438a5615dd20af5419456166df83a72ea

Fix the Parse.nQueryLoop state variable to work with NGQP.

FossilOrigin-Name: f1cac24f06b9c71cfa472fdcf2da4cd8689a7cc3

Use a logarithmic rather than linear cost and row-count measures.
Do not report row count estimates in EQP output.

FossilOrigin-Name: b777b1097dcf9dfeb1b86c71e1b5f6918d68c975

Fixes to EXPLAIN QUERY PLAN output.  Change weights back to something closer
to what they are in legacy.  More test case fixes.

FossilOrigin-Name: 36373b85f9a97840aa06e24ae31c12fcfbae084e

Handle virtual tables correctly when using logarithmic costs.  Fixes
to test cases.

FossilOrigin-Name: e612664aa2e24ed5e222be2c7fe16e210ac9bded

Fix test cases for the new EXPLAIN QUERY PLAN format.  Add the
wherecosttest tool.  Other fixes to logarithm cost.

FossilOrigin-Name: aa580e368e3c398b8377b80342dfdd906324c248

Fix some minor issues with logarithmic cost in NGQP.

FossilOrigin-Name: 69cf877283d362915edddf1822fbf7a9f86278b3

First attempt to store costs and row counts as a logarithm.

FossilOrigin-Name: 9e8109673c3a87e379f5a5a97a8b0d5a1afe853d

Simplification and performance tweak to the high-speed NGQP bypass.

FossilOrigin-Name: 0f8a38ee54208d6a477aa2482cd277b4808450f0

Performance improvements for whereScan methods.

FossilOrigin-Name: aae14350a37ad50e4607953ab496cba006032873

Add a high-speed bypass for the NGQP for the common case of a simply query
with quality constraints that outputs a single row.

FossilOrigin-Name: 8d1ba309211e8afa8be5520bbc1eecf6deacae07

Minor problems in the high-speed NGQP fixed.

FossilOrigin-Name: 20eeccf1f24dd762f1bee9c3fe628c70ff01627f

Fix the memory leak in CREATE TABLE that occurs if there are two or more
COLLATE clauses on the same column.

FossilOrigin-Name: 7e3820e5b989426c64af46f6bf862b91366ae954

Add test cases to demonstrate the memory leak on the COLLATE clause.

FossilOrigin-Name: 0a60212c9c8404ee079985a58094ed2b2b554d48

High-speed version of NGQP.  Still has some minor problems.

FossilOrigin-Name: db2415fa677b84cd0f6dd424283c94e98d246e3b

Candidate fix for a memory leak that occurs if a CREATE TABLE statement
contains two or more COLLATE clauses on the same column definition.

FossilOrigin-Name: 60fc77bc537b099bdd48916746109d0332f839af

Improve manual cleaning step performed by the multi-platform build tool for MSVC.

FossilOrigin-Name: d5bc1fe1c461bdb3d889ab2e50feb944881822a4

Must faster computation of estimated logarithm.

FossilOrigin-Name: dfbca3acaeb862f24f25e7810a16ff2066111ff4

Further prepare-time performance improvements.

FossilOrigin-Name: 02741d177bfc2fca23bc99974cd899eba13cb59a

Performance improvements.

FossilOrigin-Name: 9f8e84ab9874a8af826763b1669adb57abd493ea

Improved management of the space to hold WhereLoop.aLTerm[].

FossilOrigin-Name: d4141ecbea3abbe83525910684fbd89eb74eeb34

Remove some commented-out code that was mistakenly left in the previous
check-in.

FossilOrigin-Name: b4a5dbad36bceabc5c5350e7676af6ad42de04eb

Clean up and reorganize the elements of the various objects in the
analysis tree for the NGQP.

FossilOrigin-Name: bfc76ae1e94fc5b7fd2c9484a36a8dfe6655d165

Move the definitions of the WhereLevel and WhereInfo objects out of
sqliteInt.h and into where.c.  This will facilitate future refactoring
of the internal query planner data structures.

FossilOrigin-Name: 1574653b9b4522b489d4c62d9cf70166bb3bddfd

Performance improvement for the OR-clause analysis in the NGQP.

FossilOrigin-Name: 9b1c4954e468d0acfb5787e6bff56d50a3e7bc1a

Minor performance tuning of the NGQP.

FossilOrigin-Name: cbef38c2d123e7d5a02c2a2450e8b329e3e96ee9

Up until now the fts4 "unicode61" tokenizer has treated all private use codepoints except the first and last of each of the three ranges as alphanumeric (eligible to be part of tokens). This commit fixes this so that all private use codepoints are considered alphanumeric. In other words, it fixes the handling of codepoints 0xE000, 0xF8FF, 0xF0000, 0xFFFFD, 0x100000 and 0x10FFFD.

FossilOrigin-Name: 6cfd9af5250029c0d275be027b4208c48954a8a1

Performance tweak to whereLoopInsert().

FossilOrigin-Name: 1c4a78807b7a28c9976ca8c5722ff4e2e8755b7e

Add a test case contributed on the mailing list
that works in NGQP but fails in legacy.

FossilOrigin-Name: 96afe50866a08ed14e911c3c955030f7ab83a3ed

Update some variable names and comments in the ORDER BY optimizer.  Fix a
bug in the ORDER BY optimizer dealing with IS NULL constraints.  Updates
to test cases.

FossilOrigin-Name: cf96eb5945a9bab71104cb1581ee13ab30022566

Restore the PRAGMA reverse_unordered_selects behavior.

FossilOrigin-Name: f49cd6c4e752e39801f9d5de0bc370d26f43837c

Get the index-only optimization working for OR queries.

FossilOrigin-Name: 774d5ff857cfad3471401ed518ed0959eb912e6c

Test case updates.

FossilOrigin-Name: 0360fec7c093870269211447e9642b5ee34ff778

Better determination of when an index is UNIQUE.

FossilOrigin-Name: 63fd025ad98c33826342824c51436ac92e2bb579

Increase the estimated full-scan cost for an FTS3 table.

FossilOrigin-Name: 8d9f29f847f38612447c79a5fb366a9143ef6205

Fix a display issue with EXPLAIN QUERY PLAN.

FossilOrigin-Name: ff2fa407558360f2499b6df0392ab3cdb4788dec

Refactor the ORDER BY optimizer in the NGQP so that it is easier to maintain
and so that it can support optimizing out GROUP BY and DISTINCT clauses.

FossilOrigin-Name: e605c468e3a1163167831c4a6220825c0b5d083b

Remove more vestiges of sqlite_query_plan from the test cases.

FossilOrigin-Name: eb27086e8a8a4d5fcb2ea358256a555e34339423

Adjust the xBestIndex methods on both the fuzzer and transitive_closure
virtual tables so that an unused MATCH operator gets a really large cost.
Remove ambiguities from the fuzzer test cases.

FossilOrigin-Name: e2c1af78b65a8ace976fa6c035db212e1ffc79b8

Pull in recent trunk changes.  Fix the ORDER BY optimizer so that it is better
able to deal with COLLATE clauses.  Clean up ambiguities in the descidx1.test
script.

FossilOrigin-Name: 6bc71dfcf0ef757c5c2b426dd8fddc1e5ae0f598

Fix a typo in a collating function inside the e_reindex.test script.

FossilOrigin-Name: 4d74fccf02134a998a84097b021ba9d501e34ff0

Do not use an index fullscan for an UPDATE or DELETE or if disabled by
sqlite3_test_control() or sqlite3_config().

FossilOrigin-Name: fabb21854e662b1d8e5631e79f828d5322ceb595

Resolve ambiguities in test cases in collate2.test.

FossilOrigin-Name: dcbbcb2e6c85780276cb3a392549f70e21e94408

Fix a bug in the transitive_closure virtual table that NGQP exposes.
Update between.test module to avoid using sqlite_query_plan.

FossilOrigin-Name: aa66b864204b4b8717d845499132b987eb8ef924

Fix EXPLAIN QUERY PLAN row counts for the rtree virtual table tests.

FossilOrigin-Name: 15328987cc876d7a4e34561b6b0e08937aefe4be

Update the NGQP to make use of STAT3 information if it is available.

FossilOrigin-Name: ff134e6ee95d41b0e59e03bba7e94bc15b04ff8c

Honor the orderByConsumed boolean returned from virtual table query planner.

FossilOrigin-Name: aaf7f5896d3523531e1a9a1b90c4ad326f0c8fc7

Fix to the logic that disables constraints on virtual tables.

FossilOrigin-Name: 62d382406b28c1347e13114f42215939ddfd7a9d

Fix an issue that was causing ORDER BY DESC to come out in ascending order.

FossilOrigin-Name: 029840124022387a8f6d2e1a685a003688d0ef3a