The vtshim xCreate and xConnect functions need to store the pAux pointer into the newly created vtable object.  Style fixes.

FossilOrigin-Name: 43913c7bd5409791916dfa268258d22f34731273

Integration adjustments for the vtshim module.

FossilOrigin-Name: bf2e28ddb292ef0b9a1262ec249aed3243dcfb20

Add a prototype for an extension that sits in between the SQLite native code
virtual table interface and a CLR IDisposable object.

FossilOrigin-Name: 10bba8d0821159a45c6a0d6c3cef897cb4d4e9a6

Activate the one-pass optimization.  Update comments, especially the
descriptions of the various objects.

FossilOrigin-Name: e120c558a5bafc0f0d2cc12ee5c9d36e20cc642d

Bug fixes in the handling of virtual tables.

FossilOrigin-Name: 25c0f7292a20c0db6ef176966d9987f29c7d73e5

Merge all changes from trunk.

FossilOrigin-Name: f2e15b1974e55373b5819e3b2326653f890f409f

"make test" now passing.

FossilOrigin-Name: addd7f466d6ff55f82d907286650c26b06e9397b

Add the "queryplanner" test permutation.  Continuing refinements to NGQP.

FossilOrigin-Name: 25e2cde105a19293bdb9c001b48624e5d7f8c4e5

Continue refining the NGQP

FossilOrigin-Name: 40567fddd468d00295275af8df09a7a1785e684a

Improved processing of DISTINCT.

FossilOrigin-Name: ba897100fed291d2025f68d09334f9985312298b

Add the SQLITE_FTS3_MAX_EXPR_DEPTH compile time option.

FossilOrigin-Name: 24fc9d4438a5615dd20af5419456166df83a72ea

Fix the Parse.nQueryLoop state variable to work with NGQP.

FossilOrigin-Name: f1cac24f06b9c71cfa472fdcf2da4cd8689a7cc3

Use a logarithmic rather than linear cost and row-count measures.
Do not report row count estimates in EQP output.

FossilOrigin-Name: b777b1097dcf9dfeb1b86c71e1b5f6918d68c975

Fixes to EXPLAIN QUERY PLAN output.  Change weights back to something closer
to what they are in legacy.  More test case fixes.

FossilOrigin-Name: 36373b85f9a97840aa06e24ae31c12fcfbae084e

Handle virtual tables correctly when using logarithmic costs.  Fixes
to test cases.

FossilOrigin-Name: e612664aa2e24ed5e222be2c7fe16e210ac9bded

Fix test cases for the new EXPLAIN QUERY PLAN format.  Add the
wherecosttest tool.  Other fixes to logarithm cost.

FossilOrigin-Name: aa580e368e3c398b8377b80342dfdd906324c248

Fix some minor issues with logarithmic cost in NGQP.

FossilOrigin-Name: 69cf877283d362915edddf1822fbf7a9f86278b3

First attempt to store costs and row counts as a logarithm.

FossilOrigin-Name: 9e8109673c3a87e379f5a5a97a8b0d5a1afe853d

Simplification and performance tweak to the high-speed NGQP bypass.

FossilOrigin-Name: 0f8a38ee54208d6a477aa2482cd277b4808450f0

Performance improvements for whereScan methods.

FossilOrigin-Name: aae14350a37ad50e4607953ab496cba006032873

Add a high-speed bypass for the NGQP for the common case of a simply query
with quality constraints that outputs a single row.

FossilOrigin-Name: 8d1ba309211e8afa8be5520bbc1eecf6deacae07

Minor problems in the high-speed NGQP fixed.

FossilOrigin-Name: 20eeccf1f24dd762f1bee9c3fe628c70ff01627f

Fix the memory leak in CREATE TABLE that occurs if there are two or more
COLLATE clauses on the same column.

FossilOrigin-Name: 7e3820e5b989426c64af46f6bf862b91366ae954

Add test cases to demonstrate the memory leak on the COLLATE clause.

FossilOrigin-Name: 0a60212c9c8404ee079985a58094ed2b2b554d48

High-speed version of NGQP.  Still has some minor problems.

FossilOrigin-Name: db2415fa677b84cd0f6dd424283c94e98d246e3b

Candidate fix for a memory leak that occurs if a CREATE TABLE statement
contains two or more COLLATE clauses on the same column definition.

FossilOrigin-Name: 60fc77bc537b099bdd48916746109d0332f839af

Improve manual cleaning step performed by the multi-platform build tool for MSVC.

FossilOrigin-Name: d5bc1fe1c461bdb3d889ab2e50feb944881822a4

Must faster computation of estimated logarithm.

FossilOrigin-Name: dfbca3acaeb862f24f25e7810a16ff2066111ff4

Further prepare-time performance improvements.

FossilOrigin-Name: 02741d177bfc2fca23bc99974cd899eba13cb59a

Performance improvements.

FossilOrigin-Name: 9f8e84ab9874a8af826763b1669adb57abd493ea

Improved management of the space to hold WhereLoop.aLTerm[].

FossilOrigin-Name: d4141ecbea3abbe83525910684fbd89eb74eeb34

Remove some commented-out code that was mistakenly left in the previous
check-in.

FossilOrigin-Name: b4a5dbad36bceabc5c5350e7676af6ad42de04eb

Clean up and reorganize the elements of the various objects in the
analysis tree for the NGQP.

FossilOrigin-Name: bfc76ae1e94fc5b7fd2c9484a36a8dfe6655d165

Move the definitions of the WhereLevel and WhereInfo objects out of
sqliteInt.h and into where.c.  This will facilitate future refactoring
of the internal query planner data structures.

FossilOrigin-Name: 1574653b9b4522b489d4c62d9cf70166bb3bddfd

Performance improvement for the OR-clause analysis in the NGQP.

FossilOrigin-Name: 9b1c4954e468d0acfb5787e6bff56d50a3e7bc1a

Minor performance tuning of the NGQP.

FossilOrigin-Name: cbef38c2d123e7d5a02c2a2450e8b329e3e96ee9

Up until now the fts4 "unicode61" tokenizer has treated all private use codepoints except the first and last of each of the three ranges as alphanumeric (eligible to be part of tokens). This commit fixes this so that all private use codepoints are considered alphanumeric. In other words, it fixes the handling of codepoints 0xE000, 0xF8FF, 0xF0000, 0xFFFFD, 0x100000 and 0x10FFFD.

FossilOrigin-Name: 6cfd9af5250029c0d275be027b4208c48954a8a1

Performance tweak to whereLoopInsert().

FossilOrigin-Name: 1c4a78807b7a28c9976ca8c5722ff4e2e8755b7e

Add a test case contributed on the mailing list
that works in NGQP but fails in legacy.

FossilOrigin-Name: 96afe50866a08ed14e911c3c955030f7ab83a3ed

Update some variable names and comments in the ORDER BY optimizer.  Fix a
bug in the ORDER BY optimizer dealing with IS NULL constraints.  Updates
to test cases.

FossilOrigin-Name: cf96eb5945a9bab71104cb1581ee13ab30022566

Restore the PRAGMA reverse_unordered_selects behavior.

FossilOrigin-Name: f49cd6c4e752e39801f9d5de0bc370d26f43837c

Get the index-only optimization working for OR queries.

FossilOrigin-Name: 774d5ff857cfad3471401ed518ed0959eb912e6c

Test case updates.

FossilOrigin-Name: 0360fec7c093870269211447e9642b5ee34ff778

Better determination of when an index is UNIQUE.

FossilOrigin-Name: 63fd025ad98c33826342824c51436ac92e2bb579

Increase the estimated full-scan cost for an FTS3 table.

FossilOrigin-Name: 8d9f29f847f38612447c79a5fb366a9143ef6205

Fix a display issue with EXPLAIN QUERY PLAN.

FossilOrigin-Name: ff2fa407558360f2499b6df0392ab3cdb4788dec

Refactor the ORDER BY optimizer in the NGQP so that it is easier to maintain
and so that it can support optimizing out GROUP BY and DISTINCT clauses.

FossilOrigin-Name: e605c468e3a1163167831c4a6220825c0b5d083b

Remove more vestiges of sqlite_query_plan from the test cases.

FossilOrigin-Name: eb27086e8a8a4d5fcb2ea358256a555e34339423

Adjust the xBestIndex methods on both the fuzzer and transitive_closure
virtual tables so that an unused MATCH operator gets a really large cost.
Remove ambiguities from the fuzzer test cases.

FossilOrigin-Name: e2c1af78b65a8ace976fa6c035db212e1ffc79b8

Pull in recent trunk changes.  Fix the ORDER BY optimizer so that it is better
able to deal with COLLATE clauses.  Clean up ambiguities in the descidx1.test
script.

FossilOrigin-Name: 6bc71dfcf0ef757c5c2b426dd8fddc1e5ae0f598

Fix a typo in a collating function inside the e_reindex.test script.

FossilOrigin-Name: 4d74fccf02134a998a84097b021ba9d501e34ff0

Do not use an index fullscan for an UPDATE or DELETE or if disabled by
sqlite3_test_control() or sqlite3_config().

FossilOrigin-Name: fabb21854e662b1d8e5631e79f828d5322ceb595

Resolve ambiguities in test cases in collate2.test.

FossilOrigin-Name: dcbbcb2e6c85780276cb3a392549f70e21e94408

Fix a bug in the transitive_closure virtual table that NGQP exposes.
Update between.test module to avoid using sqlite_query_plan.

FossilOrigin-Name: aa66b864204b4b8717d845499132b987eb8ef924

Fix EXPLAIN QUERY PLAN row counts for the rtree virtual table tests.

FossilOrigin-Name: 15328987cc876d7a4e34561b6b0e08937aefe4be

Update the NGQP to make use of STAT3 information if it is available.

FossilOrigin-Name: ff134e6ee95d41b0e59e03bba7e94bc15b04ff8c

Honor the orderByConsumed boolean returned from virtual table query planner.

FossilOrigin-Name: aaf7f5896d3523531e1a9a1b90c4ad326f0c8fc7

Fix to the logic that disables constraints on virtual tables.

FossilOrigin-Name: 62d382406b28c1347e13114f42215939ddfd7a9d

Fix an issue that was causing ORDER BY DESC to come out in ascending order.

FossilOrigin-Name: 029840124022387a8f6d2e1a685a003688d0ef3a

Virtual tables now always report 25 rows instead of 0 rows in the
EXPLAIN QUERY PLAN output.  Adjust tests accordingly.

FossilOrigin-Name: 7d91f688815597ff65ec04b7daa21cb9e5d6bf98

Set the WHERE_UNIQUE flag on loops that can only run once.

FossilOrigin-Name: 510f4d8ecf6eb284f14b91951e7236505bd71203

Add test cases to verify that ticket [bc1aea7b725f2761] has been fixed in
the NGQP.

FossilOrigin-Name: 9b97af94ae7b1624ef1f5adee58010593fbb8b1c

Enhance the shell to provide more flexibility when entering numeric arguments
on dot-commands.  In particular, allow hexadecimal arguments to .wheretrace
and .testctrl commands.  Cherrypick from [b9578c371ee5].

FossilOrigin-Name: 3bd5ad095b23102dd3379cb62997cbf23cc67b7a

Further improvements to error handling of the run-time loading of SQLite
into TCL.

FossilOrigin-Name: 7cc0c4ee11ad250fa848e7da4713d70fc0fa3715

The NGQP might not find a solution if INDEXED BY constraints on the query
are set wrong.  If that is the case, print a "no query solution" error
and abort before trying to use the non-existant solution.

FossilOrigin-Name: 42511a7e12a70cf3436d25e4d069e5d309dfd678

Do not search using ON clause constraints of LEFT JOINs to the right of
the table.

FossilOrigin-Name: 723f901a63313b64a9f10516711fb6136526b79b

Make sure a unique cursor number is allocated for automatic indices.

FossilOrigin-Name: 433d1aecd399590b767ebf07b32023fb718a6574

Do not attempt to generate code in the NGQP if there have been prior errors,
since with prior errors some of the expressions might not be fully
named resolved.

FossilOrigin-Name: 665e4291c6e78f11d7181c18c5f2418d1adfcb1c

Fix a problem with code generation on LEFT JOIN of tables without an index.

FossilOrigin-Name: 0b1bee92a0d25f409d5a95f484b05ddf10ae945f

Another virtual table fix in NGQP.

FossilOrigin-Name: 2f2ce4167728399cc30bef045aab500940af978c

Fix problems in the virtual table logic for NGQP.

FossilOrigin-Name: 23af28e24b8f7ffacd006978b25bab990a43b8c5

Remove the definitions of objects that are no longer used:  WhereCost,
WherePlan, and WhereBestIdx.

FossilOrigin-Name: 816f8add7e60de2ef8df4fdac090c244f8dbda39

Improved handling of errors when doing run-time loading of an SQLite
shared-library into TCL.

FossilOrigin-Name: b3f23d186425d2362b756708cbaf422ba3c751f9

Allow tracing of whereLoopInsert() when the 0x8 bit is set on ".wheretrace".
Remove the use of sqlite_query_plan from where2.test.  Fix a bug in the
code generator for OR clause optimizations.

FossilOrigin-Name: 707f0323264c35be14847a6adc49a0dc5eaf4ad2

Enhance the shell to provide more flexibility when entering numeric arguments
on dot-commands.  In particular, allow hex arguments to .wheretrace.

FossilOrigin-Name: b9578c371ee569dca6a0964019959a93407c8ef9

Futher enhancements to the ORDER BY optimizer.

FossilOrigin-Name: d8efa5f8b60bc4c8df8bfad077f87f76f7ee9bf6

Improved detection of unnecessary ORDER BY clauses.

FossilOrigin-Name: 58805eb36b9975706e2c4e382689519454e9a504

Fix the constructAutomaticIndex() routine so that it works with NGQP.

FossilOrigin-Name: 5e1e61399513b4a95fd93df2377a2603f1670063

Improvements to the ORDER BY suppressor in the NGQP.

FossilOrigin-Name: 24a2e9ddcecd3926817d77abbb75d068ee7140ad

Incremental check-in with various NGQP fixes.  Many tests still fail.

FossilOrigin-Name: a51d8c92496436488e1a6eabd85785e8fedf2736

Futher simplifications to the NGQP.  Fix some test cases to use
EXPLAIN QUERY PLAN rather than the (now obsolete) sqlite_query_plan
global variable.

FossilOrigin-Name: ae985db4fa08b5efbef5a834e852f0b05101264b

The expected result in a test case can be of the form "*glob*" or "~*glob*" to
match or not match the GLOB pattern.  This is useful for matching
EXPLAIN QUERY PLAN output that contains regular expression syntax characters
like "?", "(", and ")".

FossilOrigin-Name: a3b4e261bd7e278f150872cce7b020af5ad8d2ed

Cut over the NGQP query planner.  Remove lots of legacy code.
This check-in compiles but does not work.  The test suite gets incorrect
answers and crashes.

FossilOrigin-Name: 001539df4b74dc1cbceb010a91407003ab4d8735

Merge recent trunk changes into the NGQP branch.

FossilOrigin-Name: aebe1f2603ee04d792af73aaf59625bda99d5cd1

Updates to the Codec interface to support codecs on attached databases and
to allow rekeying in the middle of a transaction.  These changes are only
applicable if SQLite is compiled with SQLITE_HAS_CODEC.

FossilOrigin-Name: d5b084e9d8cfe9c0c339aca076d472bb50aa764c

Add tests for running FTS 'merge' and 'optimize' commands in shared cache mode.

FossilOrigin-Name: 09e5a7ad85dc592fce868a2d0f8719c6915ccb47

Add the percentile() SQL function as a loadable
extension in the ext/misc directory.

FossilOrigin-Name: a64d760d9290b1be78cdda7ae66d4f02c3b3fa53

Finish removing the sqlite3.inTrans field.  In the previous check-in, it was
merely commented out because I failed to select File->Save on my text editor.

FossilOrigin-Name: 2f97e38a6611cb17c24d74332d3ac3777dc0dd3e

Remove the obsolete and unused sqlite3.inTrans field.

FossilOrigin-Name: c3381cd4957013d46075996c3b865177c888d2a8

Many small harmless comment changes.  Removal of obsolete comments and
fixing misspelled words.  No changes to code.

FossilOrigin-Name: a0d5cc9315dc6e9ef7dee4c3dfabf4e562d64376

Merge autoconf-package branch with trunk.

FossilOrigin-Name: a72f50ef76a5f8a3d5a6a758ec88009c12127f06

Add the "dist" target to main.mk. For building the amalgamation autoconf package.

FossilOrigin-Name: 3fdc8b56493350fc4854fb1eaefe29ac87784f91

Update the NGQP to record which loops need be run in reverse order to
satisfy ORDER BY clauses.

FossilOrigin-Name: 211f7a5374fe20a02535edc8b799a8a7136ff6b3

Add the files used to build the amalgamation-autoconf package.

FossilOrigin-Name: 048865e8fdd2bef6b43b6cebd45fae94c8a1ab20

When writing to an FTS table, take an exclusive shared-cache lock on the %_segdir table before writing. Otherwise, an xCommit() call may report an SQLITE_LOCKED error.

FossilOrigin-Name: 3cd2da42e9403b1e6243ad53f3f2bbf89c0fb9b0

Record in the WhereLoop object the set of virtual table constraints that
need not be separately checked.

FossilOrigin-Name: b49fa74561f38c945be6149693678fd6518c2de4

Merge the latest trunk changes into the NGQP branch.

FossilOrigin-Name: 7c8f992c04504a132686ad0652efdff19e43480d

Set _XOPEN_SOURCE to 600 so that fchmod() will (hopefully) work on FreeBSD.

FossilOrigin-Name: 61a10452399db28cd5ea4ba9d416b87a34c2eddb

Fix harmless compiler warnings in the shell.

FossilOrigin-Name: 9e2c17c5358b156b588542dbba38da7fedf5302b

Add OGC GeoPackage files to the magic.txt database.

FossilOrigin-Name: dab6a32847ce17f12e3a2b09a3567945b2154f67