Handle virtual tables correctly when using logarithmic costs.  Fixes
to test cases.

FossilOrigin-Name: e612664aa2e24ed5e222be2c7fe16e210ac9bded

Fix test cases for the new EXPLAIN QUERY PLAN format.  Add the
wherecosttest tool.  Other fixes to logarithm cost.

FossilOrigin-Name: aa580e368e3c398b8377b80342dfdd906324c248

Fix some minor issues with logarithmic cost in NGQP.

FossilOrigin-Name: 69cf877283d362915edddf1822fbf7a9f86278b3

First attempt to store costs and row counts as a logarithm.

FossilOrigin-Name: 9e8109673c3a87e379f5a5a97a8b0d5a1afe853d

Simplification and performance tweak to the high-speed NGQP bypass.

FossilOrigin-Name: 0f8a38ee54208d6a477aa2482cd277b4808450f0

Performance improvements for whereScan methods.

FossilOrigin-Name: aae14350a37ad50e4607953ab496cba006032873

Add a high-speed bypass for the NGQP for the common case of a simply query
with quality constraints that outputs a single row.

FossilOrigin-Name: 8d1ba309211e8afa8be5520bbc1eecf6deacae07

Minor problems in the high-speed NGQP fixed.

FossilOrigin-Name: 20eeccf1f24dd762f1bee9c3fe628c70ff01627f

High-speed version of NGQP.  Still has some minor problems.

FossilOrigin-Name: db2415fa677b84cd0f6dd424283c94e98d246e3b

Must faster computation of estimated logarithm.

FossilOrigin-Name: dfbca3acaeb862f24f25e7810a16ff2066111ff4

Further prepare-time performance improvements.

FossilOrigin-Name: 02741d177bfc2fca23bc99974cd899eba13cb59a

Performance improvements.

FossilOrigin-Name: 9f8e84ab9874a8af826763b1669adb57abd493ea

Improved management of the space to hold WhereLoop.aLTerm[].

FossilOrigin-Name: d4141ecbea3abbe83525910684fbd89eb74eeb34

Remove some commented-out code that was mistakenly left in the previous
check-in.

FossilOrigin-Name: b4a5dbad36bceabc5c5350e7676af6ad42de04eb

Clean up and reorganize the elements of the various objects in the
analysis tree for the NGQP.

FossilOrigin-Name: bfc76ae1e94fc5b7fd2c9484a36a8dfe6655d165

Move the definitions of the WhereLevel and WhereInfo objects out of
sqliteInt.h and into where.c.  This will facilitate future refactoring
of the internal query planner data structures.

FossilOrigin-Name: 1574653b9b4522b489d4c62d9cf70166bb3bddfd

Performance improvement for the OR-clause analysis in the NGQP.

FossilOrigin-Name: 9b1c4954e468d0acfb5787e6bff56d50a3e7bc1a

Minor performance tuning of the NGQP.

FossilOrigin-Name: cbef38c2d123e7d5a02c2a2450e8b329e3e96ee9

Performance tweak to whereLoopInsert().

FossilOrigin-Name: 1c4a78807b7a28c9976ca8c5722ff4e2e8755b7e

Add a test case contributed on the mailing list
that works in NGQP but fails in legacy.

FossilOrigin-Name: 96afe50866a08ed14e911c3c955030f7ab83a3ed

Update some variable names and comments in the ORDER BY optimizer.  Fix a
bug in the ORDER BY optimizer dealing with IS NULL constraints.  Updates
to test cases.

FossilOrigin-Name: cf96eb5945a9bab71104cb1581ee13ab30022566

Restore the PRAGMA reverse_unordered_selects behavior.

FossilOrigin-Name: f49cd6c4e752e39801f9d5de0bc370d26f43837c

Get the index-only optimization working for OR queries.

FossilOrigin-Name: 774d5ff857cfad3471401ed518ed0959eb912e6c

Test case updates.

FossilOrigin-Name: 0360fec7c093870269211447e9642b5ee34ff778

Better determination of when an index is UNIQUE.

FossilOrigin-Name: 63fd025ad98c33826342824c51436ac92e2bb579

Increase the estimated full-scan cost for an FTS3 table.

FossilOrigin-Name: 8d9f29f847f38612447c79a5fb366a9143ef6205

Fix a display issue with EXPLAIN QUERY PLAN.

FossilOrigin-Name: ff2fa407558360f2499b6df0392ab3cdb4788dec

Refactor the ORDER BY optimizer in the NGQP so that it is easier to maintain
and so that it can support optimizing out GROUP BY and DISTINCT clauses.

FossilOrigin-Name: e605c468e3a1163167831c4a6220825c0b5d083b

Remove more vestiges of sqlite_query_plan from the test cases.

FossilOrigin-Name: eb27086e8a8a4d5fcb2ea358256a555e34339423

Adjust the xBestIndex methods on both the fuzzer and transitive_closure
virtual tables so that an unused MATCH operator gets a really large cost.
Remove ambiguities from the fuzzer test cases.

FossilOrigin-Name: e2c1af78b65a8ace976fa6c035db212e1ffc79b8

Pull in recent trunk changes.  Fix the ORDER BY optimizer so that it is better
able to deal with COLLATE clauses.  Clean up ambiguities in the descidx1.test
script.

FossilOrigin-Name: 6bc71dfcf0ef757c5c2b426dd8fddc1e5ae0f598

Fix a typo in a collating function inside the e_reindex.test script.

FossilOrigin-Name: 4d74fccf02134a998a84097b021ba9d501e34ff0

Do not use an index fullscan for an UPDATE or DELETE or if disabled by
sqlite3_test_control() or sqlite3_config().

FossilOrigin-Name: fabb21854e662b1d8e5631e79f828d5322ceb595

Resolve ambiguities in test cases in collate2.test.

FossilOrigin-Name: dcbbcb2e6c85780276cb3a392549f70e21e94408

Fix a bug in the transitive_closure virtual table that NGQP exposes.
Update between.test module to avoid using sqlite_query_plan.

FossilOrigin-Name: aa66b864204b4b8717d845499132b987eb8ef924

Fix EXPLAIN QUERY PLAN row counts for the rtree virtual table tests.

FossilOrigin-Name: 15328987cc876d7a4e34561b6b0e08937aefe4be

Update the NGQP to make use of STAT3 information if it is available.

FossilOrigin-Name: ff134e6ee95d41b0e59e03bba7e94bc15b04ff8c

Honor the orderByConsumed boolean returned from virtual table query planner.

FossilOrigin-Name: aaf7f5896d3523531e1a9a1b90c4ad326f0c8fc7

Fix to the logic that disables constraints on virtual tables.

FossilOrigin-Name: 62d382406b28c1347e13114f42215939ddfd7a9d

Fix an issue that was causing ORDER BY DESC to come out in ascending order.

FossilOrigin-Name: 029840124022387a8f6d2e1a685a003688d0ef3a

Virtual tables now always report 25 rows instead of 0 rows in the
EXPLAIN QUERY PLAN output.  Adjust tests accordingly.

FossilOrigin-Name: 7d91f688815597ff65ec04b7daa21cb9e5d6bf98

Set the WHERE_UNIQUE flag on loops that can only run once.

FossilOrigin-Name: 510f4d8ecf6eb284f14b91951e7236505bd71203

Add test cases to verify that ticket [bc1aea7b725f2761] has been fixed in
the NGQP.

FossilOrigin-Name: 9b97af94ae7b1624ef1f5adee58010593fbb8b1c

Enhance the shell to provide more flexibility when entering numeric arguments
on dot-commands.  In particular, allow hexadecimal arguments to .wheretrace
and .testctrl commands.  Cherrypick from [b9578c371ee5].

FossilOrigin-Name: 3bd5ad095b23102dd3379cb62997cbf23cc67b7a

Further improvements to error handling of the run-time loading of SQLite
into TCL.

FossilOrigin-Name: 7cc0c4ee11ad250fa848e7da4713d70fc0fa3715

The NGQP might not find a solution if INDEXED BY constraints on the query
are set wrong.  If that is the case, print a "no query solution" error
and abort before trying to use the non-existant solution.

FossilOrigin-Name: 42511a7e12a70cf3436d25e4d069e5d309dfd678

Do not search using ON clause constraints of LEFT JOINs to the right of
the table.

FossilOrigin-Name: 723f901a63313b64a9f10516711fb6136526b79b

Make sure a unique cursor number is allocated for automatic indices.

FossilOrigin-Name: 433d1aecd399590b767ebf07b32023fb718a6574

Do not attempt to generate code in the NGQP if there have been prior errors,
since with prior errors some of the expressions might not be fully
named resolved.

FossilOrigin-Name: 665e4291c6e78f11d7181c18c5f2418d1adfcb1c

Fix a problem with code generation on LEFT JOIN of tables without an index.

FossilOrigin-Name: 0b1bee92a0d25f409d5a95f484b05ddf10ae945f

Another virtual table fix in NGQP.

FossilOrigin-Name: 2f2ce4167728399cc30bef045aab500940af978c

Fix problems in the virtual table logic for NGQP.

FossilOrigin-Name: 23af28e24b8f7ffacd006978b25bab990a43b8c5

Remove the definitions of objects that are no longer used:  WhereCost,
WherePlan, and WhereBestIdx.

FossilOrigin-Name: 816f8add7e60de2ef8df4fdac090c244f8dbda39

Improved handling of errors when doing run-time loading of an SQLite
shared-library into TCL.

FossilOrigin-Name: b3f23d186425d2362b756708cbaf422ba3c751f9

Allow tracing of whereLoopInsert() when the 0x8 bit is set on ".wheretrace".
Remove the use of sqlite_query_plan from where2.test.  Fix a bug in the
code generator for OR clause optimizations.

FossilOrigin-Name: 707f0323264c35be14847a6adc49a0dc5eaf4ad2

Enhance the shell to provide more flexibility when entering numeric arguments
on dot-commands.  In particular, allow hex arguments to .wheretrace.

FossilOrigin-Name: b9578c371ee569dca6a0964019959a93407c8ef9

Futher enhancements to the ORDER BY optimizer.

FossilOrigin-Name: d8efa5f8b60bc4c8df8bfad077f87f76f7ee9bf6

Improved detection of unnecessary ORDER BY clauses.

FossilOrigin-Name: 58805eb36b9975706e2c4e382689519454e9a504

Fix the constructAutomaticIndex() routine so that it works with NGQP.

FossilOrigin-Name: 5e1e61399513b4a95fd93df2377a2603f1670063

Improvements to the ORDER BY suppressor in the NGQP.

FossilOrigin-Name: 24a2e9ddcecd3926817d77abbb75d068ee7140ad

Incremental check-in with various NGQP fixes.  Many tests still fail.

FossilOrigin-Name: a51d8c92496436488e1a6eabd85785e8fedf2736

Futher simplifications to the NGQP.  Fix some test cases to use
EXPLAIN QUERY PLAN rather than the (now obsolete) sqlite_query_plan
global variable.

FossilOrigin-Name: ae985db4fa08b5efbef5a834e852f0b05101264b

The expected result in a test case can be of the form "*glob*" or "~*glob*" to
match or not match the GLOB pattern.  This is useful for matching
EXPLAIN QUERY PLAN output that contains regular expression syntax characters
like "?", "(", and ")".

FossilOrigin-Name: a3b4e261bd7e278f150872cce7b020af5ad8d2ed

Cut over the NGQP query planner.  Remove lots of legacy code.
This check-in compiles but does not work.  The test suite gets incorrect
answers and crashes.

FossilOrigin-Name: 001539df4b74dc1cbceb010a91407003ab4d8735

Merge recent trunk changes into the NGQP branch.

FossilOrigin-Name: aebe1f2603ee04d792af73aaf59625bda99d5cd1

Updates to the Codec interface to support codecs on attached databases and
to allow rekeying in the middle of a transaction.  These changes are only
applicable if SQLite is compiled with SQLITE_HAS_CODEC.

FossilOrigin-Name: d5b084e9d8cfe9c0c339aca076d472bb50aa764c

Add tests for running FTS 'merge' and 'optimize' commands in shared cache mode.

FossilOrigin-Name: 09e5a7ad85dc592fce868a2d0f8719c6915ccb47

Add the percentile() SQL function as a loadable
extension in the ext/misc directory.

FossilOrigin-Name: a64d760d9290b1be78cdda7ae66d4f02c3b3fa53

Finish removing the sqlite3.inTrans field.  In the previous check-in, it was
merely commented out because I failed to select File->Save on my text editor.

FossilOrigin-Name: 2f97e38a6611cb17c24d74332d3ac3777dc0dd3e

Remove the obsolete and unused sqlite3.inTrans field.

FossilOrigin-Name: c3381cd4957013d46075996c3b865177c888d2a8

Many small harmless comment changes.  Removal of obsolete comments and
fixing misspelled words.  No changes to code.

FossilOrigin-Name: a0d5cc9315dc6e9ef7dee4c3dfabf4e562d64376

Merge autoconf-package branch with trunk.

FossilOrigin-Name: a72f50ef76a5f8a3d5a6a758ec88009c12127f06

Add the "dist" target to main.mk. For building the amalgamation autoconf package.

FossilOrigin-Name: 3fdc8b56493350fc4854fb1eaefe29ac87784f91

Update the NGQP to record which loops need be run in reverse order to
satisfy ORDER BY clauses.

FossilOrigin-Name: 211f7a5374fe20a02535edc8b799a8a7136ff6b3

Add the files used to build the amalgamation-autoconf package.

FossilOrigin-Name: 048865e8fdd2bef6b43b6cebd45fae94c8a1ab20

When writing to an FTS table, take an exclusive shared-cache lock on the %_segdir table before writing. Otherwise, an xCommit() call may report an SQLITE_LOCKED error.

FossilOrigin-Name: 3cd2da42e9403b1e6243ad53f3f2bbf89c0fb9b0

Record in the WhereLoop object the set of virtual table constraints that
need not be separately checked.

FossilOrigin-Name: b49fa74561f38c945be6149693678fd6518c2de4

Merge the latest trunk changes into the NGQP branch.

FossilOrigin-Name: 7c8f992c04504a132686ad0652efdff19e43480d

Set _XOPEN_SOURCE to 600 so that fchmod() will (hopefully) work on FreeBSD.

FossilOrigin-Name: 61a10452399db28cd5ea4ba9d416b87a34c2eddb

Fix harmless compiler warnings in the shell.

FossilOrigin-Name: 9e2c17c5358b156b588542dbba38da7fedf5302b

Add OGC GeoPackage files to the magic.txt database.

FossilOrigin-Name: dab6a32847ce17f12e3a2b09a3567945b2154f67

Have the "make fulltest" command run the "mmap" permutation test.

FossilOrigin-Name: 82ad373f85aa0a87d24c6dbb2ea7dca8c5aff56a

Avoid unnecessary calls to FCNTL_SIZE_HINT. Return an error to the user if the file-control invoked by "PRAGMA mmap_size" returns a value other than SQLITE_OK or SQLITE_NOTFOUND.

FossilOrigin-Name: 40cfde8b4a59a09e52e62f9f029f8d3b32eb15fa

Cause the mmap_size PRAGMA to immediately change the mmap space if the
database connection is already active.  In particular, reducing mmap_size
will immediately free up process address space.

FossilOrigin-Name: 761177927cb51e4f5e66061ca39cf37edbe8346b

Use the NGQP plan for EXPLAIN QUERY PLAN output.  This change causes 207
errors in veryquick.test, many of which are benign.

FossilOrigin-Name: f783e8e6b10de44029c7c5f57e4648a4a677ca1b

Allow the rowid at the end of an index to be used in a constraint on that index.

FossilOrigin-Name: 9bf0524df7ca2e7fcd92b2878a8457264b3c7f6e

Improvements to ORDER BY handling in the NGQP.  Fix an "exit" mistakenly
left in a test script during the previous check-in.

FossilOrigin-Name: 12c709b4369c7d94d7fb743d0d0da7a9350a3d16

Enhanced "wheretrace" output in the NGQP solver routine.

FossilOrigin-Name: 04dfb85a2a7025d4b5056b73fa8477691323919f

Work toward improving the NGQP's ability to optimize out ORDER BY clauses.

FossilOrigin-Name: 67367f1e1f0c3eb6be65eea9873910aa62b49884

Merge in all trunk changes up through the 3.7.17 release.

FossilOrigin-Name: 14ab6675e5eab3761256a06dad23d2b11220788a

Version 3.7.17

FossilOrigin-Name: 118a3b35693b134d56ebd780123b7fd6f1497668

Remove a stray tab character from the transitive_closure extension source code.

FossilOrigin-Name: 7a9aa21c3506a10ab9465540e81071b39bca447d

Fix a bug in SQLITE_TRACE_SIZE_LIMIT that was introduced by
check-in [1a1cf5aa86734c8].  That check-in was to remove harmless
compiler warnings.  So once again, we have introduced a real bug
into SQLite by attempting to eliminate a harmless compiler warning.

FossilOrigin-Name: cec2bcb45aa3f0438e19381ac863f0f876a1d1ad

In test file test_syscall.c, include sqliteInt.h before any tcl or system include files. This ensures that the magical defines in sqliteInt.h really do enable large file support (and set things up so that sizeof(off_t)==8).

FossilOrigin-Name: 0f355bb17f256c6322e63a95835a67949aa48fb3

Use sum() instead of total() in mptest/multiwrite01.test too.

FossilOrigin-Name: d0c2288c723e276957318be433e25746811b0ff7

Use sum() instead of total() in the mptest/crash01.test script.

FossilOrigin-Name: 8ba0fc98115f05ebed7ea945e156379c39e92de2

Add extra "PRAGMA mmap_size = N" statements to mmap1.test and mmap2.test.

FossilOrigin-Name: cec0a06c17435d5a35e76b52d6901ecda98f9916

In os_unix.c and os_win.c, initialize the default mmap-limit of a new file descriptor to the current global default mmap-limit, not the current global maximum allowable mmap-limit.

FossilOrigin-Name: 1def4ea3a02afc19648f4cd928b247f8fa55da80

Fix minor test script issues causing releasetest.tcl to fail.

FossilOrigin-Name: d8ded9d8a1052885ce223c70efa55c0dd8b9920e

Fix a typo in Makefile.in preventing compilation with the --disable-amalgamation option.

FossilOrigin-Name: 8ffbefe7d72d25984440c0e7c92a5e9c472ed55e