First attempt to get ORDER BY optimization working in NGQP.

FossilOrigin-Name: 9fe20292558bb9422de91e35648cb834cbf3b306

Minor fixes to the OR-clause processing in the NGQP.

FossilOrigin-Name: d6946f33c7851aa7efb04b93ac2ae1ac50c26eec

Now generating OR-clause plans.

FossilOrigin-Name: e17003fcfec0c0b524b1b9ff8e15e7ee83efa571

Update the NGQP so that it can produce plans that include automatic indices.

FossilOrigin-Name: 586b55d8d7722de1c0530b3b832bae0511e6d05c

Factor out common operations into whereLoopAddAll().  Add stubs for
missing features.

FossilOrigin-Name: 0278e420614e02fb2d8474ed99b0904275882dfe

Merge in the latest trunk changes.

FossilOrigin-Name: 5ed31c8279a4f465b982df5dc20cefc286928b93

Free up bits of wsFlags for reuse.  Install the ORDER BY optimization
infrastructure for the NGQP.

FossilOrigin-Name: 82d50e198025a2fdb8ee733edb8419d388ee5362

Add assert()s to the implementation of xRead() in the built-in VFSes to
verify that the offset parameter is always non-negative.

FossilOrigin-Name: cf5c3642247fdd34d87f0368594cd7b8f081636a

Do not move WHERE clause terms inside OR expressions that are contained
within an ON clause of a LEFT JOIN.  Fix for ticket [f2369304e47167e3e].

FossilOrigin-Name: 1128575d0ab24f7023a0f6e6ce4828b9a09a7c6c

Refine and reform all Windows OSTRACE macro usage.  Replace all usage of sqlite3TestErrorName() with sqlite3ErrName() and add missing return codes.

FossilOrigin-Name: 610425f19008b8b5d4bf027c8b14d97ec3115a54

Fix memory leaks in the NGQP logic for virtual tables.

FossilOrigin-Name: 3c2e83a4a2c5e85202162feeb37ef7a3911c05a3

Fix a couple of harmless compiler warnings in the fts3_tokenize virtual
table.

FossilOrigin-Name: 1fa8c457394c94864f7584e4c893ec09e685fba4

Make sure the ORDER BY collating sequences are compatible with the
comparison collations before using the merge algorithm for compound
SELECT statements.  Fix for ticket [6709574d2a8d8].

FossilOrigin-Name: ce853a75068073d6acc8bec0819505a22c4c7e69

Fix the wholenumber virtual table so that it returns higher costs for
unconstrained usage.  Cherrypick from [ceff8955020cd13].

FossilOrigin-Name: 7227b61512a534645c73883c2e37b4e647592e5d

NGQP working with virtualt tables, though many legacy tests fail and there
are yet some memory leaks.

FossilOrigin-Name: bd9327a9684b99978734ccd561eea1ad864ab13b

Fix the wholenumber virtual table so that it returns higher costs for
unconstrained usage.

FossilOrigin-Name: ceff8955020cd1314bf1ab0af7d075fe2c0863e5

More bug fixes to the WhereLoop generator and the solver in NGQP.
Now finds the best plan for TPC-H Q8.  This seems to prove the
concept, but there is still much work to be done.

FossilOrigin-Name: 8e5aad37529ec3042e3468acf15186f566e2df8a

Bug fixes in the solver.

FossilOrigin-Name: b36034bbd19bc5677b26a6f60ca96eb2b37db373

Add the NGQP solver.

FossilOrigin-Name: 5d37587c50d8932b6357bfd03152a851510a4317

Continued progress on generating good WhereLoop objects for the new query
planner.

FossilOrigin-Name: 15cc8a16482777d8e138c4d0863faf8d54fef33a

Inserting a few WhereLoop objects without leaking memory.  Costs are
not correct.  Inequality and IN constraints are not implemented.

FossilOrigin-Name: e8881a8b2f25f38bc8ff77619f96f38fe530d13b

Make sure the ORDER BY collating sequences are compatible with the
comparison collations before using the merge algorithm for compound
SELECT statements.  Candidate fix for ticket [6709574d2a8d8].

FossilOrigin-Name: fc3630cdef6e2cdbfb4e7b373d1a094753e55016

Modify the fts3tokenize table implementation so that it does not use the SQL function fts3_tokenizer. The user may have installed an authorizer callback that prohibits this.

FossilOrigin-Name: 0ba67b64de258883e4c43db09e131bb67083855e

In the command-line shell, output the elements of the schema in the order
that they appear in the sqlite_master table.  This is necessary in some
cases to make the schema parsable.

FossilOrigin-Name: e5b3cd747bb0b484e38b8611a81925e2cc144435

In the command-line shell, make sure the output of dot-commands goes to
the same redirected output stream as the result of queries.
Ticket [2f96536e7ff7dba]

FossilOrigin-Name: b72d365920dbe45e61d8b1cff708a8858c2b3e33

Add an assert() to fts3_expr.c in order to silence a clang warning.

FossilOrigin-Name: d8dc2c5fb554eb5898ddc8d703c6a360af7fe023

Make sure the authorizer callback gets a valid pointer to "ROWID" for the
column-name parameter when doing an UPDATE that changes the rowid.
Fix for ticket [0eb70d77cb05bb2272].

FossilOrigin-Name: 26a59bb88d4082758eb281b365b57f9a0c059d89

In where.c, make findTerm() a wrapper around methods to a new WhereScan object
which is capable of finding all suitable matching terms, not just the first.
This check-in includes some prototype functions for building WhereLoop objects.

FossilOrigin-Name: dd92b8fa929badaf2f79e8a00c83667a9d589096

Add magic numbers for Bentley Systems application files.

FossilOrigin-Name: 9314b08099e7ac99a507a4799f2c6cdd6d597abb

Allocate meta(8) in the header as the "application ID" and add the
"PRAGMA application_id" command to query and set it.

FossilOrigin-Name: b2efe4f225adc5f4c2e3080bf459cc52fff82e18

Minor fixes for compilation with SQLITE_OMIT_WAL defined.

FossilOrigin-Name: b81e87e72b976e7157a53a50abc5422e2a6c4c39

Begin inserting some experimental code for the next generation query planner.

FossilOrigin-Name: ccaf4c3f7e1ec45e058d594d9b5c26818a37722a

Fix comments in the magic number file.

FossilOrigin-Name: 5a500848d2fa96fc7397e2acb64d5ae6551b5b1e

Preserve the application-ID across VACUUM.  Updates to the magic number
file.

FossilOrigin-Name: 4a190bea18e156b6fa4dc9f21c3ad32409049603

Allocate 4 bytes of unused header space for an "Application ID".  Add
the "PRAGMA application_id" command to set and query this identifier.
Add the "magic.txt" file to show how the posix file command might use
this application id.

FossilOrigin-Name: 28c9e7fdee2471a3026ee05ff591194d5f398131

Do not use a transitive constraint to an IN operator where the RHS is a
constant if there exists a direct == operator to another table in an outer
loop.

FossilOrigin-Name: faedaeace9c7ed9a8aaf96700caee09db0c0c061

Avoid redundant constraint checking due to transitive constraints.

FossilOrigin-Name: 329478cbed06f93652de50abdb31a6b41af02b9e

Update the documentation to explain that when the 3rd parameter to
sqlite3_bind_text() and friends is NULL the result is to bind a NULL
SQL value.  Ticket [19b44e35753ba]

FossilOrigin-Name: bd92de0e8d922b96513c5d431493800dda7e7562

Make sure extra parentheses around subqueries in the FROM clause are harmless.
Ticket [28c6e830f239ea5].

FossilOrigin-Name: 1c79569226db3d5a73e65a35877635ea8b478866

Add the #ifdefs for sqlite3ErrName() to sqliteInt.h as well.

FossilOrigin-Name: 400fc4c37ff34e84f5a129a083a567bda840278e

Define the sqlite3ErrName() function only when necessary. More robust handling of unknown return codes.

FossilOrigin-Name: e47cd314371c2be6e00d96392b3892a7f3015f98

Improve the error message issued when an FTS query exceeds the maximum allowable tree depth.

FossilOrigin-Name: f480b1fe6012f36c59cd0525efdc6df74143ccd0

Fix an off-by-one in the code for limiting the depth of FTS expression trees.

FossilOrigin-Name: 72ac73189c3577740a77d2ea2fc7118391c0703f

Merge mmap test fix from trunk.

FossilOrigin-Name: 95811877fdcbede4f61269ff1c7a6d9554f669cd

Fix mmap1.test so that it passes on windows as well as unix.

FossilOrigin-Name: 52417eac3ecaec2dbbde170334358f5ddbd32501

Adjust a WAL test result due to changes in the corresponding return code name.

FossilOrigin-Name: 9272009f7932b3f18006f73776e36b8ef8770d3e

Merge updates from trunk.

FossilOrigin-Name: 3a245a832d4843802c3c57f8cda3e4e1d0d52622

Update 'fuzzerfault' test for its new module loading command.  Fix several test names in 'io.test' and make sure the database gets closed between tests.

FossilOrigin-Name: e81e9ca11db09424dd310bbc91686a5daa618cb1

More refinements to Windows OSTRACE usage.  Replace all usage of sqlite3TestErrorName() with sqlite3ErrName() and add missing return codes.

FossilOrigin-Name: 05ba5e23fcc5da416d47a8ad5e667ed6a0c7a34a

Initial work on reforming usage of OSTRACE by the Windows VFS.

FossilOrigin-Name: b347b5d1a01301f44e6fd20ee03a9529ffd25788

Remove spellfix virtual table documentation from the source tree.
Reference the separate documentation on the website instead.

FossilOrigin-Name: adcf78909ff9064b6e3c4dd15ccd3245c8cf270b

Untested fix for building on VxWorks.

FossilOrigin-Name: f14d55cf358b0392d3b8cd61dc85f43a610a8edf

Fix a formatting typo in a comment.  No changes to code.

FossilOrigin-Name: 7a97226ffe174349e7113340f5354c4e44bd9738

Avoid unnecessarily reseting the pager cache after committing a transaction that takes advantage of the SQLITE_IOCAP_ATOMIC related optimization.

FossilOrigin-Name: c47144e98c0a0f9e09780c945de10c57b6a495ea

Avoid using posix_fallocate() in WAL mode, as it is not supported by all file-systems.

FossilOrigin-Name: 1bbb4be1a25947f75b2b0c6f368199016b6f7de3

Avoid using posix_fallocate() in WAL mode, as it is not supported by all file-systems.

FossilOrigin-Name: 9c7523dabf4aee609287732ce787c9b9a9087e7f

Update documentation with new hyperlinks.  No changes to code.

FossilOrigin-Name: 640eb54ad6aac9bc7109cba167389a9bcec3f21e

Rebalance FTS expressions after parsing to limit recursion during evaluation. Avoid recursion when deleting FTS expression trees. Enforce a limit (currently 12) on the depth of an expression tree.

FossilOrigin-Name: 49d23ef61f9ce2ffe13237b51a0e01b0b46ba96b

Merge another trunk change.

FossilOrigin-Name: 2648966f17bc1b783ef6d3b2368c613f6e02945e

Fix harmless compiler warnings in the FTS expression parser.

FossilOrigin-Name: 3c78af8c535e16518f18733325f4cd1df7ec8282

Reduce the default SQLITE_MAX_MMAP_SIZE slightly so that it fits in a
signed 32-bit integer.

FossilOrigin-Name: 460752b8575320163d2659bb7ff24aff41e2bb66

Merge latest trunk changes.

FossilOrigin-Name: 4d08e74d34e82f3be588049c9576a5c1008435e7

Rebalance FTS expressions after parsing to limit recursion during evaluation. Avoid recursion when deleting FTS expression trees. Enforce a limit on the depth of an expression tree.

FossilOrigin-Name: f968d43f80cc2f236e7d09ba1e8278343e2b6976

Added the nextchar.c extension.  Minor changes to the spellfix.c extension
so that it can be appended to an amalgamation and compiled without duplicating
symbols.

FossilOrigin-Name: 56b9a417f5451631f11c5206d625f11472ee65f9

Fix the tool/build-shell.sh script to remove references to files that are
now loadable extensions.

FossilOrigin-Name: aabeea98f53edde68f484f1794ae70789dac3889

Add wiki documentation files for the spellfix1 virtual table.

FossilOrigin-Name: 381564e91bbf619f99a48b0b7a94ac586cb9ee79

Merge the std-ext branch into trunk.  This merge adds several new extensions
to the ext/misc folder, including transitive_closure, ieee754, and amatch,
and it convers some older src/test_*.c file into extensions in the ext/misc
folder.

FossilOrigin-Name: bbe607c7d17c50b667990360e2ccfab8dd22f161

Added the transitive_closure, ieee754, and amatch extensions.

FossilOrigin-Name: 84018099c8715b982cd24ce9221f93c7379e8c08

Move the test_spellfix.c module to ext/misc/spellfix.c.

FossilOrigin-Name: de556add10150140981a2e34b3712e96a7c262e3

Fix the MSVC makefile so that it works with the ext/misc/*.c extensions.

FossilOrigin-Name: 680822e892f3efdb702eea3b321bc5785239dd56

Convert the fuzzer virtual table into a loadable extension and move it
to the ext/misc/fuzzer.c file.

FossilOrigin-Name: c8c69307f60c1d07ac666ae3797b7e3f286fd491

Make test_wholenumber.c into a loadable extension and move it to
ext/misc/wholenumber.c.

FossilOrigin-Name: efcc9dd012b5f193324dfc2ee9c2410c16fc1b3b

Make sure the affinity and datatype of sub-subqueries are initialized
prior to subqueries as the latter relies on the former.

FossilOrigin-Name: 39b4e6ff9316cc78ea88349091e195b8104d1e9e

Fix a simple comment typo.  No changes to code.

FossilOrigin-Name: f136bd95824dc95b9e6acdc4d55db263ba13fbaa

Make "test_regexp.c" into a loadable extension and move it over to
ext/misc/regexp.c.  Add the "load_static_extension" command for testing
purposes.

FossilOrigin-Name: 860fc393bff27045e0593c3c51bf5577accd0b79

Fix harmless compiler warnings.

FossilOrigin-Name: 1a1cf5aa86734c832d845e07780262a178188d56

Do not allow a virtual table to cancel the ORDER BY clause unless all
outer loops are guaranteed to return no more than one row result.
Candidate fix for ticket [ba82a4a41eac1].

FossilOrigin-Name: 49cfa14fceeef2d55b449eb927c283ce6f650c07

Update MSCV makefile for the fts3tokenize virtual table.  Clear some
harmless compiler warnings in the fts3tokenize code.

FossilOrigin-Name: 2b3fed09eb89f1e9d6a5f7487ef526b46eb51490

Add virtual table module 'fts3tokenize' to fts3. fts3tokenize provides SQL access to FTS tokenizer implementations.

FossilOrigin-Name: c5a4b21a15bd8a184380817ff41657acbccb866d

Enhanced documentation for the SQLITE_CONFIG_SQLLOG mechanism and the
test_sqllog.c demonstration file.  No changes to code.

FossilOrigin-Name: 206caf21f6f6963aa38a9aa0f6ea11c7230bb726

Use transitivity to move constraints into the outer loops of a join whenever
possible, thereby reducing the amount of work that needs to occur in
inner loops.

FossilOrigin-Name: 5f4907e1c6230e3dd904bd99e1c48c576c669f63

Add the "warning" command to the TCL test infrastructure.  Fix problems
with the loadext.test module.

FossilOrigin-Name: 514adbbd8cf3e296f55e8f803bddaac8ad8b2c96

Enhance the extension loading mechanism so that the same source code
can be used for run-time loadable extensions and statically linked
extensions, and to mask architectural differences in shared libraries.

FossilOrigin-Name: a85b6ecefa14fcfe6ebfceabf910f00c3721be7d

Make the SQLITE_EXTENSION_INIT1 and SQLITE_EXTENSION_INIT2 macros into
no-ops if the extension is statically linked.

FossilOrigin-Name: 86eb3eed4c70730dba0e319f243f8cb4fa8de06c

Experiments in making loadable extensions easier to program.  The
shared library filename tries various operating-system specific extensions
if the bare library name does not work.  And the entry point is derived
from the filename is the legacy entry point name "sqlite3_extension_init"
is not found.

FossilOrigin-Name: 6cfa1d73d79b9f0be8157f0a37c264dd95b031c8

Fix an incorrect comment (a copy/paste error) in the mptester.  No code
changes.

FossilOrigin-Name: e94783f36ade43ef9d5b94db278622bcbce4179b

Add the --breakpoint and --show-sql-errors commands to mptester.

FossilOrigin-Name: d0898fd76a54512894418e53ba28703e250c9ed3

Fix a compiler warning in sqlite3_compileoption_used().

FossilOrigin-Name: e9f9d84b223b69d36688cd7a4c7c696bfda8a1ad

Do not suppress the ORDER BY clause on a virtual table query if an IN
constraint is used.  Fix for ticket [f69b96e3076e].  Testing done on
TH3 using cov1/where37.test.

FossilOrigin-Name: 61b2a7be3b9c04bf45bffa93a7d3a480fc5c947a

Fix the --match command in mptester so that it checks the entire result,
not just a prefix of the result.

FossilOrigin-Name: 3e3ecad2b5d6c97032f2a9fb920c1b8a16ab8ef5

In the mptester, add --glob and --notglob and --testcase.  Make --exit work
on the main thread.  Enable the load_extension() SQL function.

FossilOrigin-Name: c273c171f511475045ef0aa68ecf8e22b8351996

In the command-line shell, allow a dot-command to occur after a
multi-line c-style comment.

FossilOrigin-Name: e2c94ab930f0e5a6dbe8cdd34ebb8cfeeedca56c

Improvements to some of the comments that are used to render documentation
concerning loadable extensions.  No changes to code.

FossilOrigin-Name: 76f4e31245fd1676a4520a2f7488bca6eb981e4a

Update the command-line shell to give an exit code of 0 when the ".quit"
command is run from the command-line.

FossilOrigin-Name: 467e218120d63d0f34c447f7324bac1364ac0eac

Omit sqlite3_compileoption_used() entries that are not explicitly stated
on the compiler command-line, except keep SQLITE_THREADSAFE around so that
there is always at least one compilation option.

FossilOrigin-Name: 109d6767d2626741db1d15ed55e699ac3184a536

Remove the unused SQLITE_CURDIR macro.

FossilOrigin-Name: 16f7ba4afaa69f6150b4defd4ddf5800f5d23084

Disable memory-mapped I/O when the codec is enabled.

FossilOrigin-Name: 340cca3079cd7aac2f51071435666e9e00ed8bd5

Expand scope of the SQLITE_MAX_MMAP_SIZE define for the Win32 VFS.

FossilOrigin-Name: f4b8faab45e217f227bd7ce65d4741754731b8cd

Refactoring the mmap interface.  The controlling pragma is now "mmap_size"
instead of "mmap_limit".  Also change SQLITE_CONFIG_MMAP_LIMIT and
SQLITE_FCNTL_MMAP_LIMIT to SQLITE_CONFIG_MMAP_SIZE and
SQLITE_FCNTL_MMAP_SIZE, respecctively.
The default mmap_size is now always 0, meaning that
memory mapped I/O is off by default.  There is a new compile-time option
SQLITE_MAX_MMAP_SIZE that determines a hard upper bound on the mmap_size.
Setting SQLITE_MAX_MMAP_SIZE to zero disables the memory-mapped I/O logic
and causes it to be omitted from the build.  An extra argument is added
to SQLITE_CONFIG_MMAP_SIZE that can optionally lower the SQLITE_MAX_MMAP_SIZE
at start-time. The SQLITE_MAX_MMAP_SIZE is zero for platforms where we
know that it does not work, meaning that it cannot be turned on by mistake
on those platforms.

FossilOrigin-Name: ea1404a10abd7f68e1f8e0708c8a3199d1f79665

Fix a formatting typo in a comment.  No changes to code.

FossilOrigin-Name: 3412424990c93d2978e819e6099811f1cdde316d