Merge updates from trunk.

FossilOrigin-Name: a447cf90ddfd2930274f58de4bae3b07f2886632

Enhance the use of the column cache for UPDATE statements, making them
more efficient for the case where a column is modified to be an expression
of other unmodified columns.

FossilOrigin-Name: 871e091df651b2275a672c35ff938bd4b6db0d7f

Add the OP_IntCopy opcode - an optimized version of OP_SCopy that only works
for integer values.

FossilOrigin-Name: 3a2f73a4924860fde8ee41ad646e7a02d29ad9d5

Optimization to the out2Prerelease() helper routine in the VDBE engine.

FossilOrigin-Name: 79298fe8c42f64b6a6110a70b84033873ac0630d

Remove a superfluous conditional from the memory allocation initialization.

FossilOrigin-Name: 9ccf8f8d35723f2a9b59010b6d5f37a14164a188

Performance optimizations to the sqlite3MallocSize() by requiring the
argument to always be non-NULL.

FossilOrigin-Name: cb65989b0710c65e4df69063b346344fdb1d12c7

Change sqlite3StatusSet() into sqlite3StatusHighwater() so that only the
highwater mark is recorded.  This gives a small size reduction and
performance improvement.

FossilOrigin-Name: 6422d223dd10018703c6b083d29a3c35c837fc97

Make sure sqlite.h is not #included by itself.

FossilOrigin-Name: a61880c223c2229ecc3b4da7e5647eca17f7ddf5

In the MSVC makefile, add LIBTCLPATH variable to make it easier to run tests when the Tcl library is not already present in the PATH.

FossilOrigin-Name: 54127602b9a555f73f5e446b91e460386cb8fb17

In the MSVC makefile, make sure LDFLAGS is used for the tool executables as well.

FossilOrigin-Name: 0a17ee49c6895256fefd13425b790414935efb9d

Tests and minor fixes to improve coverage of FTS5 code.

FossilOrigin-Name: f4de6d450e143cb1dd5447800d4b178e3db114c8

Fix harmless compiler warnings.

FossilOrigin-Name: 1c46c194a2da24fe613d77b5a8d727cc2fc9faa4

Update makefiles to remove all uses of "awk" - to make building SQLite easier
on Windows systems.  The only requirements now are tclsh, a C compiler, and
common file utilities.

FossilOrigin-Name: 4bd0d43db7c1877f2d8a8d2f2a48f24a10f0c3b8

Enable cross-compiling the various tool EXEs with MSVC.

FossilOrigin-Name: 7d77233389c595237d5b3d244b8aeca1524290c0

Fixes to the JSON1 extension and to its use by fuzzcheck to avoid problems
when building DLLs.

FossilOrigin-Name: 01d3ee7bbe4feeb82dcedecbe3c9058c807b18f6

Fix fuzzcheck.c so that it assumes that JSON1 is already compiled in and
does not need to be initialized further.

FossilOrigin-Name: ec003958359d6b69b1b1a75be2a988796268e063

Avoid exporting sqlite3_json_init() from amalgamation builds.

FossilOrigin-Name: 8463f7e7908d0a96ed036377dfa3805328c62925

Version 3.9.0

FossilOrigin-Name: a721fc0d89495518fe5612e2e3bbc60befd2e90d

Add the missing 'extern "C" {...}' blocks to fts5.h and sqlite3rbu.h.

FossilOrigin-Name: 47a2ce97d585e1760ffcf760c0de1753677d5713

Remove the unused fts5ExprColsetTest() routine.

FossilOrigin-Name: 9ecafc0c94102dca6da192f400278399464086fb

Fix a couple harmless compiler warnings.

FossilOrigin-Name: 7f896a971c5953d5370215ecd834d1fb711b4263

Further tweaks to improve fts5 prefix query performance.

FossilOrigin-Name: 1c20c1c28b56411f106cf2f6961b3ad4b4d6f6c8

Change all references to 3.8.12 into 3.9.0.  Comment changes only - no
changes to code.

FossilOrigin-Name: 6f2858f6817ca70c132f0437ac2f0f74deb273d2

Remove AWK requirement from the MSVC batch build tool.

FossilOrigin-Name: 6d9cdb931cf4e2f0830184cff32e441e4966bd7e

The TclKit batch tool should not download the TclKit SDK when the TCLKIT_NOSDK environment variable is set.

FossilOrigin-Name: 7c5d583bac89f8db94e7f73df09e1d04f0f24990

Detect and report circularly defined views even if the views have the
columns defined in the CREATE VIEW statement.

FossilOrigin-Name: 9ab9c8c6d747647f8ade58c2c4812fc69a813368

Remove an unreachable branch in the query flattener substitution logic.

FossilOrigin-Name: 46ee3453a31b5e793d5aaad471cec1b1a11ab2cf

Improved substitution logic in the query flattener.  Saves code space, and
(more importantly) works correctly with table-valued functions.

FossilOrigin-Name: 3d0bd95e977db50c314d33ec292f99e0539d7b4a

Enhance TclKit batch tool (and MSVC makefile) to support targets that require the Tcl stub library.

FossilOrigin-Name: bc6223b1d6c31a47c7b734cfb8a9ecf15ab809fc

Work around a "security feature" bug in memcpy() on OpenBSD.

FossilOrigin-Name: fab6f09044d033dd09ed8a22e06bc6a7851bbabf

Remove another instance of strcpy() from FTS5, to mollify OpenBSD.

FossilOrigin-Name: 35e6248abb4435a8b26d270092b856beff867406

Omit the use of strcpy() in FTS5 since OpenBSD hates strcpy().

FossilOrigin-Name: bc24a5bbfd95df3518611b221de69b73776111bc

Compiler warning fixes:  Rename some local variables from "j1" to avoid a
name collision with the j1() bessel function in the math library.  Omit a
dummy initializer that gcc 4.6.3 does not like.

FossilOrigin-Name: 9ddef84d432813f3ece8012047d08441caa3315d

Add some #ifdef-ery to json1.c to avoid a duplicate typedef when used in the
amalgamation, since some compilers become upset over duplicate typedefs.

FossilOrigin-Name: de28acd42f29693341feb884b7223cd3d2b96730

Remove a couple superfluous double quotes in the MSVC makefile.

FossilOrigin-Name: 0f9e205b28e013412b19dfd588f2a6cf341c40e8

Fix typo in the MSVC makefile.  Replace remaining uses of AWK in the MSVC makefile with a Tcl script.

FossilOrigin-Name: f8c2193b64979a2fe480fcf913573b5fac06235e

More fine-tuning to the new TclKit tools.

FossilOrigin-Name: 43addd8aa04c3faceb9d303672e330294af01a16

The previous fix to JSON1 was not complete.  A few more tweaks are needed
for correct handling of all oversized integers.

FossilOrigin-Name: 4a47f0177851721cdf6c981df962b6e8862372e7

Tweak batch tool added in the previous check-in to permit the base URI to be overridden.

FossilOrigin-Name: 1d2f82df6774f8d66bfc5d67d5dad9f068a1069c

Fix the JSON1 extension so that it renders integers outside the range
of -9223372036854775808 to +9223372036854775807 as floating-point numbers.

FossilOrigin-Name: ae736e35fb59c9aed33a8c805cf2ecdee528051f

Remove fts5 sources from TESTSRC2 in main.mk as there is no SQLITE_TEST code in said files.

FossilOrigin-Name: c1840639b8ce8314602cd2396a324de8fac98dbe

Add tool capable of downloading a TclKit (and its associated SDK) on Windows.

FossilOrigin-Name: 50673ddaf813335777673fa8585997a7551e5323

Add --enable-fts5 and --enable-json1 options to the amalgamation autoconf package.

FossilOrigin-Name: 8a4e19888f512c3ee95aa3040924fc932fbdab1a

In the MSVC makefile, adjust the names of two nmake variables for consistency.

FossilOrigin-Name: 92aa4b6b6fbb83f965e4c4be0aa21a8b7e330ed8

Change the version number of the next release to 3.9.0.

FossilOrigin-Name: aa8fdadf2defed00a28366a3b35a3e2eefecf0ed

Add the JSON1 and FTS5 extensions to the amalgamation.  Add new options
to ./configure: --enable-json1 and --enable-fts5.

FossilOrigin-Name: 1eb769933108cf401b25c8d784ea23f27324a0bd

Fix a typo in the MSVC Makefile

FossilOrigin-Name: c8a12082380991781b5ecd2f479ec65600f4f695

Add configure script options --enable-fts5 and --enable-json1.  Automatically
search for -lm when using --enable-fts5.

FossilOrigin-Name: a0c44f1d46f1f31043d66f20c8dc0df53db15c30

Makefile and fts5 changes so that fts5 works with main.mk. Still does not work with Makefile.in.

FossilOrigin-Name: 6ebac32d8378e46f44a6eb55aaa30baf4d7dde7d

Trying to get FTS5 tests to build and run using main.mk.  Not yet working.

FossilOrigin-Name: 206174f9b154c590a3e2e94236db38e111d64bdb

Json1 tests are working.  Builds without FTS5 enabled.  Still some problems
building with FTS5.

FossilOrigin-Name: 2928f8e87d2e5d121e6e7e5993cbb773bb2b0603

Remove calls to "load_static_extension" from fts5 test scripts.

FossilOrigin-Name: 53dd7c4c65842c5c9ed3e84edd62e24f2c9be15b

Further tweaks to main.mk so that fts5 builds as part of testfixture.

FossilOrigin-Name: 97e11b79a52fb1c57f0afd2dbd6ee66cf00a922d

Fix further fts5 compilation issues.

FossilOrigin-Name: 0d7f301fb03c8546a5dbce5d061a1d74e3c86bcf

Fix two more warnings in fts5 code.

FossilOrigin-Name: 5343e601fb6f0f24f4e4d5d442f7b5b074734143

Fix a couple of errors in fts5 compilation. This branch still does not build with -Wall -Werror.

FossilOrigin-Name: e9e76e12812b9b42b1142246b71cea98e26903aa

First attempt to add json1 and fts5 to the amalgamation.  This check-in does
not compile.

FossilOrigin-Name: d820a1bd1b8dd702d1b3a099af393530cc5a5d51

In the RBU extension, use MoveFile() instead of rename() on Windows CE.

FossilOrigin-Name: df9ef61f1ba2e3a3420fae84e3eaa2e0e235bc28

Remove two unused lines of code - discovered by scan-build.

FossilOrigin-Name: 77b707b77496a08703fe9405e8e4521a4e5b419e

Further optimizations for fts5 prefix queries without a prefix index.

FossilOrigin-Name: 83dc1ff7fa010715ca7f406a572f4ee444a967d7

Fix harmless compiler warning in FTS5.

FossilOrigin-Name: 13adcd038fc20dd1b6f344f79b449b4034f8f8f2

Allow the subsitute character (codepoint 26 - 0x1A) to appear in fts5 barewords.

FossilOrigin-Name: baec1b96cb64a6a6317143a8df841e502afe3914

Adjustments to spellfix2.test so that it works reliably on mac.

FossilOrigin-Name: d591e860d3d7c61637b4b07989bf176cb337db2c

Add tests for fts5 phrase queries with column filters.

FossilOrigin-Name: f20f9f813f00cefcd427e506a09b0b973c782e3f

Convert the tool/tostr.awk script into tool/tostr.tcl.  Remove two obsolete
Makefiles.  Purge NAWK from the configure script and from unix makefiles.
There are still two uses of NAWK in Makefile.msc.

FossilOrigin-Name: 5b6775215327a89232f5059653747a18e83b8b4b

Change the addopcodes.awk script into tool/addopcodes.tcl.

FossilOrigin-Name: 8bbf37142ef2759274668f6da114b5c8072e42db

Convert the mkopcodec.awk script into tool/mkopcodec.tcl.

FossilOrigin-Name: 1506cb33fcf61e2ef97b35b99e58fbf21f4f5496

Add further tests for fts5 prefix queries.

FossilOrigin-Name: accdc98b1291f07b802fd23f3ebc7dbc02ba09d3

Fix a typo in the previous check-in.

FossilOrigin-Name: 80027709c3ba2a8c9bda4d37779f65104be1045c

When running tests on Tcl 8.6 under Windows, skip tests 'uri-1.12.*' due to a change in Tcl behavior related to NTFS ADS (alternate data streams).

FossilOrigin-Name: 8a0a2aa5a6df3d7b5995457b57f051e39d6cf9e9

Change mkopcodeh.awk into tool/mkopcodeh.tcl.

FossilOrigin-Name: ed0ebc460b54939862e3bddee2bb9bcb9f69c747

Remove three obsolete and unused files from tool/

FossilOrigin-Name: 0abd65294e6e8db68e7ce6724f02f17ba1cb3422

Fix typo in comments.  No changes to code.

FossilOrigin-Name: a05f903c64edeba8a9748aad68f5981943e68b3c

Simplifications to the VDBE bytecode that handles LIMIT and OFFSET.

FossilOrigin-Name: 041df7c2f14b95868a08090354ebb3308050790e

Optimizations for fts5 expressions that filter on column. More still to come.

FossilOrigin-Name: bf1607ac155018573ca40fb58aca62c5fea7e60b

Fix the LIMIT and OFFSET handling for UNION ALL queries that contain a
subquery with ORDER BY on the right-hand side.  Fix for ticket
[b65cb2c8d91f668584].

FossilOrigin-Name: 4b631364354068af95a01630469cb6fbfe8b52fd

Adjustments to sqlite3MemoryBarrier() when compiling with MSVC and/or WinCE.

FossilOrigin-Name: 3168326ebfa1c961d8fc6435453b02be23d910cc

Improve performance of prefix queries without a prefix index on fts5 tables.

FossilOrigin-Name: f2f0184e9e1c9f121ee2ac864cd28c8cd8efecb5

Update fts3 so that expressions to the left and right of a NOT operator are balanced. This prevents relatively small expressions (a dozen terms or so) that are children of NOT operators from triggering the "expression tree is too large" error.

FossilOrigin-Name: d6b66cd7b89fbd964f798d160a34caac0ba7347a

Add fts5txt2db.tcl, a tool for creating sample fts4/5 databases from text files.

FossilOrigin-Name: 44f1ce30d1e446c9ee5f8bd8a62119e00356aa0e

Update fts5 to support the table function syntax. "... FROM fts5_tbl WHERE fts5_tbl MATCH ?1 AND rank MATCH ?1" can now be written "FROM fts5_tbl(?1, ?2)".

FossilOrigin-Name: 41d17d9e24303aed6d549ea23c62b93bf2f71691

Add tests for the rtree module to verify that attempts to insert non-integer primary key values or non-numeric dimensions into an rtree table are handled correctly.

FossilOrigin-Name: f653fce90846b700441e8fa5f1930c1ec5e38e31

Update fts5 to avoid using a statement journal for UPDATE and DELETE operations that affect at most a single row.

FossilOrigin-Name: 5c83b9db46d61cfa76a1abed50467e2f02db0eb0

Fix an fts3 bug causing NEAR queries on uncommitted data to malfunction.

FossilOrigin-Name: 6f90839e91024e2006042f5eb7f21ca5b47a9b4a

Add a corrupt database to test/fuzzdata3.db to validate the previous
check-in.

FossilOrigin-Name: e796c0efb6cf17444b53af75046daf7d8fa82f78

Fix an assert() in btree.c that is only true for non-corrupt databases.

FossilOrigin-Name: 29f7227ff127202c53fe7c3b6558b3c101b0a7bc

Clear the BTCF_ValidNKey flag when putting a cursor into REQUIRESEEK state. Fix for [1b266395].

FossilOrigin-Name: a6d5e4e8693bea3739c35fe9769ac9abfb9ed056

Improve error handling in shell command ".tables".

FossilOrigin-Name: 31a91ee7d32af8580a170903eb857ed9222fdb0a

Use symbolic names XN_ROWID and XN_EXPR in place of the (-1) and (-2)
magic numbers in Index.aiColumn[].  Add asserts to help verify that
Index.aiColumn[] is always used correctly.  Fix one place in FK processing
where Index.aiColumn[] was not being used correctly.

FossilOrigin-Name: 7d272aa62cd4cbbf4b5d04e3b918de27671e8301

Add the sqlite3_index_info.idxFlags field, allowing xBestIndex() implementations to specify to SQLite that a strategy may visit at most one row. Add support for this to fts3/4. Omit the statement journal from virtual table UPDATE and DELETE operations that are guaranteed not to affect more than one row.

FossilOrigin-Name: a1d08fd3d0419da8c22355d48c6d83eed6fd7e07

Ensure that the xSavepoint() virtual table method is correctly invoked if there are already open savepoints (or statement transactions) the first time a virtual table is written within a transaction.

FossilOrigin-Name: 77948b5eceab92a77c39d0864ac15ad453a76fd7

Remove dead code, replacing with assert() statements that make sure the
code really was dead.

FossilOrigin-Name: 0e317dda5dfd35b742afd70dacb5bfb39aa3fc4a

Create the sqlite3IsToplevel(Parse*) interface to check to see if a top-level
VDBE is being coded (versus a trigger) and use that interface.

FossilOrigin-Name: 59662cd2b65255a30e1a420331c07c51b644621a

Fix compiler warnings.

FossilOrigin-Name: d1a0783854d2e9272320d9ddfa58362532f58d1a

Fix an off-by-one error in test function fts5_decode().

FossilOrigin-Name: 3a9f076250d9559d8ea94ba44095ba3ddbc5542d

Merge latest trunk change into this branch.

FossilOrigin-Name: b519c0d67a8fc39d65c17eccc9300a6187bd5661

Change the name of the new sqlite3_index_info.flags field to "idxFlags". Add documentation for the same to sqlite.h.in.

FossilOrigin-Name: f61203bc0fb0b62e12d6270e8d9063e445a5a252

Add tests for fts3 and onepass update/delete operations. Also fix a problem with onepass updates that do not affect any rows.

FossilOrigin-Name: 820c804468abff692742952de670c5d906a50956

Also allow UPDATE on virtual tables to use the onepass strategy.

FossilOrigin-Name: 1aa27d706db9b2e21737ce4b94b47ecd12c2570f

Extra information provided by .wheretrace on input flags to the query planner
and on the result of sqlite3WhereOkOnePass().

FossilOrigin-Name: c5566bb39c8d9b58f77380b81a873429575c7d5c