Fix compression of keys stored on internal segment b-tree nodes by fts5.

FossilOrigin-Name: 51444f67c0cc58a3023eb1cd78e7cf889da6c80f

Remove some redundant code from fts5.

FossilOrigin-Name: 939b7a5de25e064bdf08e03864c35ab718da6f6f

Add further tests and fixes for fts5.

FossilOrigin-Name: 5b295897153e9b26cd0d2e7ea112a4d461d0a665

Further tests and fixes for fts5.

FossilOrigin-Name: c020a291ed293a66d21c5885e50a7fee04aa6366

Fix an fts5 issue with loading doclist-indexes for a term that is the last thing on its leaf page.

FossilOrigin-Name: e0d614425f7f5ffe266fdc03642931b1ec19ad25

Merge trunk changes with this branch.

FossilOrigin-Name: f8699a1a3b0f3bb612aff87a2729f912d709c534

Fix an assert() that may fail following an OOM error.

FossilOrigin-Name: 5f592359d6d41708da3b3ac9d987a1631bfa3d88

Add further tests for fts5 backend.

FossilOrigin-Name: 09dabb3b9e140eec6cfda83bcb86b6b9f5cf54b6

Merge latest trunk changes with this branch.

FossilOrigin-Name: b3348b1e07e168b156636a29fc8c6d6afb3129c2

Fix harmless compiler warning seen with MSVC.

FossilOrigin-Name: 78c2e62bb4c529595aaaf2e1f5f26387ad977b1b

Enhancements to entropy generation for the Win32 VFS.

FossilOrigin-Name: 26190b3c63e18f3116deeb59a58d9b5de48e8eea

Add extra fault injection tests to fts5.

FossilOrigin-Name: f45a0dc0a8911c8aac5a1028ac4f543a709656e7

Fix another instance of an incorrect value for KeyInfo.nXField on a
sorting index.  Ticket [f97c4637102a3ae72b79].

FossilOrigin-Name: 0077f64510f9b9ce90032df2696cb242d097ab84

Ensure that the KeyInfo.nXField value for ephemeral tables used to implement
ORDER BY or GROUP BY clauses is set correctly, so that the
sqlite3VdbeFindCompare() routine can choose the correct comparison function.
Add assert() statements to the high-speed comparison functions to detect
cases where they are inappropriately chosen.
Fix for ticket [f97c4637102a3ae72b7911].

FossilOrigin-Name: f7201bb0cdc9e1425c68599b32434de2231dca36

There are asserts in place now that will prevent a recurrence of
ticket [f97c4637102a3ae7].  Nevertheless, it is good to add some
test cases as well.

FossilOrigin-Name: e02959b9a0e1bacdd3939548d4434c042aacc2e6

Make sure that the KeyInfo.nXField value of ephermeral tables used for
ORDER BY and GROUP BY is set correctly, so that the correct comparison
function can be choosen by sqlite3VdbeFindCompare().

FossilOrigin-Name: c16bae5e699b851f4ca8414c5dfa5370b18f69f0

Fix the assert() of the previous check-in so that it works even when
compiled without SQLITE_DEBUG.

FossilOrigin-Name: 38868f845e1ad4d61354ab1ad39dd19e3e07c7fd

Fix compilation on Cygwin when SQLITE_MAX_WORKER_THREADS is greater than zero.

FossilOrigin-Name: 2037442c582e51d85967bc911ea4a412eb4da573

An alternative way of implementing the assert() that verifies the relative
values of KeyInfo.nField+KeyInfo.nXField and the number of columns in a record.
This version of the assert() only fires when the high-speed comparison
routines are used - which is to say it only fires when the constraint
actually matters.

FossilOrigin-Name: bf744b4908b096f301565f6a4ea8d56667c1d76a

Enhance the command-line shell with the ability to set the
SQLITE_TESTCTRL_NEVER_CORRUPT flag using: ".testctrl never_corrupt 1".

FossilOrigin-Name: 824328f9833d01fc155a9d0265ef41d338cf1ffb

Handle the case where a tokenizer determines that there are zero tokens in an fts5 query term.

FossilOrigin-Name: 75f3d17f864072dfa2caee182b86cc4b9972d691

Eliminate all use of sprintf(), strcpy() and strcat() from test logic because
OpenBSD hates those functions.

FossilOrigin-Name: 10321910990195878c0af1e94b34ae0cdc0cb31b

Set binary mode for output on Windows when writing a quoted string that
might contain newline characters.

FossilOrigin-Name: 7096e6c06d9a3e48d3f0d134f5f3275dde796be2

Set the command-line shell stdin to binary mode on windows.

FossilOrigin-Name: 80541e8b94b713e8f9e588ae047ffc5ae804ef1c

Ensure an up to date copy of the fts5 configuration has been loaded into memory before attempting to modify the same configuration.

FossilOrigin-Name: f30afd209aa4ce42766b1493750c4f5b5f1e9502

Improve the performance of the fts5 porter tokenizer implementation.

FossilOrigin-Name: 96ea600440de05ee663e71c3f0d0de2c64108bf9

Fix a harmless compiler warning the VFS for Windows.

FossilOrigin-Name: ceac571f53bdbc02616b21a4404cb1250030dea8

Fix harmless compiler warning.

FossilOrigin-Name: cab46fb737ed3fc29dc8517f07bcfc72936df2b8

Version 3.8.8

FossilOrigin-Name: 7d68a42face3ab14ed88407d4331872f5b243fdf

Fix the spelling of "malloc_usable_size" in configure and configure.ac.

FossilOrigin-Name: 8f45217cbafef2297cdcec3fd69f4371dfb83922

Makefile enhancements:  (1) Rename autoconf/tea/configure.in to
autoconf/tea/configure.ac so that it works with the latest versions of
autoconf.  (2) Add the "amalgamation-tarball" targets to Makefile.in and
main.mk (renamed from "dist" in the latter case).  (3) Update the
README.first file in autoconf/  (4) The TOP macro
in Makefile.in is now an absolute rather than a relative path.

FossilOrigin-Name: 3bafeec934e56f633d0de6890e84fca990e54435

Simplify some code in rtree, to avoid confusing the optimizer in GCC on
some macs:
gcc version 4.2.1 (Based on Apple Inc. build 5658) (LLVM build 2335.15.00).
Prior to these changes, compiling with -O3 would cause incorrect code to
be generated.  The change to the nodeGetCell() routine is key.  The other
changes are merely cosmetic details discovered while bug hunting.

FossilOrigin-Name: 882181ff9dd75f32db266db6e476671021fc567b

Fix prefix indexes so that they work in characters, not bytes.

FossilOrigin-Name: af8d43a4a08528bbae25ee38fe25de8a86f8a21c

Fix the e_walauto.test test module so that it works on both little-endian and
big-ending machines.

FossilOrigin-Name: 5682db7b871689b9ee764afe070736f378e8ae1b

Fix harmless compiler warnings when using -W4 with MSVC.

FossilOrigin-Name: e693e11d1b9265974c32bddba873ea30a4d0b708

Fix harmless compiler warning in an assert() statement.

FossilOrigin-Name: bdbeed01ddc60a4ab322621fc118cc4767660fd3

Add two more classes of harmless MSVC compiler warnings.

FossilOrigin-Name: de30d5b053b8e004418c81945d626cfad315d6ba

Silence some harmless uninitialized local variable warnings.

FossilOrigin-Name: 44375a34e59d1b0f0d765a99dcc7e6f30a4be7f7

Harmless compiler warning fixes for 'testfixture' and the miscellaneous extensions when built with the MSVC makefile.

FossilOrigin-Name: 923fd66031ed1876bc63c3a038f0b8e33678184e

Merge updates from trunk.

FossilOrigin-Name: ca5f2c545216c82486e66d26f55b49cbf351ffdc

Get things compiling cleanly with MSVC and W4.

FossilOrigin-Name: c8725fa5fa361959b0f0a3fb36f204905d6f0ae9

Fix some harmless compiler warnings.

FossilOrigin-Name: 2b8eecbfe7935d3d9826fbcd473dd3a49138ad11

Fix comments and add another disabled warning for MSVC.

FossilOrigin-Name: 43b6b4cc051e5a801a992c56d2c82abcdcf45cec

Work in progress on fixing harmless compiler warnings when using -W4 and MSVC.

FossilOrigin-Name: 856dd245ce037f93d5ae2ddeb4fdf949c1e5c8e9

Optimize the unicode61 tokenizer so that it handles ascii text faster. Make it the default tokenizer. Change the name of the simple tokenizer to "ascii".

FossilOrigin-Name: f22dbccad9499624880ddd48df1b07fb42b1ad66

Add an assert() in order to calm a scan-build warning.

FossilOrigin-Name: 11e81ac2a7c917f7c9afc218d104d9870daf9668

Fix some documentation issues in fts5.

FossilOrigin-Name: 512e1bdb4093b59d1494dfc63391476eadd52aea

Add detection of the isnan() library function to the configure script.  Make
the code responsive to the HAVE_ISNAN configuration option.

FossilOrigin-Name: 46f3aba2692d74c29ab5c1f24a6daac600fd6af8

Make use of the fdatasync() interface if the HAVE_FDATASYNC macro is true.

FossilOrigin-Name: 694228e4632c2999efa47ecb49f679c177db02e5

Improvements to compile-time-option hygiene.  Use "#if OPTION" instead of
"#ifdef OPTION" in cases where that makes sense, so that -DOPTION=0 will work.
Add the "Have-Not" configuration in releasetest.tcl which disables all of
the "HAVE_component" compile-time options.

FossilOrigin-Name: 9e92a5ed5aaba20461ed4ce8359d6e34e7773d68

Add the ability to put comments in the Config and Platform setup sections of
the releasetest.tcl script.

FossilOrigin-Name: d6f8c899d8f1bf66a2234e0eb91b259dd64eed31

Autoconf configure script updates:  (1) remove the long-obsolete
--enable-cross-thread-connections option.  (2) remove the --with-hints= options.
(3) Extension loading is enabled by default.  (4) Check for strchrnull()
(5) Update the --help text.

FossilOrigin-Name: 5004063ce4c8816125372ecc5fd52140489306dd

Change the testfixture binary so that it explicitly enabled core files
on a crash (on unix).  Add a test case to verify that this works.

FossilOrigin-Name: 90f422ed81311d7ab2a90a381d36cba9c20227fc

Add SQLITE_ENABLE_STMT_SCANSTATUS to the Update-Delete-Limit configuration
in the releasetest.tcl script.

FossilOrigin-Name: c70d5edaf6327cb18df5285c3fc21b610f3d3294

Remove an unused preprocessor macro from pcache.c.

FossilOrigin-Name: 88a7a967116a48aeb5fa7014613c0134b1b47bb3

Improvements to the sqlite3_stmt_scanstatus() documentation.  No changes
to code.

FossilOrigin-Name: 9309c9bc08c3cd5a96ada76544b11cae8e480c7a

Fix three crash problems discovered by afl-fuzz.
Ticket [a59ae93ee990a55].

FossilOrigin-Name: fe5788633131281a0f27c5b75993ce2ff958bfeb

Add the "ascii" mode to the command-line shell.

FossilOrigin-Name: e1518a9478e1ce1ebd98894335e64c953064367f

Omit modules from the "valgrind" permutation that fork off separate processes.
Also omit selectG.test because it is timing sensitive and valgrind is too slow
to get the right answer.

FossilOrigin-Name: 662932a69a0f69b7227cc05b75a9f1637a3862f4

Try to fix up the "valgrindtest" target in Makefile.in so that it avoids
misuse testing that can trigger false errors.

FossilOrigin-Name: 50b5a8af843fff93452cd1c8f82152124a1d864a

Fix the extension tags on the "smoketest" makefile target for Windows.

FossilOrigin-Name: 826fd311e7e2849aefbd81724dcb4a5644cfa126

In releasetest.tcl:
(1) Add the Failure-Detection platform.
(2) Re-add the --disable-shared argument on Default that was mistakenly
    removed by the previous commit.
(3) Remove the -ftrapv tests, as we read that -ftrapv does not work in GCC.

FossilOrigin-Name: 1f2fb77781a93427a2348f821b66dba7310c49b8

In releasetest.tcl: add options --veryquick and pass-through compiler
optimization settings (ex: -O0).  Collect the SQLite version number from
the main.test output and show it during the summary report at the end.

FossilOrigin-Name: e7e7bc1d9a5c19571e7d87ad345b98c27a826fbd

In releasetest.tcl, always use --disable-shared together with
--disable-amalgamation because mingw generates a binary that crashes and
cannot be debugged using gdb if you don't.

FossilOrigin-Name: 19982439418fbd36c91853cf9e09a66606f293fc

Add the fts5 'optimize' command.

FossilOrigin-Name: e749be563d8e738af113bd301770e2f22763ab77

In releasetest.tcl, copy certain command-line arguments (-g, -D..., etc)
down into each test run.

FossilOrigin-Name: 889864b58af1e51fb148af2d6a5cef4950f373f4

Modify the valgrind target to be consistent with regard to target suffixes.

FossilOrigin-Name: dc4aa7321262ace43d985a227ad052dfca7db6c7

Fix threads-enabled builds on Windows when the amalgamation is not in use.

FossilOrigin-Name: 9b92a4d2b6585d5fdf20330e4138081df58960e9

Add the 'rebuild' and 'delete-all' commands.

FossilOrigin-Name: 0cb2fed525778d96237b5b0943047665e1f636d1

In releasetest.tcl, change the --dryrun option to work as it does in
multitest.tcl of TH3.  Add the new --trace option that work like the --dryrun
option used to work.  Add the ability to specify additional configure-script
options in the Config array, and create configurations that use
--disable-shared and --disable-amalgamation for testing.

FossilOrigin-Name: be17ef03f1d74187f7d3b5d72a12fc00db513c8e

Add a valgrind test to the Linux-x86_64 platform in releasetest.tcl.

FossilOrigin-Name: 4b6df035561add4e304fb56dd70ae4d413d6bd5d

Fix a problem in the unix implementation of FCNTL_SIZE_HINT on systems that do not support posix_fallocate().

FossilOrigin-Name: af20eae1e6f608e4e61a07c3d14cf88c12751353

Remove the iPos parameter from the tokenizer callback. Fix the "tokenchars" and "separators" options on the simple tokenizer.

FossilOrigin-Name: 65f0262fb82dbfd9f80233ac7c3108e2f2716c0a

Improved and more rigorous test of large VALUES clauses.

FossilOrigin-Name: 6917d9f437224229fa103c847c2df87ade64e1e9

Further fixes and test cases related to external content tables.

FossilOrigin-Name: ce6a899baff7265a60c880098a9a57ea352b5415

Tests and fixes for fts5 external content tables.

FossilOrigin-Name: 047aaf830d1e72f0fdad3832a0b617e769d66468

Enhance "INSERT INTO ... VALUES" so that the number of rows in the VALUES clause
is not limited by SQLITE_LIMIT_COMPOUND_SELECT, and so that the stack depth
is constant regardless of the number of rows in VALUES.

FossilOrigin-Name: e1c4a359aacfce97eb1652624789e71981e0d263

Avoid O(N*N) behavior with very long lists of VALUES.

FossilOrigin-Name: ee30fb35217f3429ee89aaad7c19f29710420e4c

Handle compound-select statements originating from VALUES clauses as a
special case that does not use recursion.

FossilOrigin-Name: 9ce9e43af38e6bc362734463d4bfc40ff0c98f8f

Towards getting INSERT statements to except many VALUE terms (more than
the limit imposed by SQLITE_LIMIT_COMPOUND_SELECT).  This check-in segfaults
on a stack overflow.  And it is slow.

FossilOrigin-Name: c9d65f739ad56f016c676e79aa39080be3fe868a

Remove some needless recursion from compound SELECT processing.

FossilOrigin-Name: fe677d13f03e24fa667efc0c2e7f5bbb99521791

Add support for external content tables to fts5.

FossilOrigin-Name: 17ef5b59f789e9fa35c4f053246d819987fd06f8

In releasetest.tcl, omit the CC=clang text from the label on Sanitize tests,
so that the label fits on an 80-character line.

FossilOrigin-Name: 23d4c07eb81db5a5c6beb56b5820f0b6501f1fb6

Fix a harmless compiler warning.

FossilOrigin-Name: e0de580726a0ed35565783ed14440ef9bcdc3a3d

Merge updates from trunk.

FossilOrigin-Name: ea99f4b29afb98dd474d96889c934763f5636891

Add the SQLITE_CONFIG_PMASZ start-time option.

FossilOrigin-Name: acb0d1e8324f19da3d4d577d58748848de1bcef7

Allow the rank column to be remapped on a per-query basis by including a term similar to "rank match 'bm25(10,2)'" in a where clause.

FossilOrigin-Name: 1cd15a1759004d5d321056905dbb6acff20dc7d9

Add logic to releasetest.tcl that detects -fsanitize=undefined errors.
Fix a few false-positivies that come up when running the sanitize=undefined
test.

FossilOrigin-Name: 2835e79a0afec6e4d449ac9340afec068c2d4c11

Add the ability to specify an alternative compiler (clang instead of gcc)
on the default Makefile.  Use this in releasetest.tcl to implement an
-fsanitize=undefined test.

FossilOrigin-Name: c55c05fe22b9ddb61de55d473a411a11090d3d68

Enhance the "lemon" executable so that it ignores -f, -W, -O, and -I
command-line options.  This permits most of the same options that are passed
to the compiler to also be harmlessly passed to lemon, and thus
simplifies makefiles.

FossilOrigin-Name: da408d128b4301d9fc7a3a00f219dce7ed48bc60

Fix an error in the computation of the number of hours of runtime for
individual test runs in the releasetest.tcl script.

FossilOrigin-Name: e2b0ebe21cd8a63927decb645efd2db80bf88379

Merge latest trunk changes with this branch.

FossilOrigin-Name: 4b3651677e7132c4c45605bc1f216fc08ef31198

Fix a harmless compiler warning in rtree.

FossilOrigin-Name: 30891c6b8ebe9dfc939f9695bb45a159fbaaf262

Add a version of the unicode61 tokenizer to fts5.

FossilOrigin-Name: d09f7800cf14f73ea86d037107ef80295b2c173a

Fix two test cases in memsubsys1 so that they work with the mmap permutation.

FossilOrigin-Name: 66269d0d8e49eb3dc7f508714753584f648bb022

Fix the fkey-7.1 test so that it sorts its answer and hence always gives the
same answer.

FossilOrigin-Name: 5830c557f7ed048056e2faeb82a8705ee7ecfdd7

Fix to releasetest.tcl:  When doing the secondary _debug runs, convert
"fulltest" to just "test".

FossilOrigin-Name: ec264bdee5ab8047fda9a36af27c8a2c8d964112

Adjust the memsubsys1-5.5 test case to avoid occasional false positives.

FossilOrigin-Name: 432413187f41061a08ecff2697ce85c935fa6fa8

Fix a floating-point round-off error problem in the percentile.test module.

FossilOrigin-Name: 456948ea64c6980dab79dac30a538b5a6ab8773d

Disable the bigsort.test module on machine with less than 8GB of available
RAM or machine, to avoid thrashing.

FossilOrigin-Name: 9d4fe11641043af4e663085e979f637676599da0