Fix suffix and prefix compression of terms in top-level fts5 segments. And a crash that could follow an OOM condition.

FossilOrigin-Name: bb104b3646c6f07ed002be7360b08433ee7980d4

Optimize copying data from fts5 in-memory hash tables to top level segments.

FossilOrigin-Name: 8e3ca6323a2beab5f04250e24ae15b159d2aa0ac

Fix an fts5 bug in large incremental merges.

FossilOrigin-Name: 208e3cb6b6dc8c7d824b64dec2034004c9fcbba5

Instead of the 4-byte fields, use regular varints for the poslist-size field in fts5_hash.c.

FossilOrigin-Name: 7eb022d7e5fdb180af823c82c47c938e4a7a355f

Ensure generated header file fts5parse.h is included in sqlite3.c.

FossilOrigin-Name: bc7be2fcfd29d6f1b567b69b3b20896eceb99798

Fix some problems with building fts5 and fts3 together using the amalgamation.

FossilOrigin-Name: fb10bbb9f9c4481e6043d323a3018a4ec68eb0ff

Merge latest trunk changes with this branch.

FossilOrigin-Name: 76212f2c9a3c3ff0e238d6dad776938c6af674e6

Minor optimizations to fts5 writes.

FossilOrigin-Name: 1fffe51fa92f1784365140d5b163ab6c690981ae

Change SQLITE_TESTCTRL_INITMODE to SQLITE_TESTCTRL_IMPOSTER.  Revise the order
of parameters.  Give it the ability to reset the schema parse table so that
imposter tables can be erased.

FossilOrigin-Name: 42d5601739c90434e5adfda8fa99ef7b903877db

Added SQLITE_TESTCTRL_INITMODE for improved testability.

FossilOrigin-Name: 98e029134dc1300d3ecb48b41b5107ec69ba85db

Add a few simple test cases for SQLITE_TESTCTRL_INITMODE - cases which
also test PRAGMA integrity_check.

FossilOrigin-Name: 3a6e2afe408d2b0c8166d00def2048568169d87a

Fix some problems with transactions that both read and write an fts5 table.

FossilOrigin-Name: 0e225b15357765f132c3364b222f9931a608a5b2

Fix some duplicated test names.

FossilOrigin-Name: 1797158db2a818134c5cba1578f69ed85948b980

Ensure that "PRAGMA wal_checkpoint = TRUNCATE|FULL|RESTART" block on other connections and truncate the database file as required even if the entire wal file has already been checkpointed.

FossilOrigin-Name: 53429689d4fcf472edbc89cc50b5e69ba3270634

Split up the SRC variable in Makefile.msc to avoid over-long cmd.exe commands when TOP is set to a long pathname.

FossilOrigin-Name: 7d70ac65c16f08832a1f0fc4dec0f62a17cbcc85

Add the INITMODE test-control.

FossilOrigin-Name: 5940af8e7872209ce41feb958643b23f7e55d258

Optimize range constraints on the rowid column of fts3/4 tables even if there is no MATCH clause in the query.

FossilOrigin-Name: 85dc12625d300fe48f3c096f54ebcb8b6ef4e30a

Fix harmless compiler warnings.

FossilOrigin-Name: e7d2ec048c88237c124fbe598f8f7e950d43d90f

Fix a problem with fts5 doclist-indexes that occured if the first rowid of the first non-term page of a doclist is zero.

FossilOrigin-Name: f704bc059e06b01f1d68fa7dad89e33eace6c389

Fix a bug in the fts3 snippet() function causing it to omit leading separator characters from snippets that begin with the first token in a column.

FossilOrigin-Name: adc9283dd9bc3a6463f8c4fe23dd58a3712c349d

Improve the performance of fts3/4 queries that use the OR operator and at least one auxiliary fts function.

FossilOrigin-Name: 245e8730451fbdc1c729beff7295c452df604009

Fix a (almost always harmless) read past the end of a memory allocation
that comes about because the Expr.pTab field is checked on an
EXPR_REDUCEDSIZE Expr object before checking the Expr.op field to
know that the Expr.pTab field is meaningless.

FossilOrigin-Name: e098de691002a78270540430b0df1e120582b53f

The va_list argument cannot take on a NULL value and cannot be compared with
NULL on some platforms (ex: ARM).  So do not attempt to do so.

FossilOrigin-Name: 1964e656b4b420e8d6a4ba12d270ed02db292b88

Have fts5 store rowids in ascending order. Query speed is virtually the same regardless of rowid order, and ascending order makes some insert optimizations easier.

FossilOrigin-Name: 5206ca6005bfa9dfc7346d4b89430c9748d32c10

In the command-line shell, make sure stderr is unbuffered so that it
automatically flushes.  This has always been the case already for unix and
on Windows when the output is a console, but apparently was not the case
on Windows when the output was a pipe.

FossilOrigin-Name: 2a9ea9b4a7d6904efb2112e32efe84123dfa75d7

Fix compression of keys stored on internal segment b-tree nodes by fts5.

FossilOrigin-Name: 51444f67c0cc58a3023eb1cd78e7cf889da6c80f

Remove some redundant code from fts5.

FossilOrigin-Name: 939b7a5de25e064bdf08e03864c35ab718da6f6f

Add further tests and fixes for fts5.

FossilOrigin-Name: 5b295897153e9b26cd0d2e7ea112a4d461d0a665

Make sure errors in the FROM clause of a SELECT cause analysis to abort
and unwind the stack before those errors have a chance to mischief
in the "*" column-name wildcard expander. Fix for ticket [32b63d542433ca67].

FossilOrigin-Name: 9e6eae660a02303fd140dac5fbff82364f4120cd

Change the undocumented ".selecttrace" command in the shell to accept
an integer bitmask rather than a boolean.

FossilOrigin-Name: bd63bf882c5a925f921adc9cf7425d2e7950f0b2

Further tests and fixes for fts5.

FossilOrigin-Name: c020a291ed293a66d21c5885e50a7fee04aa6366

Fix an fts5 issue with loading doclist-indexes for a term that is the last thing on its leaf page.

FossilOrigin-Name: e0d614425f7f5ffe266fdc03642931b1ec19ad25

Merge trunk changes with this branch.

FossilOrigin-Name: f8699a1a3b0f3bb612aff87a2729f912d709c534

Fix an assert() that may fail following an OOM error.

FossilOrigin-Name: 5f592359d6d41708da3b3ac9d987a1631bfa3d88

Add further tests for fts5 backend.

FossilOrigin-Name: 09dabb3b9e140eec6cfda83bcb86b6b9f5cf54b6

Merge latest trunk changes with this branch.

FossilOrigin-Name: b3348b1e07e168b156636a29fc8c6d6afb3129c2

Fix harmless compiler warning seen with MSVC.

FossilOrigin-Name: 78c2e62bb4c529595aaaf2e1f5f26387ad977b1b

Enhancements to entropy generation for the Win32 VFS.

FossilOrigin-Name: 26190b3c63e18f3116deeb59a58d9b5de48e8eea

Add extra fault injection tests to fts5.

FossilOrigin-Name: f45a0dc0a8911c8aac5a1028ac4f543a709656e7

Fix another instance of an incorrect value for KeyInfo.nXField on a
sorting index.  Ticket [f97c4637102a3ae72b79].

FossilOrigin-Name: 0077f64510f9b9ce90032df2696cb242d097ab84

Ensure that the KeyInfo.nXField value for ephemeral tables used to implement
ORDER BY or GROUP BY clauses is set correctly, so that the
sqlite3VdbeFindCompare() routine can choose the correct comparison function.
Add assert() statements to the high-speed comparison functions to detect
cases where they are inappropriately chosen.
Fix for ticket [f97c4637102a3ae72b7911].

FossilOrigin-Name: f7201bb0cdc9e1425c68599b32434de2231dca36

There are asserts in place now that will prevent a recurrence of
ticket [f97c4637102a3ae7].  Nevertheless, it is good to add some
test cases as well.

FossilOrigin-Name: e02959b9a0e1bacdd3939548d4434c042aacc2e6

Make sure that the KeyInfo.nXField value of ephermeral tables used for
ORDER BY and GROUP BY is set correctly, so that the correct comparison
function can be choosen by sqlite3VdbeFindCompare().

FossilOrigin-Name: c16bae5e699b851f4ca8414c5dfa5370b18f69f0

Fix the assert() of the previous check-in so that it works even when
compiled without SQLITE_DEBUG.

FossilOrigin-Name: 38868f845e1ad4d61354ab1ad39dd19e3e07c7fd

Fix compilation on Cygwin when SQLITE_MAX_WORKER_THREADS is greater than zero.

FossilOrigin-Name: 2037442c582e51d85967bc911ea4a412eb4da573

An alternative way of implementing the assert() that verifies the relative
values of KeyInfo.nField+KeyInfo.nXField and the number of columns in a record.
This version of the assert() only fires when the high-speed comparison
routines are used - which is to say it only fires when the constraint
actually matters.

FossilOrigin-Name: bf744b4908b096f301565f6a4ea8d56667c1d76a

Enhance the command-line shell with the ability to set the
SQLITE_TESTCTRL_NEVER_CORRUPT flag using: ".testctrl never_corrupt 1".

FossilOrigin-Name: 824328f9833d01fc155a9d0265ef41d338cf1ffb

Handle the case where a tokenizer determines that there are zero tokens in an fts5 query term.

FossilOrigin-Name: 75f3d17f864072dfa2caee182b86cc4b9972d691

Eliminate all use of sprintf(), strcpy() and strcat() from test logic because
OpenBSD hates those functions.

FossilOrigin-Name: 10321910990195878c0af1e94b34ae0cdc0cb31b

Set binary mode for output on Windows when writing a quoted string that
might contain newline characters.

FossilOrigin-Name: 7096e6c06d9a3e48d3f0d134f5f3275dde796be2

Set the command-line shell stdin to binary mode on windows.

FossilOrigin-Name: 80541e8b94b713e8f9e588ae047ffc5ae804ef1c

Ensure an up to date copy of the fts5 configuration has been loaded into memory before attempting to modify the same configuration.

FossilOrigin-Name: f30afd209aa4ce42766b1493750c4f5b5f1e9502

Improve the performance of the fts5 porter tokenizer implementation.

FossilOrigin-Name: 96ea600440de05ee663e71c3f0d0de2c64108bf9

Fix a harmless compiler warning the VFS for Windows.

FossilOrigin-Name: ceac571f53bdbc02616b21a4404cb1250030dea8

Fix harmless compiler warning.

FossilOrigin-Name: cab46fb737ed3fc29dc8517f07bcfc72936df2b8

Version 3.8.8

FossilOrigin-Name: 7d68a42face3ab14ed88407d4331872f5b243fdf

Fix the spelling of "malloc_usable_size" in configure and configure.ac.

FossilOrigin-Name: 8f45217cbafef2297cdcec3fd69f4371dfb83922

Makefile enhancements:  (1) Rename autoconf/tea/configure.in to
autoconf/tea/configure.ac so that it works with the latest versions of
autoconf.  (2) Add the "amalgamation-tarball" targets to Makefile.in and
main.mk (renamed from "dist" in the latter case).  (3) Update the
README.first file in autoconf/  (4) The TOP macro
in Makefile.in is now an absolute rather than a relative path.

FossilOrigin-Name: 3bafeec934e56f633d0de6890e84fca990e54435

Simplify some code in rtree, to avoid confusing the optimizer in GCC on
some macs:
gcc version 4.2.1 (Based on Apple Inc. build 5658) (LLVM build 2335.15.00).
Prior to these changes, compiling with -O3 would cause incorrect code to
be generated.  The change to the nodeGetCell() routine is key.  The other
changes are merely cosmetic details discovered while bug hunting.

FossilOrigin-Name: 882181ff9dd75f32db266db6e476671021fc567b

Fix prefix indexes so that they work in characters, not bytes.

FossilOrigin-Name: af8d43a4a08528bbae25ee38fe25de8a86f8a21c

Fix the e_walauto.test test module so that it works on both little-endian and
big-ending machines.

FossilOrigin-Name: 5682db7b871689b9ee764afe070736f378e8ae1b

Fix harmless compiler warnings when using -W4 with MSVC.

FossilOrigin-Name: e693e11d1b9265974c32bddba873ea30a4d0b708

Fix harmless compiler warning in an assert() statement.

FossilOrigin-Name: bdbeed01ddc60a4ab322621fc118cc4767660fd3

Add two more classes of harmless MSVC compiler warnings.

FossilOrigin-Name: de30d5b053b8e004418c81945d626cfad315d6ba

Silence some harmless uninitialized local variable warnings.

FossilOrigin-Name: 44375a34e59d1b0f0d765a99dcc7e6f30a4be7f7

Harmless compiler warning fixes for 'testfixture' and the miscellaneous extensions when built with the MSVC makefile.

FossilOrigin-Name: 923fd66031ed1876bc63c3a038f0b8e33678184e

Merge updates from trunk.

FossilOrigin-Name: ca5f2c545216c82486e66d26f55b49cbf351ffdc

Get things compiling cleanly with MSVC and W4.

FossilOrigin-Name: c8725fa5fa361959b0f0a3fb36f204905d6f0ae9

Fix some harmless compiler warnings.

FossilOrigin-Name: 2b8eecbfe7935d3d9826fbcd473dd3a49138ad11

Fix comments and add another disabled warning for MSVC.

FossilOrigin-Name: 43b6b4cc051e5a801a992c56d2c82abcdcf45cec

Work in progress on fixing harmless compiler warnings when using -W4 and MSVC.

FossilOrigin-Name: 856dd245ce037f93d5ae2ddeb4fdf949c1e5c8e9

Optimize the unicode61 tokenizer so that it handles ascii text faster. Make it the default tokenizer. Change the name of the simple tokenizer to "ascii".

FossilOrigin-Name: f22dbccad9499624880ddd48df1b07fb42b1ad66

Add an assert() in order to calm a scan-build warning.

FossilOrigin-Name: 11e81ac2a7c917f7c9afc218d104d9870daf9668

Fix some documentation issues in fts5.

FossilOrigin-Name: 512e1bdb4093b59d1494dfc63391476eadd52aea

Add detection of the isnan() library function to the configure script.  Make
the code responsive to the HAVE_ISNAN configuration option.

FossilOrigin-Name: 46f3aba2692d74c29ab5c1f24a6daac600fd6af8

Make use of the fdatasync() interface if the HAVE_FDATASYNC macro is true.

FossilOrigin-Name: 694228e4632c2999efa47ecb49f679c177db02e5

Improvements to compile-time-option hygiene.  Use "#if OPTION" instead of
"#ifdef OPTION" in cases where that makes sense, so that -DOPTION=0 will work.
Add the "Have-Not" configuration in releasetest.tcl which disables all of
the "HAVE_component" compile-time options.

FossilOrigin-Name: 9e92a5ed5aaba20461ed4ce8359d6e34e7773d68

Add the ability to put comments in the Config and Platform setup sections of
the releasetest.tcl script.

FossilOrigin-Name: d6f8c899d8f1bf66a2234e0eb91b259dd64eed31

Autoconf configure script updates:  (1) remove the long-obsolete
--enable-cross-thread-connections option.  (2) remove the --with-hints= options.
(3) Extension loading is enabled by default.  (4) Check for strchrnull()
(5) Update the --help text.

FossilOrigin-Name: 5004063ce4c8816125372ecc5fd52140489306dd

Change the testfixture binary so that it explicitly enabled core files
on a crash (on unix).  Add a test case to verify that this works.

FossilOrigin-Name: 90f422ed81311d7ab2a90a381d36cba9c20227fc

Add SQLITE_ENABLE_STMT_SCANSTATUS to the Update-Delete-Limit configuration
in the releasetest.tcl script.

FossilOrigin-Name: c70d5edaf6327cb18df5285c3fc21b610f3d3294

Remove an unused preprocessor macro from pcache.c.

FossilOrigin-Name: 88a7a967116a48aeb5fa7014613c0134b1b47bb3

Improvements to the sqlite3_stmt_scanstatus() documentation.  No changes
to code.

FossilOrigin-Name: 9309c9bc08c3cd5a96ada76544b11cae8e480c7a

Fix three crash problems discovered by afl-fuzz.
Ticket [a59ae93ee990a55].

FossilOrigin-Name: fe5788633131281a0f27c5b75993ce2ff958bfeb

Add the "ascii" mode to the command-line shell.

FossilOrigin-Name: e1518a9478e1ce1ebd98894335e64c953064367f

Omit modules from the "valgrind" permutation that fork off separate processes.
Also omit selectG.test because it is timing sensitive and valgrind is too slow
to get the right answer.

FossilOrigin-Name: 662932a69a0f69b7227cc05b75a9f1637a3862f4

Try to fix up the "valgrindtest" target in Makefile.in so that it avoids
misuse testing that can trigger false errors.

FossilOrigin-Name: 50b5a8af843fff93452cd1c8f82152124a1d864a

Fix the extension tags on the "smoketest" makefile target for Windows.

FossilOrigin-Name: 826fd311e7e2849aefbd81724dcb4a5644cfa126

In releasetest.tcl:
(1) Add the Failure-Detection platform.
(2) Re-add the --disable-shared argument on Default that was mistakenly
    removed by the previous commit.
(3) Remove the -ftrapv tests, as we read that -ftrapv does not work in GCC.

FossilOrigin-Name: 1f2fb77781a93427a2348f821b66dba7310c49b8

In releasetest.tcl: add options --veryquick and pass-through compiler
optimization settings (ex: -O0).  Collect the SQLite version number from
the main.test output and show it during the summary report at the end.

FossilOrigin-Name: e7e7bc1d9a5c19571e7d87ad345b98c27a826fbd

In releasetest.tcl, always use --disable-shared together with
--disable-amalgamation because mingw generates a binary that crashes and
cannot be debugged using gdb if you don't.

FossilOrigin-Name: 19982439418fbd36c91853cf9e09a66606f293fc

Add the fts5 'optimize' command.

FossilOrigin-Name: e749be563d8e738af113bd301770e2f22763ab77

In releasetest.tcl, copy certain command-line arguments (-g, -D..., etc)
down into each test run.

FossilOrigin-Name: 889864b58af1e51fb148af2d6a5cef4950f373f4

Modify the valgrind target to be consistent with regard to target suffixes.

FossilOrigin-Name: dc4aa7321262ace43d985a227ad052dfca7db6c7

Fix threads-enabled builds on Windows when the amalgamation is not in use.

FossilOrigin-Name: 9b92a4d2b6585d5fdf20330e4138081df58960e9

Add the 'rebuild' and 'delete-all' commands.

FossilOrigin-Name: 0cb2fed525778d96237b5b0943047665e1f636d1

In releasetest.tcl, change the --dryrun option to work as it does in
multitest.tcl of TH3.  Add the new --trace option that work like the --dryrun
option used to work.  Add the ability to specify additional configure-script
options in the Config array, and create configurations that use
--disable-shared and --disable-amalgamation for testing.

FossilOrigin-Name: be17ef03f1d74187f7d3b5d72a12fc00db513c8e

Add a valgrind test to the Linux-x86_64 platform in releasetest.tcl.

FossilOrigin-Name: 4b6df035561add4e304fb56dd70ae4d413d6bd5d

Fix a problem in the unix implementation of FCNTL_SIZE_HINT on systems that do not support posix_fallocate().

FossilOrigin-Name: af20eae1e6f608e4e61a07c3d14cf88c12751353

Remove the iPos parameter from the tokenizer callback. Fix the "tokenchars" and "separators" options on the simple tokenizer.

FossilOrigin-Name: 65f0262fb82dbfd9f80233ac7c3108e2f2716c0a