Fix for the "(x AND y) OR z" bug backported to version 3.6.21.

FossilOrigin-Name: 867347323b0c095159411de36cbd87b09c1b2863

Version 3.6.21 release candidate 3.

FossilOrigin-Name: 1ed88e9d01e9eda5cbc622e7614277f29bcc551c

Remove a redundant line from fts3.

FossilOrigin-Name: cd50acf37fd1e3b388f98fb2df7ed03cff454b24

Add extra tests for parsing of whitespace in tokenizer declarations,.

FossilOrigin-Name: 5030ba2e308df6aeef2ed6b2e153f7baf2c81262

Move some SQLITE_TEST code down to avoid mixing code and variable declarations.
Fix a test for high-order bit handling in sqlite3Fts3InitTokenizer().

FossilOrigin-Name: fad43d290f9489726aaa2e999a17ea17ed78b27b

Version 3.6.21 release candidate 2.

FossilOrigin-Name: 78f6baffb0289a173b0bb56bc54bf0f32e6c957d

Add some tests for OR, AND and NOT operations to fts3rnd.test. Add tests to check that errors are returned when bad arguments are passed to fts3 functions snippet, offsets and optimize. Minor fix for the same

FossilOrigin-Name: 5811df3f0412598d189d46b58de4deff24573651

Enhanced detection of database corruption in btree.c:allocateSpace().

FossilOrigin-Name: 5a511f98877f0f7f12d336b7831f3da901856b02

Fix to check-in [f221f31eff]:  Make sure local variable rc is declared even
when compiled without SQLITE_DEBUG.

FossilOrigin-Name: 7a9a35327c55452e858335933ce11669fc888aeb

Add test case for the obscure corruption detection added by the previous commit.

FossilOrigin-Name: f221f31efff83651b9af295b98cfe98bcba3ad54

Catch an obscure case of database corruption.

FossilOrigin-Name: 0f9b17a6da42b4da667bbbc00f713effe92a66b5

Fix another bug in 3-way NEAR queries.

FossilOrigin-Name: 3bb13a06521b54194c9f3eb44e0dc42bacf016a4

Fix some problems with FTS3 and 3-way NEAR queries.

FossilOrigin-Name: 23dc6fb5b28712d1ba18dc7ddb3f2ef3b469d611

Add the SQLITE_4_BYTE_ALIGNED_MALLOC compile-time option which tells some
assert() statements that the underlying system only requires 4-byte alignment
of 8-byte data objects like double or int64 and that system malloc() only
guarantees 4-byte alignment of returned pointers.

FossilOrigin-Name: 08faee686eb2fabe0dde51231ee55880e78541e8

Remove an assert() in btree.c:releasePage() that is not necessarily true
when the btree is recovering from an OOM that occurs in the middle of
a balance().

FossilOrigin-Name: 04fc9c7661dd24d080f965e7eae9010a2d346e6a

Fix a problem involving a 3-way NEAR query.

FossilOrigin-Name: 507890a9139875b1b594225c432c714f67312c0e

In the OSTRACE debugging macros in os_unix.c, identify the VFS currently
in use.

FossilOrigin-Name: 082b8da005128f47f63e95b6b702bf4517221b2a

Modify [2ad1461f25] to avoid leaving a prepared statement in "active" state following an OOM error in FTS3.

FossilOrigin-Name: 69c21ee46aeeb624fd8638b17ff7259a3e5f9a46

Fix an FTS3 problem where an OOM error was not being propagated back
out to the top-level interface.

FossilOrigin-Name: 2ad1461f255c2499367b706a5ec65b44c1fc1618

Reset the state of the asynchronous IO module at the end of the tkt-94c04eaadb.test script.

FossilOrigin-Name: e8ae7e98977ff2a47237ad64f8a9a800a6d2797c

Do not run fts3rnd.test as part of quick.test.

FossilOrigin-Name: 3bb64842acdca2a4e81f1c72130a90c23b0804f1

Clear a conflicting TCL variable in the fts3rnd.test test script.

FossilOrigin-Name: f9047b2e88a26ed52a54c527cca2a8c1123805d1

Fix an assert() in btree.c that might have fired on a corrupt database file.

FossilOrigin-Name: 5ab2b3e300b70bc04cdead69275f8f734ea2d885

Remove a NEVER() from btree.c that could occur in a very obscure tested
evaluation with an I/O error on fstat().

FossilOrigin-Name: d5861d9ffecca499d79d722b5f742ffe3a5aff44

Fix an incorrect assert() in fts3.c. Add further fts3 tests.

FossilOrigin-Name: 75863c2d55e0801add5b8dcf88d575c5c870af04

Updates to FTS3 to correct compiler warnings under MSVC.

FossilOrigin-Name: 37495b55ffbdc2db4482367ac7d8e32d4d71d58e

Fix a couple of compiler warnings under MSVC.

FossilOrigin-Name: e3aa0870fce0666bf8c67ad6ec23e135d03b604a

Fix cut-and-paste error affecting a couple of attach tests on Windows.

FossilOrigin-Name: 59e2e2c6301e189a1a6601c681bbb0937a5cd14e

Add links from C/C++ interfaces to their equivalent SQL functions.  Comment
changes only - no changes to code.

FossilOrigin-Name: acce10f77125b5ab05d10ec10aef68dffa4e826a

Change an error message in FTS3 to avoid using an uninitialized variable.

FossilOrigin-Name: 620a8a2b38f5f2ad3db304b2bc88360285c174db

Fix an uninitialized value read in sqlite3async.c.

FossilOrigin-Name: 1cf2136c39239a6fea6ac2a555f55865dd517d93

Fix compiler warnings in test_hexio.c.

FossilOrigin-Name: 6a2e0725c20520aa90abb2bc04037ee7acebb930

Modify a test in fts3b.test to reflect the fact that the docid field may now be updated.

FossilOrigin-Name: ef5b7450292e6f89c2b36427a9cd6f8050ad16f4

Clear the Pager.dbModified flag when unlocking the database. Assert that it is clear when locking the database.

FossilOrigin-Name: d17ec16b7c5051c904c09580a856593b2fb85edc

Make sure a variable is cleared before use in the where8.test script.

FossilOrigin-Name: b34365296d65310bb015901d18ed463e73d47cbe

Add testcase() macros to make sure boundary cases in BEFORE UPDATE triggers
are well tested.

FossilOrigin-Name: 27175caa28919fe145d369f27f52346b8bbadb1e

Fix a faulty function prototype in test_intarray.c.

FossilOrigin-Name: 110956a6505a9f17d08142d47003cf3bc4e515d3

Use #include "sqlite3.h" instead of <sqlite3.h> in fts3Int.h.

FossilOrigin-Name: 7737db490ceba02c29c36fe181b4e7895b40aa75

Add typedefs for i16 and u8 to fts3Int.h when not building via the amalgamation method.

FossilOrigin-Name: fa56c1c47296c2f9ba1de9450d421dd06fde5a6a

Add tests for the remaining examples in fts3.in.

FossilOrigin-Name: e381cd5229b30168769330cb201bae2689e1a549

Reorder function declarations in mutex_os2.c.  This is a blind change - we
have no capability of testing on OS/2.
Ticket [97214a34d814]

FossilOrigin-Name: c40e4ef094bb9d58f14354602785ccc228f8bc2a

Changes to the TCL interface header to allow it to be compiled independently
from the amalgamation.

FossilOrigin-Name: 58113932d93926b4aa037a7487105a55f883cd0a

Open a savepoint within the FTS3 optimize() function.

FossilOrigin-Name: 4924fbb244bd1b7103e29e045812cb1c4d2d81c8

Fix a segfault that can occur when querying an empty FTS3 table. Also restore the rowid/docid conflict handling to work as it did in version 3.6.20.

FossilOrigin-Name: c022f66b5a65aa54d5ebd55cfe941118a2042280

Test coverage improvements in the FTS3 porter stemmer.

FossilOrigin-Name: 6d112bfd53998b8f6693d3f2edbcd5ab4cdf5fb1

Add test cases for examples recently added to documentation file fts3.html.

FossilOrigin-Name: 498922cc356316a3ec59320529b685728e407746

Updates to snippet() and offsets() functions of FTS3 so that they work
sanely following an OOM fault.

FossilOrigin-Name: b939a37a8ce296785a300e79ab9d3d87ad91343f

Change FTS3 to detect when the RHS of the MATCH opertor encounters an OOM
during string format conversion and report back an SQLITE_NOMEM error.

FossilOrigin-Name: 31eed4f8f95f0799d634eccbd9e09cb58172d250

Remove all benign OOM failure opportunities from the FTS3 hash table
implementation.  All OOM faults cause SQLITE_NOMEM to be returned.

FossilOrigin-Name: 80754d383a0e890ea3f315dab941b9f166481ddd

Add a test case for creating an FTS3 table with no module arguments or opening/closing brackets in the CREATE VIRTUAL TABLE statement.

FossilOrigin-Name: a9cba7ea0a06efa7a63a3069b219cc30fb127e98

Initialize a variable (unnecessarily) to avoid a compiler warning.

FossilOrigin-Name: db65fd5913aae4d83d2c2bc243653175be3c3d35

Fix a bug introduced by the fts3 refactoring (segfault when creating a table with zero module args). Also a fix to handle an OOM error.

FossilOrigin-Name: eada284bc10cafcab9beb3473bb0c70b3b4de2f9

Change the test numbers in e_fkey.test so that they are in order.

FossilOrigin-Name: ca73be44cc2dab5edc48292c467adc8362ddf645

Remove a C++ism accidentally added to fts3.c.

FossilOrigin-Name: 97d332416069d2fbce323740b276d0e7523eeee5

Move [7d30880114] to the trunk. Add optimizations to reduce the number of opcodes used for BEFORE UPDATE triggers.

FossilOrigin-Name: 1b7c5250ccb63182324bfc3f1ea28f17b6db357a

Simplifications to the sqlite3_trace() bound parameter substitution logic.

FossilOrigin-Name: cb4b928648504ce29d751834e9ee3b5278dfca65

Make sure the new fts3Int.h header file is added to the amalgamation.

FossilOrigin-Name: f25558f333637b83f98a649acbb8a0d5dbada9ba

Support zeroblob in trace output.

FossilOrigin-Name: 5086bf8e838c824accda531afeb56a51dd40d795

Get trace with parameter insertion working for UTF16 databases.

FossilOrigin-Name: 01d5451af0bd2743eb74b98f2e77dd2c75f403b6

Initial check-in of code that inserts tokenizations of the values
for bound parameters into the output of sqlite3_trace().

FossilOrigin-Name: 545cfb3b63f482036ae152e6ebcce86d373585a8

Enhance the %q, %Q, and %w printf conversions so that the precisions
specifies the length of the input.

FossilOrigin-Name: 3ba773132d3baeb87acaee538b8fb0b0f4293673

Fix a tracing macro in the VDBE in the VColumn opcode.

FossilOrigin-Name: cb74b81bb0322efdd66146d7de466c14564b18fd

Fix SQLITE_SECURE_DELETE so that it overwrites content on the root pages
of tables and indices that are dropped using the truncate optimization.

FossilOrigin-Name: 02ef972a56aab1e61786000283193165d3968842

Make sure registers computed for the VFilter opcode are marked invalid
after the VFilter opcode finishes.  Ticket [16fbf14cb2].

FossilOrigin-Name: 83dc7d38c2695d1b2a7d4866a4df9be9e41d1abe

Rearrange the order of two branches in order to restore 100% branch coverage
after recent changes to in-memory database processing.

FossilOrigin-Name: 6ce6ff4402241d5c76acd0c60c85097dfcd7fd7c

Change so that deleting an Expr structure requires only one frame per level in the expression tree, not two.

FossilOrigin-Name: a4380ab326e4b0de29271c824d041193e86b7139

Bump the version number to 3.6.21.

FossilOrigin-Name: 39214aee6553db76309851e7aa74fcc02d4f59b7

Add some missing comments to fts3 files. No source code changes.

FossilOrigin-Name: b6402b2065b844acb3f1bb94ad964568706bcb86

Fix a bug in transaction rollback during backup when the CODEC is enabled
that can result in a corrupt backup file.  This is only a problem when
SQLITE_HAS_CODEC is defined.

FossilOrigin-Name: f3398fc4db765e2c63d425d570c4469a84b3328c

When moving pages as part of autovacuum on an in-memory database, make sure
that the source location is journalled so that a ROLLBACK can occur.
Part of the fix for ticket [564d412f15a00]

FossilOrigin-Name: 2f42f91fe65b0b21671936013df08037091f0cc6

Merge leaf accidentally created by [1c4984c62f].

FossilOrigin-Name: cae949ce971ca216e0f8880b2f93866619fa05be

Fix a bug in LIMIT 0 for compound SELECT statement.
The problem was introduced by recent enhancements and has not appeared
in any release.

FossilOrigin-Name: c6ed7e2a73a7a65cfa914ffcad4f603b6b7a22a8

If the root pages numbers of the internal schema are adjusted due to
autovacuum on a DROP TABLE statement and that statement later aborts (for
example, due to an OOM error) then reset the internal schema at the
conclusion of the statement.
Partial fix for ticket [564d412f15a].

FossilOrigin-Name: e493b093f8ca722c3160b32a16fb615023978dc9

Avoid unnecessary page cache allocations when move a page while autovacuuming
an in-memory database, since the allocation might fail making it impossible to
rollback the transaction.

FossilOrigin-Name: 9a429349ccc2fa9acd28365a86578f602e87dafb

Add a test to make sure a database can be attached to a single handle twice if not in shared-cache mode.

FossilOrigin-Name: 1c4984c62f393f41f9182ea82546c16d02efa46f

Improve comments and other things in fts3_write.c.

FossilOrigin-Name: 1cf0e3cc14bad22867e740736c2886dc1c4a48dc

Minor optimizations to fts3 code.

FossilOrigin-Name: b456eacbbb16513d1b27e90015ea58a6dc92cc3b

Merge leaves [7cd178a72a] and [598727e6da].

FossilOrigin-Name: 4115c0c286052e32cb81f77a644d530c1766206f

Fix a performance regression introduced while reworking the fts3 code.

FossilOrigin-Name: 7cd178a72ab99c94fdacffb19aad819ae600e57d

Remove an unreachable branch from the OP_Affinity suppression logic.

FossilOrigin-Name: 598727e6dae87f133c658fa125684f6ad978be60

Merge fts3-refactor into the main trunk.

FossilOrigin-Name: 551dbe30eab5855756e6356f6ba050f5d1791ef8

Fix some fts3 related issues with the autoconf and amalgamation build systems.

FossilOrigin-Name: 3b17924754343c0163464dabf01a9c46ffccef28

Merge with [4bd4330709].

FossilOrigin-Name: 7a46d1ebe348ce9f1e8732617a8e280f152fe979

Fix a bug introduced with recent optimizations:  The unary minus operator
is TK_UMINUS, not TK_MINUS.

FossilOrigin-Name: 4bd43307090258f8652c995b056101c51b81274a

Merge the fts3-refactor branch with the trunk.

FossilOrigin-Name: c8d2bd37a4c16154912a0831690584011dc230cb

Fix problems introduced into fts3 as part of the refactoring.

FossilOrigin-Name: fa0998e19d984ee57f4f506c34eb858026cc49c3

Performance improvement by avoiding unnecessary calls to memset().

FossilOrigin-Name: 85940468e6f93f7c493fbc129f13cf6233c5d0c0

Add some missing comments and fix some other issues in fts3 code.

FossilOrigin-Name: 2fe579e778b75fbf503c02e01e5424c1926f2b49

Suppress more instances of unnecessary OP_IsNull and OP_Affinity opcodes.

FossilOrigin-Name: bf6c0bd1c5568c6292ea0a64c8a5071e1bd3079a

Enhancements to the VDBE opcode loop to reduce the number of machine-code
instructions evaluated by about 10%.

FossilOrigin-Name: 9744ffb3f5bc6d8fd59fbb6577a0d549411cd967

Code generator tries to avoid pointless OP_IsNull and OP_Affinity opcodes.

FossilOrigin-Name: ebb0c8a3e977dc741704e733b5a5d931d9b27028

Improvements to the way fts3 reads the full-text index.

FossilOrigin-Name: 45c051e78651d8204c17cecdda2bde705698881f

Make sure the output of sqlite3OsFullPathname is initialized even if the
fails due to I/O or OOM errors.

FossilOrigin-Name: e4943adb83819dee06e2e9da25ff6d967ca170de

Fix a reference to freed memory that can occur following an OOM error in
where.c.

FossilOrigin-Name: 929b6047391411c6f539e47afe6b63d16e352ccb

Back out part of the change in [23ea2b700fd6d28d] since TH3 reveals some
problems in OOM situations.

FossilOrigin-Name: 15d215d62df72c1bf1e605629692ee40d96546a6

Add a few extra coverage test cases for fts3.

FossilOrigin-Name: f29c8fcade4aadeae3824975cf59f306c11c906b

Use the sqlite3CtypeMap[] to improve the speed and reduce the size of the
logic in the tokenizer that recognizes identifiers.

FossilOrigin-Name: 1c9243b0760741f48b15efb0da661255177aed8b

Additional optimizations in sqlite3VdbeRecordCompare().

FossilOrigin-Name: 23ea2b700fd6d28d3b13663d164faba3760c572e

Optimizations to the sqlite3VdbeRecordCompare() routine help it to run 12.5%
faster for some traces.

FossilOrigin-Name: 74c76f0bf946d184275de478ec72220d76342493

Fixes to fts3 integrity check code.

FossilOrigin-Name: d3cae986ee1a176b1b015c3cebcd58ff0c3bdf92