Delta-encode terms in interior nodes.  While experiments have shown
that this is of marginal utility when encoding terms resulting from
regular English text, it turns out to be very useful when encoding
inputs with very large terms. (CVS 3520)

FossilOrigin-Name: c8151a998ec2423b417566823dc9957c7d5d782c

Improvements to the speed tests recently added to the test suite. (CVS 3519)

FossilOrigin-Name: 272c1a6e61d053121b5412564948dad4366b5727

Fix a typo in the OMIT_AUTORIZATION in expr.c. (CVS 3518)

FossilOrigin-Name: 3dea7fbefdadb269e58ae76bb9a7281c96d8b15b

Make the pager sector size configurable at compile-time. (CVS 3517)

FossilOrigin-Name: 6221cf4f52e79f53043b7c10daedf2755d8fb167

Add performance tests to the test suite. (CVS 3516)

FossilOrigin-Name: 270c745dffad7aa24f8707720b3d68ad7a6b2749

Fix the ".dump" command in the shell.  Ticket #2072.  Also ticket #2065. (CVS 3515)

FossilOrigin-Name: 9fdc249609a4745715a2bf49bbf1376ea243a20a

Make sure VACUUM cleans up after itself.  Ticket #2071. (CVS 3514)

FossilOrigin-Name: 2fdc147d0059dcdfff2da33bd9fedb0bee057aa1

Store minimal terms in interior nodes.  Whenever there's a break
between leaf nodes, instead of storing the entire leftmost term of the
rightmost child, store only that portion of the leftmost term
necessary to distinguish it from the rightmost term of the leftmost
child. (CVS 3513)

FossilOrigin-Name: f6e0b080dcfaf554b2c05df5e7d4db69d012fba3

Refactoring groundwork for coming work on interior nodes.  Change
LeafWriter to use empty data buffer (instead of empty term) to detect
an empty block.  Code to validate interior nodes.  Moderate revisions
to leaf-node and doclist validation.  Recast leafWriterStep() in terms
of LeafWriterStepMerge(). (CVS 3512)

FossilOrigin-Name: f30771d5c7ef2b502af95d81a18796b75271ada4

Delta-encode docids.  This is good for around 22% reduction in index
size with DL_POSITIONS.  It improves performance about 5%-6%. (CVS 3511)

FossilOrigin-Name: 9b6d413d751d962b67cb4e3a208efe61581cb822

Require a minimum fanout for interior nodes.  This prevents cases
where excessively large terms keep the tree from finding a single
root.  A downside is that this could result in large interior nodes in
the presence of large terms, which may be prone to fragmentation,
though if the nodes were smaller that would translate into more levels
in the tree, which would also have that problem. (CVS 3510)

FossilOrigin-Name: 64b7e3406134ac4891113b9bb432ad97504268bb

Allow backing tables to be missing on dropping fts table.  Fixes
http://www.sqlite.org/cvstrac/tktview?tn=1992,35 . (CVS 3509)

FossilOrigin-Name: 9628a61a6f33b7bec3455086534b76437d2622b4

The uninitialized file descriptor from the unixFile structure is passed to sqlite3DetectLockingStyle in allocateUnixFile rather than the file descriptor passed in.  This was causing the locking detection on NFS file systems to behave somewhat randomly and the result was locks were not respected and data loss could occur. (CVS 3508)

FossilOrigin-Name: b9dd16ef3df0785d8d0eea9a6f2ad580a7289834

Update the documentation to talk about the new sqlite3_prepare_v2() API. (CVS 3507)

FossilOrigin-Name: d9e14b6121a7b6786cccafd6e1e83474554632aa

First cut at adding the sqlite3_prepare_v2() API.  Test cases added, but
more testing would be useful.  Still need to update the documentation. (CVS 3506)

FossilOrigin-Name: f1efae9224170c9155afcf17ab3ee769a557b874

Make the .exit and .quit commands work again in the shell.  Ticket #2056. (CVS 3505)

FossilOrigin-Name: f39978ef13e986a16ee322ee84ab9bd38ffc5a8b

Fix a typo in os_win.c.  Ticket #2055. (CVS 3504)

FossilOrigin-Name: d309680ec7a806d181b601e0105aebf1e33bfb81

Use the difference between the SQLITE_IOERR_SHORT_READ and SQLITE_IOERR_READ
returns from sqlite3OsRead() to make decisions about what to do with the
error. (CVS 3503)

FossilOrigin-Name: 6324ea811eec1200cee89e6f377368eaf2fcda77

Fix a bug in the optimizer that was causing it to miss an OR optimization
opportunity. (CVS 3502)

FossilOrigin-Name: 9bf153b54c6e9ba16914dedd9e2949f32d7550ea

Modify Makefile.in to install sqlite3ext.h. (CVS 3501)

FossilOrigin-Name: 35c8c4781736d45019d8b823b8517c24622d3313

Remove dead code from btree.c.  Ticket #2050. (CVS 3500)

FossilOrigin-Name: dbd0125c62457681689db48e1f0a752767855773

Change the default temp file prefix to be "sqlite" spelled backwards.
Tickets #2049 et al. (CVS 3499)

FossilOrigin-Name: a19ce5c1c4e86d141f7e04af6babeb2ecb75b523

Change the default prefix for temporary files so that it no longer
contains the text "sqlite".  In this way, perhaps we will not get so
many false bug reports such as ticket #2049, #1989, and #1841. (CVS 3498)

FossilOrigin-Name: 7ce48000bb0dafda8a171bfc040dfe2300f84ed2

Fix a pair of memory leaks.  These were turned up by running valgrind
memcheck with various 10k doc insert, update, delete, and query tests. (CVS 3497)

FossilOrigin-Name: 3cd9b64b96018f69163ad0be0b5c07dd1be6abc6

Make the command-line shell ".dump" command more resilient in the face of
database corruption. (CVS 3496)

FossilOrigin-Name: ebd44f0b5e229b990910bb44565de9a5c06cb5bc

Changes to support non-ASCII characters in win95 filenames.
Ticket #2047. (CVS 3495)

FossilOrigin-Name: 9fa3ae584ae4936696fd2f23a64697f0409ef313

Enhance the optimizer so that IS NULL can use an available index. (CVS 3494)

FossilOrigin-Name: 64762a9d582e4655d6bc5989d8e0ad773d659a7d

Fix the ".dump" command in the command-line shell so that it shows
TRIGGERs and VIEWs.  Ticket #2044. (CVS 3493)

FossilOrigin-Name: 58171a41f706dd2fab1da5d83d2176d0103643fb

Changes directed toward optimizing IS NULL terms in WHERE clauses. (CVS 3492)

FossilOrigin-Name: 4d336e9ef5f65b95959e7d01cd0357d46e9b1fa5

Bring CVS output into more commonly accepted practice.  Tickets #2030, #1573.
Add command-line options -bail and ".bail" commands.  Default behavior is
to continue after encountering an error.  Ticket #2045. (CVS 3491)

FossilOrigin-Name: 517712d6fbc5ba5299942a54852298030f4d3381

Command-line shell enhancements.  Bail out when errors are seen in
non-interactive mode.  Override isatty() using -interactive or -batch
command-line options.  Report line number in error messages.
Tickets #2009, #2045. (CVS 3490)

FossilOrigin-Name: 3baa04cfb91039e27f642f6f78ef761b5770cb08

Empty queries should get no results.  My recent change
( http://www.sqlite.org/cvstrac/chngview?cn=3486 ) broke test fts2a-5.3.
This change should make the expected result more obvious. (CVS 3489)

FossilOrigin-Name: cde383eb467de0d752e94a22cd2f890c2dc599cc

Make memset() uses less error-prone.
http://www.sqlite.org/cvstrac/tktview?tn=2036,35 describes some cases
where we were passing memset() a length which was the sizeof a
pointer, rather than the structure pointed to.  Instead, wrap this
idiom up in CLEAR() and SCRAMBLE() macros. (CVS 3488)

FossilOrigin-Name: 5878add0839f9c5bec77caae2361ec20cb60b48b

Remove unreferenced local variable. (CVS 3487)

FossilOrigin-Name: 2d3b22197c7c06488b789cce333b34b6d1ae39aa

Replace the DocList and DocListReader structures.  The new structures
distinguish reading from a static buffer from writing to a dynamic
buffer.  This allows n-way doclist merging, and in-place merging of
segment leaf nodes, which together cut segment merge times in half. (CVS 3486)

FossilOrigin-Name: af5bfb986e39248abbfc6fff2e13c6f9e634a751

Test to force edge cases in query logic.  Basically, exercise code to
handle lack of hits correctly. (CVS 3485)

FossilOrigin-Name: 2cb59033662f25677169e2e63b871fb0a4c10c21

Don't store empty segments.  When inserting empty strings, the code
was writing out a segment made up of a single leaf node containing the
\0 header.  LeafReader assumed that leaf nodes always contained at
least one term, so assertions would fail.

While it would be possible to support reading and merging empty
segments, there's no reason to do so.  While this change could have
been done in writeZeroSegment(), I put it in leafWriterFlush() so that
it would work right if segmentMerge() created an empty segment, which
could happen with future changes to how deleted documents are handled. (CVS 3484)

FossilOrigin-Name: fed79beec7da24a26ae94494bdc0c98dd102bc06

dup fts1 tests and edit for fts2.  fts1porter.test omitted because it
depends on being able to poke through to %_term table. (CVS 3482)

FossilOrigin-Name: 2806c3415841b98d52163fa672a747d0a47ffd41

Add tests for delete and update in fts1. (CVS 3481)

FossilOrigin-Name: b01c4371d861a087623a34c38cb8db74eca95348

fts2 support for testing.  These are a prelude to adding some test
scripts. (CVS 3480)

FossilOrigin-Name: 004ad1943f8c5933ee9584a57b2de9d421470d3c

When converting UTF8 or UTF16 strings, change overlong strings and other
illegal codes to 0xFFFD.  Ticket #2029. (CVS 3479)

FossilOrigin-Name: 0c6736df9cb4c3c8f6224e30df939cead9cd5369

Fix a problems that arise if malloc() fails while compiling SELECT
statements within a TRIGGER. (CVS 3478)

FossilOrigin-Name: ee4894b49995e4904db1991281563cfbb7b1c16d

Make sure the names of all expressions in compound SELECT statements used
as subqueries are correctly resolved.  Ticket #2018. (CVS 3477)

FossilOrigin-Name: b886eaa334150262ce4d1a1d0470ca4cf623a396

Avoid expanding %d contained in the action of a lemon parser rule.
Ticket #1063.  This is a fix for lemon only.  It does not effect SQLite. (CVS 3476)

FossilOrigin-Name: 81daedcf48372949b9df009ce6121a514ecf6f2e

Removing debugging printf from the porter stemmer code.  Ticket #2016. (CVS 3475)

FossilOrigin-Name: 7a08c6272f76d53b13313019b4f9da3c8f02b650

Convert fts2 to store data in a way which allows for much faster
updates.  Groups of documents form segments which are encoded in a
btree layered over a table of blocks, with various tricks to make
merges fast.  This performs 20x-25x faster than fts1 when loading the
Enron corpus, and is only slightly slower for queries. (CVS 3474)

FossilOrigin-Name: 85272b2f5394e37916afb1d509e7296810d976f5

Bug fix: named local variable lockStyle as lockingStyle in SQLITE_ENABLE_LOCKING_STYLE block in allocateUnixFile (CVS 3473)

FossilOrigin-Name: aa0b96c3dfa1d8008cd944281c227604b2ee16d1

Fix leaky symbols.  With this change, fts1 and fts2 can both be
statically linked. (CVS 3472)

FossilOrigin-Name: 5e8bbb85c1493e3ab2d807d24c68294f26838e49

Copy fts1/ to fts2/, changing reference from fts1 to fts2.  For future
reference, the source versions copied were:

README.txt r1.1
fts1.c r1.37
fts1.h r1.2
fts1_hash.c r1.1
fts1_hash.h r1.1
fts1_porter.c r1.1
fts1_tokenizer.h r1.4
fts1_tokenizer1.c r1.6 (CVS 3471)

FossilOrigin-Name: d0d1e7cdcc1dd085f1e359ce35c441699d517b02

VACUUM now uses a temporary file in the official TEMP folder instead of
a file in the same directory as the original database. (CVS 3470)

FossilOrigin-Name: b743429dd54e2dcae213ec1993e9e916a9ba678d

Version 3.3.8 (CVS 3469)

FossilOrigin-Name: 0658bb9e3f57e6aff4745590821a0590abc815f6

Website changes for version 3.3.8.  Remove a C++-ism from test8.c. (CVS 3468)

FossilOrigin-Name: 465ce5b2fe4462191dd02672838f3f903cd0f976

Fix incorrect doclist initialization in term_select_all().
docListRestrictColumn() generates a DL_POSITIONS doclist, which means
that after the first doclist is processed, the second doclist is
initialized as DL_POSITIONS, but with DL_POSITIONS_OFFSETS data.
(Note that DL_DEFAULT is now DL_POSITIONS, which masks this bug.) (CVS 3467)

FossilOrigin-Name: 144e3f11e22c6efd6f2d960599ab2d93542db406

Fix another UTF conversion problem on x64.  Ticket #2008. (CVS 3466)

FossilOrigin-Name: d16523e555afa1e6e89409f614fd665261fa3865

The snippet generator adds ellipsis between text from different columns. (CVS 3465)

FossilOrigin-Name: 6cf1fb9f801dc1b2865c0d1f9afb1b2076d4246e

Fix UTF conversions for -O2 on gcc 4.1.1.  Ticket #2008. (CVS 3464)

FossilOrigin-Name: 86a08bb7c5da42fbeb5a026287d67912a2ffb7f1

Tests cases automatically remove many of their temporary files. (CVS 3463)

FossilOrigin-Name: eef0ec0d7ae0743d29454567f539e46ad2d5008e

Make DL_POSITION the default mode in FTS1.  Remove the need to compile
with SQLITE_CORE when SQLITE_ENABLE_FTS1 is used. (CVS 3462)

FossilOrigin-Name: df1a4b4834fdc88056371bcc767c5dfde2eaab72

Modify the makefile(s) to know about the FTS1 module - however FTS1 is
turned off by default.  Bump the version number to 3.3.8. (CVS 3461)

FossilOrigin-Name: 288ff63783725a5d8f86b6171473bb4ae3c4e37b

Report the error SQLITE_CORRUPT instead of SQLITE_IOERR if unable
to rollback a hot journal that was damaged (for example) by filesystem
corruption following a power failure. (CVS 3460)

FossilOrigin-Name: 70501e4ea588ed762e4f6bc211ce63397faa3367

Add the OS-X locking style patches to os_unix.c.  Disabled by default. (CVS 3459)

FossilOrigin-Name: f4103dea5e1a87adccccca715946e174d1cc7450

Fix sqlite3_analyzer so that it works when compiled against Tcl8.5. (CVS 3458)

FossilOrigin-Name: e774adce8e461a70ead9474cd64cb05c2d633eb9

Fix sqlite3_analyzer so that it works on databases containing virtual tables. (CVS 3457)

FossilOrigin-Name: 47c8567fcb6b184ca13fcb67f80d261205c66fc8

Add the option to omit offset information from posting lists in FTS1. (CVS 3456)

FossilOrigin-Name: fdcea7b1ffd821f3f2b6d30997d3957f705a6d0c

Another typo in the Porter stemmer check-in. (CVS 3455)

FossilOrigin-Name: 6696bda11ccad9663b15206592116d638aa3ff0a

Typo in previous check-in. (CVS 3454)

FossilOrigin-Name: a7350bf86c41c428adbfe42dc9cbb3ecf0045c25

Remove one non-working test case fromthe Porter stemmer tests and add
an acknowledgement for the source of the test data (Martin Porter himself.) (CVS 3453)

FossilOrigin-Name: 1a2df2a61b3c84feae7587fa5b1eebf9c7e73daa

Add a Porter stemmer option to the FTS1 module. (CVS 3452)

FossilOrigin-Name: 936b06aaa8133e83104de87e03dc94e286a31f86

Make sure memory does not leak when patching up column names so that
they are unique in a join or view.  Tickets #1952 and #2002. (CVS 3451)

FossilOrigin-Name: fcde639119c309c699ee9dd60ed60fd6e9c8c077

Fix a bug in the handling of the OR operator in FTS1.  Test cases added to
prevent a repeat. (CVS 3450)

FossilOrigin-Name: 8cdf1d6ae018dfc93f8f0962b2530e31aa0bebff

More snippet generator improvements and test cases. (CVS 3449)

FossilOrigin-Name: 0934d220b33c52024f42c89fa13326bd52333f39

Bug fix in the FTS1 snippet generator.  Improvements in the way the snippet
generator handles whitespace. (CVS 3448)

FossilOrigin-Name: d3f4ae827582bd0aac54ae3211d272a1429b6523

Avoid segfaults when inserted NULL values into FTS1. (CVS 3447)

FossilOrigin-Name: 165645d30115f3171fc45489823f85639fe2bfcd

Fix to the previous check-in. (CVS 3446)

FossilOrigin-Name: 944d5f812004e2dc0065fce267accf8907235a50

Performance improvement and bug fix in sqlite3WinDelete(). (CVS 3445)

FossilOrigin-Name: 46ac1ac2d10cf2f1ebfb8dd4bb9a2ccffd85e816

CVS malfunctioned on the previous check-in.  Make sure the revision to
date.c was received.  Ticket #1991. (CVS 3444)

FossilOrigin-Name: 433dac1f2924d00282ef952668b21a9c023c93cb

Fix a roundoff error in the %f converter of strftime().  Ticket #1991. (CVS 3442)

FossilOrigin-Name: 51b9c755ea01528e32690aabe91236ed917369f1

Add a pragma for activating proprietary extensions. (CVS 3441)

FossilOrigin-Name: c63d34ce0c7412852fdcf047bc388d2f9710f297

Fix a round-off problem in the %f conversion of strftime(). Ticket #1991. (CVS 3443)

FossilOrigin-Name: bf4608406a3246fe7a214cb31b79e51f86b7ee18

Bug fix in pragma table_info(). (CVS 3440)

FossilOrigin-Name: c037403bae0d78f9dd2703ff05cc3cd3ac54e062

Remove legacy cruft from shell.c. (CVS 3439)

FossilOrigin-Name: 815d8f84b317d26a3ca87405d27376e1e4493d8b

Fix a bug in the handling of I/O errors introduced by the addition
of extended error codes in check-in (3422). (CVS 3438)

FossilOrigin-Name: 20d7b29443ea7d9ec1ef81219c74ba725e8711e3

Fix documentation typo.  Ticket #1986 (CVS 3437)

FossilOrigin-Name: 58c32ce35a04838b4a8e4210299bac935e60bfb9

Be sure to ignore PRAGMA encoding pragmas if the encoding has already been
set for a database.  Ticket #1987.  This patch also includes some cleanup
of the schema parser and initialization logic. (CVS 3436)

FossilOrigin-Name: dc797bf4fa96deabd9ceb6cc062b98d2ac49a574

Fix a build problem around sqlite3_overload_function.  Only affects
so/dll builds. (CVS 3435)

FossilOrigin-Name: 791d70936b9c4fed57c95f61e3b4dfdd24221ee4

Implemented UPDATE for full-text tables.

We handle an UPDATE to a row by performing an UPDATE on the content table and by building new position lists for each term which appears in either the old or new versions of the row.  We write these position lists all at once; this is presumably more efficient than a delete followed by an insert (which would first write empty position lists, then new position lists). (CVS 3434)

FossilOrigin-Name: 757fa22400b363212b4d5f648bdc9fcbd9a7f152

When gathering a doclist for querying, don't discard empty position lists until the end; this allows empty position lists to override non-empty lists encountered later in the gathering process.  This fixes #1982, which was caused by the fact that for all-column queries we weren't discarding empty position lists at all. (CVS 3433)

FossilOrigin-Name: 111ca616713dd89b5d1e114de29c83256731c482

Be more aggressive with the SQLITE_OMIT_VACUUM macro.  Saves about 150
bytes of code space. (CVS 3432)

FossilOrigin-Name: 7e618db4579d752cc6d775c664c93e141217948f

Implementation of the snippet() function for FTS1.  Includes a few
simple test cases but more testing is needed. (CVS 3431)

FossilOrigin-Name: c7ee60d00976efab25a830e7416538010c734129

Fixed a build problem in sqlite3_extension_init(). (CVS 3430)

FossilOrigin-Name: bb2e1871cb10b470f96c793bb137c043ef30e1da

Convert all names to lower case before sending them to the xFindFunction
method of a virtual table.  In FTS1, use strcmp instead of strcasecmp.
Ticket #1981. (CVS 3429)

FossilOrigin-Name: cd4e1de896ef715c444071f758b74dbb607e0572

Convert all names to lower case before sending them to the xFindFunction
method of a virtual table.  In FTS1, use strcmp instead of strcasecmp.
Ticket #1981. (CVS 3428)

FossilOrigin-Name: efa8fb32a596c7232bb1754b3231e4f2421df75b

Modify FTS1 so that the "magic" column has the same name as the virtual
table.  Offsets are retrieved using a special "offsets" function whose
first argument is the magic column.  Snippets will ultimately be retrieved
in the same way. (CVS 3427)

FossilOrigin-Name: 5e35dc1ffadfe7fa47673d052501ee79903eead9

Add the sqlite3_overload_function() API - part of the virtual table
interface. (CVS 3426)

FossilOrigin-Name: aa7728f9f5b80dbb1b3db124f84b9166bf72bdd3

Add documentation for the sqlite3_extended_result_codes() API. (CVS 3425)

FossilOrigin-Name: a6b3f6bed209dc27d36cd4e159159f73266e9911

Fix an initialization problem in FTS1.  Ticket #1977. (CVS 3424)

FossilOrigin-Name: 5a18dd88498ca35ca1333d88c4635868d0b61073

Bug fix and better testing of the extended result codes. (CVS 3423)

FossilOrigin-Name: 78ae74db1cbf605cd421e7ea321e879d3638968e

Add support for extended result codes - additional result information
carried in the higher bits of the integer return codes.  This must be
enabled using the sqlite3_extended_result_code() API.  Only a few extra
result codes are currently defined. (CVS 3422)

FossilOrigin-Name: ba579ddc4361fc6e8ea66f9385770d70dfe94751

New FTS1 test data based on enron emails. (CVS 3421)

FossilOrigin-Name: 01651a32c6e67c4ac2cd23f1da7f3cc3adad1b33

Remove file containing real email addresses.  Ticket #1978. (CVS 3420)

FossilOrigin-Name: 373a575f745dc2002090328f30539bbfef3119d5