More fixes to the microsoft code-page nightmare... (CVS 3544)

FossilOrigin-Name: 0b47d88060069781e7e184806d6ecaeff9b9e5d1

Use GetProcAddressA() on wince.  Ticket #2123 (CVS 3543)

FossilOrigin-Name: e3dddd1cef5877c009852fd7f484973843e26e00

Reduce the number of utf8->unicode conversions required in wince.  Ticket #2122 (CVS 3542)

FossilOrigin-Name: 6d2ff0962dff0477fe2af0323032dc16337f42ab

Move the shared-library loading routines into the OS portability layer,
thus enabling the os_win.c code to handle the character encoding
confusion of win95/nt/ce.  Ticket #2023. (CVS 3541)

FossilOrigin-Name: a1bcc6de578992b28924c1cf974ea58251454e2d

Change a parameter type from "int" to "DWORD" in the windows interface.
Ticket #2122. (CVS 3540)

FossilOrigin-Name: cca1eb3dfaa67d64ced3e49e7ddbd8db27a5526a

The xFilter method is not optional. (CVS 3539)

FossilOrigin-Name: 6fdbd3bc91559ed95314842c0df33adbf276913e

Initialize a variable to avoid compiler warnings and human confusion.
Ticket #2117. (CVS 3538)

FossilOrigin-Name: 951af8d5c57d665ee2ad3ee09ce34c023aa9e771

Patch to get extension loading working on wince.  Ticket #2023. (CVS 3537)

FossilOrigin-Name: a81f3ddfd0626ae642c5ffd27a23c568d06f58dc

The query optimizer does a better job of optimizing out ORDER BY clauses
that contain the rowid or which use indices that contain the rowid.
Ticket #2116. (CVS 3536)

FossilOrigin-Name: f245f5c2c2d337fe6458824beb7f9e721837765f

Allow constraint names on DEFAULT values in a table definition.
Ticket #2109. (CVS 3535)

FossilOrigin-Name: 893d58c23da2a9b900a13eaa5202d94429862136

Build without warnings and pass all tests with SQLITE_OMIT_LOAD_EXTENSION.
Ticket #2113. (CVS 3534)

FossilOrigin-Name: c3d118b40811b201e4a98b62549c5439d7d5098d

Fix a typo in shell.c.  Ticket #2111. (CVS 3533)

FossilOrigin-Name: 6f8a56231c4d0d990c54365f0ff0544bd8b3caf8

Use sqlite3_mprintf() instead of strdup() to reduce libc dependencies.
Ticket #2114. (CVS 3532)

FossilOrigin-Name: bf4a78cb315c0b1fca31c6f596ff0a8ece96860f

Speed improvement: do not journal or rollback pages that are pulled out of
the freelist. (CVS 3531)

FossilOrigin-Name: 4dffc4c3c9c4ccc024669cec204c68e953333563

Updates to the "Distinctive Features" document. (CVS 3530)

FossilOrigin-Name: c734585e1a801bec2d393d000c323ba842c2292d

Query optimizer enhancement: In "FROM a,b,c left join d" allow the C table
to be reordered with A and B.  This used to be the case but the capability
was removed by (3203) and (3052) in response to ticket #1652.  This change
restores the capability. (CVS 3529)

FossilOrigin-Name: 7393c81b8cb9d4344ae744de9eabcb3af64f1db8

Fix a bug in lemon that leads to an assertion fault given an invalid
grammar.  The bug and this fix do not effect on SQLite.  Ticket #2107. (CVS 3528)

FossilOrigin-Name: f2ad230f6dce98d664370d77845b5f585de20f08

Change the table_info pragma so that it returns NULL for the default
value if there is no default value.  Ticket #2078. (CVS 3527)

FossilOrigin-Name: 5f21c3a5f02b4f2c4550f5904e9d0e1e2eafb0f3

Improvements to the new performance tests. (CVS 3526)

FossilOrigin-Name: 27f56c20514030e009fc3aa7e060d2e6276ddb83

Fix indentation typo in btree.c. (CVS 3525)

FossilOrigin-Name: 5d61486f0fbd21ef992879b39d4e563fbfe46596

Drop a couple variables which are no longer used anywhere. (CVS 3524)

FossilOrigin-Name: 08c2cc0e0782cfaca89947a01b7ea4474dbe71aa

Test that terms longer than interior nodes work correctly.  A bug
prior to fts2.c r1.10 meant that such large terms caused an eventual
stack overflow. (CVS 3523)

FossilOrigin-Name: 66581162daa188d23078c9d21fd5b2563d4d238a

Added the speed1.test script (CVS 3522)

FossilOrigin-Name: 30355dfbd920f3b6a78110aaf370371f620324b7

http://www.sqlite.org/cvstrac/tktview?tn=2046

The virtual table interface allows for a cursor to field multiple
xFilter() calls.  For instance, if a join is done with a virtual
table, there could be a call for each row which potentially matches.
Unfortunately, fulltextFilter() assumes that it has a fresh cursor,
and overwrites a prepared statement and a malloc'ed pointer, resulting
in unfinalized statements and a memory leak.

This change hacks the code to manually clean up offending items in
fulltextFilter(), emphasis on "hacks", since it's a fragile fix
insofar as future additions to fulltext_cursor could continue to have
the problem. (CVS 3521)

FossilOrigin-Name: 18142fdb6d1f5bfdbb1155274502b9a602885fcb

Delta-encode terms in interior nodes.  While experiments have shown
that this is of marginal utility when encoding terms resulting from
regular English text, it turns out to be very useful when encoding
inputs with very large terms. (CVS 3520)

FossilOrigin-Name: c8151a998ec2423b417566823dc9957c7d5d782c

Improvements to the speed tests recently added to the test suite. (CVS 3519)

FossilOrigin-Name: 272c1a6e61d053121b5412564948dad4366b5727

Fix a typo in the OMIT_AUTORIZATION in expr.c. (CVS 3518)

FossilOrigin-Name: 3dea7fbefdadb269e58ae76bb9a7281c96d8b15b

Make the pager sector size configurable at compile-time. (CVS 3517)

FossilOrigin-Name: 6221cf4f52e79f53043b7c10daedf2755d8fb167

Add performance tests to the test suite. (CVS 3516)

FossilOrigin-Name: 270c745dffad7aa24f8707720b3d68ad7a6b2749

Fix the ".dump" command in the shell.  Ticket #2072.  Also ticket #2065. (CVS 3515)

FossilOrigin-Name: 9fdc249609a4745715a2bf49bbf1376ea243a20a

Make sure VACUUM cleans up after itself.  Ticket #2071. (CVS 3514)

FossilOrigin-Name: 2fdc147d0059dcdfff2da33bd9fedb0bee057aa1

Store minimal terms in interior nodes.  Whenever there's a break
between leaf nodes, instead of storing the entire leftmost term of the
rightmost child, store only that portion of the leftmost term
necessary to distinguish it from the rightmost term of the leftmost
child. (CVS 3513)

FossilOrigin-Name: f6e0b080dcfaf554b2c05df5e7d4db69d012fba3

Refactoring groundwork for coming work on interior nodes.  Change
LeafWriter to use empty data buffer (instead of empty term) to detect
an empty block.  Code to validate interior nodes.  Moderate revisions
to leaf-node and doclist validation.  Recast leafWriterStep() in terms
of LeafWriterStepMerge(). (CVS 3512)

FossilOrigin-Name: f30771d5c7ef2b502af95d81a18796b75271ada4

Delta-encode docids.  This is good for around 22% reduction in index
size with DL_POSITIONS.  It improves performance about 5%-6%. (CVS 3511)

FossilOrigin-Name: 9b6d413d751d962b67cb4e3a208efe61581cb822

Require a minimum fanout for interior nodes.  This prevents cases
where excessively large terms keep the tree from finding a single
root.  A downside is that this could result in large interior nodes in
the presence of large terms, which may be prone to fragmentation,
though if the nodes were smaller that would translate into more levels
in the tree, which would also have that problem. (CVS 3510)

FossilOrigin-Name: 64b7e3406134ac4891113b9bb432ad97504268bb

Allow backing tables to be missing on dropping fts table.  Fixes
http://www.sqlite.org/cvstrac/tktview?tn=1992,35 . (CVS 3509)

FossilOrigin-Name: 9628a61a6f33b7bec3455086534b76437d2622b4

The uninitialized file descriptor from the unixFile structure is passed to sqlite3DetectLockingStyle in allocateUnixFile rather than the file descriptor passed in.  This was causing the locking detection on NFS file systems to behave somewhat randomly and the result was locks were not respected and data loss could occur. (CVS 3508)

FossilOrigin-Name: b9dd16ef3df0785d8d0eea9a6f2ad580a7289834

Update the documentation to talk about the new sqlite3_prepare_v2() API. (CVS 3507)

FossilOrigin-Name: d9e14b6121a7b6786cccafd6e1e83474554632aa

First cut at adding the sqlite3_prepare_v2() API.  Test cases added, but
more testing would be useful.  Still need to update the documentation. (CVS 3506)

FossilOrigin-Name: f1efae9224170c9155afcf17ab3ee769a557b874

Make the .exit and .quit commands work again in the shell.  Ticket #2056. (CVS 3505)

FossilOrigin-Name: f39978ef13e986a16ee322ee84ab9bd38ffc5a8b

Fix a typo in os_win.c.  Ticket #2055. (CVS 3504)

FossilOrigin-Name: d309680ec7a806d181b601e0105aebf1e33bfb81

Use the difference between the SQLITE_IOERR_SHORT_READ and SQLITE_IOERR_READ
returns from sqlite3OsRead() to make decisions about what to do with the
error. (CVS 3503)

FossilOrigin-Name: 6324ea811eec1200cee89e6f377368eaf2fcda77

Fix a bug in the optimizer that was causing it to miss an OR optimization
opportunity. (CVS 3502)

FossilOrigin-Name: 9bf153b54c6e9ba16914dedd9e2949f32d7550ea

Modify Makefile.in to install sqlite3ext.h. (CVS 3501)

FossilOrigin-Name: 35c8c4781736d45019d8b823b8517c24622d3313

Remove dead code from btree.c.  Ticket #2050. (CVS 3500)

FossilOrigin-Name: dbd0125c62457681689db48e1f0a752767855773

Change the default temp file prefix to be "sqlite" spelled backwards.
Tickets #2049 et al. (CVS 3499)

FossilOrigin-Name: a19ce5c1c4e86d141f7e04af6babeb2ecb75b523

Change the default prefix for temporary files so that it no longer
contains the text "sqlite".  In this way, perhaps we will not get so
many false bug reports such as ticket #2049, #1989, and #1841. (CVS 3498)

FossilOrigin-Name: 7ce48000bb0dafda8a171bfc040dfe2300f84ed2

Fix a pair of memory leaks.  These were turned up by running valgrind
memcheck with various 10k doc insert, update, delete, and query tests. (CVS 3497)

FossilOrigin-Name: 3cd9b64b96018f69163ad0be0b5c07dd1be6abc6

Make the command-line shell ".dump" command more resilient in the face of
database corruption. (CVS 3496)

FossilOrigin-Name: ebd44f0b5e229b990910bb44565de9a5c06cb5bc

Changes to support non-ASCII characters in win95 filenames.
Ticket #2047. (CVS 3495)

FossilOrigin-Name: 9fa3ae584ae4936696fd2f23a64697f0409ef313

Enhance the optimizer so that IS NULL can use an available index. (CVS 3494)

FossilOrigin-Name: 64762a9d582e4655d6bc5989d8e0ad773d659a7d

Fix the ".dump" command in the command-line shell so that it shows
TRIGGERs and VIEWs.  Ticket #2044. (CVS 3493)

FossilOrigin-Name: 58171a41f706dd2fab1da5d83d2176d0103643fb

Changes directed toward optimizing IS NULL terms in WHERE clauses. (CVS 3492)

FossilOrigin-Name: 4d336e9ef5f65b95959e7d01cd0357d46e9b1fa5

Bring CVS output into more commonly accepted practice.  Tickets #2030, #1573.
Add command-line options -bail and ".bail" commands.  Default behavior is
to continue after encountering an error.  Ticket #2045. (CVS 3491)

FossilOrigin-Name: 517712d6fbc5ba5299942a54852298030f4d3381

Command-line shell enhancements.  Bail out when errors are seen in
non-interactive mode.  Override isatty() using -interactive or -batch
command-line options.  Report line number in error messages.
Tickets #2009, #2045. (CVS 3490)

FossilOrigin-Name: 3baa04cfb91039e27f642f6f78ef761b5770cb08

Empty queries should get no results.  My recent change
( http://www.sqlite.org/cvstrac/chngview?cn=3486 ) broke test fts2a-5.3.
This change should make the expected result more obvious. (CVS 3489)

FossilOrigin-Name: cde383eb467de0d752e94a22cd2f890c2dc599cc

Make memset() uses less error-prone.
http://www.sqlite.org/cvstrac/tktview?tn=2036,35 describes some cases
where we were passing memset() a length which was the sizeof a
pointer, rather than the structure pointed to.  Instead, wrap this
idiom up in CLEAR() and SCRAMBLE() macros. (CVS 3488)

FossilOrigin-Name: 5878add0839f9c5bec77caae2361ec20cb60b48b

Remove unreferenced local variable. (CVS 3487)

FossilOrigin-Name: 2d3b22197c7c06488b789cce333b34b6d1ae39aa

Replace the DocList and DocListReader structures.  The new structures
distinguish reading from a static buffer from writing to a dynamic
buffer.  This allows n-way doclist merging, and in-place merging of
segment leaf nodes, which together cut segment merge times in half. (CVS 3486)

FossilOrigin-Name: af5bfb986e39248abbfc6fff2e13c6f9e634a751

Test to force edge cases in query logic.  Basically, exercise code to
handle lack of hits correctly. (CVS 3485)

FossilOrigin-Name: 2cb59033662f25677169e2e63b871fb0a4c10c21

Don't store empty segments.  When inserting empty strings, the code
was writing out a segment made up of a single leaf node containing the
\0 header.  LeafReader assumed that leaf nodes always contained at
least one term, so assertions would fail.

While it would be possible to support reading and merging empty
segments, there's no reason to do so.  While this change could have
been done in writeZeroSegment(), I put it in leafWriterFlush() so that
it would work right if segmentMerge() created an empty segment, which
could happen with future changes to how deleted documents are handled. (CVS 3484)

FossilOrigin-Name: fed79beec7da24a26ae94494bdc0c98dd102bc06

dup fts1 tests and edit for fts2.  fts1porter.test omitted because it
depends on being able to poke through to %_term table. (CVS 3482)

FossilOrigin-Name: 2806c3415841b98d52163fa672a747d0a47ffd41

Add tests for delete and update in fts1. (CVS 3481)

FossilOrigin-Name: b01c4371d861a087623a34c38cb8db74eca95348

fts2 support for testing.  These are a prelude to adding some test
scripts. (CVS 3480)

FossilOrigin-Name: 004ad1943f8c5933ee9584a57b2de9d421470d3c

When converting UTF8 or UTF16 strings, change overlong strings and other
illegal codes to 0xFFFD.  Ticket #2029. (CVS 3479)

FossilOrigin-Name: 0c6736df9cb4c3c8f6224e30df939cead9cd5369

Fix a problems that arise if malloc() fails while compiling SELECT
statements within a TRIGGER. (CVS 3478)

FossilOrigin-Name: ee4894b49995e4904db1991281563cfbb7b1c16d

Make sure the names of all expressions in compound SELECT statements used
as subqueries are correctly resolved.  Ticket #2018. (CVS 3477)

FossilOrigin-Name: b886eaa334150262ce4d1a1d0470ca4cf623a396

Avoid expanding %d contained in the action of a lemon parser rule.
Ticket #1063.  This is a fix for lemon only.  It does not effect SQLite. (CVS 3476)

FossilOrigin-Name: 81daedcf48372949b9df009ce6121a514ecf6f2e

Removing debugging printf from the porter stemmer code.  Ticket #2016. (CVS 3475)

FossilOrigin-Name: 7a08c6272f76d53b13313019b4f9da3c8f02b650

Convert fts2 to store data in a way which allows for much faster
updates.  Groups of documents form segments which are encoded in a
btree layered over a table of blocks, with various tricks to make
merges fast.  This performs 20x-25x faster than fts1 when loading the
Enron corpus, and is only slightly slower for queries. (CVS 3474)

FossilOrigin-Name: 85272b2f5394e37916afb1d509e7296810d976f5

Bug fix: named local variable lockStyle as lockingStyle in SQLITE_ENABLE_LOCKING_STYLE block in allocateUnixFile (CVS 3473)

FossilOrigin-Name: aa0b96c3dfa1d8008cd944281c227604b2ee16d1

Fix leaky symbols.  With this change, fts1 and fts2 can both be
statically linked. (CVS 3472)

FossilOrigin-Name: 5e8bbb85c1493e3ab2d807d24c68294f26838e49

Copy fts1/ to fts2/, changing reference from fts1 to fts2.  For future
reference, the source versions copied were:

README.txt r1.1
fts1.c r1.37
fts1.h r1.2
fts1_hash.c r1.1
fts1_hash.h r1.1
fts1_porter.c r1.1
fts1_tokenizer.h r1.4
fts1_tokenizer1.c r1.6 (CVS 3471)

FossilOrigin-Name: d0d1e7cdcc1dd085f1e359ce35c441699d517b02

VACUUM now uses a temporary file in the official TEMP folder instead of
a file in the same directory as the original database. (CVS 3470)

FossilOrigin-Name: b743429dd54e2dcae213ec1993e9e916a9ba678d

Version 3.3.8 (CVS 3469)

FossilOrigin-Name: 0658bb9e3f57e6aff4745590821a0590abc815f6

Website changes for version 3.3.8.  Remove a C++-ism from test8.c. (CVS 3468)

FossilOrigin-Name: 465ce5b2fe4462191dd02672838f3f903cd0f976

Fix incorrect doclist initialization in term_select_all().
docListRestrictColumn() generates a DL_POSITIONS doclist, which means
that after the first doclist is processed, the second doclist is
initialized as DL_POSITIONS, but with DL_POSITIONS_OFFSETS data.
(Note that DL_DEFAULT is now DL_POSITIONS, which masks this bug.) (CVS 3467)

FossilOrigin-Name: 144e3f11e22c6efd6f2d960599ab2d93542db406

Fix another UTF conversion problem on x64.  Ticket #2008. (CVS 3466)

FossilOrigin-Name: d16523e555afa1e6e89409f614fd665261fa3865

The snippet generator adds ellipsis between text from different columns. (CVS 3465)

FossilOrigin-Name: 6cf1fb9f801dc1b2865c0d1f9afb1b2076d4246e

Fix UTF conversions for -O2 on gcc 4.1.1.  Ticket #2008. (CVS 3464)

FossilOrigin-Name: 86a08bb7c5da42fbeb5a026287d67912a2ffb7f1

Tests cases automatically remove many of their temporary files. (CVS 3463)

FossilOrigin-Name: eef0ec0d7ae0743d29454567f539e46ad2d5008e

Make DL_POSITION the default mode in FTS1.  Remove the need to compile
with SQLITE_CORE when SQLITE_ENABLE_FTS1 is used. (CVS 3462)

FossilOrigin-Name: df1a4b4834fdc88056371bcc767c5dfde2eaab72

Modify the makefile(s) to know about the FTS1 module - however FTS1 is
turned off by default.  Bump the version number to 3.3.8. (CVS 3461)

FossilOrigin-Name: 288ff63783725a5d8f86b6171473bb4ae3c4e37b

Report the error SQLITE_CORRUPT instead of SQLITE_IOERR if unable
to rollback a hot journal that was damaged (for example) by filesystem
corruption following a power failure. (CVS 3460)

FossilOrigin-Name: 70501e4ea588ed762e4f6bc211ce63397faa3367

Add the OS-X locking style patches to os_unix.c.  Disabled by default. (CVS 3459)

FossilOrigin-Name: f4103dea5e1a87adccccca715946e174d1cc7450

Fix sqlite3_analyzer so that it works when compiled against Tcl8.5. (CVS 3458)

FossilOrigin-Name: e774adce8e461a70ead9474cd64cb05c2d633eb9

Fix sqlite3_analyzer so that it works on databases containing virtual tables. (CVS 3457)

FossilOrigin-Name: 47c8567fcb6b184ca13fcb67f80d261205c66fc8

Add the option to omit offset information from posting lists in FTS1. (CVS 3456)

FossilOrigin-Name: fdcea7b1ffd821f3f2b6d30997d3957f705a6d0c

Another typo in the Porter stemmer check-in. (CVS 3455)

FossilOrigin-Name: 6696bda11ccad9663b15206592116d638aa3ff0a

Typo in previous check-in. (CVS 3454)

FossilOrigin-Name: a7350bf86c41c428adbfe42dc9cbb3ecf0045c25

Remove one non-working test case fromthe Porter stemmer tests and add
an acknowledgement for the source of the test data (Martin Porter himself.) (CVS 3453)

FossilOrigin-Name: 1a2df2a61b3c84feae7587fa5b1eebf9c7e73daa

Add a Porter stemmer option to the FTS1 module. (CVS 3452)

FossilOrigin-Name: 936b06aaa8133e83104de87e03dc94e286a31f86

Make sure memory does not leak when patching up column names so that
they are unique in a join or view.  Tickets #1952 and #2002. (CVS 3451)

FossilOrigin-Name: fcde639119c309c699ee9dd60ed60fd6e9c8c077

Fix a bug in the handling of the OR operator in FTS1.  Test cases added to
prevent a repeat. (CVS 3450)

FossilOrigin-Name: 8cdf1d6ae018dfc93f8f0962b2530e31aa0bebff

More snippet generator improvements and test cases. (CVS 3449)

FossilOrigin-Name: 0934d220b33c52024f42c89fa13326bd52333f39

Bug fix in the FTS1 snippet generator.  Improvements in the way the snippet
generator handles whitespace. (CVS 3448)

FossilOrigin-Name: d3f4ae827582bd0aac54ae3211d272a1429b6523

Avoid segfaults when inserted NULL values into FTS1. (CVS 3447)

FossilOrigin-Name: 165645d30115f3171fc45489823f85639fe2bfcd

Fix to the previous check-in. (CVS 3446)

FossilOrigin-Name: 944d5f812004e2dc0065fce267accf8907235a50

Performance improvement and bug fix in sqlite3WinDelete(). (CVS 3445)

FossilOrigin-Name: 46ac1ac2d10cf2f1ebfb8dd4bb9a2ccffd85e816

CVS malfunctioned on the previous check-in.  Make sure the revision to
date.c was received.  Ticket #1991. (CVS 3444)

FossilOrigin-Name: 433dac1f2924d00282ef952668b21a9c023c93cb