Minor changes to unixMapfile() function.

FossilOrigin-Name: 80c63443c438ec21cc02880801d4fb4ca5f4e23f

Further fixes for test scripts.

FossilOrigin-Name: 23ffa4f9fbad2e39cbe4776c7fdb61f757b6fc78

Fix a problem in btree.c that could cause a crash following an OOM. Also various test script problems.

FossilOrigin-Name: e8bcdf938eee2c307c24d60d0295e5529291373b

Avoid assuming the page-size is 4096 bytes in os_unix.c.

FossilOrigin-Name: 3b7ec8d79e35e38df990e315c4ef9c7ab678bcbf

Modify various test cases so that they work if the file is extended in units of the system page-size.

FossilOrigin-Name: 0e3d5119273fd8e3512b3aa4272a873847e7ca40

Change os_unix.c to use either one or two mappings internally.

FossilOrigin-Name: e7698cba9bcffbfadd30d9319669add4d60fcc65

In btree.c, save the positions of any open cursors before moving any pages around to auto-vacuum the database on commit.

FossilOrigin-Name: 30c0a69363931a72d1c34e5be71646932398d172

Previous check-in accidently left mmap turned off by default. This checkin
fixes that.  Unfortunately, shared.test is now segfaulting.  All other
veryquick tests appear to work, however.

FossilOrigin-Name: a850c7319c20b5757983443df05cf2aa4250053b

Memory-mapped I/O is now on by default.  The "PRAGMA mmap_limit(N)" can be
used to issue a hint to the VFS to limit mmap space to N bytes.  The VFS
is free to ignore that hint if desired.  However, if "PRAGMA mmap_limit(0)"
is used, xFetch is never called.

FossilOrigin-Name: 1b37c4effdd03aa2ea938a71b4f22ed27391689b

Add munmap and mremap to the set of os interfaces that can be overloaded
in os_unix.c.

FossilOrigin-Name: 8776047bd776bbf266eb9c3b56683badb84ae73e

Use mremap() on Linux.

FossilOrigin-Name: 431aecc8600c29c203546e48d256510510238887

Merge all recent trunk changes into the experimental-mmap branch.

FossilOrigin-Name: a607d63f0b6a3d3785e9385187d3e6b92e14fc70

Add a test that simulates an error in mmap().

FossilOrigin-Name: 6ec7367d8e98425f00eeb8215ca8964313c1d0b7

Simulate OOM errors in the sqlite3OsFetch() function. Run malloc.test as part of the "mmap" permutation.

FossilOrigin-Name: 77443ef2cd0b29b7822eea544ab8c6c4a93cb67b

Change the signature of the xUnfetch method to "int (*xUnfetch)(sqlite3_file*, sqlite3_int64 iOfst, void *p)".

FossilOrigin-Name: 115b830509e8f0aa9d5965c1e9cd4f2ed9d01938

Remove unnecessary code to round the size of a memory mapping to 4KB from os_unix.c. Rename SQLITE_IOERR_MREMAP to SQLITE_IOERR_MMAP. Fix other small issues in os_unix.c.

FossilOrigin-Name: dce35c01a5fe66d2970075b1e3f0376026485e4c

Do not return SQLITE_IOERR when the user attempts to open a small file that is not a database with mmap enabled. Instead return SQLITE_NOTADB.

FossilOrigin-Name: bbcaab3e80d0ff776d8567094b137d1483b3377b

Fix a case in the pager where an xFetch() reference was being leaked following an OOM error.

FossilOrigin-Name: 5885ba6ce768658ec25b60747430d147b315b55c

Add a second test for [38b1ae018f].

FossilOrigin-Name: 5062db672c00c3365d51cd6b39815078f5b6b525

In fts3, when filtering lists for hits in a specific column, edit the list in place in the same way as it is for NEAR filtering. Fix for [38b1ae018f].

FossilOrigin-Name: f85f9103cffa5c8ba6a63a68beb90817147ba080

Remove the SQLITE_OMIT_MERGE_SORT compile-time option and its related code.
The merge sorter is now a required component.

FossilOrigin-Name: 8b44d6fb159e85267095e846cded2764c3bcb895

Replace the sqlite3_io_methods.xMremap interface with sqlite3_io_methods.xFetch and xUnfetch.

FossilOrigin-Name: 1431be95579160fb70408d43e17fc23c7b69ab4a

Improve a comment in wal.c. No code changes.

FossilOrigin-Name: 60b9f5e4dd2af54975ba78437239f0bebd472fd2

Fix a case where a checkpoint operation could write to an invalid part of a memory mapped region.

FossilOrigin-Name: 8dbe89d05ce91428c69003f0da79d883fa23e2b5

In the winMremap VFS function, unmap the region prior to attempting to truncate the file.

FossilOrigin-Name: 8870c4cc6cda07154936644f7df25bd81d6ba38a

Do not unmap the mapped file region in winTruncate as there may be outstanding pointers to it.

FossilOrigin-Name: f57a9c91e993f76ce8b923e06e721414980e8e61

Preliminary changes to support the xMremap VFS method on Windows.

FossilOrigin-Name: 75a85a1c6ac59f2d021c28fa2161afb1118deea4

Update wal mode tests so that they work with the mmap test permutation.

FossilOrigin-Name: f7295872a36539d10edaf0c633f935f25cf73657

Fix a potential NULL-pointer dereference in btreeSwapOutMmap().

FossilOrigin-Name: e81ccdcd87a1387f7ca08d4d7c899311e2180d32

Fix a case where the mapped part of a database file may be written during a backup operation.

FossilOrigin-Name: c8d67aefff7299dd5c8abeb2a3a52109c0a823ee

Allow the database file to be memory mapped in wal mode.

FossilOrigin-Name: d190ddabc386bc9654b99e33fb81b2f6e67b54d6

Add a fix for the assert() statements added by the previous commit.

FossilOrigin-Name: 19345416ed5e1ab5b0b35993b0b9069c2fb1683b

Add assert statements to os_unix.c to ensure that any mapped region of the database file is not being read or written using the xRead() or xWrite() methods.

FossilOrigin-Name: 765615f9fba7c1765eb741cb98a09a28b464ee55

Many spelling fixes in comments.  No changes to code.

FossilOrigin-Name: 6f6e2d50941e444ebc83604daddcc034137a05b7

Fix cases where xRead() was being used to read from a memory mapped part of the database file.

FossilOrigin-Name: 5c9e9df27b9f2c46cd55388a858d4e78ee564975

Avoid calling xRead() on a part of the database file that is memory mapped.

FossilOrigin-Name: c8eac290a7240d69494bd0dad5ed1fdc2505f703

Fix a problem when opening a write-transaction while there exist read-only b-tree cursors in mmap mode.

FossilOrigin-Name: 32e0bbb73609ac3ad096a60f1de3095bc79fb0cc

Do not use the Linux mremap() call. Use the same strategy for xMremap() as on OSX instead.

FossilOrigin-Name: 5ed8ad780c991d2ca44003ee84350fb5e95ad58e

Optimize the xMremap method in os_unix.c some.

FossilOrigin-Name: 9529ed88a71fee02fae72dc86f0669bd6856ff92

When possible, use memory mapping when appending new pages to a database file.

FossilOrigin-Name: 14135da3cdbafd699563a29608f32347cda28338

Fix text-to-numeric type casting so that it works correctly on UTF16
strings that contain characters where the LSB is numeric but the MSB
is non-zero.  Ticket [689137afb6da41]

FossilOrigin-Name: 5b22053f918d16f593227a432a5d5b4c195bb0b5

Add test file mmap1.test.

FossilOrigin-Name: aee1f53a74e636776cbbc11bdd5516432ad50533

Add the sqlite3_io_methods.xMremap() method to the VFS interface. Also "PRAGMA mmap_size".

FossilOrigin-Name: 6183f1bd86ceed76d22d9762f3d7eb33262c62d1

Bring makefiles and build scripts into alignment with the sessions branch.
No changes to code.

FossilOrigin-Name: d1f41089aba075eef45fd696599e5d3a74c84d0c

Clarifications to the documentation for the sqlite3_aggregate_context() API.
Also, shorten an over-length source line in sqlite.h.in.

FossilOrigin-Name: 4fe2db1d866c80fe51f7fddbf9ce6753fb55b5f6

Version 3.7.16

FossilOrigin-Name: 66d5f2b76750f3520eb7a495f6247206758f5b90

When possible, use memcpy() to and from the mapped region instead of xWrite() and xRead().

FossilOrigin-Name: f8ca5622d99bedca957caa9ad311d798f63b3ce9

Fix a dropped error code in pager.c.

FossilOrigin-Name: 022fdc986b33701abfd39621072ac3d9f9f7d43e

Allow read-only cursors to use mmap pages even if there is an open write transaction.

FossilOrigin-Name: b387e2f9d24dccac1fd040e309f6fc7ec1cfffba

Use mmap() to read from the database file in rollback mode. This branch is unix only for now.

FossilOrigin-Name: 6f21d9cbf5d457e63a7282015a89ae785526cf6d

Enhance tests for ticket [4dd95f6943].

FossilOrigin-Name: 0b452734faa0839c817f040322e7733e423bfce2

Fix the ORDER BY with IN constraint logic so that it works with all
combinations of DESC on the ORDER BY clause, on the RHS of the IN operator,
and in the index used by ORDER BY and IN.
Fix for ticket [4dd95f6943fbd18].

FossilOrigin-Name: 839aa91faf1db7025d90fa3c65e50efb829b053b

Add a single new test case to the ORDER BY with IN logic verify that if the
RHS of the IN is a descending index that it still works.  Add testcase()
macros to the ORDER BY with IN logic to help verify that corner cases are
tested.

FossilOrigin-Name: 7e7356f1552cd53ea363d1ded3b2c221c9d0be01

Fix typo in sqlite3_close() function documentation reported on the mailing list.

FossilOrigin-Name: c9a75d890f06cf3806d7b8879824a11d3a8e7016

Fix a test case that had an ambiguous result.

FossilOrigin-Name: 38c6bddf8cf15fb358858da6da457046f40b61ce

Fix typo in sqlite3_close() function documentation reported on the mailing list.

FossilOrigin-Name: 7232093d6c6871a9f4ea155ab215e3b39c1c322d

Fix the ORDER BY optimization with IN constraints when the RHS of the
IN constraint is a descending index.

FossilOrigin-Name: 62316ebaca933f7e5df2018e8360a2b74234f30a

Revise the patch to make it easier to understand.

FossilOrigin-Name: 3ce7eb0265b5be4e23264ae41332b947011ff1ad

Add test cases for [4dd95f6943].

FossilOrigin-Name: 723c144c76fc171e5d19072d6d42a08013921ec6

Revised fix for the DESC ORDER BY and IN constraint bug,
ticket [4dd95f6943fbd18].  The previous check-in was incorrect.

FossilOrigin-Name: 8b2eb7a43b4580f04c14ea8600cf080e0e7f384d

A proposed fix for the DESC ORDER BY bug of ticket [4dd95f6943fbd18].
Seems to work, but lots more testing is needed prior to moving to trunk.

FossilOrigin-Name: 614a038ad2fe111687d2bc1c0aa716d7eb8fdd7c

Define _BSD_SOURCE when building on OpenBSD. This is required for fchmod().

FossilOrigin-Name: f9027cb47bdec8dcebf1f038921b28d9e9928c18

Fixes for compiling with SQLITE_OMIT_AUTOVACUUM and/or SQLITE_OMIT_TRIGGER defined.

FossilOrigin-Name: 1da15adba8f6eec69c24ec6385d6f1a7905a388f

Fixes for compiling with SQLITE_OMIT_AUTOVACUUM and/or SQLITE_OMIT_TRIGGER defined.

FossilOrigin-Name: 938b91e8552516772060d4e55e2f79cca4c13e27

Add a test case for the problem fixed by the previous commit.

FossilOrigin-Name: e899b058a703158012c054974bd9a909d75144d8

Fix a problem with resolving "db.view.column" references that appear in UPDATE or DELETE statements executed against views.

FossilOrigin-Name: ddee56c9b2b591b9386b1072c3b3a699f7c1f853

If SQLITE_OMIT_UTF16 is defined, avoid setting the 'enc' field of Schema objects to any value except SQLITE_UTF8. Otherwise, assert() statements may fail or spurious SQLITE_NOMEM errors may be returned at the vdbe level later on.

FossilOrigin-Name: f2fecfb2d32cf666e16a87032042dc163ac30250

If SQLITE_OMIT_UTF16 is defined, avoid setting the 'enc' field of Schema objects to any value except SQLITE_UTF8. Otherwise, assert() statements may fail or spurious SQLITE_NOMEM errors may be returned at the vdbe level later on.

FossilOrigin-Name: 69746ef787680a4b7590bd1d3c86b229d9d0dac4

Fix the char() function so that it works even if SQLITE_OMIT_UTF16 is defined.

FossilOrigin-Name: af542c82e8e7f0415530b639fa397429c5f377f6

Skip tests that require UTF-16 support when compiled with SQLITE_OMIT_UTF16.

FossilOrigin-Name: e39391422e748407d74853d3de297dc1ea6b991d

Fix two compilation issues, one warning and one error, that occur only when SQLITE_OMIT_UTF16 is defined.

FossilOrigin-Name: 10ace06be7fbe9a76a201c418b2af453c7a69043

Fix a problem in incrvacuum_ioerr.test. Do not run ioerr6.test with an in-memory journal.

FossilOrigin-Name: 66576b450a0f0329571e344280994a964c967f8f

Fix a bug (ticket [fc7bd6358f59]) that caused incorrect query results in
three way queries that involved comparing INTEGER and TEXT columns for
equality.

FossilOrigin-Name: 7097241c1220ada318f8eda938c3e3430b94a606

Add the SQLITE_READONLY_ROLLBACK extended error code.
Do not try to set the permissions on journal or wal files except if the
filesize is initially zero (indicating that it is a new file.)

FossilOrigin-Name: ce4ac66a4b623a3cee1a63089dd5ba8341244f1e

Fix an operator precedence problem on the [1d8086902e] check-in.

FossilOrigin-Name: 4f5f3aebe81c3cbe539db3e33ec38fa3de47e90b

Merge experimental branch with trunk.

FossilOrigin-Name: 4e6e07a60e543d5d1727cde27ab11e156202a1b8

Do not attempt to set the permissions on an existing journal or wal file. Do this only immediately after creating a new file (or opening one zero bytes in size).

FossilOrigin-Name: 1d8086902ee96347491bce5ec04dc92ccd42efa1

Add extended error code SQLITE_READONLY_ROLLBACK. Returned if a read-only connection cannot read the database because doing so would require it to roll back a hot-journal.

FossilOrigin-Name: 39247b14a52b0c0222fe5a848bf0aef0854058c4

Fix a bug in the recent incremental-vacuum related changes.

FossilOrigin-Name: 717863fca6d58828bf9321bc8b169e385ad4263f

Simplified error message on the showdb utility.

FossilOrigin-Name: 8e0ced1af78d8c25a06423a8e7e337ac845155cc

Omit a test that uses the progress handler callback from view.test if OMIT_PROGRESS_HANDLER is defined.

FossilOrigin-Name: f40552ada57622825d2974d392356aa34612d5ee

Remove an assert() statement that has been incorrect since the recent incremental-vacuum related changes in [26e235b7a4].

FossilOrigin-Name: 090a47127fde90616a92a324d26bf9ddd4053120

Add the test_fs.c test module to Makefile.in.  Adjust the success criteria
on index5-1.3 so that it works under auto_vacuum configurations.

FossilOrigin-Name: b457c8870ac5ef58f2b7f8daed723c0cf0c07340

Update comments on the free-page allocator to accurately reflect the
latest implementation.  Add new asserts to the free-page allocator.

FossilOrigin-Name: 9a135e37b696b8544da8dbddf9d1041b8fa6f1c2

Complete the initialization of the loadable extension thunk table.  Also
fix other (harmless) compiler warnings.

FossilOrigin-Name: 780d06c5e54590f677f993fa9c313989c2eab8c7

Update the cygwin interface to use the newer 1.7 APIs instead of the
1.5 APIs.  Also shorten over-length source code lines in os_win.c.

FossilOrigin-Name: 6b2838336a31e34c540210ccc9c934d4ba94757c

Prevent Tcl file encoding issues in the tests for the unicode() and char() functions.

FossilOrigin-Name: c9c2b82c86fff457a0b32d5be84ec66639065ae1

Fix an overly restrictive assert() in the pager.

FossilOrigin-Name: f476eace86102fd5442cfbba169c18f6ee44eae2

Fix the handling of UTF16 surrogate pairs in the char() function.

FossilOrigin-Name: ff67d87894eeb0036374235c5723e267536909f9

Always use strncmp() rather than memcmp() when comparing strings where one
or other string might be less than the length parameter, since optimized
versions of memcmp() might read past the first difference and in so doing
generate an access violation.

FossilOrigin-Name: d73435587ba7459e2e2c32980d0e17abdeceb4bc

In the incrvacuum3 test, add missing call to the Tcl close command.

FossilOrigin-Name: cd8067238439638bcfd3966d55d2a3990f36d702

When comparing names during name resolution, make sure the names match
exactly and that one name isn't merely a prefix of the other.
Fix for ticket [7a31705a7e6c95d51].

FossilOrigin-Name: c2d5a23b1ab39918e97c596cf75c42f86a5fe2b7

Change the way test script incrvacuum3.test copies database files in order to avoid trying to read the (locked) 512 byte 'pending-byte' region.

FossilOrigin-Name: fa1842e462049b1366909fe36d6d81b634be3953

Prevent Tcl file encoding issues in the tests for the unicode() and char() functions.

FossilOrigin-Name: d2e7dfca5a92074a7984032deb6a4e3681389c72

Remove extra use of the sqlite3_value_int64() function.

FossilOrigin-Name: 6d7973524a7d3bf3158fdac58975945da7f51740

Add new SQL functions unicode() and char().

FossilOrigin-Name: be2493905281e12c7f4c146ab17c8872e52da350

Strengthen the final test case in index5.test.  Also provide additional
diagnostic information out the output.

FossilOrigin-Name: 47b6418242bb2cd718d1a73b0cb73a43ee74e503

Fix an error in test script index5.test.

FossilOrigin-Name: d87e5acf2802d2887e20f79a8bd4990b2cd47b91

Merge the incr-vacuum-opt branch with the trunk.

FossilOrigin-Name: 26e235b7a4cd4d0dc9725774d70174c4d369cb98

Add test file incrvacuum3.test. No code changes.

FossilOrigin-Name: bf57534188e044fb341315bfc05b7927e66a04e0