Try to use mmap() to speed access to the database file on windows, linux,
and mac.

FossilOrigin-Name: fff2be60779571c8fb89158db976ec3755e9a223

Release resources prior to bailing out of the btreeCreateTable() routine
following an OOM error.

FossilOrigin-Name: b2a72be9bab77f050bef75477a278a6294d3e854

Remove an unreachable branch in the direct blob I/O logic of btree.c.

FossilOrigin-Name: f97d7274f48e3bb98ed17eae11abb55064134874

Fix a bug in the detection of iOS when setting the default mmap_limit.

FossilOrigin-Name: ac1432b3a8e968be4cbc138b4a35f34187c0c36f

Change the mmap_limit pragma to report the new limit, or to report the
existing limit if called with no arguments.  Report the default mmap_limit
as part of PRAGMA compile_options.  Set the default mmmap_limit to 0 for
all systems other than linux, mac, windows, and solaris.

FossilOrigin-Name: 2d9f1327fe79e40435ce1e2594d7cd9a5aea0ef2

Remove the restriction on using xFetch to load the root pages of tables and indexes. It appears to have been based on a misconception.

FossilOrigin-Name: 5b082efead488a2fccc18171e640e0aa5252d1d0

When moving a page to make way for the root page of a new table or index in an auto-vacuum database, save the positions of any cursors that may be holding xFetch references to the page being moved.

FossilOrigin-Name: 9d9b1da54a555e8fb6037d63d1952458c12956d2

In btree.c, save the positions of other cursors open on the same table when writing via an incremental blob handle. Otherwise, they may be left holding an out-of-date xFetch page reference.

FossilOrigin-Name: 3f09fba18f7e61e21381ffea13c31b968efd7d77

Initialize the mmap_limit of temporary files to the configured mmap_limit.

FossilOrigin-Name: 24bab7596bb7385981a5d331df5eeb05353547f7

Make use of xFetch, if it is available when doing a VACUUM or a backup.

FossilOrigin-Name: 83bc37af07857960c11275891f853a358dcbbf05

Add the -mmap option to the command-line shell, for setting the default
mmap_limit.

FossilOrigin-Name: fc30d06c94c8212abb0477fb4cec4520d05bea34

Fix the unix driver to check defined(_BSD_SOURCE) rather than just the plain
_BSD_SOURCE macro.  This fixes the build for OpenBSD.

FossilOrigin-Name: 1dd42ef4144ee08fb4ee1676d934a56a0e34bac2

Fix a resource leak in os_unix.c.

FossilOrigin-Name: b29cda03fe4e8d8f5b5acbbea2d69f284a2bdf23

Adjustments to mmap1.test so that it works better on windows.  It still gets
some answers wrong, but it no longer crashes.

FossilOrigin-Name: ee8d3ceeec40d84adb8798f084b6f1215ab56d92

Fix a bug in mmap2.test that was leaving an invalid sqlite3_log() callback installed, causing a crash.

FossilOrigin-Name: c0cdaa07355f51bd217881b5b91ec2a609fa56f4

Add assert to the Windows VFS pertaining to the size of the SIZE_T type.

FossilOrigin-Name: 4eeea58354e21797ca1f4dc4ea785d0330381f0b

Add test cases to mmap1.test and pagerfault.test.

FossilOrigin-Name: 3050136be962427cc4dcced6077ef29b2a941405

Change an assert in pager.c to acknowledge that it is possible for sqlite3PagerRollback() to return SQLITE_CORRUPT.

FossilOrigin-Name: d641d3d20d80fdb86d91de31fcf2eb5ca3c5c715

Fix the build for Mac.

FossilOrigin-Name: d36ce0bbad58445c983597ee93438fe07b659cdc

Add new test file btreefault.test.

FossilOrigin-Name: 7fe908afeba16f64edc16824c67b396138581a8f

Fix a faulty assert() in the os_win.c VFS.

FossilOrigin-Name: fd6ee54969322203c02ce9bd8744e095faf6a69c

If the SQLITE_TRACE_SIZE_LIMIT compile-time parameter is set to a positive
integer then limit the expansion of strings and blobs in trace output to
approximately that many bytes.

FossilOrigin-Name: e5b710849dd66673ba0e0d935b103cb29abfcc4b

Add test cases for errors in mmap() or mremap() is os_unix.c.

FossilOrigin-Name: 3098a3c1e7305033904a496ef534cb312a876fab

Proposed template preprocessor magic for activating mmap only on platforms
where we know it works.

FossilOrigin-Name: d96272f031102514b02bd839aac9e37618872200

Reorder two conditions to make coverage testing easier.

FossilOrigin-Name: 793ba4e996426522eeaa86589a9e974fa1fc1522

Remove an unreachable condition from pager.c.

FossilOrigin-Name: 3628e86bf131cb205f08a4b299d84007cd6b25c3

Always send the SQLITE_FCNTL_MMAP_LIMIT pragma to the VFS, even if the limit
is zero and even if the VFS does not support xFetch().

FossilOrigin-Name: 01ffdabbad30f1c157f2b33b1e85ee4d6c4632dd

Remove a debugging printf() accidently left in the previous check-in.

FossilOrigin-Name: 8198cdd8ac5dcc1c677fffa869ac965186b96abf

Add the SQLITE_CONFIG_MMAP_LIMIT configuration option for overriding the
SQLITE_DEFAULT_MMAP_LIMIT compile-time setting.  Enhance "PRAGMA mmap_limit"
so that without a specific database name, it sets the limit on all database
files and changes the default for any future databases that might be added
using ATTACH.

FossilOrigin-Name: 78141d0a16dd1d56b575fccd149de7fa789cb06c

Add a comment to xUnfetch on windows to say that the call to winUnmapfile()
might be unnecessary.

FossilOrigin-Name: e3c63c31a21b27806592d066a013a111b280c61f

In windows, round down the size of the memory mapped region to the next
smaller multiple of the page size.

FossilOrigin-Name: 0e44ed1badde6d766f18d1373d968e5b286b15bd

Merge accidental fork.

FossilOrigin-Name: 5f4437c0e35c8aa740515aac3e81e0146716d2bb

Attempt to emulate mremap() on non-Linux systems by allocating a second mapping immediately following the first in virtual memory.

FossilOrigin-Name: 4d67433db8fb4754ae6b192945e479f3d7bad579

Bug fix in the winMapfile() subroutine:  Be sure to record the map object
handle in the sqlite3_file object.

FossilOrigin-Name: ee4d188e207efa24a26776fa4f025c6ac39cce73

Add xFetch and xUnfetch methods to the os_win.c VFS.

FossilOrigin-Name: a1653a257d6af6e8b10c819e68b12f6c2f485811

Ensure that a checkpoint does not use an out-of-date mapping.

FossilOrigin-Name: a1040f0397d57855500926494c978623286ddc77

Fix a typo in a log message in wal.c.

FossilOrigin-Name: 83fc48d16572443373e5de62adbd4cd53c2f7786

Fix a problem in btree.c that could cause a crash following an OOM.

FossilOrigin-Name: b724aa5889f2e09cf0cbef133a672e6486755104

For the clean target, tidy up a couple more generated (or copied) source files.

FossilOrigin-Name: 5687e5ee7bafa00d2b353c3eda1e5dfb219cb185

Version 3.7.16.1

FossilOrigin-Name: 527231bc67285f01fb18d4451b28f61da3c4e39d

Adjustment to an extreme corner case in the sqlite3Atoi64() routine.

FossilOrigin-Name: 39534b4baa53b9360696a9d5ee8cc2108af34592

Fix harmless compiler warnings coming from MSVC64 in test code.  No
changes to the core.

FossilOrigin-Name: 274d2a22660c7b34b8bbd85f3c29cbafbcb1b4e7

Increment the version number to 3.7.16.1.

FossilOrigin-Name: 7e32eb7b66290ba7323520f7ea92ffa584ee7193

In order to optimize out the ORDER BY clause,
outer loops must generate values for ORDER BY terms that are unique or else
the inner loops must generate no more than a single row.
Fix for ticket [a179fe7465].

FossilOrigin-Name: 2936f7466e162dfb003bda26d35358d1b3063112

Restore additional ORDER BY optimizations that where broken by the
recent ORDER BY fix.

FossilOrigin-Name: c77ee6e20d3a8c91a8bf4c9063c36a95c70e17cf

Improved optimization of ORDER BY.

FossilOrigin-Name: 97e5c70f2f19a1bca70dd2221b757b9e5418fce0

A fix an test-case for the ORDER BY problem identified by ticket [a179fe7465].
This change causes sorting to occur in some cases where it is not strictly
necessary.  Further work is needed to avoid those extra sorts.

FossilOrigin-Name: 488089e615e375c01b31544f06e801af950ae3db

Candidate fix for ticket [6bfb98dfc0c]: Make sure invalid cursors drop all
references to database pages prior to doing any insert or update.

FossilOrigin-Name: 322a5f086d9ee46017f750df81527799a54ae258

Fix a comment in os_unix.c.  No code changes.

FossilOrigin-Name: 72813b8ec924b91583c679668f7c4561dff82a02

Change the name of the Pager.pFree field to Pager.pMmapFreelist.

FossilOrigin-Name: 611bd824c24a60d298f28705de323fa2e813a308

In btree.c, save the positions of any open cursors before moving any pages around to auto-vacuum the database on commit.

FossilOrigin-Name: 30c0a69363931a72d1c34e5be71646932398d172

Previous check-in accidently left mmap turned off by default. This checkin
fixes that.  Unfortunately, shared.test is now segfaulting.  All other
veryquick tests appear to work, however.

FossilOrigin-Name: a850c7319c20b5757983443df05cf2aa4250053b

Memory-mapped I/O is now on by default.  The "PRAGMA mmap_limit(N)" can be
used to issue a hint to the VFS to limit mmap space to N bytes.  The VFS
is free to ignore that hint if desired.  However, if "PRAGMA mmap_limit(0)"
is used, xFetch is never called.

FossilOrigin-Name: 1b37c4effdd03aa2ea938a71b4f22ed27391689b

Add munmap and mremap to the set of os interfaces that can be overloaded
in os_unix.c.

FossilOrigin-Name: 8776047bd776bbf266eb9c3b56683badb84ae73e

Use mremap() on Linux.

FossilOrigin-Name: 431aecc8600c29c203546e48d256510510238887

Merge all recent trunk changes into the experimental-mmap branch.

FossilOrigin-Name: a607d63f0b6a3d3785e9385187d3e6b92e14fc70

Add a test that simulates an error in mmap().

FossilOrigin-Name: 6ec7367d8e98425f00eeb8215ca8964313c1d0b7

Simulate OOM errors in the sqlite3OsFetch() function. Run malloc.test as part of the "mmap" permutation.

FossilOrigin-Name: 77443ef2cd0b29b7822eea544ab8c6c4a93cb67b

Change the signature of the xUnfetch method to "int (*xUnfetch)(sqlite3_file*, sqlite3_int64 iOfst, void *p)".

FossilOrigin-Name: 115b830509e8f0aa9d5965c1e9cd4f2ed9d01938

Remove unnecessary code to round the size of a memory mapping to 4KB from os_unix.c. Rename SQLITE_IOERR_MREMAP to SQLITE_IOERR_MMAP. Fix other small issues in os_unix.c.

FossilOrigin-Name: dce35c01a5fe66d2970075b1e3f0376026485e4c

Do not return SQLITE_IOERR when the user attempts to open a small file that is not a database with mmap enabled. Instead return SQLITE_NOTADB.

FossilOrigin-Name: bbcaab3e80d0ff776d8567094b137d1483b3377b

Fix a case in the pager where an xFetch() reference was being leaked following an OOM error.

FossilOrigin-Name: 5885ba6ce768658ec25b60747430d147b315b55c

Add a second test for [38b1ae018f].

FossilOrigin-Name: 5062db672c00c3365d51cd6b39815078f5b6b525

In fts3, when filtering lists for hits in a specific column, edit the list in place in the same way as it is for NEAR filtering. Fix for [38b1ae018f].

FossilOrigin-Name: f85f9103cffa5c8ba6a63a68beb90817147ba080

Remove the SQLITE_OMIT_MERGE_SORT compile-time option and its related code.
The merge sorter is now a required component.

FossilOrigin-Name: 8b44d6fb159e85267095e846cded2764c3bcb895

Replace the sqlite3_io_methods.xMremap interface with sqlite3_io_methods.xFetch and xUnfetch.

FossilOrigin-Name: 1431be95579160fb70408d43e17fc23c7b69ab4a

Improve a comment in wal.c. No code changes.

FossilOrigin-Name: 60b9f5e4dd2af54975ba78437239f0bebd472fd2

Fix a case where a checkpoint operation could write to an invalid part of a memory mapped region.

FossilOrigin-Name: 8dbe89d05ce91428c69003f0da79d883fa23e2b5

In the winMremap VFS function, unmap the region prior to attempting to truncate the file.

FossilOrigin-Name: 8870c4cc6cda07154936644f7df25bd81d6ba38a

Do not unmap the mapped file region in winTruncate as there may be outstanding pointers to it.

FossilOrigin-Name: f57a9c91e993f76ce8b923e06e721414980e8e61

Preliminary changes to support the xMremap VFS method on Windows.

FossilOrigin-Name: 75a85a1c6ac59f2d021c28fa2161afb1118deea4

Update wal mode tests so that they work with the mmap test permutation.

FossilOrigin-Name: f7295872a36539d10edaf0c633f935f25cf73657

Fix a potential NULL-pointer dereference in btreeSwapOutMmap().

FossilOrigin-Name: e81ccdcd87a1387f7ca08d4d7c899311e2180d32

Fix a case where the mapped part of a database file may be written during a backup operation.

FossilOrigin-Name: c8d67aefff7299dd5c8abeb2a3a52109c0a823ee

Allow the database file to be memory mapped in wal mode.

FossilOrigin-Name: d190ddabc386bc9654b99e33fb81b2f6e67b54d6

Add a fix for the assert() statements added by the previous commit.

FossilOrigin-Name: 19345416ed5e1ab5b0b35993b0b9069c2fb1683b

Add assert statements to os_unix.c to ensure that any mapped region of the database file is not being read or written using the xRead() or xWrite() methods.

FossilOrigin-Name: 765615f9fba7c1765eb741cb98a09a28b464ee55

Many spelling fixes in comments.  No changes to code.

FossilOrigin-Name: 6f6e2d50941e444ebc83604daddcc034137a05b7

Fix cases where xRead() was being used to read from a memory mapped part of the database file.

FossilOrigin-Name: 5c9e9df27b9f2c46cd55388a858d4e78ee564975

Avoid calling xRead() on a part of the database file that is memory mapped.

FossilOrigin-Name: c8eac290a7240d69494bd0dad5ed1fdc2505f703

Fix a problem when opening a write-transaction while there exist read-only b-tree cursors in mmap mode.

FossilOrigin-Name: 32e0bbb73609ac3ad096a60f1de3095bc79fb0cc

Do not use the Linux mremap() call. Use the same strategy for xMremap() as on OSX instead.

FossilOrigin-Name: 5ed8ad780c991d2ca44003ee84350fb5e95ad58e

Optimize the xMremap method in os_unix.c some.

FossilOrigin-Name: 9529ed88a71fee02fae72dc86f0669bd6856ff92

When possible, use memory mapping when appending new pages to a database file.

FossilOrigin-Name: 14135da3cdbafd699563a29608f32347cda28338

Fix text-to-numeric type casting so that it works correctly on UTF16
strings that contain characters where the LSB is numeric but the MSB
is non-zero.  Ticket [689137afb6da41]

FossilOrigin-Name: 5b22053f918d16f593227a432a5d5b4c195bb0b5

Add test file mmap1.test.

FossilOrigin-Name: aee1f53a74e636776cbbc11bdd5516432ad50533

Add the sqlite3_io_methods.xMremap() method to the VFS interface. Also "PRAGMA mmap_size".

FossilOrigin-Name: 6183f1bd86ceed76d22d9762f3d7eb33262c62d1

Bring makefiles and build scripts into alignment with the sessions branch.
No changes to code.

FossilOrigin-Name: d1f41089aba075eef45fd696599e5d3a74c84d0c

Clarifications to the documentation for the sqlite3_aggregate_context() API.
Also, shorten an over-length source line in sqlite.h.in.

FossilOrigin-Name: 4fe2db1d866c80fe51f7fddbf9ce6753fb55b5f6

Version 3.7.16

FossilOrigin-Name: 66d5f2b76750f3520eb7a495f6247206758f5b90

When possible, use memcpy() to and from the mapped region instead of xWrite() and xRead().

FossilOrigin-Name: f8ca5622d99bedca957caa9ad311d798f63b3ce9

Fix a dropped error code in pager.c.

FossilOrigin-Name: 022fdc986b33701abfd39621072ac3d9f9f7d43e

Allow read-only cursors to use mmap pages even if there is an open write transaction.

FossilOrigin-Name: b387e2f9d24dccac1fd040e309f6fc7ec1cfffba

Use mmap() to read from the database file in rollback mode. This branch is unix only for now.

FossilOrigin-Name: 6f21d9cbf5d457e63a7282015a89ae785526cf6d

Enhance tests for ticket [4dd95f6943].

FossilOrigin-Name: 0b452734faa0839c817f040322e7733e423bfce2

Fix the ORDER BY with IN constraint logic so that it works with all
combinations of DESC on the ORDER BY clause, on the RHS of the IN operator,
and in the index used by ORDER BY and IN.
Fix for ticket [4dd95f6943fbd18].

FossilOrigin-Name: 839aa91faf1db7025d90fa3c65e50efb829b053b

Add a single new test case to the ORDER BY with IN logic verify that if the
RHS of the IN is a descending index that it still works.  Add testcase()
macros to the ORDER BY with IN logic to help verify that corner cases are
tested.

FossilOrigin-Name: 7e7356f1552cd53ea363d1ded3b2c221c9d0be01

Fix typo in sqlite3_close() function documentation reported on the mailing list.

FossilOrigin-Name: c9a75d890f06cf3806d7b8879824a11d3a8e7016

Fix a test case that had an ambiguous result.

FossilOrigin-Name: 38c6bddf8cf15fb358858da6da457046f40b61ce

Fix typo in sqlite3_close() function documentation reported on the mailing list.

FossilOrigin-Name: 7232093d6c6871a9f4ea155ab215e3b39c1c322d