In the MSVC makefile, allow symbols to be enabled without NDEBUG defined.  Also, for the win32lock test, make sure the database is closed prior to shutdown.

FossilOrigin-Name: 5ed7633d41b99929309a7e13d37375a4fdae43b3

Disable checking the winMemData structure signature when compiled with NDEBUG.

FossilOrigin-Name: 50edc2f9141bd13277119afd129387029ebe5c01

Allow the Win32 native heap flags to be overridden at compile-time.

FossilOrigin-Name: 1c2ecec8e7320bc5b532b3107005fb7f0370f25c

Add comments for the various debug levels.  When debugging, disable optimizations.  Prevent the win32lock tests from spinning forever.

FossilOrigin-Name: 401859236b0d97bde82b11f32efce6eb9d490941

In the MSVC makefile, support several levels of debugging, each one building on the previous.  Also, add comment about the SQLITE_WIN32_MALLOC_VALIDATE macro.

FossilOrigin-Name: 4257e9b7ca78feb03df08fde56da947ae64c5c6f

Make sure that SQLITE_FCNTL_SIZE_HINT on Windows does not shrink the file.

FossilOrigin-Name: d4f6437f8de82482dfaa4c084f4221e89e21eb00

Add error logging to native Win32 heap support.

FossilOrigin-Name: 7fca5a284cded6d7531060da6e99a57aed50cf8f

Experimental work to allow SQLite to use the native Win32 heap API.

FossilOrigin-Name: bf3d0ab53829350637283442f75071fe6d925245

Updates to the sqlite3_mem_methods documentation.

FossilOrigin-Name: 988998fe7b0a21ed113b67f812e51f357045bef4

Fix some harmless compiler warnings.

FossilOrigin-Name: 46f5a68bfa4199a4bd398030bf88bfbb4df3d5ca

Changes to test_quota.c to make quota groups persistent even after files
are closed.  Files remain a part of the quota group until they are
deleted.

FossilOrigin-Name: 04111ce980df9692b7fe65a36105e7de9627a3bb

Simplifications to the SQLITE_PAGECACHE_BLOCKALLOC logic.  Reduce the number
of difficult-to-reach branches.

FossilOrigin-Name: d5d835fe8352cb2009133246d4ed1cd310803f75

If the application-defined openDirectory() function returns SQLITE_CANTOPEN,
then silently ignore the error.  This allows the chromium sandbox to disallow
opening of directories without causing errors.

FossilOrigin-Name: 880b51150aaed804005f5062b4dd2fa0ffafa147

Change the way the "crash" VFS (test6.c) handles SQLITE_FCNTL_SIZE_HINT.

FossilOrigin-Name: 40dd8a60be0ca79e0d0bf3a2b5a43f13c02b4971

Have the "crash" VFS used by the tcl tests (test6.c) handle SQLITE_FCNTL_SIZE_HINT internally, instead of passing it directly through to the underlying VFS. This is important if the crash VFS is simulating non-default device characteristics such as SQLITE_DEVCAP_SEQUENTIAL or ATOMIC.

FossilOrigin-Name: fac8bc8f3450a6ce74c9250acb0608e940ffb54d

Ifdef out routines in pcache1.c that are used only
when SQLITE_PAGECACHE_BLOCKALLOC is defined.

FossilOrigin-Name: 0da292da3bc867a5c6e29384f325581ea06bbd20

Merge the PAGECACHE_BLOCKALLOC changes into trunk.

FossilOrigin-Name: 768c1846d48a555054f07edeabdae8817a2c0a8e

When copying a rollback mode database over a WAL database using the backup API, leave the destination database in WAL mode (instead of switching it to rollback mode). Fix for [af95b8c609].

FossilOrigin-Name: 35e6ac18e3d030095da57fff87a288939e9be93f

Change to test instrumentation of os_unix.c: Regard IO errors that occur within SQLITE_FCNTL_SIZE_HINT requests as benign.

FossilOrigin-Name: ca47da2a1f6e6d221470e7f02b129fc21c288d7b

Remove a branch that is always true.

FossilOrigin-Name: a65681926d8acf779ad39be21b74537c21777783

Remove an unreachable branch in the FK code.

FossilOrigin-Name: 6c227cc85378fa6041703d6620031c0e0a2db55f

Modify test cases so that veryquick.test passes with PAGECACHE_BLOCKALLOC defined.

FossilOrigin-Name: c61000705b61dc448a838846826d1a5ab5eaca2b

Fix for [b1d3a2e531].

FossilOrigin-Name: 3f3acee465a6e390301f9dc588dd1d8e0bd646bd

Experimental change: If SQLITE_PAGECACHE_BLOCKALLOC is defined, instead of allocating pages one at a time, allocate blocks of between 15 and 63 pages in a single allocation.

FossilOrigin-Name: 63597097eedf80080fab0c1978cfd66ecaaa79fa

When retrying a write() after an EINTR error on unix, be sure to also
rerun the previous lseek().  Ticket [e59bdf6116036a]

FossilOrigin-Name: 21452f3ae6b5882b03c7cc41e661c7b8144cc3df

Ensure that the Tcl "db onecolumn" command returns an empty string if the SELECT statement returns zero rows.

FossilOrigin-Name: 928bcaf0f00a408e2f6c1d85dfab214457f52ad5

Properly process x64 DLL exports, which do not contain a leading underscore, in the MSVC makefile.

FossilOrigin-Name: d5936324d27a16ce251f56f5813176c82215d901

Add vdbesort.c to the MSVC makefile.

FossilOrigin-Name: 8eaa2cd3f454711f2275d03831bca6a36a0b2504

Use OP_Sort rather than OP_Rewind in order to sort the content of a new
index on the CREATE INDEX statement.  Add an ALWAYS() to the merge sort
logic to document an unreachable branch.

FossilOrigin-Name: f01766f42342f043bf0cbe1e07224963011f01b7

Updated comments on the multiplexor extension.  No changes to code.

FossilOrigin-Name: 0f42ef697e197d193867c0d6be3c9cf6471488c6

Fix an assert() in the merge-sort logic to account for I/O errors.

FossilOrigin-Name: c1daa809a17a97610e51f9babd90f36908921245

New makefile target "sqlite3-debug.c" builds an amalgamation that include
appropriate "#line" macros relating the code back to the original source
files.

FossilOrigin-Name: 26f2da24b080bf89e3574bd1a162eb1fead51456

When opening a temporary file to use in a merge-sort, pass SQLITE_OPEN_TEMP_JOURNAL instead of SQLITE_OPEN_TEMP_DB. This is a better fit, as merge-sort files are written and read sequentially like journal files.

FossilOrigin-Name: bd04756b66e343a7bc6c8bbed9e5cff7b9658d01

Fix the header comment on the implementation of the
file_control_sizehint_test TCL command in test1.c.

FossilOrigin-Name: 309198085f255fc1fcc7bf28fd38d016d5a536ab

Merge the experimental changes to use a merge-sort when creating an index into the trunk.

FossilOrigin-Name: 346a453d1f1d615f1e9e7923a27dad84b8727fb1

Update Makefile.in and configure to account for new source file vdbesort.c.

FossilOrigin-Name: 69e4b41de22968c565c6575707a73956e3b20ff4

Merge latest trunk changes into experimental branch.

FossilOrigin-Name: 7e515055f219b01dd72df4e27bdcabfa2f9be5c2

Remove an unused parameter from a function in vdbesort.c. Fix some comments and other details in the same file.

FossilOrigin-Name: 1a8498d8037a1b93e56951bbdbb76291bd5a4f87

Add the SQLITE_OMIT_MERGE_SORT pre-processor directive. To omit the code in vdbesort.c.

FossilOrigin-Name: 4ced2394b10d0a4f86422ff893bcdf3cf32591e3

Add tests to improve coverage of vdbesort.c.

FossilOrigin-Name: 87a15917d7d88285054e2a319506dd4a0cac9722

Make the openDirectory routine in os_unix.c overrideable so that it can
be turned into a harmless no-op for the chromium sandbox.

FossilOrigin-Name: 6b236069e1ea3c99ff0a007a790d4baebda70b13

Add command-line utilities "offsets.c" and "extract.c" for use in
low-level analyzsis of database files.

FossilOrigin-Name: dfa22ed4387f9526b74d5265503c7c8e9d559903

In os_unix.c, do not open the directory containing the database file when
the database file is opened.  Instead, wait until time to fsync() the
directory.  And do not report an error if the open fails, since some
systems (Ex: AIX and a chromium sandbox) are unable to open and fsync
directories.

FossilOrigin-Name: 713b1b7dc1296e9cee42aeaad8c85528155f721d

Allow the unlink() system call to be overridden in os_unix.c.

FossilOrigin-Name: 8d1b5c3ac027ac00d57a250aad45230a09645617

Remove redundant parameter from vdbeSorterInitMerge() in vdbesort.c.

FossilOrigin-Name: eec8c0df075d3a54ad71a2854b170f3ed307d068

Add fault-injection and other tests (and fixes) to improve coverage of vdbesort.c.

FossilOrigin-Name: 0e6defa6aa540b413ea3f4bb6dcd86364d547067

Remove relevant elements from the sqlite_stat2 table when doing a DROP
INDEX or DROP TABLE.

FossilOrigin-Name: 3c8f97ae527e380bf2583c7cf8ceac9509f29bfe

Fix a problem with building large indexes introduced by the previous commit.

FossilOrigin-Name: 038ec9ea92f7661358580d999adc400da14d47f0

In temp files used for merge sorting, store the size of each packed-memory-array at the start of the array itself. This is to avoid having to store the offsets of all arrays in the (potentially very large) file in main-memory.

FossilOrigin-Name: 8051c1767c4386b0f14a66742d9fac41e001eb07

Minor internal changes to vdbesort.c. Also, default to merging lists together 16 at a time.

FossilOrigin-Name: 9ddc324a34dbf97acef92eef21f8a35f63db4c5b

Fix a comment in vdbesort.c.

FossilOrigin-Name: db8518cab8e329b1dbe4cd6c81b21ef3ea69fcb1

Change to using packed-memory-arrays instead of b-trees when performing an offline merge-sort for CREATE INDEX. This makes it easier to control the number of disc seeks required when merging.

FossilOrigin-Name: a4770d079c1b236eb54751e75a44cccc997c6b93

Merge the winopen-retry-logic branch into trunk.  The biggest change here
is to test scripts, which should now use such as copy_file and
delete_file from tester.tcl rather than the raw file commands of TCL.

FossilOrigin-Name: b90c28be3840169651022ef36cd7cf416bc22305

Update the OP_Move opcode to shift the pScopyFrom pointer of aliases when
compiled with SQLITE_DEBUG.  Ticket [d63523637517386191].

FossilOrigin-Name: a2135ad13049c170b33315a949b1544e6a136183

Add explanatory comment to the win32lock-2.2 test case.

FossilOrigin-Name: 4cb17881d9676fa3359394391b9ba53f08e5809a

Correct subtle timing issues in the win32lock test cases and in the lock_win32_file Tcl command.  Also, eliminate superfluous MSVC compiler warnings.

FossilOrigin-Name: 7baf02946e14eb889d864984ff3b3822aad8a3c9

Fix missing info exists check for win32lock-2.2 (the one previously applied to win32lock-1.2).

FossilOrigin-Name: 8a52698e642f40a32d09a6a00b63f25ac38f3fda

Exclude the 8_3_names.test script from the inmemory_journal permutation.

FossilOrigin-Name: 78fc94c8d1229a8bdc9390e98b53c57aeef7fc46

Replace the missed 'file copy' in malloc_common.tcl with copy_file.

FossilOrigin-Name: cd20b4ef6020c0cffe918362afc2b491fb95eb92

Merge in the permutation changes from trunk.

FossilOrigin-Name: b30a5e307fd5485d23e4c4f8ed1c47525a0fe6d3

Also exclude backcompat.test from inmemory_journal since inmemory_journal
is not compatible with WAL mode.

FossilOrigin-Name: 861a5b62430d0ada07a46d0e394fcf0b0faab1cd

Merge the latest trunk changes into the winopen-retry-logic branch.

FossilOrigin-Name: 8bef97a0eb2f56d0ac374d97e97e0a44c7f99aee

Omit backcompat.test from the journaltest permutation because it uses WAL
mode which is incompatible with journaltest.

FossilOrigin-Name: 2bbf3150a4b7108e88ed81c1d40af6f06089e148

Minor fixes to vdbesort.c code in preparation for a major rework.

FossilOrigin-Name: 7f339c0e2655310d7530041c379b082d49ce8c7f

Make sure IS NOT NULL constraints work on virtual tables.
Fix for ticket [6c14288a473ceff].

FossilOrigin-Name: a55f4ab99952a731e4cd8f6ef17389062e5ed4c5

Add retry logic for AV defense to winOpen.  Also, refactor test suite to allow the key Tcl file operations (e.g. copy and delete) to be retried.

FossilOrigin-Name: 9007586fdabed8dbcc78581ea9821cfd1f9a4c8c

Fix a (humorous) typo in the lemon documentation.

FossilOrigin-Name: ed630b012f468d6779b83dd8c4dbf3a8dafee573

Merge changes for the new sqlite3_file_control() that will cause the -wal and -shm files to persist after the last database connection closes.

FossilOrigin-Name: 1b56677bdfb102d070a2057a65ba424fec81131d

Remove redundant sub-expression from retry loop invariant in winAccess.  Also, make check for SQLITE_ACCESS_READWRITE formally correct.

FossilOrigin-Name: 93079a92c49edf72eb289f352cd5ed7ab2faaff3

Fix conditional for retry logic in winAccess and add missing call to logIoerr.

FossilOrigin-Name: 8a145863d1a8711953ae72d706404fb96f6fec06

Use osStat() instead of stat() consistently in os_unix.c

FossilOrigin-Name: 9109128cb5640d687251dfbefa2fd998063cd9fb

Test cases added.  Fix the query mode.

FossilOrigin-Name: a9d8794ae949df570466a84836882bc8bed95c7c

Prototype change for a new sqlite3_file_control() that will cause the
-wal and -shm files to persist after the last database connection closes.

FossilOrigin-Name: e34c553bf04761e86f3bd72f91439c05886caa5c

Enable the SQLITE_FCNTL_SIZE_HINT on unix even if SQLITE_FCNTL_CHUNK_SIZE
has not been set.

FossilOrigin-Name: 05c9832e5f6eb705f1dce4e65cf4e2d56512ff6b

Merge the winAccess retry logic from the anti-antivirus branch
into the trunk.

FossilOrigin-Name: 08d0e8799e1441ef063b1cdf9e4107071a0f81ca

In the multiplexor, close auxiliary files before deleting them when doing
a truncate.

FossilOrigin-Name: 6fb7cfc2efb32dd5c8921a90b853390bc44d4794

Add retry logic for AV defense to winAccess().  Also allow OS tracing to be
enabled by a compile-time option.

FossilOrigin-Name: a6b85c73406caa3bf0585341c8ebc9897a1884f4

Also add the sqlite3-all.c target to the MSVC makefile.

FossilOrigin-Name: 8ce2b74a82264550b0e19da3e0e1a145db940a1c

Add makefile targets sqlite3-all.c.

FossilOrigin-Name: 71f7be586f5a18493cd516f89c4ecc460bb24462

Adjust the maximum number of open database connections in wal3.test down
for OpenBSD.

FossilOrigin-Name: b38e52f67574997de9f4b4318f2eb68ff0133f35

Use $(TCLSH_CMD) instead of tclsh in the autoconf makefile.

FossilOrigin-Name: fd36d8067b5a29d9acbf8c96b9d837406d0c0cce

Compile with the SQLITE_ENABLE_8_3_NAME macro set to 2 to force 8+3 filenames
to be on all the time.

FossilOrigin-Name: ae83dac70173fecf203bf7e9f7bcb189d3e48f08

All multiplexor chunk sizes up to 4GiB.  Disable the multiplexor if the
chunk size is set to 0.

FossilOrigin-Name: 83191ad6f31536b0c1929938e1fbeb4cf6121ab0

For an existing multiplexed database, try to set the chunk size automatically
based on the sizes of the preexisting pieces.

FossilOrigin-Name: 427a9a5120a68bfa12fec97cfd02eb9b28b3fa6b

All the SQLITE_OPEN_URI flag to propagate down into the VFS.

FossilOrigin-Name: 29866f9598502a007816410fade34f1d0952dea0

When the multiplexor opens an auxiliary file, it now persists the name of that
file until it is closed, as it should.  Remove the limit on the number of
auxiliary files used by the multiplexor.

FossilOrigin-Name: 1ffa542bf913200a18ef77447aec4fc3ca1ed618

Formatting changes on the multiplexor code - make sure no lines exceed 80
characters.  No logical changes.

FossilOrigin-Name: ed5f0aad6b21066bacd01521e82c22e96991f400

Increase the version number to 3.7.8.

FossilOrigin-Name: 4355bf2908b923e844907c1e3c09be3bf469f833

In os_unix.c, check if the ESTALE macro is defined before using it.

FossilOrigin-Name: 87017410f2fc3f2ae15ef06714563ba9ad4350c7

Do not try to use STAT2 to refine the row estimate of a query that
uses a unique or nearly-unique index.

FossilOrigin-Name: efffc49baf38698ed3de05d16b4261bf405d42d7

Added the SQLITE_FCNTL_WIN32_AV_RETRY file control for configuring the
retry counts and delays in the windows VFS.

FossilOrigin-Name: 7aaf0a6ae1238129e07eb191ca3f043df445e27a

Merge the improved anti-virus defenses into the trunk.

FossilOrigin-Name: 0207fd9b0c0f6baa3c2cb8ba588ad585507848b3

Experimental support for speeding up CREATE INDEX commands using an offline merge sort.

FossilOrigin-Name: 30dbf0feab0323250404e0741ac2716bcb6b0cbe

Revise logic in winDelete to check the file prior to attempting to delete it.

FossilOrigin-Name: 36f11acc531a524407e03c797a6a1bcf88bad809

Improvements to the logging that occurs on an antivirus I/O retry.

FossilOrigin-Name: ff0ff75c3559f5bbe29c73204cc8ff1cb80f42cb

Update the anti-virus retry logic for DeleteFile().  Invoke sqlite3_log()
for each anti-virus retry.  Make the retry delay configurable at
compile-time.

FossilOrigin-Name: 89f1848d7f7d98b4f7da9218f99ed90d22dd43a8

Update the TCL commands for setting windows manditory locks.
Add test cases for manditory lock delays under windows.

FossilOrigin-Name: 03af4c175c6ba303ec0a5be25fd42771e38f7347

Change the windows backend to retry read and write requests if the encounter
ERROR_LOCK_VIOLATION and ERROR_SHARING_VIOLATION errors - which we think
sometimes happens due to agressive anti-virus software.

FossilOrigin-Name: c20aca06610407c197ea50ea77c2591aacf2252a

Fix harmless compiler warnings on unix.

FossilOrigin-Name: 90b1aea17400bbda5ebc8ae4eb4e12127519e42e

In where.c::findIndexCol - make sure that the Expr.op is TK_COLUMN before
accessing the Expr.iColumn and Expr.iTable fields.  Also fix a couple of
unreachable branches.

FossilOrigin-Name: 418a4da2a96cf33055f18c9a667754fad2111cf3