Change to test instrumentation of os_unix.c: Regard IO errors that occur within SQLITE_FCNTL_SIZE_HINT requests as benign.

FossilOrigin-Name: ca47da2a1f6e6d221470e7f02b129fc21c288d7b

Modify test cases so that veryquick.test passes with PAGECACHE_BLOCKALLOC defined.

FossilOrigin-Name: c61000705b61dc448a838846826d1a5ab5eaca2b

Experimental change: If SQLITE_PAGECACHE_BLOCKALLOC is defined, instead of allocating pages one at a time, allocate blocks of between 15 and 63 pages in a single allocation.

FossilOrigin-Name: 63597097eedf80080fab0c1978cfd66ecaaa79fa

When retrying a write() after an EINTR error on unix, be sure to also
rerun the previous lseek().  Ticket [e59bdf6116036a]

FossilOrigin-Name: 21452f3ae6b5882b03c7cc41e661c7b8144cc3df

Ensure that the Tcl "db onecolumn" command returns an empty string if the SELECT statement returns zero rows.

FossilOrigin-Name: 928bcaf0f00a408e2f6c1d85dfab214457f52ad5

Properly process x64 DLL exports, which do not contain a leading underscore, in the MSVC makefile.

FossilOrigin-Name: d5936324d27a16ce251f56f5813176c82215d901

Add vdbesort.c to the MSVC makefile.

FossilOrigin-Name: 8eaa2cd3f454711f2275d03831bca6a36a0b2504

Use OP_Sort rather than OP_Rewind in order to sort the content of a new
index on the CREATE INDEX statement.  Add an ALWAYS() to the merge sort
logic to document an unreachable branch.

FossilOrigin-Name: f01766f42342f043bf0cbe1e07224963011f01b7

Updated comments on the multiplexor extension.  No changes to code.

FossilOrigin-Name: 0f42ef697e197d193867c0d6be3c9cf6471488c6

Fix an assert() in the merge-sort logic to account for I/O errors.

FossilOrigin-Name: c1daa809a17a97610e51f9babd90f36908921245

New makefile target "sqlite3-debug.c" builds an amalgamation that include
appropriate "#line" macros relating the code back to the original source
files.

FossilOrigin-Name: 26f2da24b080bf89e3574bd1a162eb1fead51456

When opening a temporary file to use in a merge-sort, pass SQLITE_OPEN_TEMP_JOURNAL instead of SQLITE_OPEN_TEMP_DB. This is a better fit, as merge-sort files are written and read sequentially like journal files.

FossilOrigin-Name: bd04756b66e343a7bc6c8bbed9e5cff7b9658d01

Fix the header comment on the implementation of the
file_control_sizehint_test TCL command in test1.c.

FossilOrigin-Name: 309198085f255fc1fcc7bf28fd38d016d5a536ab

Merge the experimental changes to use a merge-sort when creating an index into the trunk.

FossilOrigin-Name: 346a453d1f1d615f1e9e7923a27dad84b8727fb1

Update Makefile.in and configure to account for new source file vdbesort.c.

FossilOrigin-Name: 69e4b41de22968c565c6575707a73956e3b20ff4

Merge latest trunk changes into experimental branch.

FossilOrigin-Name: 7e515055f219b01dd72df4e27bdcabfa2f9be5c2

Remove an unused parameter from a function in vdbesort.c. Fix some comments and other details in the same file.

FossilOrigin-Name: 1a8498d8037a1b93e56951bbdbb76291bd5a4f87

Add the SQLITE_OMIT_MERGE_SORT pre-processor directive. To omit the code in vdbesort.c.

FossilOrigin-Name: 4ced2394b10d0a4f86422ff893bcdf3cf32591e3

Add tests to improve coverage of vdbesort.c.

FossilOrigin-Name: 87a15917d7d88285054e2a319506dd4a0cac9722

Make the openDirectory routine in os_unix.c overrideable so that it can
be turned into a harmless no-op for the chromium sandbox.

FossilOrigin-Name: 6b236069e1ea3c99ff0a007a790d4baebda70b13

Add command-line utilities "offsets.c" and "extract.c" for use in
low-level analyzsis of database files.

FossilOrigin-Name: dfa22ed4387f9526b74d5265503c7c8e9d559903

In os_unix.c, do not open the directory containing the database file when
the database file is opened.  Instead, wait until time to fsync() the
directory.  And do not report an error if the open fails, since some
systems (Ex: AIX and a chromium sandbox) are unable to open and fsync
directories.

FossilOrigin-Name: 713b1b7dc1296e9cee42aeaad8c85528155f721d

Allow the unlink() system call to be overridden in os_unix.c.

FossilOrigin-Name: 8d1b5c3ac027ac00d57a250aad45230a09645617

Remove redundant parameter from vdbeSorterInitMerge() in vdbesort.c.

FossilOrigin-Name: eec8c0df075d3a54ad71a2854b170f3ed307d068

Add fault-injection and other tests (and fixes) to improve coverage of vdbesort.c.

FossilOrigin-Name: 0e6defa6aa540b413ea3f4bb6dcd86364d547067

Remove relevant elements from the sqlite_stat2 table when doing a DROP
INDEX or DROP TABLE.

FossilOrigin-Name: 3c8f97ae527e380bf2583c7cf8ceac9509f29bfe

Fix a problem with building large indexes introduced by the previous commit.

FossilOrigin-Name: 038ec9ea92f7661358580d999adc400da14d47f0

In temp files used for merge sorting, store the size of each packed-memory-array at the start of the array itself. This is to avoid having to store the offsets of all arrays in the (potentially very large) file in main-memory.

FossilOrigin-Name: 8051c1767c4386b0f14a66742d9fac41e001eb07

Minor internal changes to vdbesort.c. Also, default to merging lists together 16 at a time.

FossilOrigin-Name: 9ddc324a34dbf97acef92eef21f8a35f63db4c5b

Fix a comment in vdbesort.c.

FossilOrigin-Name: db8518cab8e329b1dbe4cd6c81b21ef3ea69fcb1

Change to using packed-memory-arrays instead of b-trees when performing an offline merge-sort for CREATE INDEX. This makes it easier to control the number of disc seeks required when merging.

FossilOrigin-Name: a4770d079c1b236eb54751e75a44cccc997c6b93

Merge the winopen-retry-logic branch into trunk.  The biggest change here
is to test scripts, which should now use such as copy_file and
delete_file from tester.tcl rather than the raw file commands of TCL.

FossilOrigin-Name: b90c28be3840169651022ef36cd7cf416bc22305

Update the OP_Move opcode to shift the pScopyFrom pointer of aliases when
compiled with SQLITE_DEBUG.  Ticket [d63523637517386191].

FossilOrigin-Name: a2135ad13049c170b33315a949b1544e6a136183

Add explanatory comment to the win32lock-2.2 test case.

FossilOrigin-Name: 4cb17881d9676fa3359394391b9ba53f08e5809a

Correct subtle timing issues in the win32lock test cases and in the lock_win32_file Tcl command.  Also, eliminate superfluous MSVC compiler warnings.

FossilOrigin-Name: 7baf02946e14eb889d864984ff3b3822aad8a3c9

Fix missing info exists check for win32lock-2.2 (the one previously applied to win32lock-1.2).

FossilOrigin-Name: 8a52698e642f40a32d09a6a00b63f25ac38f3fda

Exclude the 8_3_names.test script from the inmemory_journal permutation.

FossilOrigin-Name: 78fc94c8d1229a8bdc9390e98b53c57aeef7fc46

Replace the missed 'file copy' in malloc_common.tcl with copy_file.

FossilOrigin-Name: cd20b4ef6020c0cffe918362afc2b491fb95eb92

Merge in the permutation changes from trunk.

FossilOrigin-Name: b30a5e307fd5485d23e4c4f8ed1c47525a0fe6d3

Also exclude backcompat.test from inmemory_journal since inmemory_journal
is not compatible with WAL mode.

FossilOrigin-Name: 861a5b62430d0ada07a46d0e394fcf0b0faab1cd

Merge the latest trunk changes into the winopen-retry-logic branch.

FossilOrigin-Name: 8bef97a0eb2f56d0ac374d97e97e0a44c7f99aee

Omit backcompat.test from the journaltest permutation because it uses WAL
mode which is incompatible with journaltest.

FossilOrigin-Name: 2bbf3150a4b7108e88ed81c1d40af6f06089e148

Minor fixes to vdbesort.c code in preparation for a major rework.

FossilOrigin-Name: 7f339c0e2655310d7530041c379b082d49ce8c7f

Make sure IS NOT NULL constraints work on virtual tables.
Fix for ticket [6c14288a473ceff].

FossilOrigin-Name: a55f4ab99952a731e4cd8f6ef17389062e5ed4c5

Add retry logic for AV defense to winOpen.  Also, refactor test suite to allow the key Tcl file operations (e.g. copy and delete) to be retried.

FossilOrigin-Name: 9007586fdabed8dbcc78581ea9821cfd1f9a4c8c

Fix a (humorous) typo in the lemon documentation.

FossilOrigin-Name: ed630b012f468d6779b83dd8c4dbf3a8dafee573

Merge changes for the new sqlite3_file_control() that will cause the -wal and -shm files to persist after the last database connection closes.

FossilOrigin-Name: 1b56677bdfb102d070a2057a65ba424fec81131d

Remove redundant sub-expression from retry loop invariant in winAccess.  Also, make check for SQLITE_ACCESS_READWRITE formally correct.

FossilOrigin-Name: 93079a92c49edf72eb289f352cd5ed7ab2faaff3

Fix conditional for retry logic in winAccess and add missing call to logIoerr.

FossilOrigin-Name: 8a145863d1a8711953ae72d706404fb96f6fec06

Use osStat() instead of stat() consistently in os_unix.c

FossilOrigin-Name: 9109128cb5640d687251dfbefa2fd998063cd9fb

Test cases added.  Fix the query mode.

FossilOrigin-Name: a9d8794ae949df570466a84836882bc8bed95c7c

Prototype change for a new sqlite3_file_control() that will cause the
-wal and -shm files to persist after the last database connection closes.

FossilOrigin-Name: e34c553bf04761e86f3bd72f91439c05886caa5c

Enable the SQLITE_FCNTL_SIZE_HINT on unix even if SQLITE_FCNTL_CHUNK_SIZE
has not been set.

FossilOrigin-Name: 05c9832e5f6eb705f1dce4e65cf4e2d56512ff6b

Merge the winAccess retry logic from the anti-antivirus branch
into the trunk.

FossilOrigin-Name: 08d0e8799e1441ef063b1cdf9e4107071a0f81ca

In the multiplexor, close auxiliary files before deleting them when doing
a truncate.

FossilOrigin-Name: 6fb7cfc2efb32dd5c8921a90b853390bc44d4794

Add retry logic for AV defense to winAccess().  Also allow OS tracing to be
enabled by a compile-time option.

FossilOrigin-Name: a6b85c73406caa3bf0585341c8ebc9897a1884f4

Also add the sqlite3-all.c target to the MSVC makefile.

FossilOrigin-Name: 8ce2b74a82264550b0e19da3e0e1a145db940a1c

Add makefile targets sqlite3-all.c.

FossilOrigin-Name: 71f7be586f5a18493cd516f89c4ecc460bb24462

Adjust the maximum number of open database connections in wal3.test down
for OpenBSD.

FossilOrigin-Name: b38e52f67574997de9f4b4318f2eb68ff0133f35

Use $(TCLSH_CMD) instead of tclsh in the autoconf makefile.

FossilOrigin-Name: fd36d8067b5a29d9acbf8c96b9d837406d0c0cce

Compile with the SQLITE_ENABLE_8_3_NAME macro set to 2 to force 8+3 filenames
to be on all the time.

FossilOrigin-Name: ae83dac70173fecf203bf7e9f7bcb189d3e48f08

All multiplexor chunk sizes up to 4GiB.  Disable the multiplexor if the
chunk size is set to 0.

FossilOrigin-Name: 83191ad6f31536b0c1929938e1fbeb4cf6121ab0

For an existing multiplexed database, try to set the chunk size automatically
based on the sizes of the preexisting pieces.

FossilOrigin-Name: 427a9a5120a68bfa12fec97cfd02eb9b28b3fa6b

All the SQLITE_OPEN_URI flag to propagate down into the VFS.

FossilOrigin-Name: 29866f9598502a007816410fade34f1d0952dea0

When the multiplexor opens an auxiliary file, it now persists the name of that
file until it is closed, as it should.  Remove the limit on the number of
auxiliary files used by the multiplexor.

FossilOrigin-Name: 1ffa542bf913200a18ef77447aec4fc3ca1ed618

Formatting changes on the multiplexor code - make sure no lines exceed 80
characters.  No logical changes.

FossilOrigin-Name: ed5f0aad6b21066bacd01521e82c22e96991f400

Increase the version number to 3.7.8.

FossilOrigin-Name: 4355bf2908b923e844907c1e3c09be3bf469f833

In os_unix.c, check if the ESTALE macro is defined before using it.

FossilOrigin-Name: 87017410f2fc3f2ae15ef06714563ba9ad4350c7

Do not try to use STAT2 to refine the row estimate of a query that
uses a unique or nearly-unique index.

FossilOrigin-Name: efffc49baf38698ed3de05d16b4261bf405d42d7

Added the SQLITE_FCNTL_WIN32_AV_RETRY file control for configuring the
retry counts and delays in the windows VFS.

FossilOrigin-Name: 7aaf0a6ae1238129e07eb191ca3f043df445e27a

Merge the improved anti-virus defenses into the trunk.

FossilOrigin-Name: 0207fd9b0c0f6baa3c2cb8ba588ad585507848b3

Experimental support for speeding up CREATE INDEX commands using an offline merge sort.

FossilOrigin-Name: 30dbf0feab0323250404e0741ac2716bcb6b0cbe

Revise logic in winDelete to check the file prior to attempting to delete it.

FossilOrigin-Name: 36f11acc531a524407e03c797a6a1bcf88bad809

Improvements to the logging that occurs on an antivirus I/O retry.

FossilOrigin-Name: ff0ff75c3559f5bbe29c73204cc8ff1cb80f42cb

Update the anti-virus retry logic for DeleteFile().  Invoke sqlite3_log()
for each anti-virus retry.  Make the retry delay configurable at
compile-time.

FossilOrigin-Name: 89f1848d7f7d98b4f7da9218f99ed90d22dd43a8

Update the TCL commands for setting windows manditory locks.
Add test cases for manditory lock delays under windows.

FossilOrigin-Name: 03af4c175c6ba303ec0a5be25fd42771e38f7347

Change the windows backend to retry read and write requests if the encounter
ERROR_LOCK_VIOLATION and ERROR_SHARING_VIOLATION errors - which we think
sometimes happens due to agressive anti-virus software.

FossilOrigin-Name: c20aca06610407c197ea50ea77c2591aacf2252a

Fix harmless compiler warnings on unix.

FossilOrigin-Name: 90b1aea17400bbda5ebc8ae4eb4e12127519e42e

In where.c::findIndexCol - make sure that the Expr.op is TK_COLUMN before
accessing the Expr.iColumn and Expr.iTable fields.  Also fix a couple of
unreachable branches.

FossilOrigin-Name: 418a4da2a96cf33055f18c9a667754fad2111cf3

Change the default chunk size on test_multiplex.c to 2147418112 bytes
(formerly 1073741824 bytes) and make the default configurable at compile-time
using SQLITE_MULTIPLEX_CHUNK_SIZE and at run-time using the "chunksize"
URI query parameter.  Add support fo test_multiplex to the shell.

FossilOrigin-Name: e305b5a931374e2a1d2e66ea0a1248b9d4aecb19

Fix for [54844eea3f]: Do not create automatic indexes on correlated sub-queries.

FossilOrigin-Name: 9f14fa56ba31afe3de8b0cf26ed09573a2cc2283

Extend the SQLITE_TESTCTRL_OPTIMIZATIONS option to disable DISTINCT
optimizations.

FossilOrigin-Name: 18501dd1a8aa8299c091c36e35b9a10a29d4467b

Update the tool/symbols.sh script to check for accidentally exported
global variables.

FossilOrigin-Name: 71b749a9dca953cdf671d94afec16e2c98f3aee5

Add a target to main.mk that will fail if the amalgamation contains any exported symbols that do not begin with "sqlite3_". Run this target from within releasetest.tcl. Add "static" to a couple of private functions in mem3.c.

FossilOrigin-Name: a68b6580c7d436c896a644a475cdba33c2c8d6e6

Remove accidental global variable "doclist" from fts3Int.h.

FossilOrigin-Name: f244b2f3959e86fac555b91438cfe90528ab1648

Expose the value of compile time symbol SQLITE_MAX_DEFAULT_PAGE_SIZE to test scripts.

FossilOrigin-Name: 335736637c4ac3fe56a44fe01d4c037aaefa916a

Adjust a couple of test scripts so that they work with OMIT_UTF16 builds.

FossilOrigin-Name: 6c51bad0a306558d2725463b5675c3799fabcb9d

Add a testcase macro to ensure testing a boundary case in DISTINCT processing.

FossilOrigin-Name: ff9fc722dc481df1ce6a9733db1f033b88141d5d

Ensure that automatic indexes are only created in scenarios where they may be used more than once.

FossilOrigin-Name: 27c65d4d9c58bfc4ea8f9337fa15090459fb26c5

Merge experimental changes improving optimization of DISTINCT queries with the trunk.

FossilOrigin-Name: 45e581bff7a75db6c9a2c45b73d034d0b8a166d1

Fix a broken assert() in where.c.

FossilOrigin-Name: 090b29177fbc9faa83b560d92ddc3710d291776e

Merge latest trunk changes with experimental branch.

FossilOrigin-Name: e56be74eabc03d1a524d96aa4e87102dea4e348e

Improve use of indexes to optimize DISTINCT queries.

FossilOrigin-Name: 6c202ea0247ff509f696eee3839975a88ed26cf2

Test case for ticket [d6ddba6706353915ceed]

FossilOrigin-Name: 953e169e8a7dac05a0b56b4ef5d500ec8399d37f

Improvements and tests for detection of redundant DISTINCT qualifiers.

FossilOrigin-Name: 7337293c87fb563604dd6ad284f2d1e30c938b4c

Ignore the database name on the target table when parsing a CREATE TABLE
statement out of the sqlite_master table.  This is a fix for
ticket [d6ddba6706353] that preserves backwards compatibility.

FossilOrigin-Name: 009c96ea7836edf75d65b150055e920079bb45e3

Experimental changes to improve optimization of DISTINCT queries.

FossilOrigin-Name: f7ba0219ef2f235543c258be736955d91ca5ecce

Pass the BTREE_UNORDERED hint into both sqlite3BtreeOpen() and into
sqlite3BtreeCreateTable().

FossilOrigin-Name: 591de898f41630156cc0fc6ef17dd3ee5e7c479f

Merge the fts3-changes branch back into the trunk.

FossilOrigin-Name: b9477eb056d120826ed82b0d65e6f27b5d0c087a

Add a fix and tests for the FTS deferred token logic.

FossilOrigin-Name: 91daea7d2ec41f014fb30c6371aae447cc07f287