Further work on getting ssdsim to run.  This is an incremental checkin to
save my place while jumping off to work on other things.

FossilOrigin-Name: ae2f1627b1672e511be1ff132f2a3fb8f8bb7169

Merge the command-line shell enhancements from trunk.  Other edits toward
trying to get ssdsim to run.

FossilOrigin-Name: 848f87e22fc6bfbbb7dbc7491c8a20cdd53b7420

Improvements to the command-line argument parsing in the
command-line shell.  Command-line options can now occur either before
or after the database name and first command and are still accepted and
processed.  Command-line options are processed even if no database name
is given (and :memory: is assumed).

FossilOrigin-Name: 317c80cba3688a97ade9cde622cc3bd94cf3436a

Initial check-in of a test VFS designed to simulate a NAND-flash SSD for the
purpose of measuring and subsequently minimizing write amplification caused
by SQLite.  The code in this check-in compiles but does not run.

FossilOrigin-Name: 9e6efcf05402cd0b259c9b2ae57e349800650bd7

Make sure substructure elements have proper alignment in the ICU tokenizers
of FTS2 and FTS3.

FossilOrigin-Name: aaa2d9b0db74d8452d9294de17cff786ab4ec7c8

Add detailed comments to the build tools used to generate the VSIX package.  Also, allow the build configurations and native library directories to be overridden for the multi-platform build tool for MSVC.

FossilOrigin-Name: 0482c73bfdf80b0c0ce9abea706554d7ddf36f69

Put auxiliary libraries after libsqlite3.a in the testfixture target of the
"main.mk" makefile.

FossilOrigin-Name: 8fc8548f52ab8fcfb53f88db68422e09c9b98da1

Merge Watcom compiler warning fixes into trunk.

FossilOrigin-Name: 5be96788a142362fa1f218191d2a93fdea46d93d

More warning fixes.

FossilOrigin-Name: 51a6a797e1d61c4361b87cdf3467bfd3ce161cc3

Fix harmless compiler warnings.

FossilOrigin-Name: 018e09c70347b9e0c76246ae65d57ef5d29a965a

Add a comment to fts3_snippet.c.

FossilOrigin-Name: b5f5ba3103e6fcf117fb69d5379fa70f691a652d

Initialize variables used as outputs of custom tokenizer method calls in fts4.

FossilOrigin-Name: 514505a84bcc677518d60a42896598f85ed78265

Add a test for the problem fixed by [bf44d73d3e].

FossilOrigin-Name: db9b1fa5973d79e29885817d5aedc3a886c2589a

Change the way the tcl crash-test code works to avoid triggering an assert() in os_unix.c.

FossilOrigin-Name: b8b7b8f9e97a5c34f0f199b46347e0bf85005a4d

Remove an incorrect "#ifndef SQLITE_OMIT_AUTOVACUUM" from pager.

FossilOrigin-Name: bf44d73d3e4ec403947d361d2fa150cc240c4d45

Correct comments and enhance readability of the mkvsix tool.

FossilOrigin-Name: 2c3af657fee6153842d660a6ce29aa7d791ebd38

Hold the mutex on the shared-cache for the duration of a VACUUM operation.

FossilOrigin-Name: 629a42d47a0d8f73de900f469845ce800bdb8959

Dequote column names generated by the query flattener.

FossilOrigin-Name: 5526e0aa3ccb24988a4f351ac994907b6e89018a

Fix a failing assert() in wal.c.

FossilOrigin-Name: 8745530b9a877db77fe2ca3ea9c6bc99ce033055

Ensure that when the source of a backup is a database that is zero bytes
in size, the final destination database consists of at least one page.
Truncating it to zero bytes is equivalent to zeroing the schema cookie
and change counter, which can cause problems for existing clients.

FossilOrigin-Name: ca86138bda26c5ac5a7e67351acbd19fbd39b0ae

Mark an always-true conditional as such.

FossilOrigin-Name: ae025cae2266a91d4226bbdb66f82b9d7714750a

Modify backup4 test name prefix to make the resulting test names unique.

FossilOrigin-Name: 637fb1c1b7642ba3a404dde32e40d4a4ad16fe14

Ensure that when the source of a backup is a database that is zero bytes in size, the final destination database consists of at least one page. Truncating it to zero bytes is equivalent to zeroing the schema cookie and change counter, which can cause problems for existing clients.

FossilOrigin-Name: af5c9ee4a453f71c03f24ad08824ced6c1b97afb

Allow the showdb tool to be compiled with MSVC.

FossilOrigin-Name: dce391fc6302301e9ac53a5e4fc69f3bd7ba13a7

Tooling support for including the debug build in the VSIX package.

FossilOrigin-Name: de784399ed1f0e27fc875e32719643d19819c8fb

Fix duplicate test name in whereD.test.

FossilOrigin-Name: 1182b54af0fd43d5e6aa6399837e7915aa60a578

Define the sqlite3PagerWalFramesize() function even if SQLITE_OMIT_WAL is used.

FossilOrigin-Name: 96247853ef3d556a13b899b4c907b9fa2c78d513

Add support for URI filenames in sqlite3_analyzer.

FossilOrigin-Name: 6dc987d32ba4d09b811ef281cdae09be17ac936c

Move a couple of WAL-related function declarations in sqliteInt.h and pager.h into "#ifndef SQLITE_OMIT_WAL" blocks. Otherwise, the amalgamation fails to build using some compilers with SQLITE_OMIT_WAL (static function declared but not defined).

FossilOrigin-Name: f7437153b90b25a1b77294a0f8d1b0bd4bd08c08

Merge the fix for ticket [d02e1406a58ea02] into trunk.

FossilOrigin-Name: dd34bec389359845b86f4cc4906ab440f92dcab9

Attempt to suppress warnings generated by Coverity.

FossilOrigin-Name: 7b1a6e6cb5099076bf19db142b17c99044a869cd

Avoid an assertion fault and/or freeing memory while it is still in use when
an error occurs during virtual table construction.

FossilOrigin-Name: a02599ad85d02470c9effa51c02dbda7796bfa16

Bring some comments up to date in the query planner, and especially the
ORDER BY optimizer.  Also add testcase() macros.

FossilOrigin-Name: bb5c0f1c92b48631d4a12cd4f321b53cd07885c8

Remove an unused variable.  Fix code that occurs before a variable
declaration.

FossilOrigin-Name: 01dc032b5bbd9c9ebb1965f176ca5d732cda85ea

Replace an always-false conditional with an assert().

FossilOrigin-Name: 981b9943e4b2b660690ec1ac145abdd3c74f8dd2

Changes to facilitate full test coverage.

FossilOrigin-Name: 28d1eb40bfc4c993010ce670ee10780ca2ae5c9c

Merge ORDER BY optimization refactoring and repair into trunk.

FossilOrigin-Name: c027a9af9137f3346dbb5c5e100a087c2e89797b

All test cases (veryquick.tcl and min.rc) pass.  A few branch operations in
ORDER BY optimization logic are untested by min.rc.

FossilOrigin-Name: 8314fd6078a3a71aea9d6386ff277cfeb592b4ba

Further tweaks to the ORDER BY optimizer, to fix a bug and to get the
optimizer to recognize some additional cases.

FossilOrigin-Name: bcb4f262476193cfb17818d8c62bab528dddeef9

Bug fixes in the ORDER BY optimizer.

FossilOrigin-Name: 301bbee4045aa169e29fb4fb75743b71eb4760a1

Continued refactoring of the ORDER BY optimization logic.  This check-in
is close to working, but it still has issues.  A few test cases fail.

FossilOrigin-Name: adbdc663f3d22ff03f21040a811d585cf2218626

Manually define the Win32 file-mapping APIs for WAL if SQLITE_WIN32_FILEMAPPING_API is defined.

FossilOrigin-Name: 1c2c0a2880dd0ee8862352e307142b8de7e80d13

Corrections to test names to eliminate duplicates and follow naming conventions.

FossilOrigin-Name: 50679889c75cd3205253b1682abfbddc5ff09175

Manually define the Win32 file-mapping APIs for WAL if SQLITE_WIN32_FILEMAPPING_API is defined.

FossilOrigin-Name: 585e2070eef3bc273f23d8e384a1261ee5fff5bd

Changes for WinRT compatibility.  Also, allow version resource compilation and embedding to be disabled at compile-time.

FossilOrigin-Name: 4b0facc13b1026419f9b89dab3453ba43071455c

Fix a problem in shared-cache mode where a COMMIT statement might cause a busy-handler belonging to a shared-cache connection other than the current writer to be invoked.

FossilOrigin-Name: e0c889d66ccf4af12cc77ac38c1e6477da63ac72

Merge the shared-cache related fixes from the shared-cache-fix branch to the trunk.

FossilOrigin-Name: 698ec7769d4feea1782401479c61ce67d2113fd4

Add a test for the collation-sequence/CHECK constraint problem fixed by the previous commit.

FossilOrigin-Name: 82b6aa77c8d8de4c6fad1960f5958457a929a821

Fix a problem with shared-cache mode and CHECK constraints causing one db handle to invoke a collation sequence function registered with another.

FossilOrigin-Name: c2c776ab73828374836af008aa320cc670c081b5

Consolidate all occurrences of the "no such collation sequence" error message
into a single spot.

FossilOrigin-Name: 8ea67522fb03134f355ecb776b70c6917241cab2

Rename a tool batch file subroutine to avoid confusion about its purpose.

FossilOrigin-Name: 43155b1543bddbb84a8bc13a5b7344b228ddacb9

Shared-cache mode fixes for views and virtual tables.

FossilOrigin-Name: 2b370dea704b59262c604af0efcef5660b194454

Yet another refactoring of ORDER BY logic in the query planner.  This
particular check-in works mostly, but still has a few minor issues.

FossilOrigin-Name: 8f4487450be1a2b0371f8251a967cbe341b2dea1

Fix an out-of-order memset() that occurs before all variable declarations
are finished.  Also fix a line that exceeds the 80-character line length
limit.

FossilOrigin-Name: ba2f492f957ab5556cd540e21a76ebb75efea725

Update the query planner to recognize more cases where ORDER BY clauses
can be optimized out.  Add test cases to verify correct behavior of the
ORDER BY optimization when the covering-index-scan optimization is disabled.
Fix a harmless compiler warning in the TCL interface.

FossilOrigin-Name: 956e4d7f8958e7065ff2d61cd71519d6f4113d4a

Fix a query planner problem that only occurs when covering-index-scan is
disabled.  Fix to tests whose output changed due to the new and more
aggressive ORDER BY optimization.

FossilOrigin-Name: 0f9bb90100aa304a7f28023ca4173e68b445e8bd

Fix the TCL interface so that SQL functions implemented in TCL honor the
"nullvalue" setting.  Also remove from the TCL interface some unused
legacy UTF8 translation code left over from SQLite2.

FossilOrigin-Name: c1f10a2643179ec58f3879764e9e89676d4b5f91

Further attempts to optimize out unnecessary ORDER BY clauses.

FossilOrigin-Name: 6744d9a37faffed59b4d5cb96c8671ec46a87ea7

Work around an optimization issue with the MSVC compiler for ARM.

FossilOrigin-Name: 7d301fdfeec540e4a58f43bff04d219e9f769dc4

More lenient handling of ORDER BY optimization in joins with mixed ASC/DESC.
This is a better and less restrictive fix for the problem addressed by
the previous check-in.

FossilOrigin-Name: abcf6a5d054559ee5a093ba39180c47b4958d9cd

Only continue an ORDER BY optimization into inner loops if the equality
constraints on the inner loop match terms of an outer ordered index that
are actually used by the ORDER BY clause.

FossilOrigin-Name: b0e7b4df6c2a8c479f8d210bde50c737eaa248f0

Factor an invariant out the loop termination condition for the ORDER BY
satisfied-by-index analyzer routine.

FossilOrigin-Name: 545bb33688663066cf3f09e4cdc4d5cfe59fb8db

Make sure the outer loop cursor numbers are recorded in time for them to be
used by the ORDER BY optimizer.

FossilOrigin-Name: 351dc8d9cab8a222f28fb865d3a7d1c622d60d6f

Improvements to the wheretrace output.

FossilOrigin-Name: 76b277655646a9fe0f336ff106157f1efcd32019

Fix harmless compiler warnings.

FossilOrigin-Name: 59c2be75ff8b8ccd77320b45e4088e5bf456a1d9

Fix several compiler warnings seen with MSVC.

FossilOrigin-Name: 8b5f617c2a5f0bf7bdbd9144aee58d69564db1e2

Add SQLITE_FCNTL_BUSYHANDLER. Invoked to provide access to the busy-handler callback to custom VFS implementations.

FossilOrigin-Name: 1262d2f471214a3417dd02159a7aa2355b18f789

Minor changes to the query planner for improved test coverage.

FossilOrigin-Name: c12044df322283c9deb0d7dacd8a699ac53f27b6

Omit the sqlite3GetReservedNoMutex() routine in build configurations where
it is not used.

FossilOrigin-Name: f193dbb6b96b2f49dd0d6345802c9c006cd99e3c

Make sure the size parameter to read and write VFS methods in the unix VFS
do not become too big or go negative.  This was not actually possible in the
current code.  The checks are added to make sure some future bug does not
make it possible.

FossilOrigin-Name: daebe3bd2d9bd7b6f876a8110cf5045eb3fee078

Ensure that the value returned by xSectorSize() is reasonable (currently defined as between 2^5 and 2^16 bytes) before using it to calculate the amount of padding to add to a wal file.

FossilOrigin-Name: 6b4ff83bff07d427af585c9fd03be90abf2fc82f

Improved ORDER BY optimization when outer loops of a join return a single row.

FossilOrigin-Name: 62225b4a4c4bfe1820ef54cb202edf2cd866429f

Disable the bigfile tests on Macs.

FossilOrigin-Name: d869eddaf208c4bf03f6bd1848f510392f9dba49

Fix compiler warnings found on Lion.

FossilOrigin-Name: fd74d3d91721ca404537f195fed04c9edef20bf2

Avoid calling sqlite3BtreeEnter() in a corner case where the corresponding database handle mutex (sqlite3.mutex) may not be held. This prevents a potential deadlock or crash that can occur if the backup API, shared-cache mode and SQLITE_HAVE_CODEC are all in use.

FossilOrigin-Name: 89b8c377a6f03d9fa885f3f94c1f0b1eec263dea

Modify the clearCell function to use SQLITE_CORRUPT_BKPT in the one place it was not.

FossilOrigin-Name: 472beb306a4fa7103837d4417aef7d66eef49993

Query planner enhancements to be more agressive about optimizing out ORDER BY
clauses - in particular the query planner now has the ability to omit ORDER BY
clauses that span multiple tables in a join.

FossilOrigin-Name: 1e874629d7cf568368b912b295bd3001147d0b52

Fix some corner case behavior in the new ORDER BY optimization logic.
Remove the SQLITE_OrderByIdx bit from the
SQLITE_TESTCTRL_OPTIMIZATIONS mask, since enabling it caused many
TH3 tests to fail when the NO_OPT configuration parameter was engaged,
and since there really isn't any need to turn that optimization off.
The SQLITE_OrderByIdxJoin bit remains.

FossilOrigin-Name: 98b633717a1c9a08f6a1d00bc6bc891564ae7e9b

Modify generation of resource header file for MSVC so that it can work from outside the working directory.

FossilOrigin-Name: 20caf80cb3b65e69a99dbc142db8ee435fb2dbdc

More test cases an bug fixes for the ORDER BY optimization of joins.  All
veryquick tests now pass.

FossilOrigin-Name: 0d573320057b0903a5589cabfb1b1ece1c57958e

Test cases and bug fixes applied to the ORDER BY optimization for joins.
Some test cases fail, but except for the new orderby1.test failures, all
failures appear to be issues with the tests, not with the core code.

FossilOrigin-Name: 75cda864ededb6dc0f84bd52ed3311753a58e351

Add more bits to the bit vector that is used to disable optimizations for
built-in test.  Add specific bit patterns to disable ORDER BY using an
index in general and for joins.  Use macros to test for bits in the
disabled-optimization bit vector, in order to make the code clearer.

FossilOrigin-Name: d2fcba1e143beca8c45724d2108870657c269e17

Enable ORDER BY clauses that span joins to be optimized out.

FossilOrigin-Name: c29538f9b1ee4d4869999570604c9618ca0d08ac

Merge the "PRAGMA busy_timeout" change into trunk.

FossilOrigin-Name: 1a679a1ef3b4f2d898c8cd83432d2b4c12bd93fa

Further tweaks to the query planner logic in preparation for adding
ORDER BY opt-out for joins.

FossilOrigin-Name: 53efc10af990d3f293551f3cd8ef2f8be2d9d716

Further refactoring of the ORDER BY related query-planning logic in order
to make it easier to extend to support optimizing out ORDER BY on joins.
No actual behavior changes, yet.

FossilOrigin-Name: 96496ddae12a239b30a1fc997fbea43e3a75bfe7

Augment the WhereBestIdx structure to pass down into the query planner
information that might be used to better detect ORDER BY and DISTINCT
optimizations spanning multiple tables of a join.

FossilOrigin-Name: 4226e51ff837f0ffe16355491a655d919d13488e

Pass information around between the major routines of the query planner
using a single pointer to a structure rather than a long list of parameters.

FossilOrigin-Name: 1104d42e104d561ce60d05d158acfe499ee9fd50

Remove an unused subfunction parameter and an obsolete comment from the
query planner logic in where.c.

FossilOrigin-Name: 349a55cd8ba9ce65ebfd987ecfebd1204f7d0a85

Change the internal sqlite3WhereBegin() to report that the ORDER BY clause
is satisfied by indices using the WhereInfo.nOBSat field of the returned
structure.

FossilOrigin-Name: 22989f3588531efd555cc29d6c576e7a34b7edc4

Update documentation to describe the threadsafety of
sqlite3_enable_shared_cache().

FossilOrigin-Name: e081890cd77ad8de4bf55a8f8cf9d63bfaaf8218

Enable query planner tracing using the new (and undocumented) ".wheretrace 1"
command in the command-line shell if both the shell and the core are
compiled with SQLITE_DEBUG and SQLITE_ENABLE_WHERETRACE.  This is not a
supported API. Use for testing and debugging only.

FossilOrigin-Name: 1be4b16b9e900181ae6848f2920ea646f407c9dc

Command-line shell enhancements:  Added the ".print" command.  Enhanced
the ".width" command so that negative widths will right-justify.

FossilOrigin-Name: a1d8269da3868e41a6603c1a683e324fe21fb317

Consolidate more of the DISTINCT processing logic into a single spot in the
code.  Reduce the number of OP_Column operations needed to perform a
WHERE_DISTINCT_ORDERED.

FossilOrigin-Name: 79e922f7ae29bbe06d639d648fbd72523cf9a28e

Continuing incremental enhancements of SELECT code generation:
Remove the Select.affinity field.  Use SelectDest.affSdst instead.

FossilOrigin-Name: cf40b7b5ebdacc3215d769aadacce8c9e7e9dfbb

Refactoring of DISTINCT code.  Change the name of the local variable
"distinct" to "distinctTab".  Generate cleaner code w/o unnecessary P4
and P5 values on the OP_Null for WHERE_DISTINCT_ORDERED.

FossilOrigin-Name: 0cda241a2bcb3c6f2ae6c48f522780bc4eddfc02

Tighter VDBE code for the WHERE_DISTINCT_ORDERED case of DISTINCT keyword
handling.

FossilOrigin-Name: 94b48064db3cbb43e911fdf7183218b08146ec10

Add comments to the WHERE_DISTINCT_* macros.  No changes to code.

FossilOrigin-Name: 82320501904f65030622a67836ba30f412169056

Merge the covering-index-scan optimization into trunk.

FossilOrigin-Name: ddd5d789e7ae4a66cd7b7fa79e48d2777f95350b

Silence harmless compiler warning seen with SQLITE_OMIT_DEPRECATED.

FossilOrigin-Name: c5cee969322d14114e4136510c3891a2e743520d