Merge all version 3.10.0 updates.

FossilOrigin-Name: 77c28c2b2dc601e67a88f55afff53b6cb9a24833

Version 3.10.0

FossilOrigin-Name: fd0a50f0797d154fefff724624f00548b5320566

Always use -DSQLITE_ENABLE_MEMSYS5 for fuzzcheck so that the --limit-mem
option will work.

FossilOrigin-Name: a855697719e288c908ddb7950d32fd17ef546509

Another attempt to get reuse of excess opcode array space working correctly
on all architectures and platforms.

FossilOrigin-Name: 2f8583748abab1e15029d3a8693ba9a66c978c2b

Permit the 'test_fs' test module to be compiled and used on MinGW.

FossilOrigin-Name: ac27f38eef7a241d56124c263d9f8c91f372a77f

Fix a corner case in the opcode-array reuse logic where the number of bytes of
reusable space might be computed to be a negative number, due to unusual
system alignment restrictions and rounding error.

FossilOrigin-Name: 1aa530144643582658c8c1dd66548662f950efe3

Fix the conflict2.test module which was broken by check-in [e30062e9f6c].

FossilOrigin-Name: b779ca8a7580e2a0bb1176316c4540867b635229

A new approach to very large sqlite3_mprintf() strings:  Back out the
[d655a665] check-in and instead make the size fields in StrAccum unsigned.
Strings generated by sqlite3_mprintf() can now be as large as 2^31-1 bytes.

FossilOrigin-Name: 7adb789f45698e5569b840d23f3f9488db3ed109

Improved comment on the vtabH-3.1 test.

FossilOrigin-Name: 22abe08038cc7b66cbc25e733246d210197c9215

Adjust the vtabH.test module to ignore files in the root directory of Windows
machines that contain the "$" character.

FossilOrigin-Name: 73e3355004b8b7ce2e1bb937725f429795528a4f

Limit the length of sqlite3_mprintf() output to 2^30 bytes, even if
SQLITE_MAX_LENGTH is set larger at compile-time.

FossilOrigin-Name: d655a665acfae676d30e90e3731f483bee6acc63

Fix a harmless compiler warning.

FossilOrigin-Name: 4b404a99aa9bfa6cfe8998f5dc1f84f8be20b840

Add releasetest.tcl cases for SQLITE_LIKE_DOESNT_MATCH_BLOB and
for SQLITE_ENABLE_CURSOR_HINTS.

FossilOrigin-Name: f300c35efa5f7383b2a74b1c9466c243c17815e4

Bug fix: the conflict resolution behavior for the implied NOT NULL constraint
on the PRIMARY KEY of a WITHOUT ROWID table should be ABORT.

FossilOrigin-Name: e30062e9f6cae980150dda7df440b36dfdcb7bbe

Fix a premature reference to utf8_printf in shell.c.

FossilOrigin-Name: 76f5efa68728d899a63a74f2528dfd0c497aa5f0

Add the number of cores used and the name of the host computer to the
summary at the end of releasetest.tcl.

FossilOrigin-Name: cd3ae0f14c6b28b328b208431d0effcb7b062ec6

Fix a (harmless) typo in an #ifdef for SQLITE_ENABLE_CURSOR_HINTS

FossilOrigin-Name: 2047d2deabf2021ea05d620c3dd4919448027b11

Remember the size of the Vdbe.aOp[] array in bytes, to avoid unnecessary
calls to sqlite3_msize().

FossilOrigin-Name: 3e852804c85a5c9f4c4ffafd55d03af6d19fe5cc

Avoid misaligned memory allocations on Sparc in sqlite3VdbeMakeReady().

FossilOrigin-Name: a304e34675404aee860fcc97fa4ffcc57c014812

Merge all recent trunk enhancements.

FossilOrigin-Name: 5b700f313d753a308d2c6b5e5a5ee42af2e6d180

Fix an assert() that might be false for a corrupt database.

FossilOrigin-Name: 68360cd2211b7ab25dd4ca55a2e82e31f51f2976

Remove unreachable branches from the new JSON aggregate functions.

FossilOrigin-Name: 6e30f8c6c3af9b0df39783888a1479f88271f989

Fix the ieee754.test module so that it works both on systems that report
infinity as "inf" and as "Inf".

FossilOrigin-Name: d41d4d7396fba60895535f21c438f8c75e7b2097

In the shell, use utf8_printf() when any string formatting is present and raw_printf() otherwise.

FossilOrigin-Name: 8cf01fff232d15d3c7b7b62b2d890d983e1945f2

Fix harmless compiler warning seen with MSVC.

FossilOrigin-Name: 98ec778daac835d9ae103f6460b7d897981a5dd6

Fix harmless compiler warnings associated with SQLITE_ENABLE_HIDDEN_COLUMNS.

FossilOrigin-Name: 9c392c1019ee15f27c8e05b41246d2844f91f6c0

Small size and performance optimization to the VDBE comparison opcodes.

FossilOrigin-Name: 7a0b9413fa94d3f4fa9751ddf9b213a1238954f1

Reduce the size of the CellInfo object from 32 to 24 bytes on 64-bit machines,
for a small performance increase and library size reduction.

FossilOrigin-Name: 6a4cfc7ab62046eb718ce59eff6b632f239312ac

Enhance the command-line shell so that it can handle MBCS characters on
input and output.

FossilOrigin-Name: 3d81dfe3bc5ca9588b7796769d9be7a182f38b1c

Changes to the way that the default BINARY collating sequence is recorded
result in a slightly smaller and slightly faster executable.  More work could
be done to make this cleaner.

FossilOrigin-Name: 2081d75767dc590b4c8457e5f8e5f18ba5f8eaa7

Simplification to the xfer-optimization logic.

FossilOrigin-Name: f35ba018da843897acca58f70541b940598bc271

Remove unnecessary tests from the LIKE pattern matcher.  Slightly faster and
slightly smaller, and it should also now works with EBCDIC.

FossilOrigin-Name: 0a99a8c4facf65ec67d8d86108c9a3f723f7cbd6

Enhance the command-line shell to handle MBCS characters on input and output.

FossilOrigin-Name: a0a08b8c0bbd4d71955261f6b7e997701ca68e18

Add the json_group_array() and json_group_object() aggregate functions to
the JSON1 extension.

FossilOrigin-Name: 7f386a9332237100a345035ca213327e21d95855

Avoid a harmless compiler warning on systems where the byteorder cannot
be determined at compile-time.

FossilOrigin-Name: 7c7b7f26306b6aa6ff35b871ad756f43f5db9838

Fix some harmless gcc compiler warnings. Mostly in fts5, but also two in the core code.

FossilOrigin-Name: 5d44d4a6cf5c6b983cbd846d9bc34251df8f4bc5

Enhance the 'utc' modifier on date/time functions so that if the LHS is
already known to be in UTC, the modifier becomes a no-op.  This is not an
incompatibility because the behavior is documented as "undefined" in that
scenario.

FossilOrigin-Name: b910a3d53769689d9212a06f974ccce54844bbe4

Ensure that the Expr objects that describe indexed expressions are not modified
by code generation.  Fix for an assert() problem found by Jon Metzman using AFL.

FossilOrigin-Name: 34073ce87d88a02313217023ae92e15939192cd9

Micro-optimizations and comment fixes on the mem5.c memory allocator module.

FossilOrigin-Name: 8bf5e056eb8beb6e0ed5874fb24d7fe9f0b66d2b

Reduce the size of the CellInfo object from 32 to 24 bytes on 64-bit machines.

FossilOrigin-Name: 7850715406458a61cff9eba5ad915f61f6d99482

Fix the spellfix1_scriptcode() function to ignore whitespace and punctuation,
and to recognize hebrew and arabic scripts.

FossilOrigin-Name: 7adfa4a5794e47f97491c08abeaaac90e826b331

Fixes for harmless compiler warnings.

FossilOrigin-Name: 85ebd46c701e0a094a4690cd8f1d0cbae9aa257c

Fix even more harmless compiler warnings.

FossilOrigin-Name: 1d0e6aa119da8e15d35508f5d75ffc729979da92

Fix some more harmless compiler warnings.

FossilOrigin-Name: 18f531e1cf3c8bb986d912c9c5e3f5698360c93e

Fix compiler warning seen with MSVC.

FossilOrigin-Name: 18a4c0540bf4f02335e9e9def1f2b0d4d784ef08

Make greater use of the SQLITE_WITHIN macro.

FossilOrigin-Name: f2fc3aede55c8fa0351697f9f5ce4e544334c9af

Update the mkautoconfamal.sh script to make the building of the sqlite3-autoconf-VERSION.tar.gz package more orthodox.

FossilOrigin-Name: 1928f8945b7cdf733129619b7ab02d1addf63478

Add the SQLITE_OMIT_PARSER_TRACE compile-time option.

FossilOrigin-Name: 2fda43e6e097a4a5510cce7784c31ceedc3d6e6d

Add a missing memAboutToChange() macro to vdbe.c, the lack of which was causing an assert() to fail incorrectly. Problem found by libfuzzer.

FossilOrigin-Name: 1a24791109da607d502ac41f179fe6c1dc46c774

Add a new assert() statement to the snapshot-specific part of sqlite3WalBeginReadTrans().

FossilOrigin-Name: d8a12023be32bdc6df18b0a5f38b917799854342

Simplified alignment constraints in the memory reuse logic of
sqlite3VdbeMakeReady().

FossilOrigin-Name: e998513e442ce1206b12dc28bdc996d7b5f9f94d

Merge recent trunk enhancements, and in particular the snapshot interface.

FossilOrigin-Name: 7e7b24064510001ca4a0c8295fa7d0138bde8dae

Add the experimental snapshot interface.  Because it is experimental, it is
subject to change or removal at a later date.

FossilOrigin-Name: 9b124a5a310aec0145495c9980bc0c1308fcca02

Fix a memory allocation bug introduced last week by check-in
[a9e819082ba].  The bug only appears on systems where the size of a structure
is not always a multiple of 8 - which in practice means only on 32-bit
windows systems.

FossilOrigin-Name: 96d3e99ffe59b5280b8b7fc269c94a72e15c345b

Mention that the snapshot interfaces are only available if SQLite is compiled
with SQLITE_ENABLE_SNAPSHOT.

FossilOrigin-Name: 843c15a552657ca43ff200edb7da7566752d7941

Disable the snapshot test scripts if not compiled with SQLITE_ENABLE_SNAPSHOT.

FossilOrigin-Name: 5fd008f0433833e4341d526dcc2387570ffe1fea

Fix a variable type mismatch problem in the snapshot logic.

FossilOrigin-Name: 93fb8010e4999b6b832d63a7c5a152f65d4415a3

Fix a bad assert related to snapshots.

FossilOrigin-Name: 767ee30efa5dd469e3a51d4e44cbe473061819b9

Snapshot documentation updates.  Comment changes only - no changes to code.

FossilOrigin-Name: ef51a398a04963508389ffe2f9d8359c1ec48261

Update the sqlite3_snapshot_get() API so that if the caller does not have an open read transaction on the named database, one is automatically opened.

FossilOrigin-Name: b9c90f10297d8516a661449e8af898e682c930aa

Add tests to snapshot.test.

FossilOrigin-Name: f3b743623a4501833478c8a86c0922931955aeb6

Return SQLITE_BUSY (not SQLITE_BUSY_SNAPSHOT) if sqlite3_snapshot_open() fails to obtain the shared checkpointer lock.

FossilOrigin-Name: 5343060bcc6c99029f731f8020d2cba3f405f207

Add tests to ensure that an sqlite3_snapshot_open() client cannot be tricked into reading a corrupt snapshot even if another process fails mid-checkpoint.

FossilOrigin-Name: b908048b6cfa1ee2fe1f7a17bae475ddd9d0376c

Move pointer range comparisons into a macro, where they can be dealt with in a more portable way.

FossilOrigin-Name: 05bc4f920ce23da48d1da6cd36a956fd6fd7c862

Have sqlite3_snapshot_open() avoid a race condition by taking a shared CHECKPOINTER lock while checking pInfo->nBackfillAttempted.

FossilOrigin-Name: 8084eae0bc4f6513b1147fb890a6b2813f1c0a09

Move pointer range comparisons into a macro, where they can be dealt with
in a more portable way.

FossilOrigin-Name: ad3124c834b080aaaf24934d6f08b3601ac3ae53

Fix spacing typo in comment.  No changes to code.

FossilOrigin-Name: 3a18526fc2253658dad84c5e600481c8a62efe40

Add the nBackfillAttempted field in formerly unused space in WalCkptInfo and
use that field to close the race condition on opening a snapshot.

FossilOrigin-Name: cb68e9d0738fc7db7316947b4d2aab91aae819f2

Update sqlite3_snapshot_open() to reduce the chances of reading a corrupt snapshot created by a checkpointer process exiting unexpectedly.

FossilOrigin-Name: 7315f7cbf4179aadda0f1a0baa1526a9b9f9729f

Further simplifications to the VDBE code generation logic that flow out
of the previous check-in.

FossilOrigin-Name: 6a5dfe85b519b920ce8c842057767a8793d92236

Simplification of the DROP TRIGGER logic using sqlite3NestedParse() instead
of hand-coded VDBE code.  This is a manual cherry-pick of the key change from
check-in [c80bbf14b365d].

FossilOrigin-Name: 8021b4c8139ba56d6b1e2e26aeec4f9bf77f37c9

Merge unrelated fixes from trunk.

FossilOrigin-Name: 362615b4df94358d0264b0991c3090a0878f054c

Changes to avoid undefined behavior in memset() and memcpy() and in the
comparisons of pointers from different allocations.  All problems are found
by analysis tools - none have been seen in the wild.

FossilOrigin-Name: 901d0b8f3b72e96ffa8e9436993a12980f5ebd51

Avoid doing comparisons with pointers that might have been previously been
passed to realloc() and/or free().

FossilOrigin-Name: f20396adb2cff12a17a3fc90b36241ae3fdfd62a

Add a test case of the form "WHERE a<2 OR a<3" using PRAGMA count_changes.
This test case was failing before the 3.9.0 release.

FossilOrigin-Name: 177862c1d50ba899d890fbc35f35e7423bc6aed5

Update the TclKit download URL.

FossilOrigin-Name: 07e5199c6f868cc02a0b708865254056c4f3daf3

Update MSVC batch build tool to the latest Windows 10 SDK version.

FossilOrigin-Name: 2ad5017190334b7dd53294a30c3b3232e0c35869

Add the ".changes ON|OFF" command to the sqlite3.exe command-line shell, for
testing and verifying the sqlite3_changes() and
sqlite3_total_changes() interfaces.

FossilOrigin-Name: 9bbe1afc1521b111a0a93803b41ff04e0ee55630

Fix the openDirectory() routine in the unix VFS so that it works for databases
located in the root of the filesystem and for database files that have no
pathname at all.

FossilOrigin-Name: e7ae120d04cffafd9bc2b4ecd68571c17e05ed72

Changes to avoid obscure, theoretical undefined behavior. This is preventative
measures only - no actual problems observed on tested compilers.

FossilOrigin-Name: a9e819082ba19e72db03bba37edfb7702ff489a5

Add tests for snapshot_get(), _open() and _free().

FossilOrigin-Name: 502cc6f353358946080d9bcd335aed526825b88a

Add untested implementations of experimental APIs sqlite3_snapshot_get(), _open() and _free().

FossilOrigin-Name: 0715eb00aa8891400cd50a15509d3d7b13789626

Remove the dependence on "exec ls -U" from the vtabH.test module, as the -U
option to "ls" is not universally available.

FossilOrigin-Name: 4ecbc75b465533cf80e166a9d0879b9afd3fe2be

Prevent a segfault on Solaris in the test_fs.c due to differences in the
definition of the dirent object.

FossilOrigin-Name: 042738ad3b769ad70fd7603f928d5b94a952267d

Fix typos in requirements text and update requirements marks.  No changes
to code.

FossilOrigin-Name: 8534a46c06601ad35b97caee442371f24c718d0f

Improved OOM recovery in the SELECT code generator logic.

FossilOrigin-Name: e6521a436d464a42b87a7d5ba5cc98235b92440a

Make the SQLITE_ENABLE_8_3_NAMES compile-time option available to
sqlite3_compileoption_used().

FossilOrigin-Name: 06338201f3f00151232e5c6a40edcdbea04d7553

Cleaner code and additional comments on the handling of 8+3 filenames when
trying to find the name of a database file based on its journal filename,
in the unix VFS.

FossilOrigin-Name: 9e489a71f2aeb1f13f9ca6f106b9144d07ca25aa

Make the sqlite3_status64(), sqlite3_strlike(), and
sqlite3_db_cacheflush() APIs available to loadable extensions.

FossilOrigin-Name: a78e865607194718e2ef958879dbf549ac3c9970

Fix threadtest3 so that it builds using the autoconf build system.

FossilOrigin-Name: d96de532cc4a192cfebae900701dcee0a7d29273

Improve concurrency in test_multiplex.c. Add a switch to "threadtest3" allowing it to run using the multiplexor VFS.

FossilOrigin-Name: 9d2c62b04e3a9ac5d9adea2aac7ec3f3bc3e88bd

A unix VFS change replaces fsync() with fstat() when using SQLITE_NO_SYNC, so
set PRAGMA synchronous=OFF in the sysfault-3 test to avoid erroneously causing
errors in xSync.

FossilOrigin-Name: 4f7f355021f9eb048fffc84e559bfb3fdb1e1e69

Merge all recent trunk enhancements, especially the unix VFS changes.

FossilOrigin-Name: e1fb33c7d2bfd8ea115e667d7671a7529cd116aa

Remove unreachable branches from the decltype computation logic in the query
planner.

FossilOrigin-Name: 4f2bcff94c672312805be1400050a7026f93a9d7

Have the sqlite3_column_decltype() API report the declared types for the left-most SELECT statement in a compound SELECT.

FossilOrigin-Name: 3e1d71fcaf57c0223ab9a7366c8607f8f66bb21c

Fix an incorrect, though harmless, assert() in the unix VFS.

FossilOrigin-Name: 4692ae84f93530e27d7c106a60236355e176b7fd

Remove more (dead) SQLITE_FCNTL_WAL_BLOCK logic from wal.c - code that was
missed during the [e1d5320ca08933] check-in.

FossilOrigin-Name: 58c15c6af964563ac7ece8606d16730ccf9ee72b

Remove an unreachable branch from the unixMapfile() routine of the unix VFS.

FossilOrigin-Name: b50f67bc46e65fe4e51667d48b4add58706a9443

Minor simplifications to the unix VFS.

FossilOrigin-Name: 2f13c16b45685ec6850cbd9da79e8198bad6a491

Change the SQLITE_NO_SYNC compile-time option to call fstat() in place of
fsync() rather than being a total no-op.

FossilOrigin-Name: f64ea8a052af9790d5e6987cbd5e81d77da6f172