Merge in the sqlite3_blob_reset() interface.

FossilOrigin-Name: e9c94a1f402ce51a187ddd9605e1a48e4bf17367

Add the sqlite3_blob_reset() interface.  Enhance the behavior of sqlite3_blob
objects so that they can go active again after encountering an error by
rerunning sqlite3_blob_reopen().  More work needed on the documentation.

FossilOrigin-Name: 53b77838f05b4805b956b5763c75af434662fb20

Ensure that all cursors have their positions saved prior to rolling back
a savepoint.

FossilOrigin-Name: 8e03a8e95fada5c24d369672a71f6e02288051da

Fix issues in the sha1 extension seen with MSVC.

FossilOrigin-Name: 5a0da77c22ebc7db5e63b1520d30f3ad97b9bb3b

Remove the unused pReadNode prepared statement from each RTREE object.

FossilOrigin-Name: e51dc0ec60d45cd57564735b6b2bb254a588533e

Fix a potential uninitialized (though harmless) variable in RTREE.

FossilOrigin-Name: a1c74e09d63aca630d022ed074866433eed6b493

The sqlite3_blob_close() interface can cause recursive invocations of
nodeBlobReset() in RTREE.  Make sure that does not cause problems.

FossilOrigin-Name: 88333441cbf26bfde2acebf2a3f75b5ebbdfb0ae

Change RTREE so that the sqlite3_blob object is closed whenever the cursor
count drops to zero and there is not a pending write transaction.

FossilOrigin-Name: 9bb4eafe1a60176ed2e731bb7e3067c0b8a46615

Use the sqlite3_blob interface for reading values from the %_node shadow
table in RTREE.  This is a work in progress.  There are still some minor
problems.

FossilOrigin-Name: fc4917d730b29b0bf60fea5e0166728635783e9c

This is an experimental patch that ensures that all cursors have their position
saved prior to starting a ROLLBACK TO.

FossilOrigin-Name: 01d97e5b6502b1811b52a681f445e1aaae6c0ee6

Fix harmless compiler warnings seen with MSVC.

FossilOrigin-Name: 0c66cf0f0a9ada2ddcb8d61001ef791b86226416

Backout the change in [02f6293f27] as it causes MSVC to complain.

FossilOrigin-Name: aaae74d06f4865818465cfdb440258ae8a5b985a

Fix C99-style variable declaration issue seen with older versions of MSVC.

FossilOrigin-Name: 54d285464a222c59327eb6c917c1cc0125a55a27

Fix harmless compiler warnings seen with MSVC.

FossilOrigin-Name: 997f765bc6706769ae15f3e719354473e02bd78b

Add an option to the MSVC makefile to enable treating warnings as errors.

FossilOrigin-Name: 6a378c29b43d61313ca9daa599e59d8eeeed9a27

Unwind the RTREE dimension loop inside of rtreeCallbackConstraint().

FossilOrigin-Name: 4854ea9c18e7d8066c90b41568d0fae97b01ea6d

Completely unroll the dimension loop inside of cellArea() in RTREE.

FossilOrigin-Name: 3c4c0126c287f844220b65e00fec17c059fbb7c8

Precompute the nDim2 value in the Rtree object and use that to make loops
over coordinates faster.

FossilOrigin-Name: f1f3c8cc733a05c12dd980f2dfa0ab4ccd76c04b

Use compiler intrinsic functions (when available) for byteswapping in RTREE.

FossilOrigin-Name: 82fcd54a5941c20895ffc22d8009c1ebdae44eda

Fix the build by making the OPFLAG_ISNOOP macro available unconditionally.

FossilOrigin-Name: 510933cb24c5bf883265af3a6075e60a4b5ffa37

Update the documentation comment in sqlite.h.in for sqlite3_preupdate_hook().

FossilOrigin-Name: 7f8570208c06c056d426e9299d9930181a0464f8

Changes so that the pre-update hook and the sessions module work with WITHOUT
ROWID tables.

FossilOrigin-Name: 964bdc27f8f1b1db2e5c0c2a65c8156614cbe087

More RTREE performance optimizations related to decoding values.

FossilOrigin-Name: c5395e7496d0cd593f5e16ee5f6719d020dc0c66

Improved comments on the statGet() implementation in ANALYZE.  No changes
to code.

FossilOrigin-Name: 9663eea2a16bb4eec71476d307a3722a768308c3

R-TREE optimization: unwrap the coordinate decode loop in
rtreeCallbackConstraint().

FossilOrigin-Name: 0bf7b51896ec441f62490964c7a44a3c75c6b7e2

Very small performance improvements and size reductions in
sqlite3VdbeExec() and blobSeekToRow().

FossilOrigin-Name: 85dddf2b453b8afaf1f485b96084d31e22f97dda

Simplifications to blobSeekToRow().

FossilOrigin-Name: 495ea824093ff535734c22c3115384c08f855c02

Add a speed-test program for the sessions module.

FossilOrigin-Name: 25f1275fe3e940c1d9a7b013cb3744304b2eda1e

Remove a C99-style comment.  Fixes to the kvtest-speed.sh script.

FossilOrigin-Name: 91eb6b628e278d20eccc647293e5b30765163e12

Remove another unnecessary local variable initialization from sqlite3VdbeExec()

FossilOrigin-Name: 2361b03b61311aab9b9ec9de040bbb73be31be0d

Remove an unnecessary initialization of the pOp variable in sqlite3VdbeExec().

FossilOrigin-Name: 02f6293f278f7b0a0f4876f5c6a0f4dc42620d79

Add the "stat" command to kvtest.c.  Also add the --variance option to the
"init" command.  Add the tool/kvtest-speed.sh script used for doing
performance testing on key/value access patterns.

FossilOrigin-Name: b63deed600b1a457a6960ebad5645f4de9c56e5d

Fix a typo in a comment.

FossilOrigin-Name: bd22bf9cbe028e9811ca3afaadafd90312cb0fc9

Merge latest trunk with this branch.

FossilOrigin-Name: 4a592abbc555fd3b70979b551b00c2ba631253df

Further minor enhancement and size reduction in
sqlite3ExprAssignVarNumber().

FossilOrigin-Name: eacfdcf25796ea29b5e63499c3d7397498305ad9

Performance optimization in sqlite3ExprAssignVarNumber().

FossilOrigin-Name: 5987ca1ff94ed3c1666f783bb15b16158aa7e1db

Experimental change to invoke the preupdate hook when WITHOUT ROWID tables are
written.

FossilOrigin-Name: 856f8604c59c8fdd9bfb7d86fc0e212f091ab49a

Fix building with SQLITE_OMIT_FOREIGN_KEY defined.

FossilOrigin-Name: e93d2c49a44af994ff10cc9cc7eafacd5a4f73ab

In the amalgamation, allocate the parser engine object from stack rather than
from heap, for improved performance.  This only happens in the amalgamation,
since otherwise the sqlite3RunParser() routine does not know the object size.

FossilOrigin-Name: 4fe879d4b5da6ae0688a7a99004683a234966597

Fix a couple comment typos.  No changes to code.

FossilOrigin-Name: 2a2e7d86b275c970726f642a37a098950a3b906e

Avoid redundant table b-tree cursor seeks in UPDATE statements that use the
two-pass strategy.

FossilOrigin-Name: dc555b1039c6930f6d15355c698ff917a85e8056

Updates to the sqlite3_blob documentation.  No changes to code.

FossilOrigin-Name: 426b440a5745f9c431c6a3d9ba542af61a6a83fb

In the speed-check.sh script, automatically invoke "fossil test-diff --tk" on
the cachegrind output against trunk, if not generating a trunk run.

FossilOrigin-Name: aa1ab37100a91ab4bb91d50a1267c26967efcb21

Fix a typo in the docs for sqlite3_update_hook().

FossilOrigin-Name: 7c029655cc3369a1e46741fdd3701d36d420b28b

Add the sha1.c loadable extension that implements the sha1() and sha1_query()
SQL functions.

FossilOrigin-Name: 24e77c1cef163a9822635570b3211789ff23d5c9

Fix a problem causing the pre-update hook to be invoked by DROP TABLE
statements.

FossilOrigin-Name: fbb6bf1b69cfd581b4ffd778c344e3fbd9c9406f

Alternative ICU fix (compare to check-in [50e60cb4]) that avoids casting
integers to pointers.

FossilOrigin-Name: d9752c8f7c55426fd7d2b877c5cc3784f93b5349

In the command-line shell, enhance the ".mode" command so that it restores the
default column and row separators for modes "line", "list", "column", and
"tcl".

FossilOrigin-Name: 58f02e6eae8fc9e2577fe435b0282fb46af3960d

Another micro-optimization in accessPayload().  Slightly smaller and faster.

FossilOrigin-Name: c012619b65d70b4ef6cf33532ef57d7f8ba42d74

Performance optimization in accessPayload().

FossilOrigin-Name: ebb1fd98d4e448aa6d8f1e5be7ddc5bedb3db95b

Simplify the accessPayload() routine so that it always populates the overflow
page cache.  In the one case where populating the page cache can lead to
problems, simply invalidate the cache as soon as accessPayload() returns.
This simplification reduces code size and helps accessPayload() to run a
little faster.  This backs out the eOp==2 mode of accessPayload() added by
check-in [da59198505].

FossilOrigin-Name: 68e7a8c6765649195ef1ad9407d87d44a307b462

Remove an unreachable branch in the error handling logic for
sqlite3BtreePayloadChecked().

FossilOrigin-Name: 293bf3ed7e40745349c83b202b27ed1b48517e1a

Improvement to the OP_Permutation opcode to prevent it from using CPU cycles
for initialization in prepared statements that do not use that opcode.

FossilOrigin-Name: b4a98f65564a0d9fba2fef95ebd00a39b3e1e572

Remove the obsolete lastRowid cache from the sqlite3VdbeExec() for a size
reduction and performance improvement.

FossilOrigin-Name: b4803184652e5f4f823c1521412bc480baeb3dbf

Performance optimization in sqlite3VdbeCloseStatement().

FossilOrigin-Name: 1e96e5ec1ee617cb5b5cbdc5a2ee79c8cc35821d

Performance optimization to sqlite3_blob_read().

FossilOrigin-Name: 7459f4b7ed4007d9ec44c3bf0fcba04f5f8540a9

Minor simplification and performance optimization for Direct Overflow Read.

FossilOrigin-Name: 3e96d6efa867b765c8acf1454014b1e71b2e4f21

Make SQLITE_DIRECT_OVERFLOW_READ work for in WAL mode as long as the page
being read is not in the the -wal file.

FossilOrigin-Name: 9879be1899adf5634f551a2077b15ccb1133e4e3

Enhancements to the kvtest utility program.  Add the --jmode option.
Improved output formatting.

FossilOrigin-Name: 62a4851ccf88837d1c16dae8204f7f264e80e3c9

Modify the ICU extension to use a static initializer, as VC++ complains about
a dynamic initialization.  Maybe the dynamic structure initialization is a
GCC extension.

FossilOrigin-Name: 50e60cb44fd3687dde5551d02bad60c323beaabc

Trim NULL values off the end of records when the SQLITE_ENABLE_TRIM_NULLS
compile-time option is used.  Increase the size of the P5 operand to 16 bits.
Fix a problem with short records in the sessions extension.

FossilOrigin-Name: 4801bd59a01dcc11a3eb9e776e7599b36f162d2a

Fix another pre-update hook issue, this time in sqlite3preupdate_old().

FossilOrigin-Name: c7651d21bfdfd9b8cf04b26e0264bc58c03d247f

Fix a test script problem in exclusive2.test causing it to fail on this
branch.

FossilOrigin-Name: f66614dc78e32d2d369518200b3322cd97990ffe

Fix a problem with the pre-update hook on this branch.

FossilOrigin-Name: 6fc4fbfa29cfa795edf32e4a1f2d0eceb3007f68

Experimental enhancement to automatically trim NULL values from the end of
records, for a reduced disk footprint.  This change also involves increasing
the P5 operand from 8 to 16 bits.

FossilOrigin-Name: 118ded403b95050b74ae2b03919c43d614094a32

Ensure that sqlite3_blob_reopen() correctly handles short rows.
Fix for ticket [e6e962d6b0f06f46e].

FossilOrigin-Name: 8cd1a4451cce1fe28f462800e2be1dee1735c0d0

Fix SQLITEINT_H macro usage in two extensions.

FossilOrigin-Name: 0803390c152141c9ab4e7a28406b2a5d72a5c2fa

Ensure that sqlite3_blob_reopen() correctly handles short rows.
Proposed fix for ticket [e6e962d6b0f06f46e].  Further testing needed.

FossilOrigin-Name: 57d8dad35c2a9ab635e954dce7f3986ae1ca8ed2

Document the --mmap option in the --help screen for kvtest.  Enhance kvtest so
that numeric arguments can have suffixes like "K" or "M".  Add kvtest to the
unix makefiles.

FossilOrigin-Name: 175bda87288c7ce15b163316159f53a60822ccad

Add the --mmap option to the kvtest utility program.

FossilOrigin-Name: 4948f7e6d2a1cfce36a7aab2f5b65be07c285ac3

Optimization: Try to avoid unnecessary btree searching when repositioning
a cursor to the next row.

FossilOrigin-Name: ee793d30c1dc1f78f49e6230d17750eceedbd8ed

Add the missing SQLITE_API symbol to test_delete.c (it is not added
automatically as this file is not part of the amalgamation).

FossilOrigin-Name: 7a4f512ddf9e7e718389c80930d6268ab598459c

Fix a problem preventing FTS5 from correctly passing the FTS5_TOKENIZE_PREFIX
flag to custom tokenizer implementations.

FossilOrigin-Name: 03c601344ed56b316bcc5fd02f6648b0009ba61b

Fix an uninitialized variable in the command-line shell.

FossilOrigin-Name: 06b8001ade62bc59e6ae20f761167a81d85a4272

Fixes to documentation comments in the public header file.

FossilOrigin-Name: 772dcb08f400f20d4dbfb74df39de78da24ee5fd

Fix an initialized variable in kvtest.

FossilOrigin-Name: ed62c5a6562262709128099f757ae60807a930d7

A better implementation of the moveto-neighbor optimization that checks for
nearby rows on adjacent pages.

FossilOrigin-Name: 2c4ecb85a475b9063aa8a3bb517ac181a7ded649

B-tree optimization:  When seeking on a rowid table that has already been
positioned, check to see if the new row happens to be the next row on the
same leaf page.  That is a reasonably common case, and if it is true it
avoids a full binary search.

FossilOrigin-Name: 8e5cfb2039126da7689c4b1c88760f10e1234eaf

Change sqlite3_blob_reopen() to call sqlite3VdbeExec() directly rather than
going through sqlite3_step().  Performance enhancement.

FossilOrigin-Name: 347df3c1fd7322e7aacaf1e9f8be81830947c482

In the kvtest.c test utility, reuse the buffer into which blobs are read,
rather than reallocating it for each row.  This is a closer match to how
other test programs work, and thus provides a better comparison.

FossilOrigin-Name: 0d1ad13a296b22d6fe36879b56f99bd6af1acd3a

Remove an unnecessary sqlite3_bind_int64() call from sqlite3_blob_open().
Also other minor refactoring of the sqlite3_blob implementation.

FossilOrigin-Name: 9d197a532349f4b1caf66bbed70ca46df86cb86f

Minor performance optimization and size reduction to the accessPayload()
routine in btree.c.

FossilOrigin-Name: 264e5c10d7144910b3223b64546567fa20e4bc65

Fix a typo in the help message for kvtest.

FossilOrigin-Name: 8971d98f25a4f5fb060db8ed6a4b06f083122a50

Add option "--stats" to test program kvtest. Specifying --stats causes kvtest
to output information similar to the shell tool option of the same name.

FossilOrigin-Name: 90291327fc127671d9847a4a2ce1ed47a408cfc6

Get the "--testset rtree" option working on speedtest1.  Add the --rtree,
--lookaside, and --clang options to the speed-check.sh script.

FossilOrigin-Name: 87b640c8d07a76b2bc7e896e01965cc09e06f77b

Minor performance optimizations to sqlite3_blob_open() and
sqlite3_blob_reopen().

FossilOrigin-Name: 52a61967d920047ea0b4409b79793e05c0128964

If compiled with SQLITE_INLINE_MEMCPY, all memcpy() calls are replaced with
in-line code.  With that change, cachegrind shows which memcpy() calls
are taking the most time.  This is a performance-measurement hack only and
is not for production use.

FossilOrigin-Name: 9ed38521617136223a667988aed40e25797faf84

In the 'vtshim' extension, avoid accessing freed memory when handling errors from xCreate/xConnect.

FossilOrigin-Name: ffd559afd32dcdce9c733ebccdee88fda9b689cf

In the 'windirent' test module, use a macro for the hidden/system attribute checking.

FossilOrigin-Name: a84a08d0716656dc0b26eafb1841c48d83c67ef2

Remove superfluous option to Tcl 'lsort' in the vtabH test file.

FossilOrigin-Name: b92cc6e58ae31cbe6600a522beb5485f7add04b2

Make the vtabH-3.1 test more portable and robust.

FossilOrigin-Name: d3c91c1fb345fbcbfc60a897bebf771c795430c9

Fix handling of initial hidden and/or system files in the opendir() implementation for Windows.  No changes to non-test code.

FossilOrigin-Name: 26dd42b462dc621b8b0a2295fc91d3e61ac732b6

Fix a problem that could cause a spurious SQLITE_NOMEM error when attempting
to resume an RBU operation if the previous client failed right after
completing the incremental checkpoint. Also a "cannot vacuum wal db" error
that could occur when resuming an RBU vacuum if an error (OOM or IO error)
occurs during the incremental checkpoint.

FossilOrigin-Name: 681d96eb822e606da53700867191d4738bda20c8

Disable intrinsic functions for Windows using Clang, due to reports of
linkage errors.  This causes a 0.6% performance reduction.  We will want to
revisit this change in the future.

FossilOrigin-Name: 7fd560c6d2ff470b755ad118287a0a8825b3009e

Back out check-in [0b3174e0b1364c] and replace it with a better fix for \ticket [91e2e8ba6ff2e2] - a fix that does not cause the problem identified by
ticket [7ffd1ca1d2ad4ec]. Add new test cases for both tickets.

FossilOrigin-Name: 9b64af7b5201a8700ae9e384b04714ca18df7449

Back out check-in [0b3174e0b1364c] and replace it with a better fix
for ticket [91e2e8ba6ff2e2] - a fix that does not cause the problem
identified by ticket [7ffd1ca1d2ad4ec].

FossilOrigin-Name: 0613665274346917f5482f9210bf0c60a0fed7d9

Add test cases for tickets [91e2e8ba6ff2e2] and [7ffd1ca1d2ad4ec].

FossilOrigin-Name: 9d0dfe0b088a5917afa06207ca3ac5618e3da82f

Fix a problem preventing resumption of RBU operations after recovering from a
process or system failure that occurs during the incremental-checkpoint phase.

FossilOrigin-Name: 97914266cb4ec63b0c9185ab139673139bd2f0ed

Fix the build for SQLITE_ENABLE_MEMORY_MANAGEMENT.

FossilOrigin-Name: 8c85b8fdd7f0ba65fba83361d361a567b797a184

Remove a branch that is probably unreachable, and which adds no value.

FossilOrigin-Name: 9acc72381ccd5e36f3ffdf7e7fbefc5a15701eb4