]> git.ipfire.org Git - thirdparty/sqlite.git/commitdiff
More CLI resource manager use. Catch more OOMs. Eliminate some opportunities to lose...
authorlarrybr <larrybr@noemail.net>
Thu, 11 May 2023 21:47:01 +0000 (21:47 +0000)
committerlarrybr <larrybr@noemail.net>
Thu, 11 May 2023 21:47:01 +0000 (21:47 +0000)
FossilOrigin-Name: efdcf1093b4a327da36b5854cff32a8244244302a5f979859c1398e8d191fc6b

1  2 
manifest
manifest.uuid
src/resmanage.c
src/resmanage.h
src/shell.c.in

diff --cc manifest
index ed81523a8b17ea26e7753a41dc6159b4265258bb,aada83d7c6e23f1597fc96fbeab2b2c8d27bb144..abc358978619032e5fda21ea73a6453e5b17aa94
+++ b/manifest
@@@ -1,5 -1,5 +1,5 @@@
- C For\sCLI:\sCure\san\sold\sleak\sand\sone\ssegfault.\sGet\sall\sshell\stests\sto\spass\s(by\saltering\sexpected\serror\soutput\sin\ssome\scases.)\sReady\snow\sfor\sfull\suse\sof\sCLI\sresource\smanager.
- D 2023-05-11T17:04:15.173
 -C Fix\sa\sminor\stypo\sin\sa\scomment.\s\sNo\scode\schanges.
 -D 2023-05-11T18:03:11.662
++C More\sCLI\sresource\smanager\suse.\sCatch\smore\sOOMs.\sEliminate\ssome\sopportunities\sto\slose\sresources\sunder\sOOM\sconditions.\sConform\sto\scoding\sguidelines.
++D 2023-05-11T21:47:01.654
  F .fossil-settings/empty-dirs dbb81e8fc0401ac46a1491ab34a7f2c7c0452f2f06b54ebb845d024ca8283ef1
  F .fossil-settings/ignore-glob 35175cdfcf539b2318cb04a9901442804be81cd677d8b889fcc9149c21f239ea
  F LICENSE.md df5091916dbb40e6e9686186587125e1b2ff51f022cc334e886c19a0e9982724
@@@ -637,13 -633,10 +637,13 @@@ F src/pragma.h e690a356c18e98414d2e870e
  F src/prepare.c 6350675966bd0e7ac3a464af9dbfe26db6f0d4237f4e1f1acdb17b12ad371e6e
  F src/printf.c b9320cdbeca0b336c3f139fd36dd121e4167dd62b35fbe9ccaa9bab44c0af38d
  F src/random.c 606b00941a1d7dd09c381d3279a058d771f406c5213c9932bbd93d5587be4b9c
- F src/resmanage.c 242d629812d391121f3a4f801f2802b17c89227985798a58f8ad1bdb25a8b356
- F src/resmanage.h 41e38ab8308611055582b031fdcbd179344025fce2f9814e3061b79f53efc34d
++F src/resmanage.c eecf8c4f7584d994e64d24a359b404710b198b34b6a00392f1c8b55f7cffa23f
++F src/resmanage.h b5bf691153bb083386c526a3f834905cf9d9e0dc182d1c48e5c5e06527b40ab1
  F src/resolve.c 3e53e02ce87c9582bd7e7d22f13f4094a271678d9dc72820fa257a2abb5e4032
  F src/rowset.c ba9515a922af32abe1f7d39406b9d35730ed65efab9443dc5702693b60854c92
- F src/select.c f9333ef8181192c22662f5cb8d257efc4a2880f9ee4853c6c4616f783d27e1b5
- F src/shell.c.in e20a50b2c8313d5e69ef7a3f6ab6c6ef6bdb3a3d7e3804ea7a60938defc40067
+ F src/select.c 12aa3168be4ff175702fe0ebeaf544312be22d275d378a28e7b2fad32d552d36
 -F src/shell.c.in 8cfc51a5711df05ea0e8a4fbbe20117eb629233f0e92ebea21c2e7dc717ec3d9
++F src/shell.c.in 33598a4967aefba67ce3309fba6a612846e1ef5c3237b24d7a5ddc47c1888e48
 +F src/shext_linkage.h 27dcf7624df05b2a7a6d367834339a6db3636f3035157f641f7db2ec499f8f6d
  F src/sqlite.h.in 27ca1d4b2eda8feee468af5735182390e8fe4696522751eec0136d17323201ad
  F src/sqlite3.rc 5121c9e10c3964d5755191c80dd1180c122fc3a8
  F src/sqlite3ext.h da473ce2b3d0ae407a6300c4a164589b9a6bfdbec9462688a8593ff16f3bb6e4
@@@ -2079,8 -2068,8 +2079,8 @@@ F vsixtest/vsixtest.tcl 6a9a6ab600c25a9
  F vsixtest/vsixtest.vcxproj.data 2ed517e100c66dc455b492e1a33350c1b20fbcdc
  F vsixtest/vsixtest.vcxproj.filters 37e51ffedcdb064aad6ff33b6148725226cd608e
  F vsixtest/vsixtest_TemporaryKey.pfx e5b1b036facdb453873e7084e1cae9102ccc67a0
- P dbd00bcaa081ec73c2cb6eef0be5f82c890c8293aa90876942bc049e71f3c83a
- R 65a7c5b59b4918085541edb8d4653073
 -P caca67d30670913914335aa3edff784e1c3d26aed70ae32efb5607ccf31ad142
 -R fd8d4680e1e19432e6f44d2411716e16
 -U drh
 -Z e79912786f3f45d1ec22559d3cd92d52
++P 0f55868e2c51775eaa717564f220acf6ddb2094d358d2011e6736f033e77d8dc 607cfb5bc5c0fb8b789944c2326cfdebf0629e45fbf0a61dd5f667ed685a1bbe
++R 79d40353dac451fd08d6986e8e615333
 +U larrybr
- Z 63232a4eaf0029d816f1a2d739e94039
++Z 44139e30849c6cbe0b94cb231c0378c9
  # Remove this line to create a well-formed Fossil manifest.
diff --cc manifest.uuid
index 1b691b366f1e839b217a4b9fb0a2764c2dae3fa2,9649ad4ed39a61e9735f910b842a763c2f096718..b6d0f98ef1d2b17b6b058a8b4e652d16356f398a
@@@ -1,1 -1,1 +1,1 @@@
- 0f55868e2c51775eaa717564f220acf6ddb2094d358d2011e6736f033e77d8dc
 -607cfb5bc5c0fb8b789944c2326cfdebf0629e45fbf0a61dd5f667ed685a1bbe
++efdcf1093b4a327da36b5854cff32a8244244302a5f979859c1398e8d191fc6b
diff --cc src/resmanage.c
index 99b30a0253dedf282d9fbd79313eac8dc37de6f3,0000000000000000000000000000000000000000..92d1b43fd811235554130eacb914dc29eb3430a4
mode 100644,000000..100644
--- /dev/null
@@@ -1,277 -1,0 +1,294 @@@
 +/*
 +** 2023 May 8
 +**
 +** The author disclaims copyright to this source code.  In place of
 +** a legal notice, here is a blessing:
 +**
 +**    May you do good and not evil.
 +**    May you find forgiveness for yourself and forgive others.
 +**    May you share freely, never taking more than you give.
 +**
 +*************************************************************************
 +** This file implements a simple resource management package, interface
 +** and function of which is described in resmanage.h .
 +*/
 +
 +#include <stdlib.h>
 +#include <stdio.h>
 +
 +#include <assert.h>
 +#include "resmanage.h"
 +
 +/* Track how to free various held resources. */
 +typedef enum FreeableResourceKind {
 +  FRK_Malloc = 0, FRK_DbConn = 1, FRK_DbStmt = 2,
 +  FRK_DbMem = 3, FRK_File = 4,
 +#if (!defined(_WIN32) && !defined(WIN32)) || !SQLITE_OS_WINRT
 +  FRK_Pipe,
++#endif
++#ifdef SHELL_MANAGE_TEXT
++  FRK_Text,
 +#endif
 +  FRK_CustomBase /* series of values for custom freers */
 +} FreeableResourceKind;
 +
 +#if defined(_WIN32) || defined(WIN32)
 +# if !SQLITE_OS_WINRT
 +#  include <io.h>
 +#  include <fcntl.h>
 +#  undef pclose
 +#  define pclose _pclose
 +# endif
 +#else
 +extern int pclose(FILE*);
 +#endif
 +
 +typedef struct ResourceHeld {
 +  union {
 +    void *p_any;
 +    void *p_malloced;
 +    sqlite3 *p_conn;
 +    sqlite3_stmt *p_stmt;
 +    void *p_s3mem;
 +    FILE *p_stream;
++#ifdef SHELL_MANAGE_TEXT
++    ShellText *p_text;
++#endif
 +  } held;
 +  FreeableResourceKind frk;
 +} ResourceHeld;
 +
 +/* The held-resource stack. This is for single-threaded use only. */
 +static ResourceHeld *pResHold = 0;
 +static ResourceCount numResHold = 0;
 +static ResourceCount numResAlloc = 0;
 +
 +/* A small set of custom freers. It is linearly searched, used for
 +** layered heap-allocated (and other-allocated) data structures, so
 +** tends to have use limited to where slow things are happening.
 +*/
 +static ResourceCount numCustom = 0; /* number of the set */
 +static ResourceCount numCustomAlloc = 0; /* allocated space */
 +typedef void (*FreerFunction)(void *);
 +static FreerFunction *aCustomFreers = 0; /* content of set */
 +
 +const char *resmanage_oom_message = "out of memory, aborting";
 +
 +/* Info recorded in support of quit_moan(...) and stack-ripping */
 +static ResourceMark exit_mark = 0;
 +#ifndef SHELL_OMIT_LONGJMP
 +static jmp_buf *p_exit_ripper = 0;
 +#endif
 +
 +/* Current position of the held-resource stack */
 +ResourceMark holder_mark(){
 +  return numResHold;
 +}
 +
 +/* Strip resource stack then strip call stack (or exit.) */
 +void quit_moan(const char *zMoan, int errCode){
 +  if( zMoan ){
 +    fprintf(stderr, "Quitting due to %s, freeing %d resources.\n",
 +            zMoan, numResHold);
 +  }
 +  holder_free(exit_mark);
 +#ifndef SHELL_OMIT_LONGJMP
 +  if( p_exit_ripper!=0 ){
 +    longjmp(*p_exit_ripper, errCode);
 +  } else
 +#endif
 +    exit(errCode);
 +}
 +
 +/* Free a single resource item. (ignorant of stack) */
 +static void free_rk( ResourceHeld *pRH ){
 +  if( pRH->held.p_any == 0 ) return;
 +  switch( pRH->frk ){
 +  case FRK_Malloc:
 +    free(pRH->held.p_malloced);
 +    break;
 +  case FRK_DbConn:
 +    sqlite3_close_v2(pRH->held.p_conn);
 +    break;
 +  case FRK_DbStmt:
 +    sqlite3_clear_bindings(pRH->held.p_stmt);
 +    sqlite3_finalize(pRH->held.p_stmt);
 +    break;
 +  case FRK_DbMem:
 +    sqlite3_free(pRH->held.p_s3mem);
 +    break;
 +  case FRK_File:
 +    fclose(pRH->held.p_stream);
 +    break;
 +#if (!defined(_WIN32) && !defined(WIN32)) || !SQLITE_OS_WINRT
 +  case FRK_Pipe:
 +    pclose(pRH->held.p_stream);
 +    break;
++#endif
++#ifdef SHELL_MANAGE_TEXT
++  case FRK_Text:
++    freeText(pRH->held.p_text);
++    break;
 +#endif
 +  default:
 +    {
 +      int ck = pRH->frk - FRK_CustomBase;
 +      assert(ck>=0);
 +      if( ck < numCustom ){
 +        aCustomFreers[ck]( pRH->held.p_any );
 +      }
 +    }
 +  }
 +  pRH->held.p_any = 0;
 +}
 +
 +/* Take back a held resource pointer, leaving held as NULL. (no-op) */
 +void* take_held(ResourceMark mark, ResourceCount offset){
 +  return swap_held(mark,offset,0);
 +}
 +
 +/* Swap a held resource pointer for a new one. */
 +void* swap_held(ResourceMark mark, ResourceCount offset, void *pNew){
 +  ResourceCount rix = mark + offset;
 +  assert(rix < numResHold && numResHold > 0);
 +  if( rix < numResHold && numResHold > 0 ){
 +    void *rv = pResHold[rix].held.p_any;
 +    pResHold[rix].held.p_any = pNew;
 +    return rv;
 +  }else return 0;
 +}
 +
 +/* Reserve room for at least count additional holders, with no chance
 +** of an OOM abrupt exit. This is used internally only by this package.
 +** The return is either 1 for success, or 0 indicating an OOM failure.
 + */
 +static int more_holders_try(ResourceCount count){
 +  ResourceHeld *prh;
 +  ResourceCount newAlloc = numResHold + count;
 +  if( newAlloc < numResHold ) return 0; /* Overflow, sorry. */
 +  if( newAlloc <= numResAlloc ) return 1;
 +  prh = (ResourceHeld*)realloc(pResHold, newAlloc*sizeof(ResourceHeld));
 +  if( prh == 0 ) return 0;
 +  pResHold = prh;
 +  numResAlloc = newAlloc;
 +  return 1;
 +}
 +
 +/* Shared resource-stack pushing code */
 +static void res_hold(void *pv, FreeableResourceKind frk){
 +  ResourceHeld rh = { pv, frk };
 +  if( numResHold == numResAlloc ){
 +    ResourceCount nrn = (ResourceCount)((numResAlloc>>2) + 5);
 +    if( !more_holders_try(nrn) ){
 +      free_rk(&rh);
 +      quit_moan(resmanage_oom_message,1);
 +    }
 +  }
 +  pResHold[numResHold++] = rh;
 +}
 +
 +/* Hold a NULL (Assure swap_held() cannot fail.) */
 +void more_holders(ResourceCount more){
 +  if( !more_holders_try(more) ) quit_moan(resmanage_oom_message,1);
 +}
 +
 +/* Hold anything in the malloc() heap */
 +void* mmem_holder(void *pm){
 +  res_hold(pm, FRK_Malloc);
 +  return pm;
 +}
 +/* Hold a C string in the malloc() heap */
 +char* mstr_holder(char *z){
 +  if( z!=0 ) res_hold(z, FRK_Malloc);
 +  return z;
 +}
 +/* Hold a C string in the SQLite heap */
 +char* sstr_holder(char *z){
 +  if( z!=0 ) res_hold(z, FRK_DbMem);
 +  return z;
 +}
 +/* Hold an open C runtime FILE */
 +void file_holder(FILE *pf){
 +  if( pf!=0 ) res_hold(pf, FRK_File);
 +}
 +#if (!defined(_WIN32) && !defined(WIN32)) || !SQLITE_OS_WINRT
 +/* Hold an open C runtime pipe */
 +void pipe_holder(FILE *pp){
 +  if( pp!=0 ) res_hold(pp, FRK_Pipe);
 +}
 +#endif
++#ifdef SHELL_MANAGE_TEXT
++/* a reference to a ShellText object, (storage for which not managed) */
++static void text_holder(ShellText *pt){
++  res_hold(pt, FRK_Text);
++}
++#endif
 +/* Hold anything together with arbitrary freeing function */
 +void* any_holder(void *pm, void (*its_freer)(void*)){
 +  int i = 0;
 +  while( i < numCustom ){
 +    if( its_freer == aCustomFreers[i] ) break;
 +    ++i;
 +  }
 +  if( i == numCustom ){
 +    size_t ncf = numCustom + 2;
 +    FreerFunction *pcf;
 +    pcf = (FreerFunction *)realloc(aCustomFreers, ncf*sizeof(FreerFunction));
 +    if( pcf!=0 ){
 +      numCustomAlloc = ncf;
 +      aCustomFreers = pcf;
 +      aCustomFreers[numCustom++] = its_freer;
 +    }else{
 +      quit_moan(resmanage_oom_message,1);
 +    }
 +  }
 +  res_hold(pm, i + FRK_CustomBase);
 +  return pm;
 +}
 +/* Hold some SQLite-allocated memory */
 +void* smem_holder(void *pm){
 +  res_hold(pm, FRK_DbMem);
 +  return pm;
 +}
 +/* Hold a SQLite database "connection" */
 +void conn_holder(sqlite3 *pdb){
 +  res_hold(pdb, FRK_DbConn);
 +}
 +/* Hold a SQLite prepared statement */
 +void stmt_holder(sqlite3_stmt *pstmt){
 +  res_hold(pstmt, FRK_DbStmt);
 +}
 +
 +/* Free all held resources in excess of given resource stack mark. */
 +void holder_free(ResourceMark mark){
 +  while( numResHold > mark ){
 +    free_rk(&pResHold[--numResHold]);
 +  }
 +  if( mark==0 ){
 +    if( numResAlloc>0 ){
 +      free(pResHold);
 +      pResHold = 0;
 +      numResAlloc = 0;
 +    }
 +    if( numCustomAlloc>0 ){
 +      free(aCustomFreers);
 +      aCustomFreers = 0;
 +      numCustom = 0;
 +      numCustomAlloc = 0;
 +    }
 +  }
 +}
 +
 +#ifndef SHELL_OMIT_LONGJMP
 +/* Record a resource stack and call stack rip-to position */
 +void register_exit_ripper(jmp_buf *pjb, ResourceMark rip_mark){
 +  exit_mark = rip_mark;
 +  p_exit_ripper = pjb;
 +}
 +/* Undo register_exit_ripper effect, back to default state. */
 +void forget_exit_ripper(jmp_buf *pjb){
 +  exit_mark = 0;
 +  assert(p_exit_ripper == pjb);
 +  p_exit_ripper = 0;
 +}
 +#endif
diff --cc src/resmanage.h
index 24b3dca803ddef68751639b34ef577928187d2f2,0000000000000000000000000000000000000000..5ee75178e9aa19fa6279656880b35352fa8b4859
mode 100644,000000..100644
--- /dev/null
@@@ -1,127 -1,0 +1,131 @@@
 +/*
 +** 2023 May 8
 +**
 +** The author disclaims copyright to this source code.  In place of
 +** a legal notice, here is a blessing:
 +**
 +**    May you do good and not evil.
 +**    May you find forgiveness for yourself and forgive others.
 +**    May you share freely, never taking more than you give.
 +**
 +*************************************************************************
 +** This file declares the interface of a simple resource management package
 +** which supports freeing of resources upon an abrupt, program-initiated
 +** termination of a function from somewhere in a call tree. The package is
 +** designed to be used with setjmp()/longjmp() to effect a pattern similar
 +** to the try/throw/catch available in some programming languages. (But see
 +** below regarding usage when the setmp()/longjmp() pair is unavailable.)
 +**
 +** The general scheme is that routines whose pre-return code might be
 +** bypassed, thereby leaking resources, do not rely on pre-return code
 +** to release locally held resources. Instead, they give ownership of
 +** such resources to this package, via xxxx_holder(...) calls, and use
 +** its holder_mark() and holder_free(...) functions to release locally
 +** acquired resources.
 +**
 +** For environments where setmp()/longjmp() are unavailable, (indicated by
 +** SHELL_OMIT_LONGJMP defined), the package substitutes a process exit for
 +** resumption of execution at a chosen code location. The resources in the
 +** package's held resource stack are still released. And the ability to
 +** free locally acquired resources as functions return is retained. This
 +** can simplify early function exit logic, but a body of code relying on
 +** process exit to ease error handling is unsuitable for use as a called
 +** routine within a larger application. That use is most of the reason for
 +** this package's existence.
 +*/
 +
 +#ifndef RES_MANAGE_H
 +# define RES_MANAGE_H
 +
 +#ifndef SHELL_OMIT_LONGJMP
 +# include <setjmp.h>
 +# define RIP_STATE(jb) jmp_buf jb
 +# define RIP_TO_HERE(jb) setjmp(jb)
 +#else
 +# define RIP_STATE(jb)
 +# define RIP_TO_HERE(jb) 0
 +#endif
 +#include <stdio.h>
 +#include <assert.h>
 +
 +#ifdef __cplusplus
 +extern "C" {
 +#endif
 +
 +#include "sqlite3.h"
 +
 +/* Type used for marking positions within a held-resource stack */
 +typedef unsigned short ResourceMark;
 +typedef unsigned short ResourceCount;
 +
 +/* Current position of the held-resource stack */
 +extern ResourceMark holder_mark();
 +
 +/* Assure no allocation failure for some more xxx_holder() calls.
 +** Note that this call may fail with an OOM abrupt exit. */
 +extern void more_holders(ResourceCount more);
 +
 +/* Routines for holding resources on held-resource stack together
 +** with enough information for them to be freed by this package.
 +*/
 +/* anything together with arbitrary freeing function */
 +extern void* any_holder(void *pm, void (*its_freer)(void*));
 +/* anything in the malloc() heap */
 +extern void* mmem_holder(void *pm);
 +/* a C string in the malloc() heap */
 +extern char* mstr_holder(char *z);
 +/* some SQLite-allocated memory */
 +extern void* smem_holder(void *pm);
 +/* a C string in the SQLite heap */
 +extern char* sstr_holder(char *z);
 +/* a SQLite database "connection" */
 +extern void conn_holder(sqlite3 *pdb);
 +/* a SQLite prepared statement */
 +extern void stmt_holder(sqlite3_stmt *pstmt);
 +/* an open C runtime FILE */
 +extern void file_holder(FILE *);
 +#if (!defined(_WIN32) && !defined(WIN32)) || !SQLITE_OS_WINRT
 +/* an open C runtime pipe */
 +extern void pipe_holder(FILE *);
 +#endif
++#ifdef SHELL_MANAGE_TEXT
++/* a reference to a ShellText object, (storage for which not managed) */
++static void text_holder(ShellText *);
++#endif
 +
 +/* Take back a held resource pointer, leaving held as NULL. (no-op) */
 +extern void* take_held(ResourceMark mark, ResourceCount offset);
 +
 +/* Swap a held resource pointer for a new one. */
 +extern void* swap_held(ResourceMark mark, ResourceCount offset, void *pNew);
 +
 +/* Free all held resources in excess of given resource stack mark. */
 +extern void holder_free(ResourceMark mark);
 +
 +#ifndef SHELL_OMIT_LONGJMP
 +/* Remember a longjmp() destination together with a resource stack
 +** mark which determines how far the resource stack may be stripped.
 +** This info determines how far the execution and resource stacks
 +** will be stripped back should quit_moan(...) be called.
 +*/
 +extern void register_exit_ripper(jmp_buf *pjb, ResourceMark rip_mark);
 +/* Forget whatever register_exit_ripper() has been recorded. */
 +extern void forget_exit_ripper(jmp_buf *pjb);
 +#else
 +#define register_exit_ripper(jb, rm)
 +#define forget_exit_ripper()
 +#endif
 +
 +/* Strip resource stack and execute previously registered longjmp() as
 +** previously prepared by register_exit_ripper() call. Or, if no such
 +** prep done (or possible), strip the whole stack and exit the process.
 +*/
 +extern void quit_moan(const char *zMoan, int errCode);
 +
 +/* What the complaint will be for OOM failures and abrupt exits. */
 +extern const char *resmanage_oom_message;
 +
 +#ifdef __cplusplus
 +}  /* End of the 'extern "C"' block */
 +#endif
 +#endif /* RES_MANAGE_H */
diff --cc src/shell.c.in
index d22aaff641b5cff2ee693ecc5f566a319a02d56a,2c5c59f23144b4bdcf4d3ea9e8e7f55c7cee81bf..9cca5e31d469889204c3952fa264f034a41192ab
@@@ -239,26 -238,6 +239,30 @@@ extern char *sqlite3_win32_utf8_to_mbcs
  extern LPWSTR sqlite3_win32_utf8_to_unicode(const char *zText);
  #endif
  
 +/* Get the shell extension interfaces and structs. */
 +INCLUDE shext_linkage.h
 +
++/* Forward declarations for use by resmanage. */
++typedef struct ShellText ShellText;
++static void freeText(ShellText *p);
++#define SHELL_MANAGE_TEXT /* Cause text_holder() to be available. */
 +/* Get resource management package, supporting OOM and safe mode exits. */
 +INCLUDE resmanage.c
 +
 +/* For an embedded shell, allow the 3 standard streams to be specified.
 +** If used, these names will have to refer to something globally reachable
 +** from the same thread which called the shell's main().
 +**/
 +#ifndef STD_IN
 +# define STD_IN stdin
 +#endif
 +#ifndef STD_OUT
 +# define STD_OUT stdout
 +#endif
 +#ifndef STD_ERR
 +# define STD_ERR stderr
 +#endif
 +
  /* On Windows, we normally run with output mode of TEXT so that \n characters
  ** are automatically translated into \r\n.  However, this behavior needs
  ** to be disabled in some cases (ex: when generating CSV output and when
@@@ -796,21 -756,10 +800,21 @@@ void utf8_printf(FILE *out, const char 
  # define raw_printf fprintf
  #endif
  
- ** Provide a way for embedding apps to handle OOP condition their way.
 +/*
++** Provide a way for embedding apps to handle OOM condition their way.
 +** This is crude, and using it will undoubtedly leak memory and handles.
 +** The alternative is extensive recoding of the shell, (not for today.)
 +** This could become a longjump(...) (paired with app's setjump(...).)
 +*/
 +#ifndef SHELL_OOM_EXIT
 +# define SHELL_OOM_EXIT exit(1)
 +#endif
  /* Indicate out-of-memory and exit. */
  static void shell_out_of_memory(void){
 -  raw_printf(stderr,"Error: out of memory\n");
 -  exit(1);
 +  raw_printf(STD_ERR,"Error: out of memory\n");
 +  sqlite3_mutex_free(pGlobalDbLock);
 +  pGlobalDbLock = 0;
 +  SHELL_OOM_EXIT;
  }
  
  /* Check a pointer to see if it is NULL.  If it is NULL, exit with an
  static void shell_check_oom(const void *p){
    if( p==0 ) shell_out_of_memory();
  }
- #define SHELL_ASSIGN_OOM_CHECK(lv, pv) lv = pv, shell_check_oom(lv)
 +/* This pattern is ubiquitous and subject to change, so encapsulate it. */
-   if( *pLV==0 ) shell_out_of_memory();
++#define SHELL_ASSIGN_OOM_CHECK(lv, pv) \
++  do{ lv = pv; shell_check_oom(lv); }while(0)
 +
 +static void shell_newstr_assign(char **pLV, char *z){
++  if( !z ) shell_out_of_memory();
 +  *pLV = z;
 +}
  
  /*
  ** Write I/O traces to the following stream.
@@@ -1083,8 -956,8 +1088,13 @@@ static char *local_getline(char *zLine
      if( zTrans ){
        i64 nTrans = strlen(zTrans)+1;
        if( nTrans>nLine ){
--        zLine = realloc(zLine, nTrans);
--        shell_check_oom(zLine);
++        char *zL = realloc(zLine, nTrans);
++        if( zL!=0 ) zLine = zL;
++        else{
++          free(zLine);
++          sqlite3_free(zTrans);
++          shell_out_of_memory();
++        }
        }
        memcpy(zLine, zTrans, nTrans);
        sqlite3_free(zTrans);
@@@ -1150,52 -1008,15 +1160,51 @@@ static char *one_input_line(InSource *p
        zResult = shell_readline("");
      }
      if( zResult && *zResult ) shell_add_history(zResult);
 +    ++pInSrc->lineno;
  #endif
- static char *one_input_line(FILE *in, char *zPrior, int isContinuation){
 +    return zResult;
 +  }
 +}
 +#else /* !defined(SQLITE_SHELL_FIDDLE) */
 +/*
 +** Alternate one_input_line() impl for wasm mode. This is not in the primary
 +** impl because we need the global shellState and cannot access it from that
 +** function without moving lots of code around (creating a larger/messier diff).
 +*/
-   UNUSED_PARAMETER(in);
++static char *one_input_line(InSource *psrc, char *zPrior, int isContinuation){
 +  /* Parse the next line from shellState.wasm.zInput. */
 +  const char *zBegin = shellState.wasm.zPos;
 +  const char *z = zBegin;
 +  char *zLine = 0;
 +  i64 nZ = 0;
 +
++  UNUSED_PARAMETER(psrc);
 +  UNUSED_PARAMETER(isContinuation);
 +  if(!z || !*z){
 +    return 0;
    }
 -  return zResult;
 +  while(*z && isspace(*z)) ++z;
 +  zBegin = z;
 +  for(; *z && '\n'!=*z; ++nZ, ++z){}
 +  if(nZ>0 && '\r'==zBegin[nZ-1]){
 +    --nZ;
 +  }
 +  shellState.wasm.zPos = z;
 +  zLine = realloc(zPrior, nZ+1);
 +  shell_check_oom(zLine);
 +  memcpy(zLine, zBegin, nZ);
 +  zLine[nZ] = 0;
 +  return zLine;
 +}
 +#endif /* SQLITE_SHELL_FIDDLE */
 +
- /* For use by shell extensions. See footnote [a] to above function. */
++/* For use by shell extensions. See footnote [a] to one_input_line(). */
 +void free_input_line(char *z){
 +  free(z);
  }
 -#endif /* !SQLITE_SHELL_FIDDLE */
  
  /*
--** Return the value of a hexadecimal digit.  Return -1 if the input
--** is not a hex digit.
++** Return the value of a hexadecimal digit, or -1 if c is not a hex digit.
  */
  static int hexDigitValue(char c){
    if( c>='0' && c<='9' ) return c - '0';
@@@ -1270,6 -1091,6 +1279,14 @@@ static void freeText(ShellText *p)
    free(p->z);
    initText(p);
  }
++/*
++** Take ownership of a ShellText's text, leaving it like new.
++*/
++static char* takeText(ShellText *p){
++  char *rv = p->z;
++  initText(p);
++  return rv;
++}
  
  /* zIn is either a pointer to a NULL-terminated string in memory obtained
  ** from malloc(), or a NULL pointer. The string pointed to by zAppend is
@@@ -1293,8 -1114,9 +1310,12 @@@ static void appendText(ShellText *p, co
    }
  
    if( p->z==0 || p->n+len>=p->nAlloc ){
--    p->nAlloc = p->nAlloc*2 + len + 20;
-     SHELL_ASSIGN_OOM_CHECK(p->z, realloc(p->z, p->nAlloc));
 -    p->z = realloc(p->z, p->nAlloc);
 -    shell_check_oom(p->z);
++    char *zn;
++    int nna = p->nAlloc*2 + len + 20;
++    zn = (char*)realloc(p->z, nna);
++    if( !zn ) shell_out_of_memory();
++    p->nAlloc = nna;
++    p->z = zn;
    }
  
    if( quote ){
@@@ -1335,6 -1157,6 +1356,7 @@@ static char quoteChar(const char *zName
  /*
  ** Construct a fake object name and column list to describe the structure
  ** of the view, virtual table, or table valued function zSchema.zName.
++** The return is a malloc'ed pointer, which caller must free() sometime.
  */
  static char *shellFakeSchema(
    sqlite3 *db,            /* The database connection containing the vtab */
    const char *zName       /* The name of the virtual table */
  ){
    sqlite3_stmt *pStmt = 0;
--  char *zSql;
    ShellText s;
    char cQuote;
    char *zDiv = "(";
    int nRow = 0;
--
-   SHELL_ASSIGN_OOM_CHECK(zSql, smprintf("PRAGMA \"%w\".table_info=%Q;",
-                                         zSchema ? zSchema : "main", zName));
-   sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
 -  zSql = sqlite3_mprintf("PRAGMA \"%w\".table_info=%Q;",
 -                         zSchema ? zSchema : "main", zName);
++  int rc;
++  char *rv = 0;
++  ResourceMark rm_mark = holder_mark();
++  char *zSql = smprintf("PRAGMA \"%w\".table_info=%Q;",
++                        zSchema ? zSchema : "main", zName);
+   shell_check_oom(zSql);
 -  sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
++  rc = sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
    sqlite3_free(zSql);
++  if( rc==SQLITE_NOMEM ) shell_out_of_memory();
++  stmt_holder(pStmt);
    initText(&s);
++  text_holder(&s);
    if( zSchema ){
      cQuote = quoteChar(zSchema);
      if( cQuote && sqlite3_stricmp(zSchema,"temp")==0 ) cQuote = 0;
    }
    cQuote = quoteChar(zName);
    appendText(&s, zName, cQuote);
--  while( sqlite3_step(pStmt)==SQLITE_ROW ){
++  while( (rc = sqlite3_step(pStmt))==SQLITE_ROW ){
      const char *zCol = (const char*)sqlite3_column_text(pStmt, 1);
      nRow++;
      appendText(&s, zDiv, 0);
      cQuote = quoteChar(zCol);
      appendText(&s, zCol, cQuote);
    }
++  if( rc==SQLITE_NOMEM ) shell_out_of_memory();
    appendText(&s, ")", 0);
--  sqlite3_finalize(pStmt);
--  if( nRow==0 ){
--    freeText(&s);
--    s.z = 0;
--  }
--  return s.z;
++  if( nRow!=0 ) rv = takeText(&s);
++  holder_free(rm_mark);
++  return rv;
  }
  
  /*
@@@ -1390,14 -1213,15 +1415,17 @@@ static void shellModuleSchema
    int nVal,
    sqlite3_value **apVal
  ){
--  const char *zName;
--  char *zFake;
++  char *zFake = 0;
++  const char * zName = (const char*)sqlite3_value_text(apVal[0]);
    UNUSED_PARAMETER(nVal);
--  zName = (const char*)sqlite3_value_text(apVal[0]);
--  zFake = zName? shellFakeSchema(sqlite3_context_db_handle(pCtx), 0, zName) : 0;
--  if( zFake ){
-     sqlite3_result_text(pCtx, smprintf("/* %s */", zFake), -1, sqlite3_free);
 -    sqlite3_result_text(pCtx, sqlite3_mprintf("/* %s */", zFake),
 -                        -1, sqlite3_free);
--    free(zFake);
++  if( zName ){
++    zFake = shellFakeSchema(sqlite3_context_db_handle(pCtx), 0, zName);
++    if( zFake ){
++      char *zfc = smprintf("/* %s */", zFake);
++      free(zFake);
++      shell_check_oom(zfc);
++      sqlite3_result_text(pCtx, zfc, -1, sqlite3_free);
++    }
    }
  }
  
@@@ -1448,21 -1272,21 +1476,23 @@@ static void shellAddSchemaName
          if( zSchema ){
            char cQuote = quoteChar(zSchema);
            if( cQuote && sqlite3_stricmp(zSchema,"temp")!=0 ){
 -            z = sqlite3_mprintf("%.*s \"%w\".%s", n+7, zIn, zSchema, zIn+n+8);
 +            z = smprintf("%.*s \"%w\".%s", n+7, zIn, zSchema, zIn+n+8);
            }else{
 -            z = sqlite3_mprintf("%.*s %s.%s", n+7, zIn, zSchema, zIn+n+8);
 +            z = smprintf("%.*s %s.%s", n+7, zIn, zSchema, zIn+n+8);
            }
++          shell_check_oom(z);
          }
          if( zName
           && aPrefix[i][0]=='V'
           && (zFake = shellFakeSchema(db, zSchema, zName))!=0
          ){
            if( z==0 ){
 -            z = sqlite3_mprintf("%s\n/* %s */", zIn, zFake);
 +            z = smprintf("%s\n/* %s */", zIn, zFake);
            }else{
 -            z = sqlite3_mprintf("%z\n/* %s */", z, zFake);
 +            z = smprintf("%z\n/* %s */", z, zFake);
            }
            free(zFake);
++          shell_check_oom(z);
          }
          if( z ){
            sqlite3_result_text(pCtx, z, -1, sqlite3_free);
@@@ -1801,70 -1478,14 +1831,71 @@@ typedef struct ShellInState 
      const char * zDefaultDbName; /* Default name for db file */
    } wasm;
  #endif
 -};
 +
 +#if SHELL_DYNAMIC_EXTENSION
 +  /* extension management */
 +  int numExtLoaded;      /* Number of extensions presently loaded or emulated */
 +  ShExtInfo *pShxLoaded; /* Tracking and use info for loaded shell extensions */
 +  int ixExtPending;      /* Index of pending extension load operations if !0  */
 +  /* scripting integration */
 +  ScriptSupport *script; /* Scripting support, if any, from loaded extension */
 +  ExtensionId scriptXid; /* Id of extension which is supporting scripting */
 +  /* shell event subscription list */
 +  int numSubscriptions;  /* Number of active entries in below list */
 +  struct EventSubscription {
 +    ExtensionId eid;
 +    void *pvUserData;
 +    ShellEventNotify eventHandler;
 +  } *pSubscriptions;     /* The current shell event subscriptions */
 +  u8 bDbDispatch;        /* Cache fact of dbShell dispatch table */
 +  DotCommand *pUnknown;  /* Last registered "unknown" dot command */
 +#endif
 +
 +#if SHELL_DATAIO_EXT
 +  ExportHandler *pFreeformExporter;  /* Default freeform mode exporter */
 +  ExportHandler *pColumnarExporter;  /* Default columnar mode exporter */
 +  ExportHandler *pActiveExporter;    /* Presently active exporter */
 +#endif
 +
 +  ShellExState *pSXS;    /* Pointer to companion, exposed shell state */
 +} ShellInState;
  
  #ifdef SQLITE_SHELL_FIDDLE
 -static ShellState shellState;
 +/* For WASM, keep a static instance so pseudo-main can be called repeatedly. */
- static ShellInState shellState;
++static ShellInState shellStateI;
++static ShellExState shellStateX;
  #endif
  
 +/*
 +** Limit input nesting via .read or any other input redirect.
 +** It's not too expensive, so a generous allowance can be made.
 +*/
 +#define MAX_INPUT_NESTING 25
 +
 +/*
 +** This procedure updates the bSafeMode flag after completion of any
 +** operation (dot-command, SQL submission, or script execution) that
 +** counts as one for which safe mode might be suspended.
 +** bSafeModeFuture has 3 states salient here:
 +** equal 0 => Safe mode is and will remain inactive.
 +** equal 1 => Safe mode is and will remain active.
 +** N > 1 => Safe mode is suspended for N-1 operations.
 +*/
 +static void updateSafeMode(ShellInState *psi){
 +  switch( psi->bSafeModeFuture ){
 +  case 2:
 +  default:
 +    --psi->bSafeModeFuture;
 +    deliberate_fall_through;
 +  case 0:
 +    psi->bSafeMode = 0;
 +    break;
 +  case 1:
 +    psi->bSafeMode = 1;
 +  }
 +}
  
 -/* Allowed values for ShellState.autoEQP
 +/* Allowed values for ShellInState.autoEQP
  */
  #define AUTOEQP_off      0           /* Automatic EXPLAIN QUERY PLAN is off */
  #define AUTOEQP_on       1           /* Automatic EQP is on */
        sqlite3_finalize(pStmt);
        if( rc!=SQLITE_DONE ) rc_err_oom_die(SQLITE_NOMEM);
      }
 -    assert(db_int(*pDb, zHasDupes)==0); /* Consider: remove this */
 -    rc = sqlite3_prepare_v2(*pDb, zCollectVar, -1, &pStmt, 0);
 -    rc_err_oom_die(rc);
 -    rc = sqlite3_step(pStmt);
 -    if( rc==SQLITE_ROW ){
 -      zColsSpec = sqlite3_mprintf("%s", sqlite3_column_text(pStmt, 0));
 -    }else{
 -      zColsSpec = 0;
 +    /* This assert is maybe overly cautious for above de-dup DML, but that can
 +     * be replaced via #define's. So this check is made for debug builds. */
 +    assert(db_int(*pDb, zHasDupes)==0);
 +    rc = sqlite3_prepare_v2(*pDb, zCollectVar, -1, &pStmt, 0);
 +    rc_err_oom_die(rc);
 +    rc = sqlite3_step(pStmt);
 +    if( rc==SQLITE_ROW ){
 +      zColsSpec = smprintf("%s", sqlite3_column_text(pStmt, 0));
 +    }else{
 +      zColsSpec = 0;
 +    }
 +    if( pzRenamed!=0 ){
 +      if( !hasDupes ) *pzRenamed = 0;
 +      else{
 +        sqlite3_finalize(pStmt);
 +        if( SQLITE_OK==sqlite3_prepare_v2(*pDb, zRenamesDone, -1, &pStmt, 0)
 +            && SQLITE_ROW==sqlite3_step(pStmt) ){
 +          *pzRenamed = smprintf("%s", sqlite3_column_text(pStmt, 0));
 +        }else
 +          *pzRenamed = 0;
 +      }
 +    }
 +    sqlite3_finalize(pStmt);
 +    sqlite3_close(*pDb);
 +    *pDb = 0;
 +    return zColsSpec;
 +  }
 +}
 +
 +#if SHELL_DATAIO_EXT
 +
 +/*
 +** Standard ExportHandlers
 +** These implement the built-in renderers of query results.
 +** Two are provided, one for freeform results, the other for columnar results.
 +*/
 +
 +static void EH_FF_destruct(ExportHandler *pMe);
 +static void EH_CM_destruct(ExportHandler *pMe);
 +static const char *EH_FF_name(ExportHandler *pMe);
 +static const char *EH_CM_name(ExportHandler *pMe);
 +static const char *EH_help(ExportHandler *pMe, const char *zWhat);
 +static int EH_openResultsOutStream(ExportHandler *pMe,
 +                                   ShellExState *pSES, char **pzErr,
 +                                   int numArgs, char *azArgs[],
 +                                   const char * zName);
 +static int EH_FF_prependResultsOut(ExportHandler *pMe,
 +                                   ShellExState *pSES, char **pzErr,
 +                                   sqlite3_stmt *pStmt);
 +static int EH_CM_prependResultsOut(ExportHandler *pMe,
 +                                   ShellExState *pSES, char **pzErr,
 +                                   sqlite3_stmt *pStmt);
 +static int EH_FF_rowResultsOut(ExportHandler *pMe,
 +                               ShellExState *pSES, char **pzErr,
 +                               sqlite3_stmt *pStmt);
 +static int EH_CM_rowResultsOut(ExportHandler *pMe,
 +                               ShellExState *pSES, char **pzErr,
 +                               sqlite3_stmt *pStmt);
 +static int EH_FF_appendResultsOut(ExportHandler *pMe,
 +                                  ShellExState *pSES, char **pzErr,
 +                                  sqlite3_stmt *pStmt);
 +static int EH_CM_appendResultsOut(ExportHandler *pMe,
 +                                  ShellExState *pSES, char **pzErr,
 +                                  sqlite3_stmt *pStmt);
 +static void EH_closeResultsOutStream(ExportHandler *pMe,
 +                                     ShellExState *pSES,
 +                                     char **pzErr);
 +
 +static VTABLE_NAME(ExportHandler) exporter_Vtab_FF = {
 +  EH_FF_destruct,
 +  EH_FF_name,
 +  EH_help,
 +  EH_openResultsOutStream,
 +  EH_FF_prependResultsOut,
 +  EH_FF_rowResultsOut,
 +  EH_FF_appendResultsOut,
 +  EH_closeResultsOutStream
 +};
 +
 +static VTABLE_NAME(ExportHandler) exporter_Vtab_CM = {
 +  EH_CM_destruct,
 +  EH_CM_name,
 +  EH_help,
 +  EH_openResultsOutStream,
 +  EH_CM_prependResultsOut,
 +  EH_CM_rowResultsOut,
 +  EH_CM_appendResultsOut,
 +  EH_closeResultsOutStream
 +};
 +
 +typedef struct {
 +  char **azCols; /* Names of result columns */
 +  char **azVals; /* Results */
 +  int *aiTypes;  /* Result types */
 +} ColumnsInfo;
 +
 +typedef struct {
 +  VTABLE_NAME(ExportHandler) *pMethods;
 +  ShellInState *psi;
 +  int nCol;
 +  sqlite3_uint64 nRow;
 +  void *pData;
 +  void *pRowInfo;
 +  ColumnsInfo colInfo;
 +} BuiltInFFExporter;
 +#define BI_FF_EXPORTER_INIT(psi) { & exporter_Vtab_FF, psi, 0, 0, 0, 0 }
 +
 +typedef struct {
 +  VTABLE_NAME(ExportHandler) *pMethods;
 +  ShellInState *psi;
 +  int nCol;
 +  sqlite3_uint64 nRow;
 +  void *pData;
 +  void *pRowInfo;
 +  const char *colSep;
 +  const char *rowSep;
 +} BuiltInCMExporter;
 +#define BI_CM_EXPORTER_INIT(psi) { & exporter_Vtab_CM, psi, 0, 0, 0, 0 }
 +
 +static void EH_FF_destruct(ExportHandler *pMe){
 +  /* This serves two purposes: idempotent reinitialize, and final takedown */
 +  BuiltInFFExporter *pbie = (BuiltInFFExporter*)pMe;
 +  if( pbie->nCol!=0 ){
 +    sqlite3_free(pbie->pData);
 +    pbie->pData = 0;
 +  }
 +  pbie->nRow = 0;
 +  pbie->nCol = 0;
 +}
 +
 +static const char *zEmpty = "";
 +
 +static void EH_CM_destruct(ExportHandler *pMe){
 +  /* This serves two purposes: idempotent reinitialize, and final takedown */
 +  BuiltInCMExporter *pbie = (BuiltInCMExporter*)pMe;
 +  if( pbie->nCol!=0 ){
 +    sqlite3_uint64 nData = pbie->nCol * (pbie->nRow + 1), i;
 +    const char *zNull = pbie->psi->nullValue;
 +    char **azData = (char**)pbie->pData;
 +    for(i=0; i<nData; i++){
 +      char *z = azData[i];
 +      if( z!=zEmpty && z!=zNull ) sqlite3_free(z);
 +    }
 +    sqlite3_free(pbie->pData);
 +    sqlite3_free(pbie->pRowInfo);
 +    pbie->pData = 0;
 +    pbie->pRowInfo = 0;
 +  }
 +  pbie->nCol = 0;
 +  pbie->nRow = 0;
 +  pbie->colSep = 0;
 +  pbie->rowSep = 0;
 +}
 +
 +static const char *zModeName(ShellInState *psi){
 +  int mi = psi->mode;
 +  return (mi>=0 && mi<MODE_COUNT_OF)? modeDescr[mi].zModeName : 0;
 +}
 +static const char *EH_FF_name(ExportHandler *pMe){
 +  return zModeName(((BuiltInFFExporter*)pMe)->psi);
 +}
 +static const char *EH_CM_name(ExportHandler *pMe){
 +  return zModeName(((BuiltInCMExporter*)pMe)->psi);
 +}
 +
 +static const char *EH_help(ExportHandler *pMe, const char *zWhat){
 +  (void)(pMe);
 +  (void)(zWhat);
 +  return 0;
 +}
 +
 +static int EH_openResultsOutStream(ExportHandler *pMe,
 +                                   ShellExState *pSES, char **pzErr,
 +                                   int numArgs, char *azArgs[],
 +                                   const char * zName){
 +  /* The built-in exporters have a predetermined destination, and their
 +   * action is set by the shell state .mode member, so this method has
 +   * nothing to do. For similar reasons, the shell never calls it. That
 +   * could change if .mode command functionality is moved to here.
 +   */
 +  (void)(pMe);
 +  (void)(pSES);
 +  (void)(pzErr);
 +  (void)(numArgs);
 +  (void)(azArgs);
 +  (void)(zName);
 +  return 0;
 +}
 +
 +static int EH_CM_prependResultsOut(ExportHandler *pMe,
 +                                   ShellExState *psx, char **pzErr,
 +                                   sqlite3_stmt *pStmt){
 +  BuiltInCMExporter *pbie = (BuiltInCMExporter*)pMe;
 +  ShellInState *psi = ISS(psx);
 +  sqlite3_int64 nRow = 0;
 +  char **azData = 0;
 +  sqlite3_int64 nAlloc = 0;
 +  char *abRowDiv = 0;
 +  const unsigned char *uz;
 +  const char *z;
 +  char **azQuoted = 0;
 +  int rc;
 +  sqlite3_int64 i, nData;
 +  int j, w, n;
 +  const unsigned char **azNextLine = 0;
 +  int bNextLine = 0;
 +  int bMultiLineRowExists = 0;
 +  int bw = psi->cmOpts.bWordWrap;
 +  int nColumn = sqlite3_column_count(pStmt);
 +
 +  if( nColumn==0 ){
 +    rc = sqlite3_step(pStmt);
 +    assert(rc!=SQLITE_ROW);
 +    return rc;
 +  }
 +  EH_CM_destruct(pMe);
 +
 +  nAlloc = nColumn*4;
 +  if( nAlloc<=0 ) nAlloc = 1;
 +  azData = sqlite3_malloc64( nAlloc*sizeof(char*) );
 +  shell_check_oom(azData);
 +  azNextLine = sqlite3_malloc64( nColumn*sizeof(char*) );
 +  shell_check_oom((void*)azNextLine);
 +  memset((void*)azNextLine, 0, nColumn*sizeof(char*) );
 +  if( psi->cmOpts.bQuote ){
 +    azQuoted = sqlite3_malloc64( nColumn*sizeof(char*) );
 +    shell_check_oom(azQuoted);
 +    memset(azQuoted, 0, nColumn*sizeof(char*) );
 +  }
 +  abRowDiv = sqlite3_malloc64( nAlloc/nColumn );
 +  shell_check_oom(abRowDiv);
 +  if( nColumn>psx->numWidths ){
 +    psx->pSpecWidths = realloc(psx->pSpecWidths, (nColumn+1)*2*sizeof(int));
 +    shell_check_oom(psx->pSpecWidths);
 +    for(i=psx->numWidths; i<nColumn; i++) psx->pSpecWidths[i] = 0;
 +    psx->numWidths = nColumn;
 +    psx->pHaveWidths = &psx->pSpecWidths[nColumn];
 +  }
 +  memset(psx->pHaveWidths, 0, nColumn*sizeof(int));
 +  for(i=0; i<nColumn; i++){
 +    w = psx->pSpecWidths[i];
 +    if( w<0 ) w = -w;
 +    psx->pHaveWidths[i] = w;
 +  }
 +  for(i=0; i<nColumn; i++){
 +    const unsigned char *zNotUsed;
 +    int wx = psx->pSpecWidths[i];
 +    if( wx==0 ){
 +      wx = psi->cmOpts.iWrap;
 +    }
 +    if( wx<0 ) wx = -wx;
 +    uz = (const unsigned char*)sqlite3_column_name(pStmt,i);
 +    azData[i] = translateForDisplayAndDup(uz, &zNotUsed, wx, bw);
 +  }
 +  while( bNextLine || SQLITE_ROW==sqlite3_step(pStmt) ){
 +    int useNextLine = bNextLine;
 +    bNextLine = 0;
 +    if( (nRow+2)*nColumn >= nAlloc ){
 +      nAlloc *= 2;
 +      azData = sqlite3_realloc64(azData, nAlloc*sizeof(char*));
 +      shell_check_oom(azData);
 +      abRowDiv = sqlite3_realloc64(abRowDiv, nAlloc/nColumn);
 +      shell_check_oom(abRowDiv);
 +    }
 +    abRowDiv[nRow] = 1;
 +    nRow++;
 +    for(i=0; i<nColumn; i++){
 +      int wx = psx->pSpecWidths[i];
 +      if( wx==0 ){
 +        wx = psi->cmOpts.iWrap;
 +      }
 +      if( wx<0 ) wx = -wx;
 +      if( useNextLine ){
 +        uz = azNextLine[i];
 +        if( uz==0 ) uz = (u8*)zEmpty;
 +      }else if( psi->cmOpts.bQuote ){
 +        sqlite3_free(azQuoted[i]);
 +        azQuoted[i] = quoted_column(pStmt,i);
 +        uz = (const unsigned char*)azQuoted[i];
 +      }else{
 +        uz = (const unsigned char*)sqlite3_column_text(pStmt,i);
 +        if( uz==0 ) uz = (u8*)psi->nullValue;
 +      }
 +      azData[nRow*nColumn + i]
 +        = translateForDisplayAndDup(uz, &azNextLine[i], wx, bw);
 +      if( azNextLine[i] ){
 +        bNextLine = 1;
 +        abRowDiv[nRow-1] = 0;
 +        bMultiLineRowExists = 1;
 +      }
 +    }
 +  }
 +  sqlite3_free((void*)azNextLine);
 +  if( azQuoted ){
 +    for(i=0; i<nColumn; i++) sqlite3_free(azQuoted[i]);
 +    sqlite3_free(azQuoted);
 +  }
 +  if( nRow==0 ){
 +    EH_CM_destruct(pMe);
 +    return SQLITE_DONE;
 +  }
 +
 +  nData = nColumn*(nRow+1);
 +
 +  for(i=0; i<nData; i++){
 +    z = azData[i];
 +    if( z==0 ) z = (char*)zEmpty;
 +    n = strlenChar(z);
 +    j = i%nColumn;
 +    if( n>psx->pHaveWidths[j] ) psx->pHaveWidths[j] = n;
 +  }
 +  if( seenInterrupt ) goto done;
 +  switch( psi->cMode ){
 +    case MODE_Column: {
 +      pbie->colSep = "  ";
 +      pbie->rowSep = "\n";
 +      if( psi->showHeader ){
 +        for(i=0; i<nColumn; i++){
 +          w = psx->pHaveWidths[i];
 +          if( psx->pSpecWidths[i]<0 ) w = -w;
 +          utf8_width_print(psi->out, w, azData[i]);
 +          fputs(i==nColumn-1?"\n":"  ", psi->out);
 +        }
 +        for(i=0; i<nColumn; i++){
 +          print_dashes(psi->out, psx->pHaveWidths[i]);
 +          fputs(i==nColumn-1?"\n":"  ", psi->out);
 +        }
 +      }
 +      break;
 +    }
 +    case MODE_Table: {
 +      pbie->colSep = " | ";
 +      pbie->rowSep = " |\n";
 +      print_row_separator(psx, nColumn, "+");
 +      fputs("| ", psi->out);
 +      for(i=0; i<nColumn; i++){
 +        w = psx->pHaveWidths[i];
 +        n = strlenChar(azData[i]);
 +        utf8_printf(psi->out, "%*s%s%*s",
 +                    (w-n)/2, "", azData[i], (w-n+1)/2, "");
 +        fputs(i==nColumn-1?" |\n":" | ", psi->out);
 +      }
 +      print_row_separator(psx, nColumn, "+");
 +      break;
 +    }
 +    case MODE_Markdown: {
 +      pbie->colSep = " | ";
 +      pbie->rowSep = " |\n";
 +      fputs("| ", psi->out);
 +      for(i=0; i<nColumn; i++){
 +        w = psx->pHaveWidths[i];
 +        n = strlenChar(azData[i]);
 +        utf8_printf(psi->out, "%*s%s%*s",
 +                    (w-n)/2, "", azData[i], (w-n+1)/2, "");
 +        fputs(i==nColumn-1?" |\n":" | ", psi->out);
 +      }
 +      print_row_separator(psx, nColumn, "|");
 +      break;
 +    }
 +    case MODE_Box: {
 +      pbie->colSep = " " BOX_13 " ";
 +      pbie->rowSep = " " BOX_13 "\n";
 +      print_box_row_separator(psx, nColumn, BOX_23, BOX_234, BOX_34);
 +      utf8_printf(psi->out, BOX_13 " ");
 +      for(i=0; i<nColumn; i++){
 +        w = psx->pHaveWidths[i];
 +        n = strlenChar(azData[i]);
 +        utf8_printf(psi->out, "%*s%s%*s%s",
 +            (w-n)/2, "", azData[i], (w-n+1)/2, "",
 +            i==nColumn-1?" "BOX_13"\n":" "BOX_13" ");
 +      }
 +      print_box_row_separator(psx, nColumn, BOX_123, BOX_1234, BOX_134);
 +      break;
 +    }
 +  }
 + done:
 +  pbie->nCol = nColumn;
 +  pbie->pData = azData;
 +  pbie->nRow = nRow;
 +  if( bMultiLineRowExists ){
 +    pbie->pRowInfo = abRowDiv;
 +  }else{
 +    pbie->pRowInfo = 0;
 +    sqlite3_free(abRowDiv);
 +  }
 +  if( seenInterrupt ){
 +    EH_CM_destruct(pMe);
 +    return SQLITE_INTERRUPT;
 +  }
 +  return SQLITE_OK;
 +}
 +
 +static int EH_CM_rowResultsOut(ExportHandler *pMe,
 +                               ShellExState *psx, char **pzErr,
 +                               sqlite3_stmt *pStmt){
 +  BuiltInCMExporter *pbie = (BuiltInCMExporter*)pMe;
 +  ShellInState *psi = pbie->psi;
 +  sqlite3_int64 nRow = pbie->nRow;
 +  int nColumn = pbie->nCol, j, w;
 +  char **azData = (char**)(pbie->pData);
 +  sqlite3_int64 nData = (nRow+1)*nColumn, i;
 +  char *abRowDiv = pbie->pRowInfo;
 +  const char *z;
 +
 +  (void)(pzErr);
 +  (void)(pStmt);
 +  if( nRow==0 || nColumn==0 ) return SQLITE_INTERRUPT;
 +  for(i=nColumn, j=0; i<nData; i++, j++){
 +    if( j==0 && psi->cMode!=MODE_Column ){
 +      utf8_printf(psi->out, "%s", psi->cMode==MODE_Box?BOX_13" ":"| ");
 +    }
 +    z = azData[i];
 +    if( z==0 ) z = zEmpty;
 +    w = psx->pHaveWidths[j];
 +    if( psx->pSpecWidths[j]<0 ) w = -w;
 +    utf8_width_print(psi->out, w, z);
 +    if( j==nColumn-1 ){
 +      utf8_printf(psi->out, "%s", pbie->rowSep);
 +      if( abRowDiv!=0 && abRowDiv[i/nColumn-1] && i+1<nData ){
 +        if( psi->cMode==MODE_Table ){
 +          print_row_separator(psx, nColumn, "+");
 +        }else if( psi->cMode==MODE_Box ){
 +          print_box_row_separator(psx, nColumn, BOX_123, BOX_1234, BOX_134);
 +        }else if( psi->cMode==MODE_Column ){
 +          raw_printf(psi->out, "\n");
 +        }
 +      }
 +      j = -1;
 +      if( seenInterrupt ){
 +        EH_CM_destruct(pMe);
 +        return SQLITE_INTERRUPT;
 +      }
 +    }else{
 +      utf8_printf(psi->out, "%s", pbie->colSep);
 +    }
 +  }
 +  return SQLITE_DONE;
 +}
 +
 +static int EH_CM_appendResultsOut(ExportHandler *pMe,
 +                                  ShellExState *psx, char **pzErr,
 +                                  sqlite3_stmt *pStmt){
 +  BuiltInCMExporter *pbie = (BuiltInCMExporter*)pMe;
 +  ShellInState *psi = ISS(psx);
 +  sqlite3_int64 nRow = pbie->nRow;
 +  int nColumn = pbie->nCol;
 +  char **azData = (char**)(pbie->pData);
 +  sqlite3_int64 nData = (nRow+1)*nColumn;
 +
 +  if( nRow==0 || nColumn==0 ) return SQLITE_INTERRUPT;
 +
 +  if( psi->cMode==MODE_Table ){
 +    print_row_separator(psx, nColumn, "+");
 +  }else if( psi->cMode==MODE_Box ){
 +    print_box_row_separator(psx, nColumn, BOX_12, BOX_124, BOX_14);
 +  }
 +  EH_CM_destruct(pMe);
 +  return SQLITE_OK;
 +}
 +
 +static int EH_FF_prependResultsOut(ExportHandler *pMe,
 +                                   ShellExState *pSES, char **pzErr,
 +                                   sqlite3_stmt *pStmt){
 +  BuiltInFFExporter *pbie = (BuiltInFFExporter*)pMe;
 +  int nc = sqlite3_column_count(pStmt);
 +  int rc;
 +
 +  pbie->pMethods->destruct(pMe);
 +  if( nc>0 ){
 +    /* allocate space for col name ptr, value ptr, and type */
 +    pbie->pData = sqlite3_malloc64(3*nc*sizeof(const char*) + 1);
 +    if( !pbie->pData ){
 +      shell_out_of_memory();
 +    }else{
 +      ColumnsInfo ci
 +        = { (char **)pbie->pData, &ci.azCols[nc], (int *)&ci.azVals[nc] };
 +      int i;
 +      assert(sizeof(int) <= sizeof(char *));
 +      pbie->nCol = nc;
 +      pbie->colInfo = ci;
 +      /* save off ptrs to column names */
 +      for(i=0; i<nc; i++){
 +        pbie->colInfo.azCols[i] = (char *)sqlite3_column_name(pStmt, i);
 +      }
 +    }
 +    return SQLITE_OK;
 +  }
 +  rc = sqlite3_step(pStmt);
 +  assert(rc!=SQLITE_ROW);
 +  return rc;
 +}
 +
 +static int EH_FF_rowResultsOut(ExportHandler *pMe,
 +                               ShellExState *pSES, char **pzErr,
 +                               sqlite3_stmt *pStmt){
 +  BuiltInFFExporter *pbie = (BuiltInFFExporter*)pMe;
 +  ShellInState *psi = ISS(pSES);
 +  int rc = sqlite3_step(pStmt);
 +  int i, x, nc = pbie->nCol;
 +  if( rc==SQLITE_ROW ){
 +    ColumnsInfo *pc = &pbie->colInfo;
 +    sqlite3_uint64 nr = ++(pbie->nRow);
 +    for( i=0; i<nc; ++i ){
 +      pc->aiTypes[i] = x = sqlite3_column_type(pStmt, i);
 +      if( x==SQLITE_BLOB
 +          && (psi->cMode==MODE_Insert || psi->cMode==MODE_Quote) ){
 +        pc->azVals[i] = "";
 +      }else{
 +        pc->azVals[i] = (char*)sqlite3_column_text(pStmt, i);
 +      }
 +      if( !pc->azVals[i] && (x!=SQLITE_NULL) ){
 +        rc = SQLITE_NOMEM;
 +        break; /* from for */
 +      }
 +    }
 +    /* if data and types extracted successfully... */
 +    if( SQLITE_ROW==rc ){
 +      /* call the supplied callback with the result row data */
 +      if( shell_callback(pSES, nc, pc->azVals, pc->azCols, pc->aiTypes) ){
 +        rc = SQLITE_ABORT;
 +      }
 +    }
 +  }
 +  return rc;
 +}
 +
 +static int EH_FF_appendResultsOut(ExportHandler *pMe,
 +                                  ShellExState *pSES, char **pzErr,
 +                                  sqlite3_stmt *pStmt){
 +  BuiltInFFExporter *pbie = (BuiltInFFExporter*)pMe;
 +  ShellInState *psi = ISS(pSES);
 +  if( psi->cMode==MODE_Json ){
 +    fputs("]\n", psi->out);
 +  }else if( psi->cMode==MODE_Count ){
 +    utf8_printf(psi->out, "%llu row%s\n", pbie->nRow, pbie->nRow!=1 ? "s" : "");
 +  }
 +  EH_FF_destruct(pMe);
 +  return SQLITE_OK;
 +}
 +
 +static void EH_closeResultsOutStream(ExportHandler *pMe,
 +                                     ShellExState *pSES,
 +                                     char **pzErr){
 +  /* The built-in exporters have a predetermined destination which is
 +   * never "closed", so this method has nothing to do. For similar
 +   * reasons, it is not called by the shell.
 +   */
 +  (void)(pMe);
 +  (void)(pSES);
 +  (void)(pzErr);
 +}
 +#endif /* SHELL_DATAIO_EXT */
 +
 +#if SHELL_DYNAMIC_EXTENSION
 +
 +/* Ensure there is room in loaded extension info list for one being loaded.
 + * On exit, psi->ixExtPending can be used to index into psi->pShxLoaded.
 + */
 +static ShExtInfo *pending_ext_info(ShellInState *psi){
 +  int ixpe = psi->ixExtPending;
 +  assert(ixpe!=0);
 +  if( ixpe >= psi->numExtLoaded ){
 +    psi->pShxLoaded = sqlite3_realloc(psi->pShxLoaded,
 +                                      (ixpe+1)*sizeof(ShExtInfo));
 +    shell_check_oom(psi->pShxLoaded);
 +    ++psi->numExtLoaded;
 +    memset(psi->pShxLoaded+ixpe, 0, sizeof(ShExtInfo));
 +  }
 +  return &psi->pShxLoaded[ixpe];
 +}
 +
 +/* Register a dot-command, to be called during extension load/init. */
 +static int register_dot_command(ShellExState *p,
 +                                ExtensionId eid, DotCommand *pMC){
 +  ShellInState *psi = ISS(p);
 +  ShExtInfo *psei = pending_ext_info(psi);
 +  const char *zSql
 +    = "INSERT INTO "SHELL_DISP_TAB"(name, extIx, cmdIx) VALUES(?, ?, ?)";
 +  int ie = psi->ixExtPending;
 +  assert(psi->pShxLoaded!=0 && p->dbShell!=0);
 +  if( pMC==0 ) return SQLITE_ERROR;
 +  else{
 +    const char *zName = pMC->pMethods->name(pMC);
 +    sqlite3_stmt *pStmt;
 +    int nc = psei->numDotCommands;
 +    int rc;
 +    if( psei->extId!=0 && psei->extId!=eid ) return SQLITE_MISUSE;
 +    psei->extId = eid;
 +    rc = sqlite3_prepare_v2(p->dbShell, zSql, -1, &pStmt, 0);
 +    if( rc!=SQLITE_OK ) return rc;
 +    psei->ppDotCommands
 +      = sqlite3_realloc(psei->ppDotCommands, (nc+1)*sizeof(DotCommand *));
 +    shell_check_oom(psei->ppDotCommands);
 +    sqlite3_bind_text(pStmt, 1, zName, -1, 0);
 +    sqlite3_bind_int(pStmt, 2, ie);
 +    sqlite3_bind_int(pStmt, 3, nc);
 +    rc = sqlite3_step(pStmt);
 +    sqlite3_finalize(pStmt);
 +    if( rc==SQLITE_DONE ){
 +      psei->ppDotCommands[nc++] = pMC;
 +      psei->numDotCommands = nc;
 +      notify_subscribers(psi, NK_NewDotCommand, pMC);
 +      if( cli_strcmp("unknown", zName)==0 ){
 +        psi->pUnknown = pMC;
 +        psei->pUnknown = pMC;
 +      }
 +      return SQLITE_OK;
 +    }else{
 +      psei->ppDotCommands[nc] = 0;
 +    }
 +  }
 +  return SQLITE_ERROR;
 +}
 +
 +/* Register an output data display (or other disposition) mode */
 +static int register_exporter(ShellExState *p,
 +                             ExtensionId eid, ExportHandler *pEH){
 +  return SQLITE_ERROR;
 +}
 +
 +/* Register an import variation from (various sources) for .import */
 +static int register_importer(ShellExState *p,
 +                             ExtensionId eid, ImportHandler *pIH){
 +  return SQLITE_ERROR;
 +}
 +
 +/* See registerScripting API in shext_linkage.h */
 +static int register_scripting(ShellExState *p, ExtensionId eid,
 +                              ScriptSupport *pSS){
 +  ShellInState *psi = ISS(p);
 +  if( psi->scriptXid!=0 || psi->script!=0 ){
 +    /* Scripting support already provided. Only one provider is allowed. */
 +    return SQLITE_BUSY;
 +  }
 +  if( eid==0 || pSS==0 || psi->ixExtPending==0 ){
 +    /* Scripting addition allowed only when sqlite3_*_init() runs. */
 +    return SQLITE_MISUSE;
 +  }
 +  psi->script = pSS;
 +  psi->scriptXid = eid;
 +  return SQLITE_OK;
 +}
 +
 +/* See registerAdHocCommand API in shext_linkage.h re detailed behavior.
 + * Depending on zHelp==0, either register or unregister ad-hoc treatment
 + * of zName for this extension (identified by eid.)
 + */
 +static int register_adhoc_command(ShellExState *p, ExtensionId eid,
 +                                  const char *zName, const char *zHelp){
 +  ShellInState *psi = ISS(p);
 +  u8 bRegNotRemove = zHelp!=0;
 +  const char *zSql = bRegNotRemove
 +    ? "INSERT OR REPLACE INTO "SHELL_AHELP_TAB
 +    "(name, extIx, helpText) VALUES(?, ?, ?||?||?)"
 +    : "DELETE FROM "SHELL_AHELP_TAB" WHERE name=? AND extIx=?";
 +  sqlite3_stmt *pStmt;
 +  int rc, ie;
 +
 +  assert(psi->pShxLoaded!=0 && p->dbShell!=0);
 +  for( ie=psi->numExtLoaded-1; ie>0; --ie ){
 +    if( psi->pShxLoaded[ie].extId==eid ) break;
 +  }
 +  if( !zName || ie==0 || psi->pShxLoaded[ie].pUnknown==0 ) return SQLITE_MISUSE;
 +  rc = sqlite3_prepare_v2(p->dbShell, zSql, -1, &pStmt, 0);
 +  if( rc!=SQLITE_OK ) return rc;
 +  sqlite3_bind_text(pStmt, 1, zName, -1, 0);
 +  sqlite3_bind_int(pStmt, 2, ie);
 +  if( bRegNotRemove ){
 +    int nc = strlen30(zHelp);
 +    char cLead = *zHelp;
 +    /* Add leading '.' if no help classifier present. */
 +    const char *zCL = (cLead!='.' && cLead!=',')? "." : "";
 +    /* Add trailing newline if not already there. */
 +    const char *zLE = (nc>0 && zHelp[nc-1]!='\n')? "\n" : "";
 +    sqlite3_bind_text(pStmt, 3, zCL, -1, 0);
 +    sqlite3_bind_text(pStmt, 4, zHelp, -1, 0);
 +    sqlite3_bind_text(pStmt, 5, zLE, -1, 0);
 +  }
 +  rc = sqlite3_step(pStmt);
 +  sqlite3_finalize(pStmt);
 +  return (rc==SQLITE_DONE)? SQLITE_OK : SQLITE_ERROR;
 +}
 +
 +/*
 + * Subscribe to (or unsubscribe from) messages about various changes.
 + * Unsubscribe, effected when nkMin==NK_Unsubscribe, always succeeds.
 + * Return SQLITE_OK on success, or one of these error codes:
 + * SQLITE_ERROR when the nkMin value is unsupported by this host;
 + * SQLITE_NOMEM when a required allocation failed; or
 + * SQLITE_MISUSE when the provided eid or eventHandler is invalid.
 + */
 +static int subscribe_events(ShellExState *p, ExtensionId eid, void *pvUserData,
 +                            NoticeKind nkMin, ShellEventNotify eventHandler){
 +  ShellInState *psi = ISS(p);
 +  struct EventSubscription *pes = psi->pSubscriptions;
 +  struct EventSubscription *pesLim = pes + psi->numSubscriptions;
 +  if( nkMin==NK_Unsubscribe ){
 +    /* unsubscribe (if now subscribed) */
 +    while( pes < pesLim ){
 +      if( (eventHandler==0 || eventHandler==pes->eventHandler)
 +          && (pes->eid==0 || pes->eid==eid)
 +          && (eid!=0 || eventHandler!=0 ||/*for shell use*/ pvUserData==p ) ){
 +        int nLeft = pesLim - pes;
 +        assert(pes->eventHandler!=0);
 +        pes->eventHandler(pes->pvUserData, NK_Unsubscribe, pes->eid, p);
 +        if( nLeft>1 ) memmove(pes, pes+1, (nLeft-1)*sizeof(*pes));
 +        --pesLim;
 +        --psi->numSubscriptions;
 +      }else{
 +        ++pes;
 +      }
 +    }
 +    if( psi->numSubscriptions==0 ){
 +      sqlite3_free(psi->pSubscriptions);
 +      psi->pSubscriptions = 0;
 +    }
 +    return SQLITE_OK;
 +  }else{
 +    /* subscribe only if minimum NoticeKind supported by this host */
 +    if( nkMin > NK_CountOf ) return SQLITE_ERROR;
 +    if( eventHandler==0 || eid==0 ) return SQLITE_MISUSE;
 +    while( pes < pesLim ){
 +      /* Never add duplicate handlers, but may renew their user data. */
 +      if( pes->eid==eid && pes->eventHandler==eventHandler ){
 +        pes->pvUserData = pvUserData;
 +        return SQLITE_OK;
 +      }
 +      ++pes;
 +    }
 +    assert(pes==pesLim);
 +    pes = sqlite3_realloc(psi->pSubscriptions,
 +                          (psi->numSubscriptions+1)*sizeof(*pes));
 +    if( pes==0 ) return SQLITE_NOMEM;
 +    psi->pSubscriptions = pes;
 +    pes += (psi->numSubscriptions++);
 +    pes->eid = eid;
 +    pes->pvUserData = pvUserData;
 +    pes->eventHandler = eventHandler;
 +    return SQLITE_OK;
 +  }
 +}
 +
 +/*
 + * Unsubscribe all event listeners having an ExtensionId > 0. This is
 + * done just prior closing the shell DB (when dynamic extensions will
 + * be unloaded and accessing them in any way is good for a crash.)
 + */
 +static void unsubscribe_extensions(ShellInState *psi){
 +  ShellExState *psx = XSS(psi);
 +  int esix = 0;
 +
 +  if( psi->numExtLoaded<=1 ) return; /* Ignore shell pseudo-extension. */
 +  while( esix<psi->numSubscriptions ){
 +    struct EventSubscription *pes = psi->pSubscriptions+esix;
 +    if( pes->eid > 0 ){
 +      int nsin = psi->numSubscriptions;
 +      subscribe_events(psx, pes->eid, psx, NK_Unsubscribe, 0);
 +      esix = esix + 1 + (psi->numSubscriptions - nsin);
 +    }else ++esix;
 +  }
 +}
 +
 +static struct InSource *currentInputSource(ShellExState *p){
 +  return ISS(p)->pInSource;
 +}
 +
 +static int nowInteractive(ShellExState *p){
 +  return INSOURCE_IS_INTERACTIVE(ISS(p)->pInSource);
 +}
 +
 +static const char *shellInvokedAs(void){
 +  return Argv0;
 +}
 +
 +static const char *shellStartupDir(void){
 +  return startupDir;
 +}
 +
 +static void setColumnWidths(ShellExState *p, char *azWidths[], int nWidths);
 +static DotCommand * findDotCommand(const char *, ShellExState *, int *);
 +static DotCmdRC runDotCommand(DotCommand*, char *[], int na, ShellExState*);
 +
 +static ExtensionHelpers extHelpers = {
 +  13,
 +  {
 +    failIfSafeMode,
 +    utf8_out_printf,
 +    currentInputSource,
 +    strLineGet,
 +    findDotCommand,
 +    runDotCommand,
 +    setColumnWidths,
 +    nowInteractive,
 +    shellInvokedAs,
 +    shellStartupDir,
 +    one_input_line,
 +    free_input_line,
 +    sqlite3_enable_load_extension,
 +    0
 +  }
 +};
 +
 +static ShellExtensionAPI shellExtAPI = {
 +  &extHelpers, 6, {
 +    register_dot_command,
 +    register_exporter,
 +    register_importer,
 +    register_scripting,
 +    subscribe_events,
 +    register_adhoc_command,
 +    0
 +  }
 +};
 +
 +/* This SQL function provides a way for a just-loaded shell extension to
 + * obtain a ShellExtensionLink pointer from the shell core while using
 + * the same sqlite3_load_extension API used for SQLite extensions.
 + *
 + * (It is also useful for debugging a shell extension, as a breakpoint
 + * on it will be hit soon after loading and before real work is done.)
 + */
 +static void shell_linkage(
 +  sqlite3_context *context,
 +  int argc,
 +  sqlite3_value **argv
 +){
 +  int linkKind = 0;
 +  void *pv;
 +  if( argc>0 ){
 +    linkKind = sqlite3_value_int(argv[0]);
 +  }
 +  switch (linkKind){
 +  case 0:
 +    pv = sqlite3_user_data(context);
 +    break;
 +  case 1:
 +    pv = &extHelpers;
 +    break;
 +  case 2:
 +    pv = &shellExtAPI;
 +    break;
 +  default:
 +    pv = 0;
 +  }
 +  if( pv==0 ) sqlite3_result_null(context);
 +  else sqlite3_result_pointer(context, pv, SHELLEXT_API_POINTERS, 0);
 +}
 +
 +/* Do the initialization needed for use of dbShell for command lookup
 + * and dispatch and for I/O handler lookup and dispatch.
 + */
 +static int begin_db_dispatch(ShellExState *psx){
 +  ShellInState *psi = ISS(psx);
 +  sqlite3_stmt *pStmt = 0;
 +  int ic, rc1, rc2;
 +  int rc = 0;
 +  char *zErr = 0;
 +  const char *zSql;
 +  ShExtInfo sei = {0};
 +  /* Consider: Store these dynamic arrays in the DB as indexed-into blobs. */
 +  assert(psx->dbShell==0 || (psi->numExtLoaded==0 && psi->pShxLoaded==0));
 +  rc = ensure_shell_db(psx);
 +  if( rc!=SQLITE_OK ){
 +    utf8_printf(STD_ERR, "Error: Shell DB uncreatable. Best to .quit soon.\n");
 +    return SQLITE_ERROR;
 +  }
 +  if( ensure_dispatch_table(psx)!=SQLITE_OK ) return 1;
 +
 +  psi->pShxLoaded = (ShExtInfo *)sqlite3_malloc(2*sizeof(ShExtInfo));
 +  sei.ppDotCommands
 +    = (DotCommand **)sqlite3_malloc((numCommands+2)*sizeof(DotCommand *));
 +  sei.ppExportHandlers
 +    = (ExportHandler **)sqlite3_malloc(2*sizeof(ExportHandler *));
 +  sei.ppImportHandlers
 +    = (ImportHandler **)sqlite3_malloc(2*sizeof(ImportHandler *));
 +  if( sei.ppDotCommands==0||sei.ppExportHandlers==0||sei.ppImportHandlers==0
 +      || psi->pShxLoaded==0 ){
 +    shell_out_of_memory();
 +  }
 +  sei.numExportHandlers = 0;
 +  sei.numImportHandlers = 0;
 +  for( ic=0; ic<(int)numCommands; ++ic ){
 +    sei.ppDotCommands[ic] = builtInCommand(ic);
 +  }
 +  sei.numDotCommands = ic;
 +  psi->pShxLoaded[psi->numExtLoaded++] = sei;
 +  zSql = "INSERT INTO "SHELL_DISP_TAB"(name, extIx, cmdIx) VALUES(?, 0, ?)";
 +  rc1 = sqlite3_prepare_v2(psx->dbShell, zSql, -1, &pStmt, 0);
 +  rc2 = sqlite3_exec(psx->dbShell, "BEGIN TRANSACTION", 0, 0, &zErr);
 +  if( rc1!=SQLITE_OK || rc2!=SQLITE_OK ) return 1;
 +  assert(sei.numDotCommands>0);
 +  for( ic=0; ic<sei.numDotCommands; ++ic ){
 +    DotCommand *pmc = sei.ppDotCommands[ic];
 +    const char *zName = pmc->pMethods->name(pmc);
 +    sqlite3_reset(pStmt);
 +    sqlite3_bind_text(pStmt, 1, zName, -1, 0);
 +    sqlite3_bind_int(pStmt, 2, ic);
 +    rc = sqlite3_step(pStmt);
 +    if( rc!=SQLITE_DONE ){
 +      sqlite3_exec(psx->dbShell, "ABORT", 0, 0, 0);
 +      break;
 +    }
 +  }
 +  sqlite3_finalize(pStmt);
 +  if( rc!=SQLITE_DONE ) return 1;
 +  rc = sqlite3_exec(psx->dbShell, "COMMIT", 0, 0, &zErr);
 +  sqlite3_enable_load_extension(psx->dbShell, 1);
 +  sqlite3_free(zErr);
 +  psi->bDbDispatch = 1;
 +
 +  return SQLITE_OK;
 +}
 +
 +/* Call one loaded extension's destructors, in reverse order
 + * of their objects' creation, then free the tracking dyna-arrays.
 + */
 +static void free_one_shext_tracking(ShExtInfo *psei){
 +  int j;
 +  if( psei->ppDotCommands!=0 ){
 +    for( j=psei->numDotCommands; j>0; --j ){
 +      DotCommand *pmc = psei->ppDotCommands[j-1];
 +      if( pmc->pMethods->destruct!=0 ) pmc->pMethods->destruct(pmc);
 +    }
 +    sqlite3_free(psei->ppDotCommands);
 +  }
 +  if( psei->ppExportHandlers!=0 ){
 +    for( j=psei->numExportHandlers; j>0; --j ){
 +      ExportHandler *peh = psei->ppExportHandlers[j-1];
 +      if( peh->pMethods->destruct!=0 ) peh->pMethods->destruct(peh);
 +    }
 +    sqlite3_free(psei->ppExportHandlers);
 +  }
 +  if( psei->ppImportHandlers!=0 ){
 +    for( j=psei->numImportHandlers; j>0; --j ){
 +      ImportHandler *pih = psei->ppImportHandlers[j-1];
 +      if( pih->pMethods->destruct!=0 ) pih->pMethods->destruct(pih);
 +    }
 +    sqlite3_free(psei->ppImportHandlers);
 +  }
 +  if( psei->extDtor!=0 ){
 +    psei->extDtor(psei->pvExtObj);
 +  }
 +}
 +
 +/* Call all existent loaded extension destructors, in reverse order of their
 + * objects' creation, except for scripting support which is done last,
 + * then free the tracking dyna-arrays.
 + */
 +static void free_all_shext_tracking(ShellInState *psi){
 +  if( psi->pShxLoaded!=0 ){
 +    int i = psi->numExtLoaded;
 +    while( i>1 ){
 +      ShExtInfo *psei = &psi->pShxLoaded[--i];
 +      free_one_shext_tracking(psei);
 +      if( psi->scriptXid!=0 && psi->scriptXid==psei->extId ){
 +        assert(psi->script!=0);
 +        if (psi->script->pMethods->destruct){
 +          psi->script->pMethods->destruct(psi->script);
 +        }
 +        psi->script = 0;
 +        psi->scriptXid = 0;
 +      }
 +    }
 +    sqlite3_free(psi->pShxLoaded);
 +    psi->pShxLoaded = 0;
 +    psi->numExtLoaded = 0;
 +  }
 +}
 +
 +static DotCommand *command_by_index(ShellInState *psi, int extIx, int cmdIx){
 +  assert(extIx>=0);
 +  if( extIx>=0 && extIx<psi->numExtLoaded ){
 +    ShExtInfo *psei = & psi->pShxLoaded[extIx];
 +    if( cmdIx>=0 && cmdIx<psei->numDotCommands ){
 +      return psei->ppDotCommands[cmdIx];
 +    }
 +  }
 +  return 0;
 +}
 +
 +static int load_shell_extension(ShellExState *psx, const char *zFile,
 +                                const char *zProc, char **pzErr,
 +                                int nLoadArgs, char **azLoadArgs){
 +  ShellExtensionLink shxLink = {
 +    sizeof(ShellExtensionLink),
 +    &shellExtAPI,
 +    psx, /* pSXS */
 +    0,   /* zErrMsg */
 +    0,   /* ExtensionId */
 +    0,   /* Extension destructor */
 +    0,   /* Extension data ref */
 +    nLoadArgs, azLoadArgs /* like-named members */
 +  }; //extDtor(pvExtObj)
 +  ShellInState *psi = ISS(psx);
 +  /* save script support state for possible fallback if load fails */
 +  ScriptSupport *pssSave = psi->script;
 +  ExtensionId ssiSave = psi->scriptXid;
 +  int rc;
 +
 +  if( pzErr ) *pzErr = 0;
 +  if( psx->dbShell==0 || ISS(psx)->numExtLoaded==0 ){
 +    rc = begin_db_dispatch(psx);
 +    if( rc!=SQLITE_OK ) return rc;
 +    assert(ISS(psx)->numExtLoaded==1 && psx->dbShell!=0);
 +  }
 +  psi->ixExtPending = psi->numExtLoaded;
 +  sqlite3_create_function(psx->dbShell, "shext_pointer", 1,
 +                          SQLITE_DIRECTONLY|SQLITE_UTF8,
 +                          &shxLink, shell_linkage, 0, 0);
 +  rc = sqlite3_load_extension(psx->dbShell, zFile, zProc, &shxLink.zErrMsg);
 +  sqlite3_create_function(psx->dbShell, "shext_pointer", 1,
 +                          SQLITE_DIRECTONLY|SQLITE_UTF8,
 +                          0, 0, 0, 0); /* deregister */
 +  if( pzErr!=0 ) *pzErr = shxLink.zErrMsg;
 +  if( rc==SQLITE_OK ){
 +    /* Keep extension's id and destructor for later disposal. */
 +    ShExtInfo *psei = pending_ext_info(psi);
 +    if( psei->extId!=0 && psei->extId!=shxLink.eid ) rc = SQLITE_MISUSE;
 +    psei->extId = shxLink.eid;
 +    psei->extDtor = shxLink.extensionDestruct;
 +    psei->pvExtObj = shxLink.pvExtensionObject;
 +  }else{
 +    /* Release all resources extension might have registered before failing. */
 +    if( psi->ixExtPending < psi->numExtLoaded ){
 +      free_one_shext_tracking(psi->pShxLoaded+psi->ixExtPending);
 +      --psi->numExtLoaded;
 +    }
 +    /* And make it unwind any scripting linkage it might have setup. */
 +    if( psi->script!=0 ) psi->script->pMethods->destruct(psi->script);
 +    psi->script = pssSave;
 +    psi->scriptXid = ssiSave;
 +  }
 +  psi->ixExtPending = 0;
 +  if( rc!=SQLITE_OK ){
 +    if( rc==SQLITE_MISUSE && pzErr!=0 ){
 +      *pzErr = sqlite3_mprintf("extension id mismatch %z\n", *pzErr);
 +    }
 +    rc = SQLITE_ERROR;
 +  }
 +  return rc;
 +}
 +#endif
 +
 +/* Dot-command implementation functions are defined in this section.
 +COMMENT  Define dot-commands and provide for their dispatch and .help text.
 +COMMENT  These should be kept in command name order for coding convenience
 +COMMENT  except where dot-commands share implementation. (The ordering
 +COMMENT  required for dispatch and help text is effected regardless.) The
 +COMMENT  effect of this configuration can be seen in generated output or by
 +COMMENT  executing tool/mkshellc.tcl --parameters (or --details or --help).
 +COMMENT  Generally, this section defines dispatchable functions inline and
 +COMMENT  causes collection of command_table entry initializers, to be later
 +COMMENT  emitted by a mkshellc macro. (See EMIT_DOTCMD_INIT further on.)
 +** All dispatchable dot-command execute functions have this signature:
 +static int someCommand(char *azArg[], int nArg, ShellExState *p, char **pzErr);
 +*/
 +DISPATCH_CONFIG[
 +  RETURN_TYPE=DotCmdRC
 +  STORAGE_CLASS=static
 +  ARGS_SIGNATURE=char *$arg4\[\], int $arg5, ShellExState *$arg6, char **$arg7
 +  DISPATCH_ENTRY={ "$cmd", ${cmd}Command, $arg1, $arg2, $arg3 },
 +  DOTCMD_INIT={ DOT_CMD_INFO(${cmd}, $arg1,$arg2,$arg3), {<HT0>, <HT1>}, 0 },
 +  CMD_CAPTURE_RE=^\s*{\s*"(\w+)"
 +  DISPATCHEE_NAME=${cmd}Command
 +  DC_ARG1_DEFAULT=[string length $cmd]
 +  DC_ARG2_DEFAULT=0
 +  DC_ARG3_DEFAULT=0
 +  DC_ARG4_DEFAULT=azArg
 +  DC_ARG5_DEFAULT=nArg
 +  DC_ARG6_DEFAULT=p
 +  DC_ARG7_DEFAULT=pzErr
 +  DC_ARG_COUNT=8
 +];
 +
 +CONDITION_COMMAND(seeargs !defined(SHELL_OMIT_SEEARGS));
 +/*****************
 + * The .seeargs command
 + */
 +COLLECT_HELP_TEXT[
 +  ",seeargs                 Echo arguments suffixed with |",
 +];
 +DISPATCHABLE_COMMAND( seeargs ? 0 0 azArg nArg p ){
 +  int ia = 0;
 +  for (ia=1; ia<nArg; ++ia)
 +    raw_printf(ISS(p)->out, "%s%s", azArg[ia], (ia==nArg-1)? "|\n" : "|");
 +  return DCR_Ok;
 +}
 +
- /* Future: Make macro processor accept newline escapes to shorten this. */
- CONDITION_COMMAND(archive !defined(SQLITE_OMIT_VIRTUALTABLE) && defined(SQLITE_HAVE_ZLIB) && !defined(SQLITE_SHELL_FIDDLE));
++#if !defined(SQLITE_OMIT_VIRTUALTABLE) && defined(SQLITE_HAVE_ZLIB)
++# define ARCHIVE_ENABLE 1
++#else
++# define ARCHIVE_ENABLE 0
++#endif
++
++CONDITION_COMMAND(archive ARCHIVE_ENABLE && !defined(SQLITE_SHELL_FIDDLE));
 +/*****************
 + * The .archive command
 + */
 +COLLECT_HELP_TEXT[
 +  ".archive ...             Manage SQL archives",
 +  "   Each command must have exactly one of the following options:",
 +  "     -c, --create               Create a new archive",
 +  "     -u, --update               Add or update files with changed mtime",
 +  "     -i, --insert               Like -u but always add even if unchanged",
 +  "     -r, --remove               Remove files from archive",
 +  "     -t, --list                 List contents of archive",
 +  "     -x, --extract              Extract files from archive",
 +  "   Optional arguments:",
 +  "     -v, --verbose              Print each filename as it is processed",
 +  "     -f FILE, --file FILE       Use archive FILE (default is current db)",
 +  "     -a FILE, --append FILE     Open FILE using the apndvfs VFS",
 +  "     -C DIR, --directory DIR    Read/extract files from directory DIR",
 +  "     -g, --glob                 Use glob matching for names in archive",
 +  "     -n, --dryrun               Show the SQL that would have occurred",
 +  "   Examples:",
 +  "     .ar -cf ARCHIVE foo bar  # Create ARCHIVE from files foo and bar",
 +  "     .ar -tf ARCHIVE          # List members of ARCHIVE",
 +  "     .ar -xvf ARCHIVE         # Verbosely extract files from ARCHIVE",
 +  "   See also:",
 +  "      http://sqlite.org/cli.html#sqlite_archive_support",
 +];
 +DISPATCHABLE_COMMAND( archive ? 0 0 azArg nArg p ){
 +  open_db(p, 0);
 +  if( ISS(p)->bSafeMode ) return DCR_AbortError;
 +  return arDotCommand(p, 0, azArg, nArg);
 +}
 +
 +/*****************
 + * The .auth command
 + */
 +CONDITION_COMMAND(auth !defined(SQLITE_OMIT_AUTHORIZATION));
 +COLLECT_HELP_TEXT[
 +  ".auth ON|OFF             Show authorizer callbacks",
 +];
 +DISPATCHABLE_COMMAND( auth 3 2 2 azArg nArg p ){
 +  open_db(p, 0);
 +  if( booleanValue(azArg[1]) ){
 +    sqlite3_set_authorizer(DBX(p), shellAuth, p);
 +  }else if( ISS(p)->bSafeModeFuture ){
 +    sqlite3_set_authorizer(DBX(p), safeModeAuth, p);
 +  }else{
 +    sqlite3_set_authorizer(DBX(p), 0, 0);
 +  }
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .backup and .save commands (aliases for each other)
 + * These defer to writeDb in the dispatch table, so are not here.
 + */
 +CONDITION_COMMAND(backup !defined(SQLITE_SHELL_FIDDLE));
 +CONDITION_COMMAND(save !defined(SQLITE_SHELL_FIDDLE) );
 +COLLECT_HELP_TEXT[
 +  ".backup ?DB? FILE        Backup DB (default \"main\") to FILE",
 +  "   Options:",
 +  "     --append               Use the appendvfs",
 +  "     --async                Write the FILE without journal and fsync()",
 +  ".save ?DB? FILE          Write DB (default \"main\") to FILE",
 +  "   Options:",
 +  "     --append               Use the appendvfs",
 +  "     --async                Write the FILE without journal and fsync()",
 +];
 +DISPATCHABLE_COMMAND( backup 4 2 5 ){
 +  return writeDb( azArg, nArg, p, pzErr);
 +}
 +DISPATCHABLE_COMMAND( save 3 2 5 ){
 +  return writeDb( azArg, nArg, p, pzErr);
 +}
 +
 +/*****************
 + * The .bail command
 + */
 +COLLECT_HELP_TEXT[
 +  ".bail on|off             Stop after hitting an error.  Default OFF",
 +];
 +DISPATCHABLE_COMMAND( bail 3 2 2 ){
 +  bail_on_error = booleanValue(azArg[1]);
 +  return DCR_Ok;
 +}
 +
 +CONDITION_COMMAND(cd !defined(SQLITE_SHELL_FIDDLE));
 +/*****************
 + * The .binary and .cd commands
 + */
 +COLLECT_HELP_TEXT[
 +  ".binary on|off           Turn binary output on or off.  Default OFF",
 +  ".cd DIRECTORY            Change the working directory to DIRECTORY",
 +];
 +DISPATCHABLE_COMMAND( binary 3 2 2 ){
 +  if( booleanValue(azArg[1]) ){
 +    setBinaryMode(ISS(p)->out, 1);
 +  }else{
 +    setTextMode(ISS(p)->out, 1);
 +  }
 +  return DCR_Ok;
 +}
 +
 +DISPATCHABLE_COMMAND( cd ? 2 2 ){
 +  int rc=0;
 +  if( ISS(p)->bSafeMode ) return DCR_AbortError;
 +#if defined(_WIN32) || defined(WIN32)
 +  wchar_t *z = sqlite3_win32_utf8_to_unicode(azArg[1]);
 +  rc = !SetCurrentDirectoryW(z);
 +  sqlite3_free(z);
 +#else
 +  rc = chdir(azArg[1]);
 +#endif
 +  if( rc ){
 +    utf8_printf(STD_ERR, "Cannot change to directory \"%s\"\n", azArg[1]);
 +    rc = 1;
 +  }
 +  return DCR_Ok|rc;
 +}
 +
 +/* The ".breakpoint" command causes a call to the no-op routine named
 + * test_breakpoint(). It is undocumented.
 +*/
 +COLLECT_HELP_TEXT[
 +  ",breakpoint              calls test_breakpoint(). (a debugging aid)",
 +];
 +DISPATCHABLE_COMMAND( breakpoint 3 1 1 ){
 +  test_breakpoint();
 +  return DCR_Ok;
 +}
 +
 +CONDITION_COMMAND(check !defined(SQLITE_SHELL_FIDDLE));
 +CONDITION_COMMAND(clone !defined(SQLITE_SHELL_FIDDLE));
 +/*****************
 + * The .changes, .check, .clone and .connection commands
 + */
 +COLLECT_HELP_TEXT[
 +  ".changes on|off          Show number of rows changed by SQL",
 +  ",check GLOB              Fail if output since .testcase does not match",
 +  ".clone NEWDB             Clone data into NEWDB from the existing database",
 +  ".connection [close] [#]  Open or close an auxiliary database connection",
 +];
 +DISPATCHABLE_COMMAND( changes 3 2 2 ){
 +  setOrClearFlag(p, SHFLG_CountChanges, azArg[1]);
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( check 3 0 0 ){
 +  /* Cancel output redirection, if it is currently set (by .testcase)
 +  ** Then read the content of the testcase-out.txt file and compare against
 +  ** azArg[1].  If there are differences, report an error and exit.
 +  */
 +  char *zRes = 0;
 +  DotCmdRC rv = DCR_Ok;
 +  output_reset(ISS(p));
 +  if( nArg!=2 ){
 +    return DCR_ArgWrong;
 +  }else if( (zRes = readFile("testcase-out.txt", 0))==0 ){
 +    *pzErr = smprintf("Error: cannot read 'testcase-out.txt'\n");
 +    rv = DCR_Return;
 +  }else if( testcase_glob(azArg[1],zRes)==0 ){
 +    *pzErr =
 +      smprintf("testcase-%s FAILED\n Expected: [%s]\n      Got: [%s]\n",
 +               ISS(p)->zTestcase, azArg[1], zRes);
 +    rv = DCR_Error;
 +  }else{
 +    utf8_printf(STD_OUT, "testcase-%s ok\n", ISS(p)->zTestcase);
 +    ISS(p)->nCheck++;
 +  }
 +  sqlite3_free(zRes);
 +  return (zRes==0)? DCR_Abort : rv;
 +}
 +DISPATCHABLE_COMMAND( clone ? 2 2 ){
 +  if( ISS(p)->bSafeMode ) return DCR_AbortError;
 +  tryToClone(p, azArg[1]);
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( connection ? 1 4 ){
 +  ShellInState *psi = ISS(p);
 +  if( nArg==1 ){
 +    /* List available connections */
 +    int i;
 +    for(i=0; i<ArraySize(psi->aAuxDb); i++){
 +      const char *zFile = psi->aAuxDb[i].zDbFilename;
 +      if( psi->aAuxDb[i].db==0 && psi->pAuxDb!=&psi->aAuxDb[i] ){
 +        zFile = "(not open)";
 +      }else if( zFile==0 ){
 +        zFile = "(memory)";
 +      }else if( zFile[0]==0 ){
 +        zFile = "(temporary-file)";
 +      }
 +      if( psi->pAuxDb == &psi->aAuxDb[i] ){
 +        utf8_printf(STD_OUT, "ACTIVE %d: %s\n", i, zFile);
 +      }else if( psi->aAuxDb[i].db!=0 ){
 +        utf8_printf(STD_OUT, "       %d: %s\n", i, zFile);
 +      }
 +    }
 +  }else if( nArg==2 && IsDigit(azArg[1][0]) && azArg[1][1]==0 ){
 +    int i = azArg[1][0] - '0';
 +    if( psi->pAuxDb != &psi->aAuxDb[i] && i>=0 && i<ArraySize(psi->aAuxDb) ){
 +      psi->pAuxDb->db = DBI(psi);
 +      psi->pAuxDb = &psi->aAuxDb[i];
 +#if SHELL_DYNAMIC_EXTENSION
 +      if( DBI(psi)!=0 ) notify_subscribers(psi, NK_DbUserVanishing, DBI(psi));
 +#endif
 +      globalDb = DBI(psi) = psi->pAuxDb->db;
 +#if SHELL_DYNAMIC_EXTENSION
 +      if( DBI(psi)!=0 ) notify_subscribers(psi, NK_DbUserAppeared, DBI(psi));
 +#endif
 +      psi->pAuxDb->db = 0;
 +    }
 +  }else if( nArg==3 && cli_strcmp(azArg[1], "close")==0
 +            && IsDigit(azArg[2][0]) && azArg[2][1]==0 ){
 +    int i = azArg[2][0] - '0';
 +    if( i<0 || i>=ArraySize(psi->aAuxDb) ){
 +      /* No-op */
 +    }else if( psi->pAuxDb == &psi->aAuxDb[i] ){
 +      raw_printf(STD_ERR, "cannot close the active database connection\n");
 +      return DCR_Error;
 +    }else if( psi->aAuxDb[i].db ){
 +      session_close_all(psi, i);
 +      close_db(psi->aAuxDb[i].db);
 +      psi->aAuxDb[i].db = 0;
 +    }
 +  }else{
 +    return DCR_ArgWrong;
 +  }
 +  return DCR_Ok;
 +}
 +
 +CONDITION_COMMAND(dbinfo SQLITE_SHELL_HAVE_RECOVER);
 +/*****************
 + * The .databases, .dbconfig and .dbinfo commands
 + */
 +COLLECT_HELP_TEXT[
 +  ".databases               List names and files of attached databases",
 +  ".dbconfig ?op? ?val?     List or change sqlite3_db_config() options",
 +  ".dbinfo ?DB?             Show status information about the database",
 +];
 +/* Allow garbage arguments on this, to be ignored. */
 +DISPATCHABLE_COMMAND( databases 2 1 0 ){
 +  int rc;
 +  char **azName = 0;
 +  int nName = 0;
 +  sqlite3_stmt *pStmt;
 +  sqlite3 *db;
 +  int i;
 +  open_db(p, 0);
 +  db = DBX(p);
 +  rc = sqlite3_prepare_v2(db, "PRAGMA database_list", -1, &pStmt, 0);
 +  if( rc ){
 +    *pzErr = smprintf("%s\n", sqlite3_errmsg(db));
 +    rc = 1;
 +  }else{
 +    while( sqlite3_step(pStmt)==SQLITE_ROW ){
 +      const char *zSchema = (const char *)sqlite3_column_text(pStmt,1);
 +      const char *zFile = (const char*)sqlite3_column_text(pStmt,2);
 +      if( zSchema==0 || zFile==0 ) continue;
 +      azName = sqlite3_realloc(azName, (nName+1)*2*sizeof(char*));
 +      shell_check_oom(azName);
 +      azName[nName*2] = strdup(zSchema);
 +      shell_check_oom(azName[nName*2]);
 +      azName[nName*2+1] = strdup(zFile);
 +      shell_check_oom(azName[nName*2+1]);
 +      nName++;
 +    }
 +  }
 +  sqlite3_finalize(pStmt);
 +  for(i=0; i<nName; i++){
 +    int eTxn = sqlite3_txn_state(db, azName[i*2]);
 +    int bRdonly = sqlite3_db_readonly(db, azName[i*2]);
 +    const char *z = azName[i*2+1];
 +    utf8_printf(ISS(p)->out, "%s: %s %s%s\n",
 +                azName[i*2],
 +                z && z[0] ? z : "\"\"",
 +                bRdonly ? "r/o" : "r/w",
 +                eTxn==SQLITE_TXN_NONE ? "" :
 +                eTxn==SQLITE_TXN_READ ? " read-txn" : " write-txn");
 +    free(azName[i*2]);
 +    free(azName[i*2+1]);
 +  }
 +  sqlite3_free(azName);
 +  return DCR_Ok|(rc!=0);
 +}
 +DISPATCHABLE_COMMAND( dbconfig 3 1 3 ){
 +  static const struct DbConfigChoices {
 +    const char *zName;
 +    int op;
 +  } aDbConfig[] = {
 +    { "defensive",          SQLITE_DBCONFIG_DEFENSIVE             },
 +    { "dqs_ddl",            SQLITE_DBCONFIG_DQS_DDL               },
 +    { "dqs_dml",            SQLITE_DBCONFIG_DQS_DML               },
 +    { "enable_fkey",        SQLITE_DBCONFIG_ENABLE_FKEY           },
 +    { "enable_qpsg",        SQLITE_DBCONFIG_ENABLE_QPSG           },
 +    { "enable_trigger",     SQLITE_DBCONFIG_ENABLE_TRIGGER        },
 +    { "enable_view",        SQLITE_DBCONFIG_ENABLE_VIEW           },
 +    { "fts3_tokenizer",     SQLITE_DBCONFIG_ENABLE_FTS3_TOKENIZER },
 +    { "legacy_alter_table", SQLITE_DBCONFIG_LEGACY_ALTER_TABLE    },
 +    { "legacy_file_format", SQLITE_DBCONFIG_LEGACY_FILE_FORMAT    },
 +    { "load_extension",     SQLITE_DBCONFIG_ENABLE_LOAD_EXTENSION },
 +    { "no_ckpt_on_close",   SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE      },
 +    { "reset_database",     SQLITE_DBCONFIG_RESET_DATABASE        },
 +    { "reverse_scanorder",  SQLITE_DBCONFIG_REVERSE_SCANORDER     },
 +    { "stmt_scanstatus",    SQLITE_DBCONFIG_STMT_SCANSTATUS       },
 +    { "trigger_eqp",        SQLITE_DBCONFIG_TRIGGER_EQP           },
 +    { "trusted_schema",     SQLITE_DBCONFIG_TRUSTED_SCHEMA        },
 +    { "writable_schema",    SQLITE_DBCONFIG_WRITABLE_SCHEMA       },
 +  };
 +  int ii, v;
 +  open_db(p, 0);
 +  for(ii=0; ii<ArraySize(aDbConfig); ii++){
 +    if( nArg>1 && cli_strcmp(azArg[1], aDbConfig[ii].zName)!=0 ) continue;
 +    if( nArg>=3 ){
 +      sqlite3_db_config(DBX(p), aDbConfig[ii].op, booleanValue(azArg[2]), 0);
 +    }
 +    sqlite3_db_config(DBX(p), aDbConfig[ii].op, -1, &v);
 +    utf8_printf(ISS(p)->out, "%19s %s\n",
 +                aDbConfig[ii].zName, v ? "on" : "off");
 +    if( nArg>1 ) break;
 +  }
 +  if( nArg>1 && ii==ArraySize(aDbConfig) ){
 +    *pzErr = smprintf("Error: unknown dbconfig \"%s\"\n"
 +                      "Enter \".dbconfig\" with no arguments for a list\n",
 +                      azArg[1]);
 +    return DCR_ArgWrong;
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( dbinfo 3 1 2 ){
 +  return shell_dbinfo_command(p, nArg, azArg);
 +}
 +
 +/*****************
 + * The .dump, .echo and .eqp commands
 + */
 +COLLECT_HELP_TEXT[
 +  ".dump ?OBJECTS?          Render database content as SQL",
 +  "   Options:",
 +  "     --data-only            Output only INSERT statements",
 +  "     --newlines             Allow unescaped newline characters in output",
 +  "     --nosys                Omit system tables (ex: \"sqlite_stat1\")",
 +  "     --preserve-rowids      Include ROWID values in the output",
 +  "     --schema SCHEMA        Dump table(s) from given SCHEMA",
 +  "   OBJECTS is a LIKE pattern for tables, indexes, triggers or views to dump",
 +  "   Additional LIKE patterns can be given in subsequent arguments",
 +  ".echo on|off             Turn command echo on or off",
 +  ".eqp on|off|full|...     Enable or disable automatic EXPLAIN QUERY PLAN",
 +  "   Other Modes:",
 +#ifdef SQLITE_DEBUG
 +  "      test                  Show raw EXPLAIN QUERY PLAN output",
 +  "      trace                 Like \"full\" but enable \"PRAGMA vdbe_trace\"",
 +#endif
 +  "      trigger               Like \"full\" but also show trigger bytecode",
 +];
 +DISPATCHABLE_COMMAND( dump ? 1 2 ){
 +  ShellInState *psi = ISS(p);
 +  char *zLike = 0;
 +  char *zSchema = "main";
 +  char *zSql;
 +  int i;
 +  int savedShowHeader = psi->showHeader;
 +  int savedShellFlags = psi->shellFlgs;
 +  ShellClearFlag(p,
 +     SHFLG_PreserveRowid|SHFLG_Newlines|SHFLG_Echo
 +     |SHFLG_DumpDataOnly|SHFLG_DumpNoSys);
 +  for(i=1; i<nArg; i++){
 +    if( azArg[i][0]=='-' ){
 +      const char *z = azArg[i]+1;
 +      if( z[0]=='-' ) z++;
 +      if( cli_strcmp(z,"preserve-rowids")==0 ){
 +#ifdef SQLITE_OMIT_VIRTUALTABLE
 +        *pzErr = smprintf("The --preserve-rowids option is not compatible"
 +                          " with SQLITE_OMIT_VIRTUALTABLE\n");
 +        sqlite3_free(zLike);
 +        return DCR_ArgWrong;
 +#else
 +        ShellSetFlag(p, SHFLG_PreserveRowid);
 +#endif
 +      }else{
 +        if( cli_strcmp(z,"newlines")==0 ){
 +          ShellSetFlag(p, SHFLG_Newlines);
 +        }else if( cli_strcmp(z,"data-only")==0 ){
 +          ShellSetFlag(p, SHFLG_DumpDataOnly);
 +        }else if( cli_strcmp(z,"nosys")==0 ){
 +          ShellSetFlag(p, SHFLG_DumpNoSys);
 +        }else if( cli_strcmp(z,"schema")==0 && ++i<nArg ){
 +          zSchema = azArg[i];
 +        }else{
 +          *pzErr = smprintf("Unknown option \"%s\" on \".dump\"\n", azArg[i]);
 +          sqlite3_free(zLike);
 +          return DCR_ArgWrong;
 +        }
 +      }
 +    }else{
 +      /* azArg[i] contains a LIKE pattern. This ".dump" request should
 +      ** only dump data for tables for which either the table name matches
 +      ** the LIKE pattern, or the table appears to be a shadow table of
 +      ** a virtual table for which the name matches the LIKE pattern.
 +      */
 +      char *zExpr = smprintf(
 +                    "name LIKE %Q ESCAPE '\\' OR EXISTS ("
 +                    "  SELECT 1 FROM %w.sqlite_schema WHERE "
 +                    "    name LIKE %Q ESCAPE '\\' AND"
 +                    "    sql LIKE 'CREATE VIRTUAL TABLE%%' AND"
 +                    "    substr(o.name, 1, length(name)+1) == (name||'_')"
 +                    ")", azArg[i], zSchema, azArg[i]
 +                    );
 +
 +      if( zLike ){
 +        zLike = smprintf("%z OR %z", zLike, zExpr);
 +      }else{
 +        zLike = zExpr;
 +      }
 +    }
 +  }
 +
 +  open_db(p, 0);
 +
 +  if( (psi->shellFlgs & SHFLG_DumpDataOnly)==0 ){
 +    /* When playing back a "dump", the content might appear in an order
 +    ** which causes immediate foreign key constraints to be violated.
 +    ** So disable foreign-key constraint enforcement to prevent problems. */
 +    raw_printf(psi->out, "PRAGMA foreign_keys=OFF;\n");
 +    raw_printf(psi->out, "BEGIN TRANSACTION;\n");
 +  }
 +  psi->writableSchema = 0;
 +  psi->showHeader = 0;
 +  /* Set writable_schema=ON since doing so forces SQLite to initialize
 +  ** as much of the schema as it can even if the sqlite_schema table is
 +  ** corrupt. */
 +  sqlite3_exec(DBX(p), "SAVEPOINT dump; PRAGMA writable_schema=ON", 0, 0, 0);
 +  psi->nErr = 0;
 +  if( zLike==0 ) zLike = smprintf("true");
 +  zSql = smprintf("SELECT name, type, sql FROM %w.sqlite_schema AS o "
 +                  "WHERE (%s) AND type=='table' AND sql NOT NULL"
 +                  " ORDER BY tbl_name='sqlite_sequence', rowid",
 +                  zSchema, zLike);
 +  run_schema_dump_query(psi,zSql);
 +  sqlite3_free(zSql);
 +  if( (psi->shellFlgs & SHFLG_DumpDataOnly)==0 ){
 +    zSql = smprintf(
 +             "SELECT sql FROM sqlite_schema AS o "
 +             "WHERE (%s) AND sql NOT NULL"
 +             "  AND type IN ('index','trigger','view')",
 +             zLike
 +           );
 +    run_table_dump_query(psi, zSql);
 +    sqlite3_free(zSql);
 +  }
 +  sqlite3_free(zLike);
 +  if( psi->writableSchema ){
 +    raw_printf(psi->out, "PRAGMA writable_schema=OFF;\n");
 +    psi->writableSchema = 0;
 +  }
 +  sqlite3_exec(DBX(p), "PRAGMA writable_schema=OFF;", 0, 0, 0);
 +  sqlite3_exec(DBX(p), "RELEASE dump;", 0, 0, 0);
 +  if( (psi->shellFlgs & SHFLG_DumpDataOnly)==0 ){
 +    raw_printf(psi->out, psi->nErr?"ROLLBACK; -- due to errors\n":"COMMIT;\n");
 +  }
 +  psi->showHeader = savedShowHeader;
 +  psi->shellFlgs = savedShellFlags;
 +
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( echo ? 2 2 ){
 +  setOrClearFlag(p, SHFLG_Echo, azArg[1]);
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( eqp ? 0 0 ){
 +  ShellInState *psi = ISS(p);
 +  if( nArg==2 ){
 +    psi->autoEQPtest = 0;
 +    if( psi->autoEQPtrace ){
 +      if( DBX(p) ) sqlite3_exec(DBX(p), "PRAGMA vdbe_trace=OFF;", 0, 0, 0);
 +      psi->autoEQPtrace = 0;
 +    }
 +    if( cli_strcmp(azArg[1],"full")==0 ){
 +      psi->autoEQP = AUTOEQP_full;
 +    }else if( cli_strcmp(azArg[1],"trigger")==0 ){
 +      psi->autoEQP = AUTOEQP_trigger;
 +#ifdef SQLITE_DEBUG
 +    }else if( cli_strcmp(azArg[1],"test")==0 ){
 +      psi->autoEQP = AUTOEQP_on;
 +      psi->autoEQPtest = 1;
 +    }else if( cli_strcmp(azArg[1],"trace")==0 ){
 +      psi->autoEQP = AUTOEQP_full;
 +      psi->autoEQPtrace = 1;
 +      open_db(p, 0);
 +      sqlite3_exec(DBX(p), "SELECT name FROM sqlite_schema LIMIT 1", 0, 0, 0);
 +      sqlite3_exec(DBX(p), "PRAGMA vdbe_trace=ON;", 0, 0, 0);
 +#endif
 +    }else{
 +      psi->autoEQP = (u8)booleanValue(azArg[1]);
 +    }
 +  }else{
 +    return DCR_ArgWrong;
 +  }
 +  return DCR_Ok;
 +}
 +
 +CONDITION_COMMAND(cease !defined(SQLITE_SHELL_FIDDLE));
 +CONDITION_COMMAND(exit !defined(SQLITE_SHELL_FIDDLE));
 +CONDITION_COMMAND(quit !defined(SQLITE_SHELL_FIDDLE));
 +/*****************
 + * The .cease, .exit and .quit commands
 + * These are together so that their differing effects are apparent.
 + */
 +CONDITION_COMMAND(cease defined(SHELL_CEASE));
 +COLLECT_HELP_TEXT[
 +  ".cease ?CODE?            Cease shell operation, with optional return code",
 +  "   Return code defaults to 0, otherwise is limited to non-signal values",
 +  ".exit ?CODE?             Exit shell program, maybe with return-code CODE",
 +  "   Exit immediately if CODE != 0, else functions as \"quit this input\"",
 +  ".quit                    Stop interpreting input stream, exit if primary.",
 +];
 +DISPATCHABLE_COMMAND( cease 4 1 2 ){
 +  /* .cease effects an exit, always. Only the exit code is variable. */
 +  int rc = 0;
 +  if( nArg>1 ){
 +    rc = (int)integerValue(azArg[1]);
 +    if( rc>0x7f ) rc = 0x7f;
 +  }
 +  p->shellAbruptExit = 0x100|rc;
 +  return DCR_Exit;
 +}
 +DISPATCHABLE_COMMAND( exit 3 1 0 ){
 +  /* .exit acts like .quit with no argument or a zero argument,
 +   * only returning. With a non-zero argument, it effects an exit. */
 +  int rc;
 +  if( nArg>1 && (rc = (int)integerValue(azArg[1]))!=0 ){
 +    rc &= 0xff;    /* Mimic effect of legacy call to exit(). */
 +    p->shellAbruptExit = 0x100|rc;
 +  }
 +  return DCR_Return;
 +}
 +DISPATCHABLE_COMMAND( quit 1 1 0 ){
 +  /* .quit would be more aptly named .return, as it does nothing more. */
 +  return DCR_Return;
 +}
 +
 +/*****************
 + * The .expert and .explain commands
 + */
 +CONDITION_COMMAND( expert !defined(SQLITE_OMIT_VIRTUALTABLE) );
 +COLLECT_HELP_TEXT[
 +  ".expert                  Suggest indexes for queries",
 +  ".explain ?on|off|auto?   Change the EXPLAIN formatting mode. Default: auto",
 +];
 +DISPATCHABLE_COMMAND( expert ? 1 1 ){
 +  ShellInState *psi = ISS(p);
 +  int rv = DCR_Ok;
 +  char *zErr = 0;
 +  int i;
 +  int iSample = 0;
 +
 +  if( psi->bSafeMode ) return DCR_AbortError;
 +  assert( psi->expert.pExpert==0 );
 +  memset(&psi->expert, 0, sizeof(ExpertInfo));
 +
 +  open_db(p, 0);
 +
 +  for(i=1; i<nArg; i++){
 +    char *z = azArg[i];
 +    int n;
 +    if( z[0]=='-' && z[1]=='-' ) z++;
 +    n = strlen30(z);
 +    if( n>=2 && 0==cli_strncmp(z, "-verbose", n) ){
 +      psi->expert.bVerbose = 1;
 +    }
 +    else if( n>=2 && 0==cli_strncmp(z, "-sample", n) ){
 +      if( i==(nArg-1) ){
 +        return DCR_Unpaired|i;
 +      }else{
 +        iSample = (int)integerValue(azArg[++i]);
 +        if( iSample<0 || iSample>100 ){
 +          *pzErr = smprintf("value out of range: %s\n", azArg[i]);
 +          return DCR_ArgWrong|i;
 +        }
 +      }
 +    }
 +    else{
 +      return DCR_Unknown|i;
 +    }
 +  }
 +
 +  psi->expert.pExpert = sqlite3_expert_new(DBI(psi), &zErr);
 +  if( psi->expert.pExpert==0 ){
 +    *pzErr = smprintf("sqlite3_expert_new: %s\n",
 +                      zErr ? zErr : "out of memory");
 +    return DCR_Error;
 +  }else{
 +    sqlite3_expert_config(psi->expert.pExpert, EXPERT_CONFIG_SAMPLE, iSample);
 +  }
 +
 +  return DCR_Ok;
 +}
 +
 +DISPATCHABLE_COMMAND( explain ? 1 2 ){
 +  /* The ".explain" command is automatic now.  It is largely
 +  ** pointless, retained purely for backwards compatibility */
 +  ShellInState *psi = ISS(p);
 +  int val = 1;
 +  if( nArg>1 ){
 +    if( cli_strcmp(azArg[1],"auto")==0 ){
 +      val = 99;
 +    }else{
 +      val = booleanValue(azArg[1]);
 +    }
 +  }
 +  if( val==1 && psi->mode!=MODE_Explain ){
 +    psi->normalMode = psi->mode;
 +    psi->mode = MODE_Explain;
 +    psi->autoExplain = 0;
 +  }else if( val==0 ){
 +    if( psi->mode==MODE_Explain ) psi->mode = psi->normalMode;
 +    psi->autoExplain = 0;
 +  }else if( val==99 ){
 +    if( psi->mode==MODE_Explain ) psi->mode = psi->normalMode;
 +    psi->autoExplain = 1;
 +  }
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .excel, .once and .output commands
 + * These share much implementation, so they stick together.
 + */
 +CONDITION_COMMAND(excel !defined(SQLITE_SHELL_FIDDLE));
 +CONDITION_COMMAND(once !defined(SQLITE_SHELL_FIDDLE));
 +CONDITION_COMMAND(output !defined(SQLITE_SHELL_FIDDLE));
 +
 +COLLECT_HELP_TEXT[
 +  ".excel                   Display the output of next command in spreadsheet",
 +  "   --bom                   Prefix the file with a UTF8 byte-order mark",
 +  ".once ?OPTIONS? ?FILE?   Output for the next SQL command only to FILE",
 +  "   If FILE begins with '|' then open it as a command to be piped into.",
 +  "   Options:",
 +  "     --bom                 Prefix output with a UTF8 byte-order mark",
 +  "     -e                    Send output to the system text editor",
 +  "     -x       Send output as CSV to a spreadsheet (same as \".excel\")",
 +  ".output ?FILE?           Send output to FILE or stdout if FILE is omitted",
 +  "   If FILE begins with '|' then open it as a command to be piped into.",
 +  "   Options:",
 +  "     --bom                 Prefix output with a UTF8 byte-order mark",
 +  "     -e                    Send output to the system text editor",
 +  "     -x       Send output as CSV to a spreadsheet (same as \".excel\")",
 +];
 +#ifndef SQLITE_SHELL_FIDDLE
 +/* Shared implementation of .excel, .once and .output */
 +static DotCmdRC outputRedirs(char *azArg[], int nArg,
 +                                      ShellInState *psi, char **pzErr,
 +                                      int bOnce, int eMode){
 +  /* bOnce => 0: .output, 1: .once, 2: .excel */
 +  /* eMode => 'x' for excel, else 0 */
 +  int rc = 0;
 +  char *zFile = 0;
 +  u8 bTxtMode = 0;
 +  u8 bPutBOM = 0;
 +  int i;
 +  static unsigned const char zBOM[4] = {0xef,0xbb,0xbf,0};
 +  if( psi->bSafeMode ) return DCR_AbortError;
 +  for(i=1; i<nArg; i++){
 +    char *z = azArg[i];
 +    if( z[0]=='-' ){
 +      if( z[1]=='-' ) z++;
 +      if( cli_strcmp(z,"-bom")==0 ){
 +        bPutBOM = 1;
 +      }else if( bOnce!=2 && cli_strcmp(z,"-x")==0 ){
 +        eMode = 'x';  /* spreadsheet */
 +      }else if( bOnce!=2 && cli_strcmp(z,"-e")==0 ){
 +        eMode = 'e';  /* text editor */
 +      }else{
 +        return DCR_Unknown|i;
 +      }
 +    }else if( zFile==0 && eMode!='e' && eMode!='x' ){
 +      zFile = smprintf("%s", z);
 +      shell_check_oom(zFile);
 +      if( zFile[0]=='|' ){
 +        while( i+1<nArg ){
 +          zFile = smprintf("%z %s", zFile, azArg[++i]);
 +          shell_check_oom(zFile);
 +        }
 +        break;
 +      }
 +    }else{
 +      sqlite3_free(zFile);
 +      return DCR_TooMany|i;
 +    }
 +  }
 +  if( zFile==0 ){
 +    zFile = smprintf("stdout");
 +    shell_check_oom(zFile);
 +  }
 +  if( bOnce ){
 +    psi->outCount = 2;
 +  }else{
 +    psi->outCount = 0;
 +  }
 +  output_reset(psi);
 +#ifndef SQLITE_NOHAVE_SYSTEM
 +  if( eMode=='e' || eMode=='x' ){
 +    psi->doXdgOpen = 1;
 +    outputModePush(psi);
 +    if( eMode=='x' ){
 +      /* spreadsheet mode.  Output as CSV. */
 +      newTempFile(psi, "csv");
 +      psi->shellFlgs &= ~SHFLG_Echo;
 +      psi->mode = MODE_Csv;
 +      sqlite3_snprintf(sizeof(psi->colSeparator), psi->colSeparator, SEP_Comma);
 +      sqlite3_snprintf(sizeof(psi->rowSeparator), psi->rowSeparator, SEP_CrLf);
 +    }else{
 +      /* text editor mode */
 +      newTempFile(psi, "txt");
 +      bTxtMode = 1;
 +    }
 +    sqlite3_free(zFile);
 +    zFile = smprintf("%s", psi->zTempFile);
 +  }
 +#endif /* SQLITE_NOHAVE_SYSTEM */
 +  shell_check_oom(zFile);
 +  if( zFile[0]=='|' ){
 +#ifdef SQLITE_OMIT_POPEN
 +    *pzErr = smprintf("pipes are not supported in this OS\n");
 +    rc = 1;
 +    psi->out = STD_OUT;
 +#else
 +    psi->out = popen(zFile + 1, "w");
 +    if( psi->out==0 ){
 +      *pzErr = smprintf("cannot open pipe \"%s\"\n", zFile + 1);
 +      psi->out = STD_OUT;
 +      rc = 1;
 +    }else{
 +      if( bPutBOM ) fwrite(zBOM, 1, 3, psi->out);
 +      sqlite3_snprintf(sizeof(psi->outfile), psi->outfile, "%s", zFile);
 +    }
 +#endif
 +  }else{
 +    psi->out = output_file_open(zFile, bTxtMode);
 +    if( psi->out==0 ){
 +      if( cli_strcmp(zFile,"off")!=0 ){
 +        *pzErr = smprintf("cannot write to \"%s\"\n", zFile);
 +      }
 +      psi->out = STD_OUT;
 +      rc = 1;
 +    } else {
 +      if( bPutBOM ) fwrite(zBOM, 1, 3, psi->out);
 +      sqlite3_snprintf(sizeof(psi->outfile), psi->outfile, "%s", zFile);
 +    }
 +  }
 +  sqlite3_free(zFile);
 +  return DCR_Ok|rc;
 +}
 +#endif /* !defined(SQLITE_SHELL_FIDDLE)*/
 +
 +DISPATCHABLE_COMMAND( excel ? 1 2 ){
 +  return outputRedirs(azArg, nArg, ISS(p), pzErr, 2, 'x');
 +}
 +DISPATCHABLE_COMMAND( once ? 1 6 ){
 +  return outputRedirs(azArg, nArg, ISS(p), pzErr, 1, 0);
 +}
 +DISPATCHABLE_COMMAND( output ? 1 6 ){
 +  return outputRedirs(azArg, nArg, ISS(p), pzErr, 0, 0);
 +}
 +
 +
 +/*****************
 + * The .filectrl and fullschema commands
 + */
 +COLLECT_HELP_TEXT[
 +  ".filectrl CMD ...        Run various sqlite3_file_control() operations",
 +  "   --schema SCHEMA         Use SCHEMA instead of \"main\"",
 +  "   --help                  Show CMD details",
 +  ".fullschema ?--indent?   Show schema and the content of sqlite_stat tables",
 +];
 +DISPATCHABLE_COMMAND( filectrl ? 2 0 ){
 +  static const struct {
 +    const char *zCtrlName;   /* Name of a test-control option */
 +    int ctrlCode;            /* Integer code for that option */
 +    const char *zUsage;      /* Usage notes */
 +  } aCtrl[] = {
 +    { "chunk_size",     SQLITE_FCNTL_CHUNK_SIZE,      "SIZE"           },
 +    { "data_version",   SQLITE_FCNTL_DATA_VERSION,    ""               },
 +    { "has_moved",      SQLITE_FCNTL_HAS_MOVED,       ""               },
 +    { "lock_timeout",   SQLITE_FCNTL_LOCK_TIMEOUT,    "MILLISEC"       },
 +    { "persist_wal",    SQLITE_FCNTL_PERSIST_WAL,     "[BOOLEAN]"      },
 + /* { "pragma",         SQLITE_FCNTL_PRAGMA,          "NAME ARG"       },*/
 +    { "psow",       SQLITE_FCNTL_POWERSAFE_OVERWRITE, "[BOOLEAN]"      },
 +    { "reserve_bytes",  SQLITE_FCNTL_RESERVE_BYTES,   "[N]"            },
 +    { "size_limit",     SQLITE_FCNTL_SIZE_LIMIT,      "[LIMIT]"        },
 +    { "tempfilename",   SQLITE_FCNTL_TEMPFILENAME,    ""               },
 + /* { "win32_av_retry", SQLITE_FCNTL_WIN32_AV_RETRY,  "COUNT DELAY"    },*/
 +  };
 +  ShellInState *psi = ISS(p);
 +  int filectrl = -1;
 +  int iCtrl = -1;
 +  sqlite3_int64 iRes = 0;  /* Integer result to display if rc2==1 */
 +  int isOk = 0;            /* 0: usage  1: %lld  2: no-result */
 +  int n2, i;
 +  const char *zCmd = 0;
 +  const char *zSchema = 0;
 +
 +  open_db(p, 0);
 +  zCmd = nArg>=2 ? azArg[1] : "help";
 +
 +  if( zCmd[0]=='-'
 +      && (cli_strcmp(zCmd,"--schema")==0 || cli_strcmp(zCmd,"-schema")==0)
 +      && nArg>=4
 +      ){
 +    zSchema = azArg[2];
 +    for(i=3; i<nArg; i++) azArg[i-2] = azArg[i];
 +    nArg -= 2;
 +    zCmd = azArg[1];
 +  }
 +
 +  /* The argument can optionally begin with "-" or "--" */
 +  if( zCmd[0]=='-' && zCmd[1] ){
 +    zCmd++;
 +    if( zCmd[0]=='-' && zCmd[1] ) zCmd++;
 +  }
 +
 +  /* --help lists all file-controls */
 +  if( cli_strcmp(zCmd,"help")==0 ){
 +    utf8_printf(psi->out, "Available file-controls:\n");
 +    for(i=0; i<ArraySize(aCtrl); i++){
 +      utf8_printf(psi->out, "  .filectrl %s %s\n",
 +                  aCtrl[i].zCtrlName, aCtrl[i].zUsage);
 +    }
 +    return DCR_Error;
 +  }
 +
 +  /* Convert filectrl text option to value. Allow any
 +  ** unique prefix of the option name, or a numerical value. */
 +  n2 = strlen30(zCmd);
 +  for(i=0; i<ArraySize(aCtrl); i++){
 +    if( cli_strncmp(zCmd, aCtrl[i].zCtrlName, n2)==0 ){
 +      if( filectrl<0 ){
 +        filectrl = aCtrl[i].ctrlCode;
 +        iCtrl = i;
 +      }else{
 +        *pzErr = smprintf("ambiguous file-control: \"%s\"\n"
 +                          "Use \".filectrl --help\" for help\n", zCmd);
 +        return DCR_ArgWrong;
 +      }
 +    }
 +  }
 +  if( filectrl<0 ){
 +    *pzErr = smprintf("unknown file-control: %s\n"
 +                      "Use \".filectrl --help\" for help\n", zCmd);
 +    return DCR_ArgWrong;
 +  }else{
 +   switch(filectrl){
 +    case SQLITE_FCNTL_SIZE_LIMIT: {
 +      if( nArg!=2 && nArg!=3 ) break;
 +      iRes = nArg==3 ? integerValue(azArg[2]) : -1;
 +      sqlite3_file_control(DBX(p), zSchema, SQLITE_FCNTL_SIZE_LIMIT, &iRes);
 +      isOk = 1;
 +      break;
 +    }
 +    case SQLITE_FCNTL_LOCK_TIMEOUT:
 +    case SQLITE_FCNTL_CHUNK_SIZE: {
 +      int x;
 +      if( nArg!=3 ) break;
 +      x = (int)integerValue(azArg[2]);
 +      sqlite3_file_control(DBX(p), zSchema, filectrl, &x);
 +      isOk = 2;
 +      break;
 +    }
 +    case SQLITE_FCNTL_PERSIST_WAL:
 +    case SQLITE_FCNTL_POWERSAFE_OVERWRITE: {
 +      int x;
 +      if( nArg!=2 && nArg!=3 ) break;
 +      x = nArg==3 ? booleanValue(azArg[2]) : -1;
 +      sqlite3_file_control(DBX(p), zSchema, filectrl, &x);
 +      iRes = x;
 +      isOk = 1;
 +      break;
 +    }
 +    case SQLITE_FCNTL_DATA_VERSION:
 +    case SQLITE_FCNTL_HAS_MOVED: {
 +      int x;
 +      if( nArg!=2 ) break;
 +      sqlite3_file_control(DBX(p), zSchema, filectrl, &x);
 +      iRes = x;
 +      isOk = 1;
 +      break;
 +    }
 +    case SQLITE_FCNTL_TEMPFILENAME: {
 +      char *z = 0;
 +      if( nArg!=2 ) break;
 +      sqlite3_file_control(DBX(p), zSchema, filectrl, &z);
 +      if( z ){
 +        utf8_printf(psi->out, "%s\n", z);
 +        sqlite3_free(z);
 +      }
 +      isOk = 2;
 +      break;
 +    }
 +    case SQLITE_FCNTL_RESERVE_BYTES: {
 +      int x;
 +      if( nArg>=3 ){
 +        x = atoi(azArg[2]);
 +        sqlite3_file_control(DBX(p), zSchema, filectrl, &x);
 +      }
 +      x = -1;
 +      sqlite3_file_control(DBX(p), zSchema, filectrl, &x);
 +      utf8_printf(psi->out,"%d\n", x);
 +      isOk = 2;
 +      break;
 +    }
 +   }
 +  }
 +  if( isOk==0 && iCtrl>=0 ){
 +    utf8_printf(psi->out, "Usage: .filectrl %s %s\n", zCmd,aCtrl[iCtrl].zUsage);
 +    return DCR_CmdErred;
 +  }else if( isOk==1 ){
 +    char zBuf[100];
 +    sqlite3_snprintf(sizeof(zBuf), zBuf, "%lld", iRes);
 +    raw_printf(psi->out, "%s\n", zBuf);
 +  }
 +  return DCR_Ok;
 +}
 +
 +DISPATCHABLE_COMMAND( fullschema ? 1 2 ){
 +  int rc;
 +  ShellInState data;
 +  ShellExState datax;
 +  int doStats = 0;
 +  /* Consider some refactoring to avoid this wholesale copying. */
 +  memcpy(&data, ISS(p), sizeof(data));
 +  memcpy(&datax, p, sizeof(datax));
 +  data.pSXS = &datax;
 +  datax.pSIS = &data;
 +  data.showHeader = 0;
 +  data.cMode = data.mode = MODE_Semi;
 +  if( nArg==2 && optionMatch(azArg[1], "indent") ){
 +    data.cMode = data.mode = MODE_Pretty;
 +    nArg = 1;
 +  }
 +  if( nArg!=1 ){
 +    return DCR_TooMany|1;
 +  }
 +  open_db(p, 0);
 +  rc = sqlite3_exec(datax.dbUser,
 +    "SELECT sql FROM"
 +    "  (SELECT sql sql, type type, tbl_name tbl_name, name name, rowid x"
 +    "     FROM sqlite_schema UNION ALL"
 +    "   SELECT sql, type, tbl_name, name, rowid FROM sqlite_temp_schema) "
 +    "WHERE type!='meta' AND sql NOTNULL AND name NOT LIKE 'sqlite_%' "
 +    "ORDER BY x",
 +    callback, &datax, 0
 +  );
 +  if( rc==SQLITE_OK ){
 +    sqlite3_stmt *pStmt;
 +    rc = sqlite3_prepare_v2(datax.dbUser,
 +                            "SELECT rowid FROM sqlite_schema"
 +                            " WHERE name GLOB 'sqlite_stat[134]'",
 +                            -1, &pStmt, 0);
 +    doStats = sqlite3_step(pStmt)==SQLITE_ROW;
 +    sqlite3_finalize(pStmt);
 +  }
 +  if( doStats==0 ){
 +    raw_printf(data.out, "/* No STAT tables available */\n");
 +  }else{
 +    raw_printf(data.out, "ANALYZE sqlite_schema;\n");
 +    data.cMode = data.mode = MODE_Insert;
 +    datax.zDestTable = "sqlite_stat1";
 +    shell_exec(&datax, "SELECT * FROM sqlite_stat1", 0);
 +    datax.zDestTable = "sqlite_stat4";
 +    shell_exec(&datax, "SELECT * FROM sqlite_stat4", 0);
 +    raw_printf(data.out, "ANALYZE sqlite_schema;\n");
 +  }
 +  return rc > 0;
 +}
 +
 +/*****************
 + * The .headers command
 + */
 +COLLECT_HELP_TEXT[
 +  ".headers on|off          Turn display of headers on or off",
 +];
 +DISPATCHABLE_COMMAND( headers 6 2 2 ){
 +  ISS(p)->showHeader = booleanValue(azArg[1]);
 +  ISS(p)->shellFlgs |= SHFLG_HeaderSet;
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .help command
 + */
 +
 +/* This literal's value AND address are used for help's workings. */
 +static const char *zHelpAll = "-all";
 +
 +COLLECT_HELP_TEXT[
 +  ".help ?PATTERN?|?-all?   Show help for PATTERN or everything, or summarize",
 +  "                           Repeat -all to see undocumented commands",
 +];
 +DISPATCHABLE_COMMAND( help 3 1 3 ){
 +  const char *zPat = 0;
 +  FILE *out = ISS(p)->out;
 +  if( nArg>1 ){
 +    char *z = azArg[1];
-     if( nArg==3 && cli_strcmp(z, zHelpAll)==0 && cli_strcmp(azArg[2], zHelpAll)==0 ){
++    if( nArg==3 && cli_strcmp(z, zHelpAll)==0
++        && cli_strcmp(azArg[2], zHelpAll)==0 ){
 +      /* Show the undocumented command help */
 +      zPat = zHelpAll;
 +    }else if( cli_strcmp(z,"-a")==0 || optionMatch(z, "all") ){
 +      zPat = "";
 +    }else{
 +      zPat = z;
 +    }
 +  }
 +  if( showHelp(out, zPat, p)==0 && nArg>1 ){
 +    utf8_printf(out, "Nothing matches '%s'\n", azArg[1]);
 +  }
 +  /* Help pleas never fail! */
 +  return DCR_Ok;
 +}
 +
 +CONDITION_COMMAND(import !defined(SQLITE_SHELL_FIDDLE));
 +/*****************
 + * The .import command
 + */
 +COLLECT_HELP_TEXT[
 +  ".import FILE TABLE       Import data from FILE into TABLE",
 +  "   Options:",
 +  "     --ascii               Use \\037 and \\036 as column and row separators",
 +  "     --csv                 Use , and \\n as column and row separators",
 +  "     --skip N              Skip the first N rows of input",
 +  "     --schema S            Target table to be S.TABLE",
 +  "     -v                    \"Verbose\" - increase auxiliary output",
 +  "   Notes:",
 +  "     *  If TABLE does not exist, it is created.  The first row of input",
 +  "        determines the column names.",
 +  "     *  If neither --csv or --ascii are used, the input mode is derived",
 +  "        from the \".mode\" output mode",
 +  "     *  If FILE begins with \"|\" then it is a command that generates the",
 +  "        input text.",
 +];
 +DISPATCHABLE_COMMAND( import ? 3 7 ){
 +  char *zTable = 0;           /* Insert data into this table */
 +  char *zSchema = 0;          /* within this schema (may default to "main") */
 +  char *zFile = 0;            /* Name of file to extra content from */
 +  sqlite3_stmt *pStmt = NULL; /* A statement */
 +  int nCol;                   /* Number of columns in the table */
 +  int nByte;                  /* Number of bytes in an SQL string */
 +  int i, j;                   /* Loop counters */
 +  int needCommit;             /* True to COMMIT or ROLLBACK at end */
 +  int nSep;                   /* Number of bytes in psi->colSeparator[] */
 +  char *zSql;                 /* An SQL statement */
 +  char *zFullTabName;         /* Table name with schema if applicable */
 +  ImportCtx sCtx;             /* Reader context */
 +  char *(SQLITE_CDECL *xRead)(ImportCtx*); /* Func to read one value */
 +  int eVerbose = 0;           /* Larger for more console output */
 +  int nSkip = 0;              /* Initial lines to skip */
 +  int useOutputMode = 1;      /* Use output mode to determine separators */
 +  FILE *out = ISS(p)->out;    /* output stream */
 +  char *zCreate = 0;          /* CREATE TABLE statement text */
 +  ShellInState *psi = ISS(p);
 +  int rc = 0;
 +
 +  if(psi->bSafeMode) return DCR_AbortError;
 +  memset(&sCtx, 0, sizeof(sCtx));
 +  if( psi->mode==MODE_Ascii ){
 +    xRead = ascii_read_one_field;
 +  }else{
 +    xRead = csv_read_one_field;
 +  }
 +  for(i=1; i<nArg; i++){
 +    char *z = azArg[i];
 +    if( z[0]=='-' && z[1]=='-' ) z++;
 +    if( z[0]!='-' ){
 +      if( zFile==0 ){
 +        zFile = z;
 +      }else if( zTable==0 ){
 +        zTable = z;
 +      }else{
 +        return DCR_TooMany|i;
 +      }
 +    }else if( cli_strcmp(z,"-v")==0 ){
 +      eVerbose++;
 +    }else if( cli_strcmp(z,"-schema")==0 && i<nArg-1 ){
 +      zSchema = azArg[++i];
 +    }else if( cli_strcmp(z,"-skip")==0 && i<nArg-1 ){
 +      nSkip = integerValue(azArg[++i]);
 +    }else if( cli_strcmp(z,"-ascii")==0 ){
 +      sCtx.cColSep = SEP_Unit[0];
 +      sCtx.cRowSep = SEP_Record[0];
 +      xRead = ascii_read_one_field;
 +      useOutputMode = 0;
 +    }else if( cli_strcmp(z,"-csv")==0 ){
 +      sCtx.cColSep = ',';
 +      sCtx.cRowSep = '\n';
 +      xRead = csv_read_one_field;
 +      useOutputMode = 0;
 +    }else{
 +      return DCR_Unknown|i;
 +    }
 +  }
 +  if( zTable==0 ){
 +    *pzErr = smprintf("missing %s argument.\n", zFile==0 ? "FILE" : "TABLE");
 +    return DCR_Missing;
 +  }
 +  seenInterrupt = 0;
 +  open_db(p, 0);
 +  if( useOutputMode ){
 +    const char *zYap = 0;
 +    /* If neither the --csv or --ascii options are specified, then set
 +    ** the column and row separator characters from the output mode. */
 +    nSep = strlen30(psi->colSeparator);
 +    if( nSep==0 ){
 +      zYap = "non-null column separator required for import";
 +    }
 +    if( nSep>1 ){
 +      zYap = "multi-character or multi-byte column separators"
 +        " not allowed for import";
 +    }
 +    nSep = strlen30(psi->rowSeparator);
 +    if( nSep==0 ){
 +      zYap = "non-null row separator required for import";
 +    }
 +    if( zYap!=0 ){
 +      *pzErr = smprintf("%s\n", zYap);
 +      return DCR_Error;
 +    }
 +    if( nSep==2 && psi->mode==MODE_Csv
 +        && cli_strcmp(psi->rowSeparator,SEP_CrLf)==0 ){
 +      /* When importing CSV (only), if the row separator is set to the
 +      ** default output row separator, change it to the default input
 +      ** row separator.  This avoids having to maintain different input
 +      ** and output row separators. */
 +      sqlite3_snprintf(sizeof(psi->rowSeparator), psi->rowSeparator, SEP_Row);
 +      nSep = strlen30(psi->rowSeparator);
 +    }
 +    if( nSep>1 ){
 +      *pzErr
 +        = smprintf("multi-character row separators not allowed for import\n");
 +      return DCR_Error;
 +    }
 +    sCtx.cColSep = (u8)psi->colSeparator[0];
 +    sCtx.cRowSep = (u8)psi->rowSeparator[0];
 +  }
 +  sCtx.zFile = zFile;
 +  sCtx.nLine = 1;
 +  if( sCtx.zFile[0]=='|' ){
 +#ifdef SQLITE_OMIT_POPEN
 +    *pzErr = smprintf("pipes are not supported in this OS\n");
 +    return DCR_Error;
 +#else
 +    sCtx.in = popen(sCtx.zFile+1, "r");
 +    sCtx.zFile = "<pipe>";
 +    sCtx.xCloser = pclose;
 +#endif
 +  }else{
 +    sCtx.in = fopen(sCtx.zFile, "rb");
 +    sCtx.xCloser = fclose;
 +  }
 +  if( sCtx.in==0 ){
 +    *pzErr = smprintf("cannot open \"%s\"\n", zFile);
 +    return DCR_Error;
 +  }
 +  sCtx.z = sqlite3_malloc64(120);
 +  if( sCtx.z==0 ){
 +    import_cleanup(&sCtx);
 +    shell_out_of_memory();
 +  }
 +  /* Here and below, resources must be freed before exit. */
 +  if( eVerbose>=2 || (eVerbose>=1 && useOutputMode) ){
 +    char zSep[2];
 +    zSep[1] = 0;
 +    zSep[0] = sCtx.cColSep;
 +    utf8_printf(out, "Column separator ");
 +    output_c_string(out, zSep);
 +    utf8_printf(out, ", row separator ");
 +    zSep[0] = sCtx.cRowSep;
 +    output_c_string(out, zSep);
 +    utf8_printf(out, "\n");
 +  }
 +  while( (nSkip--)>0 ){
 +    while( xRead(&sCtx) && sCtx.cTerm==sCtx.cColSep ){}
 +  }
 +  if( zSchema!=0 ){
 +    zFullTabName = smprintf("\"%w\".\"%w\"", zSchema, zTable);
 +  }else{
 +    zFullTabName = smprintf("\"%w\"", zTable);
 +  }
 +  zSql = smprintf("SELECT * FROM %s", zFullTabName);
 +  if( zSql==0 || zFullTabName==0 ){
 +    import_cleanup(&sCtx);
 +    shell_out_of_memory();
 +  }
 +  nByte = strlen30(zSql);
 +  rc = sqlite3_prepare_v2(DBX(p), zSql, -1, &pStmt, 0);
 +  import_append_char(&sCtx, 0);    /* To ensure sCtx.z is allocated */
 +  if( rc && sqlite3_strglob("no such table: *", sqlite3_errmsg(DBX(p)))==0 ){
 +    zCreate = smprintf("CREATE TABLE %s", zFullTabName);
 +    sqlite3 *dbCols = 0;
 +    char *zRenames = 0;
 +    char *zColDefs;
 +    while( xRead(&sCtx) ){
 +      zAutoColumn(sCtx.z, &dbCols, 0);
 +      if( sCtx.cTerm!=sCtx.cColSep ) break;
 +    }
 +    zColDefs = zAutoColumn(0, &dbCols, &zRenames);
 +    if( zRenames!=0 ){
 +      FILE *fh = INSOURCE_IS_INTERACTIVE(psi->pInSource)?  out : STD_ERR;
 +      utf8_printf(fh, "Columns renamed during .import %s due to duplicates:\n"
 +                  "%s\n", sCtx.zFile, zRenames);
 +      sqlite3_free(zRenames);
 +    }
 +    assert(dbCols==0);
 +    if( zColDefs==0 ){
 +      *pzErr = smprintf("%s: empty file\n", sCtx.zFile);
 +      sqlite3_free(zCreate);
 +    import_fail: /* entry from outer blocks */
 +      sqlite3_free(zSql);
 +      sqlite3_free(zFullTabName);
 +      import_cleanup(&sCtx);
 +      return DCR_Error;
 +    }
 +    zCreate = smprintf("%z%z\n", zCreate, zColDefs);
 +    if( eVerbose>=1 ){
 +      utf8_printf(out, "%s\n", zCreate);
 +    }
 +    rc = sqlite3_exec(DBX(p), zCreate, 0, 0, 0);
 +    sqlite3_free(zCreate);
 +    if( rc ){
 +      *pzErr = smprintf("%s failed:\n%s\n", zCreate, sqlite3_errmsg(DBX(p)));
 +      goto import_fail;
 +    }
 +    rc = sqlite3_prepare_v2(DBX(p), zSql, -1, &pStmt, 0);
 +  }
 +  if( rc ){
 +    if (pStmt) sqlite3_finalize(pStmt);
 +    *pzErr = smprintf("%s\n", sqlite3_errmsg(DBX(p)));
 +    goto import_fail;
 +  }
 +  sqlite3_free(zSql);
 +  nCol = sqlite3_column_count(pStmt);
 +  sqlite3_finalize(pStmt);
 +  pStmt = 0;
 +  if( nCol==0 ) return DCR_Ok; /* no columns, no error */
 +  zSql = sqlite3_malloc64( nByte*2 + 20 + nCol*2 );
 +  if( zSql==0 ){
 +    import_cleanup(&sCtx);
 +    shell_out_of_memory();
 +  }
 +  sqlite3_snprintf(nByte+20, zSql, "INSERT INTO %s VALUES(?", zFullTabName);
 +  j = strlen30(zSql);
 +  for(i=1; i<nCol; i++){
 +    zSql[j++] = ',';
 +    zSql[j++] = '?';
 +  }
 +  zSql[j++] = ')';
 +  zSql[j] = 0;
 +  if( eVerbose>=2 ){
 +    utf8_printf(psi->out, "Insert using: %s\n", zSql);
 +  }
 +  rc = sqlite3_prepare_v2(DBX(p), zSql, -1, &pStmt, 0);
 +  if( rc ){
 +    *pzErr = smprintf("%s\n", sqlite3_errmsg(DBX(p)));
 +    if (pStmt) sqlite3_finalize(pStmt);
 +    goto import_fail;
 +  }
 +  sqlite3_free(zSql);
 +  sqlite3_free(zFullTabName);
 +  needCommit = sqlite3_get_autocommit(DBX(p));
 +  if( needCommit ) sqlite3_exec(DBX(p), "BEGIN", 0, 0, 0);
 +  do{
 +    int startLine = sCtx.nLine;
 +    for(i=0; i<nCol; i++){
 +      char *z = xRead(&sCtx);
 +      /*
 +      ** Did we reach end-of-file before finding any columns?
 +      ** If so, stop instead of NULL filling the remaining columns.
 +      */
 +      if( z==0 && i==0 ) break;
 +      /*
 +      ** Did we reach end-of-file OR end-of-line before finding any
 +      ** columns in ASCII mode?  If so, stop instead of NULL filling
 +      ** the remaining columns.
 +      */
 +      if( psi->mode==MODE_Ascii && (z==0 || z[0]==0) && i==0 ) break;
 +      sqlite3_bind_text(pStmt, i+1, z, -1, SQLITE_TRANSIENT);
 +      if( i<nCol-1 && sCtx.cTerm!=sCtx.cColSep ){
 +        utf8_printf(STD_ERR, "%s:%d: expected %d columns but found %d - "
 +                    "filling the rest with NULL\n",
 +                    sCtx.zFile, startLine, nCol, i+1);
 +        i += 2;
 +        while( i<=nCol ){ sqlite3_bind_null(pStmt, i); i++; }
 +      }
 +    }
 +    if( sCtx.cTerm==sCtx.cColSep ){
 +      do{
 +        xRead(&sCtx);
 +        i++;
 +      }while( sCtx.cTerm==sCtx.cColSep );
 +      utf8_printf(STD_ERR, "%s:%d: expected %d columns but found %d - "
 +                  "extras ignored\n",
 +                  sCtx.zFile, startLine, nCol, i);
 +    }
 +    if( i>=nCol ){
 +      sqlite3_step(pStmt);
 +      rc = sqlite3_reset(pStmt);
 +      if( rc!=SQLITE_OK ){
 +        utf8_printf(STD_ERR, "%s:%d: INSERT failed: %s\n", sCtx.zFile,
 +                    startLine, sqlite3_errmsg(DBX(p)));
 +        sCtx.nErr++;
 +      }else{
 +        sCtx.nRow++;
 +      }
 +    }
 +  }while( sCtx.cTerm!=EOF );
 +
 +  import_cleanup(&sCtx);
 +  sqlite3_finalize(pStmt);
 +  if( needCommit ) sqlite3_exec(DBX(p), "COMMIT", 0, 0, 0);
 +  if( eVerbose>0 ){
 +    utf8_printf(out,
 +      "Added %d rows with %d errors using %d lines of input\n",
 +      sCtx.nRow, sCtx.nErr, sCtx.nLine-1);
 +  }
 +  return DCR_Ok|(sCtx.nErr>0);
 +}
 +
 +/*****************
 + * The .keyword command
 + */
 +CONDITION_COMMAND( keyword !defined(NO_KEYWORD_COMMAND) );
 +COLLECT_HELP_TEXT[
 +  ".keyword ?KW?            List keywords, or say whether KW is one.",
 +];
 +DISPATCHABLE_COMMAND( keyword ? 1 2 ){
 +  FILE *out = ISS(p)->out;
 +  if( nArg<2 ){
 +    int i = 0;
 +    int nk = sqlite3_keyword_count();
 +    int nCol = 0;
 +    int szKW;
 +    while( i<nk ){
 +      const char *zKW = 0;
 +      if( SQLITE_OK==sqlite3_keyword_name(i++, &zKW, &szKW) ){
 +        char kwBuf[50];
 +        if( szKW < sizeof(kwBuf) ){
 +          const char *zSep = " ";
 +          if( (nCol += (1+szKW))>75){
 +            zSep = "\n";
 +            nCol = 0;
 +          }
 +          memcpy(kwBuf, zKW, szKW);
 +          kwBuf[szKW] = 0;
 +          utf8_printf(out, "%s%s", kwBuf, zSep);
 +        }
 +      }
 +    }
 +    if( nCol>0 ) utf8_printf(out, "\n");
 +  }else{
 +    int szKW = strlen30(azArg[1]);
 +    int isKeyword = sqlite3_keyword_check(azArg[1], szKW);
 +    utf8_printf(out, "%s is%s a keyword\n",
 +                azArg[1], (isKeyword)? "" : " not");
 +  }
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .imposter, .iotrace, .limit, .lint and .log commands
 + */
++#if !defined(SQLITE_OMIT_LOAD_EXTENSION) && !defined(SQLITE_SHELL_FIDDLE)
++# define LOAD_ENABLE 1
++#else
++# define LOAD_ENABLE 0
++#endif
 +CONDITION_COMMAND( imposter !defined(SQLITE_OMIT_TEST_CONTROL) );
 +CONDITION_COMMAND( iotrace defined(SQLITE_ENABLE_IOTRACE) );
- CONDITION_COMMAND( load !defined(SQLITE_OMIT_LOAD_EXTENSION) && !defined(SQLITE_SHELL_FIDDLE));
++CONDITION_COMMAND( load LOAD_ENABLE );
 +COLLECT_HELP_TEXT[
 +  ",imposter INDEX TABLE    Create imposter table TABLE on index INDEX",
 +  ",iotrace FILE            Enable I/O diagnostic logging to FILE",
 +  ".limit ?LIMIT? ?VAL?     Display or change the value of an SQLITE_LIMIT",
 +  ".lint OPTIONS            Report potential schema issues.",
 +  "     Options:",
 +  "        fkey-indexes     Find missing foreign key indexes",
 +];
 +COLLECT_HELP_TEXT[
 +#if !defined(SQLITE_SHELL_FIDDLE)
 +  ".log FILE|on|off         Turn logging on or off.  FILE can be stderr/stdout",
 +#else
 +  ".log on|off              Turn logging on or off.",
 +#endif
 +];
 +DISPATCHABLE_COMMAND( imposter ? 3 3 ){
 +  int rc = 0;
 +  char *zSql;
 +  char *zCollist = 0;
 +  sqlite3_stmt *pStmt;
 +  sqlite3 *db;
 +  int tnum = 0;
 +  int isWO = 0;  /* True if making an imposter of a WITHOUT ROWID table */
 +  int lenPK = 0; /* Length of the PRIMARY KEY string for isWO tables */
 +  int i;
 +  if( !ShellHasFlag(p,SHFLG_TestingMode) ){
 +    utf8_printf(stderr, ".%s unavailable without --unsafe-testing\n",
 +                "imposter");
 +    return DCR_Error;
 +  }
 +  if( !(nArg==3 || (nArg==2 && sqlite3_stricmp(azArg[1],"off")==0)) ){
 +    *pzErr = smprintf("Usage: .imposter INDEX IMPOSTER\n"
 +                      "       .imposter off\n");
 +    /* Also allowed, but not documented:
 +    **
 +    **    .imposter TABLE IMPOSTER
 +    **
 +    ** where TABLE is a WITHOUT ROWID table.  In that case, the
 +    ** imposter is another WITHOUT ROWID table with the columns in
 +    ** storage order. */
 +    return DCR_SayUsage;
 +  }
 +  open_db(p, 0);
 +  db = DBX(p);
 +  if( nArg==2 ){
 +    sqlite3_test_control(SQLITE_TESTCTRL_IMPOSTER, db, "main", 0, 1);
 +    return DCR_Ok;
 +  }
 +  zSql = smprintf("SELECT rootpage, 0 FROM sqlite_schema"
 +                  " WHERE name='%q' AND type='index'"
 +                  "UNION ALL "
 +                  "SELECT rootpage, 1 FROM sqlite_schema"
 +                  " WHERE name='%q' AND type='table'"
 +                  "  AND sql LIKE '%%without%%rowid%%'",
 +                  azArg[1], azArg[1]);
 +  sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
 +  sqlite3_free(zSql);
 +  if( sqlite3_step(pStmt)==SQLITE_ROW ){
 +    tnum = sqlite3_column_int(pStmt, 0);
 +    isWO = sqlite3_column_int(pStmt, 1);
 +  }
 +  sqlite3_finalize(pStmt);
 +  zSql = smprintf("PRAGMA index_xinfo='%q'", azArg[1]);
 +  rc = sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
 +  sqlite3_free(zSql);
 +  i = 0;
 +  while( rc==SQLITE_OK && sqlite3_step(pStmt)==SQLITE_ROW ){
 +    char zLabel[20];
 +    const char *zCol = (const char*)sqlite3_column_text(pStmt,2);
 +    i++;
 +    if( zCol==0 ){
 +      if( sqlite3_column_int(pStmt,1)==-1 ){
 +        zCol = "_ROWID_";
 +      }else{
 +        sqlite3_snprintf(sizeof(zLabel),zLabel,"expr%d",i);
 +        zCol = zLabel;
 +      }
 +    }
 +    if( isWO && lenPK==0 && sqlite3_column_int(pStmt,5)==0 && zCollist ){
 +      lenPK = (int)strlen(zCollist);
 +    }
 +    if( zCollist==0 ){
 +      zCollist = smprintf("\"%w\"", zCol);
 +    }else{
 +      zCollist = smprintf("%z,\"%w\"", zCollist, zCol);
 +    }
 +  }
 +  sqlite3_finalize(pStmt);
 +  if( i==0 || tnum==0 ){
 +    *pzErr = smprintf("no such index: \"%s\"\n", azArg[1]);
 +    sqlite3_free(zCollist);
 +    return DCR_Error;
 +  }
 +  if( lenPK==0 ) lenPK = 100000;
 +  zSql = smprintf("CREATE TABLE \"%w\"(%s,PRIMARY KEY(%.*s))"
 +                  "WITHOUT ROWID", azArg[2], zCollist, lenPK, zCollist);
 +  sqlite3_free(zCollist);
 +  rc = sqlite3_test_control(SQLITE_TESTCTRL_IMPOSTER, db, "main", 1, tnum);
 +  if( rc==SQLITE_OK ){
 +    rc = sqlite3_exec(db, zSql, 0, 0, 0);
 +    sqlite3_test_control(SQLITE_TESTCTRL_IMPOSTER, db, "main", 0, 0);
 +    if( rc ){
 +      *pzErr = smprintf("Error in [%s]: %s\n", zSql, sqlite3_errmsg(db));
 +    }else{
 +      utf8_printf(STD_OUT, "%s;\n", zSql);
 +      raw_printf(STD_OUT, "WARNING: "
 +                 "writing to an imposter table will corrupt the \"%s\" %s!\n",
 +                 azArg[1], isWO ? "table" : "index"
 +                 );
 +    }
 +  }else{
 +    *pzErr = smprintf("SQLITE_TESTCTRL_IMPOSTER returns %d\n", rc);
 +  }
 +  sqlite3_free(zSql);
 +  return rc != 0;
 +}
 +DISPATCHABLE_COMMAND( iotrace ? 2 2 ){
 +  SQLITE_API extern void (SQLITE_CDECL *sqlite3IoTrace)(const char*, ...);
 +  if( iotrace && iotrace!=STD_OUT ) fclose(iotrace);
 +  iotrace = 0;
 +  if( nArg<2 ){
 +    sqlite3IoTrace = 0;
 +  }else if( cli_strcmp(azArg[1], "-")==0 ){
 +    sqlite3IoTrace = iotracePrintf;
 +    iotrace = STD_OUT;
 +  }else{
 +    iotrace = fopen(azArg[1], "w");
 +    if( iotrace==0 ){
 +      *pzErr = smprintf("cannot open \"%s\"\n", azArg[1]);
 +      sqlite3IoTrace = 0;
 +      return DCR_Error;
 +    }else{
 +      sqlite3IoTrace = iotracePrintf;
 +    }
 +  }
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .limits and .load commands
 + */
 +COLLECT_HELP_TEXT[
 +  ",limits ?LIMIT_NAME?     Display limit selected by its name, or all limits",
 +  ".load FILE ?ENTRY?       Load a SQLite extension library",
 +  "   If ENTRY is provided, the entry point \"sqlite_ENTRY_init\" is called.",
 +  "   Otherwise, the entry point name is derived from the FILE's name.",
 +];
 +
 +DISPATCHABLE_COMMAND( limits 5 1 3 ){
 +  static const struct {
 +    const char *zLimitName;   /* Name of a limit */
 +    int limitCode;            /* Integer code for that limit */
 +  } aLimit[] = {
 +    { "length",                SQLITE_LIMIT_LENGTH                    },
 +    { "sql_length",            SQLITE_LIMIT_SQL_LENGTH                },
 +    { "column",                SQLITE_LIMIT_COLUMN                    },
 +    { "expr_depth",            SQLITE_LIMIT_EXPR_DEPTH                },
 +    { "compound_select",       SQLITE_LIMIT_COMPOUND_SELECT           },
 +    { "vdbe_op",               SQLITE_LIMIT_VDBE_OP                   },
 +    { "function_arg",          SQLITE_LIMIT_FUNCTION_ARG              },
 +    { "attached",              SQLITE_LIMIT_ATTACHED                  },
 +    { "like_pattern_length",   SQLITE_LIMIT_LIKE_PATTERN_LENGTH       },
 +    { "variable_number",       SQLITE_LIMIT_VARIABLE_NUMBER           },
 +    { "trigger_depth",         SQLITE_LIMIT_TRIGGER_DEPTH             },
 +    { "worker_threads",        SQLITE_LIMIT_WORKER_THREADS            },
 +  };
 +  int i, n2;
 +  open_db(p, 0);
 +  if( nArg==1 ){
 +    for(i=0; i<ArraySize(aLimit); i++){
 +      fprintf(STD_OUT, "%20s %d\n", aLimit[i].zLimitName,
 +             sqlite3_limit(DBX(p), aLimit[i].limitCode, -1));
 +    }
 +  }else if( nArg>3 ){
 +    return DCR_TooMany;
 +  }else{
 +    int iLimit = -1;
 +    n2 = strlen30(azArg[1]);
 +    for(i=0; i<ArraySize(aLimit); i++){
 +      if( sqlite3_strnicmp(aLimit[i].zLimitName, azArg[1], n2)==0 ){
 +        if( iLimit<0 ){
 +          iLimit = i;
 +        }else{
 +          *pzErr = smprintf("ambiguous limit: \"%s\"\n", azArg[1]);
 +          return DCR_Error;
 +        }
 +      }
 +    }
 +    if( iLimit<0 ){
 +      *pzErr = smprintf("unknown limit: \"%s\"\n"
 +                        "enter \".limits\" with no arguments for a list.\n",
 +                        azArg[1]);
 +      return DCR_ArgWrong;
 +    }
 +    if( nArg==3 ){
 +      sqlite3_limit(DBX(p), aLimit[iLimit].limitCode,
 +                    (int)integerValue(azArg[2]));
 +    }
 +    fprintf(STD_OUT, "%20s %d\n", aLimit[iLimit].zLimitName,
 +           sqlite3_limit(DBX(p), aLimit[iLimit].limitCode, -1));
 +  }
 +  return DCR_Ok;
 +}
 +
 +DISPATCHABLE_COMMAND( lint 3 1 0 ){
 +  sqlite3 *db;                    /* Database handle to query "main" db of */
 +  FILE *out = ISS(p)->out;        /* Stream to write non-error output to */
 +  int bVerbose = 0;               /* If -verbose is present */
 +  int bGroupByParent = 0;         /* If -groupbyparent is present */
 +  int i;                          /* To iterate through azArg[] */
 +  const char *zIndent = "";       /* How much to indent CREATE INDEX by */
 +  int rc;                         /* Return code */
 +  sqlite3_stmt *pSql = 0;         /* Compiled version of SQL statement below */
 +
 +  i = (nArg>=2 ? strlen30(azArg[1]) : 0);
 +  if( i==0 || 0!=sqlite3_strnicmp(azArg[1], "fkey-indexes", i) ){
 +    *pzErr = smprintf
 +      ("Usage %s sub-command ?switches...?\n"
 +       "Where sub-commands are:\n"
 +       "    fkey-indexes\n", azArg[0]);
 +    return DCR_SayUsage;
 +  }
 +  open_db(p, 0);
 +  db = DBX(p);
 +
 +  /*
 +  ** This SELECT statement returns one row for each foreign key constraint
 +  ** in the schema of the main database. The column values are:
 +  **
 +  ** 0. The text of an SQL statement similar to:
 +  **
 +  **      "EXPLAIN QUERY PLAN SELECT 1 FROM child_table WHERE child_key=?"
 +  **
 +  **    This SELECT is similar to the one that the foreign keys implementation
 +  **    needs to run internally on child tables. If there is an index that can
 +  **    be used to optimize this query, then it can also be used by the FK
 +  **    implementation to optimize DELETE or UPDATE statements on the parent
 +  **    table.
 +  **
 +  ** 1. A GLOB pattern suitable for sqlite3_strglob(). If the plan output by
 +  **    the EXPLAIN QUERY PLAN command matches this pattern, then the schema
 +  **    contains an index that can be used to optimize the query.
 +  **
 +  ** 2. Human readable text that describes the child table and columns. e.g.
 +  **
 +  **       "child_table(child_key1, child_key2)"
 +  **
 +  ** 3. Human readable text that describes the parent table and columns. e.g.
 +  **
 +  **       "parent_table(parent_key1, parent_key2)"
 +  **
 +  ** 4. A full CREATE INDEX statement for an index that could be used to
 +  **    optimize DELETE or UPDATE statements on the parent table. e.g.
 +  **
 +  **       "CREATE INDEX child_table_child_key ON child_table(child_key)"
 +  **
 +  ** 5. The name of the parent table.
 +  **
 +  ** These six values are used by the C logic below to generate the report.
 +  */
 +  const char *zSql =
 +  "SELECT "
 +    "     'EXPLAIN QUERY PLAN SELECT 1 FROM ' || quote(s.name) || ' WHERE '"
 +    "  || group_concat(quote(s.name) || '.' || quote(f.[from]) || '=?' "
 +    "  || fkey_collate_clause("
 +    "       f.[table], COALESCE(f.[to], p.[name]), s.name, f.[from]),' AND ')"
 +    ", "
 +    "     'SEARCH ' || s.name || ' USING COVERING INDEX*('"
 +    "  || group_concat('*=?', ' AND ') || ')'"
 +    ", "
 +    "     s.name  || '(' || group_concat(f.[from],  ', ') || ')'"
 +    ", "
 +    "     f.[table] || '(' || group_concat(COALESCE(f.[to], p.[name])) || ')'"
 +    ", "
 +    "     'CREATE INDEX ' || quote(s.name ||'_'|| group_concat(f.[from], '_'))"
 +    "  || ' ON ' || quote(s.name) || '('"
 +    "  || group_concat(quote(f.[from]) ||"
 +    "        fkey_collate_clause("
 +    "          f.[table], COALESCE(f.[to], p.[name]), s.name, f.[from]), ', ')"
 +    "  || ');'"
 +    ", "
 +    "     f.[table] "
 +    "FROM sqlite_schema AS s, pragma_foreign_key_list(s.name) AS f "
 +    "LEFT JOIN pragma_table_info AS p ON (pk-1=seq AND p.arg=f.[table]) "
 +    "GROUP BY s.name, f.id "
 +    "ORDER BY (CASE WHEN ? THEN f.[table] ELSE s.name END)"
 +  ;
 +  const char *zGlobIPK = "SEARCH * USING INTEGER PRIMARY KEY (rowid=?)";
 +
 +  for(i=2; i<nArg; i++){
 +    int n = strlen30(azArg[i]);
 +    if( n>1 && sqlite3_strnicmp("-verbose", azArg[i], n)==0 ){
 +      bVerbose = 1;
 +    }
 +    else if( n>1 && sqlite3_strnicmp("-groupbyparent", azArg[i], n)==0 ){
 +      bGroupByParent = 1;
 +      zIndent = "    ";
      }
 -    if( pzRenamed!=0 ){
 -      if( !hasDupes ) *pzRenamed = 0;
 -      else{
 -        sqlite3_finalize(pStmt);
 -        if( SQLITE_OK==sqlite3_prepare_v2(*pDb, zRenamesDone, -1, &pStmt, 0)
 -            && SQLITE_ROW==sqlite3_step(pStmt) ){
 -          *pzRenamed = sqlite3_mprintf("%s", sqlite3_column_text(pStmt, 0));
 -        }else
 -          *pzRenamed = 0;
 -      }
 +    else{
 +      raw_printf(STD_ERR, "Usage: %s %s ?-verbose? ?-groupbyparent?\n",
 +                 azArg[0], azArg[1]
 +      );
 +      return DCR_Unknown|i;
      }
 -    sqlite3_finalize(pStmt);
 -    sqlite3_close(*pDb);
 -    *pDb = 0;
 -    return zColsSpec;
    }
 -}
  
 -/*
 -** If an input line begins with "." then invoke this routine to
 -** process that line.
 -**
 -** Return 1 on error, 2 to exit, and 0 otherwise.
 -*/
 -static int do_meta_command(char *zLine, ShellState *p){
 -  int h = 1;
 -  int nArg = 0;
 -  int n, c;
 -  int rc = 0;
 -  char *azArg[52];
 +  /* Register the fkey_collate_clause() SQL function */
 +  rc = sqlite3_create_function(db, "fkey_collate_clause", 4, SQLITE_UTF8,
 +      0, shellFkeyCollateClause, 0, 0
 +  );
  
 -#ifndef SQLITE_OMIT_VIRTUALTABLE
 -  if( p->expert.pExpert ){
 -    expertFinish(p, 1, 0);
 +  if( rc==SQLITE_OK ){
 +    rc = sqlite3_prepare_v2(db, zSql, -1, &pSql, 0);
    }
 -#endif
 -
 -  /* Parse the input line into tokens.
 -  */
 -  while( zLine[h] && nArg<ArraySize(azArg)-1 ){
 -    while( IsSpace(zLine[h]) ){ h++; }
 -    if( zLine[h]==0 ) break;
 -    if( zLine[h]=='\'' || zLine[h]=='"' ){
 -      int delim = zLine[h++];
 -      azArg[nArg++] = &zLine[h];
 -      while( zLine[h] && zLine[h]!=delim ){
 -        if( zLine[h]=='\\' && delim=='"' && zLine[h+1]!=0 ) h++;
 -        h++;
 -      }
 -      if( zLine[h]==delim ){
 -        zLine[h++] = 0;
 -      }
 -      if( delim=='"' ) resolve_backslashes(azArg[nArg-1]);
 -    }else{
 -      azArg[nArg++] = &zLine[h];
 -      while( zLine[h] && !IsSpace(zLine[h]) ){ h++; }
 -      if( zLine[h] ) zLine[h++] = 0;
 -      resolve_backslashes(azArg[nArg-1]);
 -    }
 +  if( rc==SQLITE_OK ){
 +    sqlite3_bind_int(pSql, 1, bGroupByParent);
    }
 -  azArg[nArg] = 0;
  
 -  /* Process the input line.
 -  */
 -  if( nArg==0 ) return 0; /* no tokens, no error */
 -  n = strlen30(azArg[0]);
 -  c = azArg[0][0];
 -  clearTempFile(p);
 +  if( rc==SQLITE_OK ){
 +    int rc2;
 +    char *zPrev = 0;
 +    while( SQLITE_ROW==sqlite3_step(pSql) ){
 +      int res = -1;
 +      sqlite3_stmt *pExplain = 0;
 +      const char *zEQP = (const char*)sqlite3_column_text(pSql, 0);
 +      const char *zGlob = (const char*)sqlite3_column_text(pSql, 1);
 +      const char *zFrom = (const char*)sqlite3_column_text(pSql, 2);
 +      const char *zTarget = (const char*)sqlite3_column_text(pSql, 3);
 +      const char *zCI = (const char*)sqlite3_column_text(pSql, 4);
 +      const char *zParent = (const char*)sqlite3_column_text(pSql, 5);
  
 -#ifndef SQLITE_OMIT_AUTHORIZATION
 -  if( c=='a' && cli_strncmp(azArg[0], "auth", n)==0 ){
 -    if( nArg!=2 ){
 -      raw_printf(stderr, "Usage: .auth ON|OFF\n");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    open_db(p, 0);
 -    if( booleanValue(azArg[1]) ){
 -      sqlite3_set_authorizer(p->db, shellAuth, p);
 -    }else if( p->bSafeModePersist ){
 -      sqlite3_set_authorizer(p->db, safeModeAuth, p);
 -    }else{
 -      sqlite3_set_authorizer(p->db, 0, 0);
 -    }
 -  }else
 -#endif
 +      if( zEQP==0 || zGlob==0 ) continue;
 +      rc = sqlite3_prepare_v2(db, zEQP, -1, &pExplain, 0);
 +      if( rc!=SQLITE_OK ) break;
 +      if( SQLITE_ROW==sqlite3_step(pExplain) ){
 +        const char *zPlan = (const char*)sqlite3_column_text(pExplain, 3);
 +        res = zPlan!=0 && (  0==sqlite3_strglob(zGlob, zPlan)
 +                             || 0==sqlite3_strglob(zGlobIPK, zPlan));
 +      }
 +      rc = sqlite3_finalize(pExplain);
 +      if( rc!=SQLITE_OK ) break;
  
 -#if !defined(SQLITE_OMIT_VIRTUALTABLE) && defined(SQLITE_HAVE_ZLIB) \
 -  && !defined(SQLITE_SHELL_FIDDLE)
 -  if( c=='a' && cli_strncmp(azArg[0], "archive", n)==0 ){
 -    open_db(p, 0);
 -    failIfSafeMode(p, "cannot run .archive in safe mode");
 -    rc = arDotCommand(p, 0, azArg, nArg);
 -  }else
 -#endif
 +      if( res<0 ){
 +        raw_printf(STD_ERR, "Error: internal error");
 +        break;
 +      }else{
 +        if( bGroupByParent
 +        && (bVerbose || res==0)
 +        && (zPrev==0 || sqlite3_stricmp(zParent, zPrev))
 +        ){
 +          raw_printf(out, "-- Parent table %s\n", zParent);
 +          sqlite3_free(zPrev);
 +          zPrev = smprintf("%s", zParent);
 +        }
  
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( (c=='b' && n>=3 && cli_strncmp(azArg[0], "backup", n)==0)
 -   || (c=='s' && n>=3 && cli_strncmp(azArg[0], "save", n)==0)
 -  ){
 -    const char *zDestFile = 0;
 -    const char *zDb = 0;
 -    sqlite3 *pDest;
 -    sqlite3_backup *pBackup;
 -    int j;
 -    int bAsync = 0;
 -    const char *zVfs = 0;
 -    failIfSafeMode(p, "cannot run .%s in safe mode", azArg[0]);
 -    for(j=1; j<nArg; j++){
 -      const char *z = azArg[j];
 -      if( z[0]=='-' ){
 -        if( z[1]=='-' ) z++;
 -        if( cli_strcmp(z, "-append")==0 ){
 -          zVfs = "apndvfs";
 -        }else
 -        if( cli_strcmp(z, "-async")==0 ){
 -          bAsync = 1;
 -        }else
 -        {
 -          utf8_printf(stderr, "unknown option: %s\n", azArg[j]);
 -          return 1;
 +        if( res==0 ){
 +          raw_printf(out, "%s%s --> %s\n", zIndent, zCI, zTarget);
 +        }else if( bVerbose ){
 +          raw_printf(out, "%s/* no extra indexes required for %s -> %s */\n",
 +                     zIndent, zFrom, zTarget);
          }
 -      }else if( zDestFile==0 ){
 -        zDestFile = azArg[j];
 -      }else if( zDb==0 ){
 -        zDb = zDestFile;
 -        zDestFile = azArg[j];
 -      }else{
 -        raw_printf(stderr, "Usage: .backup ?DB? ?OPTIONS? FILENAME\n");
 -        return 1;
        }
      }
 -    if( zDestFile==0 ){
 -      raw_printf(stderr, "missing FILENAME argument on .backup\n");
 -      return 1;
 -    }
 -    if( zDb==0 ) zDb = "main";
 -    rc = sqlite3_open_v2(zDestFile, &pDest,
 -                  SQLITE_OPEN_READWRITE|SQLITE_OPEN_CREATE, zVfs);
 +    sqlite3_free(zPrev);
 +
      if( rc!=SQLITE_OK ){
 -      utf8_printf(stderr, "Error: cannot open \"%s\"\n", zDestFile);
 -      close_db(pDest);
 -      return 1;
 -    }
 -    if( bAsync ){
 -      sqlite3_exec(pDest, "PRAGMA synchronous=OFF; PRAGMA journal_mode=OFF;",
 -                   0, 0, 0);
 +      *pzErr = smprintf("%s\n", sqlite3_errmsg(db));
      }
 -    open_db(p, 0);
 -    pBackup = sqlite3_backup_init(pDest, "main", p->db, zDb);
 -    if( pBackup==0 ){
 -      utf8_printf(stderr, "Error: %s\n", sqlite3_errmsg(pDest));
 -      close_db(pDest);
 -      return 1;
 -    }
 -    while(  (rc = sqlite3_backup_step(pBackup,100))==SQLITE_OK ){}
 -    sqlite3_backup_finish(pBackup);
 -    if( rc==SQLITE_DONE ){
 -      rc = 0;
 -    }else{
 -      utf8_printf(stderr, "Error: %s\n", sqlite3_errmsg(pDest));
 -      rc = 1;
 +
 +    rc2 = sqlite3_finalize(pSql);
 +    if( rc==SQLITE_OK && rc2!=SQLITE_OK ){
 +      rc = rc2;
 +      *pzErr = smprintf("%s\n", sqlite3_errmsg(db));
      }
 -    close_db(pDest);
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 +  }else{
 +    *pzErr = smprintf("%s\n", sqlite3_errmsg(db));
 +  }
  
 -  if( c=='b' && n>=3 && cli_strncmp(azArg[0], "bail", n)==0 ){
 -    if( nArg==2 ){
 -      bail_on_error = booleanValue(azArg[1]);
 -    }else{
 -      raw_printf(stderr, "Usage: .bail on|off\n");
 -      rc = 1;
 +  return DCR_Ok|(rc!=0);
 +}
 +
 +DISPATCHABLE_COMMAND( load ? 2 3 ){
 +  const char *zFile = 0, *zProc = 0;
 +  int ai = 1, rc;
 +  if( ISS(p)->bSafeMode ) return DCR_AbortError;
 +  if( nArg<2 || azArg[1][0]==0 ){
 +    /* Must have a non-empty FILE. (Will not load self.) */
 +    return DCR_SayUsage;
 +  }
 +  while( ai<nArg ){
 +    const char *zA = azArg[ai++];
 +    if( zFile==0 ) zFile = zA;
 +    else if( zProc==0 ) zProc = zA;
 +    else return DCR_TooMany|ai;
 +  }
 +  open_db(p, 0);
 +  rc = sqlite3_load_extension(DBX(p), zFile, zProc, pzErr);
 +  return DCR_Ok|(rc!=SQLITE_OK);
 +}
 +
 +DISPATCHABLE_COMMAND( log ? 2 2 ){
 +  const char *zFile = azArg[1];
 +  int bOn = cli_strcmp(zFile,"on")==0;
 +  int bOff = cli_strcmp(zFile,"off")==0;
 +  if( ISS(p)->bSafeMode && !bOn && !bOff ){
 +    return DCR_AbortError;
 +  }
 +  output_file_close(ISS(p)->pLog);
 +  if( bOff ){
 +    ISS(p)->pLog = 0;
 +    return DCR_Ok;
 +  }
 +#if defined(SQLITE_SHELL_FIDDLE)
 +  if( !bOn ) return DCR_SayUsage;
 +#else
 +  if( bOn ) zFile = "stdout";
 +#endif
 +  ISS(p)->pLog = output_file_open(zFile, 0);
 +  return DCR_Ok;
 +}
 +
 +static void effectMode(ShellInState *psi, u8 modeRequest, u8 modeNominal){
 +  /* Effect the specified mode change. */
 +  const char *zColSep = 0, *zRowSep = 0;
 +  assert(modeNominal!=MODE_COUNT_OF);
 +  switch( modeRequest ){
 +  case MODE_Line:
 +    zRowSep = SEP_Row;
 +    break;
 +  case MODE_Column:
 +    if( (psi->shellFlgs & SHFLG_HeaderSet)==0 ){
 +      psi->showHeader = 1;
      }
 -  }else
 +    zRowSep = SEP_Row;
 +    break;
 +  case MODE_List:
 +    zColSep = SEP_Column;
 +    zRowSep = SEP_Row;
 +    break;
 +  case MODE_Html:
 +    break;
 +  case MODE_Tcl:
 +    zColSep = SEP_Space;
 +    zRowSep = SEP_Row;
 +    break;
 +  case MODE_Csv:
 +    zColSep = SEP_Comma;
 +    zRowSep = SEP_CrLf;
 +    break;
 +  case MODE_Tab:
 +    zColSep = SEP_Tab;
 +    break;
 +  case MODE_Insert:
 +    break;
 +  case MODE_Quote:
 +    zColSep = SEP_Comma;
 +    zRowSep = SEP_Row;
 +    break;
 +  case MODE_Ascii:
 +    zColSep = SEP_Unit;
 +    zRowSep = SEP_Record;
 +    break;
 +  case MODE_Markdown:
 +    /* fall-thru */
 +  case MODE_Table:
 +    /* fall-thru */
 +  case MODE_Box:
 +    break;
 +  case MODE_Count:
 +    /* fall-thru */
 +  case MODE_Off:
 +    /* fall-thru */
 +  case MODE_Json:
 +    break;
 +  case MODE_Explain: case MODE_Semi: case MODE_EQP: case MODE_Pretty: default:
 +    /* Modes used internally, not settable by .mode command. */
 +    return;
 +  }
 +  if( zRowSep!=0 ){
 +    sqlite3_snprintf(sizeof(psi->rowSeparator), psi->rowSeparator, zRowSep);
 +  }
 +  if( zColSep!=0 ){
 +    sqlite3_snprintf(sizeof(psi->colSeparator), psi->colSeparator, zColSep);
 +  }
 +  psi->mode = modeNominal;
 +}
  
 -  if( c=='b' && n>=3 && cli_strncmp(azArg[0], "binary", n)==0 ){
 -    if( nArg==2 ){
 -      if( booleanValue(azArg[1]) ){
 -        setBinaryMode(p->out, 1);
 +/*****************
 + * The .mode command
 + */
 +COLLECT_HELP_TEXT[
 +  ".mode MODE ?OPTIONS?     Set output mode",
 +  "   MODE is one of:",
 +  "     ascii       Columns/rows delimited by 0x1F and 0x1E",
 +  "     box         Tables using unicode box-drawing characters",
 +  "     csv         Comma-separated values",
 +  "     column      Output in columns.  (See .width)",
 +  "     html        HTML <table> code",
 +  "     insert      SQL insert statements for TABLE",
 +  "     json        Results in a JSON array",
 +  "     line        One value per line",
 +  "     list        Values delimited by \"|\"",
 +  "     markdown    Markdown table format",
 +  "     qbox        Shorthand for \"box --wrap 60 --quote\"",
 +  "     quote       Escape answers as for SQL",
 +  "     table       ASCII-art table",
 +  "     tabs        Tab-separated values",
 +  "     tcl         TCL list elements",
 +  "   OPTIONS: (for columnar modes or insert mode):",
 +  "     --wrap N       Wrap output lines to no longer than N characters",
 +  "     --wordwrap B   Wrap or not at word boundaries per B (on/off)",
 +  "     --ww           Shorthand for \"--wordwrap 1\"",
 +  "     --quote        Quote output text as SQL literals",
 +  "     --noquote      Do not quote output text",
 +  "     TABLE          The name of SQL table used for \"insert\" mode",
 +];
 +DISPATCHABLE_COMMAND( mode ? 1 0 ){
 +  ShellInState *psi = ISS(p);
 +  const char *zTabname = 0;
 +  const char *zArg;
 +  int i, aix;
 +  u8 foundMode = MODE_COUNT_OF, setMode = MODE_COUNT_OF;
 +  ColModeOpts cmOpts = ColModeOpts_default;
 +  for(aix=1; aix<nArg; aix++){
 +    zArg = azArg[aix];
 +    if( optionMatch(zArg,"wrap") && aix+1<nArg ){
 +      cmOpts.iWrap = integerValue(azArg[++aix]);
 +    }else if( optionMatch(zArg,"ww") ){
 +      cmOpts.bWordWrap = 1;
 +    }else if( optionMatch(zArg,"wordwrap") && aix+1<nArg ){
 +      cmOpts.bWordWrap = (u8)booleanValue(azArg[++aix]);
 +    }else if( optionMatch(zArg,"quote") ){
 +      cmOpts.bQuote = 1;
 +    }else if( optionMatch(zArg,"noquote") ){
 +      cmOpts.bQuote = 0;
 +    }else{
 +      /* Not a known option. Check for known mode, or possibly a table name. */
 +      if( foundMode==MODE_Insert && zTabname==0 ){
 +        zTabname = zArg;
 +      }else if( *zArg=='-' ){
 +        goto flag_unknown;
        }else{
 -        setTextMode(p->out, 1);
 -      }
 +        int im, nza = strlen30(zArg);
 +        if( foundMode!=MODE_COUNT_OF ) goto mode_badarg;
 +        for( im=0; im<MODE_COUNT_OF; ++im ){
 +          if( modeDescr[im].bUserBlocked ) continue;
 +          if( cli_strncmp(zArg,modeDescr[im].zModeName,nza)==0 ){
 +            foundMode = (u8)im;
 +            setMode = modeDescr[im].iAliasFor;
 +            break;
 +          }
 +        }
 +        if( cli_strcmp(zArg, "qbox")==0 ){
 +          ColModeOpts cmo = ColModeOpts_default_qbox;
 +          foundMode = setMode = MODE_Box;
 +          cmOpts = cmo;
 +        }else if( im==MODE_COUNT_OF ) goto mode_unknown;
 +      }
 +    }
 +  } /* Arg loop */
 +  if( foundMode==MODE_COUNT_OF ){
 +    FILE *out = psi->out;
 +    const char *zMode;
 +    int nms;
 +    i = psi->mode;
 +    assert(i>=0 && i<MODE_COUNT_OF);
 +    zMode = modeDescr[i].zModeName;
 +    nms = strlen30(zMode)-modeDescr[i].bDepluralize;
 +    /* Mode not specified. Show present mode (and toss any options set.) */
 +    if( MODE_IS_COLUMNAR(psi->mode) ){
 +      raw_printf
 +        (out, "current output mode: %.*s --wrap %d --wordwrap %s --%squote\n",
 +         nms, zMode, psi->cmOpts.iWrap,
 +         psi->cmOpts.bWordWrap ? "on" : "off",
 +         psi->cmOpts.bQuote ? "" : "no");
      }else{
 -      raw_printf(stderr, "Usage: .binary on|off\n");
 -      rc = 1;
 +      raw_printf(out, "current output mode: %.*s\n", nms, zMode);
      }
 -  }else
 -
 -  /* The undocumented ".breakpoint" command causes a call to the no-op
 -  ** routine named test_breakpoint().
 -  */
 -  if( c=='b' && n>=3 && cli_strncmp(azArg[0], "breakpoint", n)==0 ){
 -    test_breakpoint();
 -  }else
 +  }else{
 +    effectMode(psi, foundMode, setMode);
 +    if( MODE_IS_COLUMNAR(setMode) ){
 +      psi->cmOpts = cmOpts;
 +#if SHELL_DATAIO_EXT
 +      psi->pActiveExporter = psi->pColumnarExporter;
 +#endif
 +    }else{
 +#if SHELL_DATAIO_EXT
 +      psi->pActiveExporter = psi->pFreeformExporter;
 +#endif
 +      if( setMode==MODE_Insert ){
 +        set_table_name(p, zTabname ? zTabname : "table");
 +      }
 +    }
 +  }
 +  psi->cMode = psi->mode;
 +  return DCR_Ok;
 + flag_unknown:
 +  *pzErr = smprintf("Unknown .mode option: %s\nValid options:\n%s",
 +                    zArg,
 +                    "  --noquote\n"
 +                    "  --quote\n"
 +                    "  --wordwrap on/off\n"
 +                    "  --wrap N\n"
 +                    "  --ww\n");
 +  return DCR_Unknown|aix;
 + mode_unknown:
 +  *pzErr = smprintf("Mode should be one of:\n"
 +                    "  ascii box column csv html insert json line\n"
 +                    "  list markdown qbox quote table tabs tcl\n");
 +  return DCR_Unknown|aix;
 + mode_badarg:
 +  *pzErr = smprintf("Invalid .mode argument: %s\n", zArg);
 +  return DCR_ArgWrong|aix;
 +}
  
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( c=='c' && cli_strcmp(azArg[0],"cd")==0 ){
 -    failIfSafeMode(p, "cannot run .cd in safe mode");
 -    if( nArg==2 ){
 -#if defined(_WIN32) || defined(WIN32)
 -      wchar_t *z = sqlite3_win32_utf8_to_unicode(azArg[1]);
 -      rc = !SetCurrentDirectoryW(z);
 -      sqlite3_free(z);
 +/* Note that .open is (partially) available in WASM builds but is
 +** currently only intended to be used by the fiddle tool, not
 +** end users, so is "undocumented." */
 +#ifdef SQLITE_SHELL_FIDDLE
 +# define HOPEN ",open"
  #else
 -      rc = chdir(azArg[1]);
 +# define HOPEN ".open"
  #endif
 -      if( rc ){
 -        utf8_printf(stderr, "Cannot change to directory \"%s\"\n", azArg[1]);
 -        rc = 1;
 -      }
 -    }else{
 -      raw_printf(stderr, "Usage: .cd DIRECTORY\n");
 -      rc = 1;
 -    }
 -  }else
 +/* ToDo: Get defined help text collection into macro processor. */
 +/*****************
 + * The .nonce, .nullvalue and .open commands
 + */
 +CONDITION_COMMAND(nonce !defined(SQLITE_SHELL_FIDDLE));
 +COLLECT_HELP_TEXT[
 +  ".open ?OPTIONS? ?FILE?   Close existing database and reopen FILE",
 +  "     Options:",
 +  "        --append        Use appendvfs to append database to the end of FILE",
 +#ifndef SQLITE_OMIT_DESERIALIZE
 +  "        --deserialize   Load into memory using sqlite3_deserialize()",
 +  "        --hexdb         Load the output of \"dbtotxt\" as an in-memory db",
 +  "        --maxsize N     Maximum size for --hexdb or --deserialized database",
 +#endif
 +  "        --new           Initialize FILE to an empty database",
 +  "        --nofollow      Do not follow symbolic links",
 +  "        --readonly      Open FILE readonly",
 +  "        --zip           FILE is a ZIP archive",
 +  ".nonce STRING            Suspend safe mode for one command if nonce matches",
 +  ".nullvalue STRING        Use STRING in place of NULL values",
 +];
 +DISPATCHABLE_COMMAND( open 3 1 0 ){
 +  ShellInState *psi = ISS(p);
 +  const char *zFN = 0;     /* Pointer to constant filename */
 +  char *zNewFilename = 0;  /* Name of the database file to open */
 +  int iName = 1;           /* Index in azArg[] of the filename */
 +  int newFlag = 0;         /* True to delete file before opening */
 +  u8 openMode = SHELL_OPEN_UNSPEC;
 +  int openFlags = 0;
 +  sqlite3_int64 szMax = 0;
 +  int rc = 0;
 +  /* Check for command-line arguments */
 +  for(iName=1; iName<nArg; iName++){
 +    const char *z = azArg[iName];
 +#ifndef SQLITE_SHELL_FIDDLE
 +    if( optionMatch(z,"new") ){
 +      newFlag = 1;
 +# ifdef SQLITE_HAVE_ZLIB
 +    }else if( optionMatch(z, "zip") ){
 +      openMode = SHELL_OPEN_ZIPFILE;
 +# endif
 +    }else if( optionMatch(z, "append") ){
 +      openMode = SHELL_OPEN_APPENDVFS;
 +    }else if( optionMatch(z, "readonly") ){
 +      openMode = SHELL_OPEN_READONLY;
 +    }else if( optionMatch(z, "nofollow") ){
 +      openFlags |= SQLITE_OPEN_NOFOLLOW;
 +# ifndef SQLITE_OMIT_DESERIALIZE
 +    }else if( optionMatch(z, "deserialize") ){
 +      openMode = SHELL_OPEN_DESERIALIZE;
 +    }else if( optionMatch(z, "hexdb") ){
 +      openMode = SHELL_OPEN_HEXDB;
 +    }else if( optionMatch(z, "maxsize") && iName+1<nArg ){
 +      szMax = integerValue(azArg[++iName]);
 +# endif /* SQLITE_OMIT_DESERIALIZE */
 +    }else
  #endif /* !defined(SQLITE_SHELL_FIDDLE) */
 -
 -  if( c=='c' && n>=3 && cli_strncmp(azArg[0], "changes", n)==0 ){
 -    if( nArg==2 ){
 -      setOrClearFlag(p, SHFLG_CountChanges, azArg[1]);
 +    if( z[0]=='-' ){
 +      return DCR_Unknown|iName;
 +    }else if( zFN ){
 +      *pzErr = smprintf("extra argument: \"%s\"\n", z);
 +      return DCR_TooMany;
      }else{
 -      raw_printf(stderr, "Usage: .changes on|off\n");
 -      rc = 1;
 +      zFN = z;
      }
 -  }else
 +  }
  
 +  /* Close the existing database */
 +  session_close_all(psi, -1);
 +#if SHELL_DYNAMIC_EXTENSION
 +  if( DBX(p)!=0 ) notify_subscribers(psi, NK_DbAboutToClose, DBX(p));
 +#endif
 +  close_db(DBX(p));
 +  DBX(p) = 0;
 +  psi->pAuxDb->zDbFilename = 0;
 +  sqlite3_free(psi->pAuxDb->zFreeOnClose);
 +  psi->pAuxDb->zFreeOnClose = 0;
 +  psi->openMode = openMode;
 +  psi->openFlags = 0;
 +  psi->szMax = 0;
 +
 +  /* If a filename is specified, try to open it first */
 +  if( zFN || psi->openMode==SHELL_OPEN_HEXDB ){
 +    if( newFlag && zFN && !psi->bSafeMode ) shellDeleteFile(zFN);
  #ifndef SQLITE_SHELL_FIDDLE
 -  /* Cancel output redirection, if it is currently set (by .testcase)
 -  ** Then read the content of the testcase-out.txt file and compare against
 -  ** azArg[1].  If there are differences, report an error and exit.
 -  */
 -  if( c=='c' && n>=3 && cli_strncmp(azArg[0], "check", n)==0 ){
 -    char *zRes = 0;
 -    output_reset(p);
 -    if( nArg!=2 ){
 -      raw_printf(stderr, "Usage: .check GLOB-PATTERN\n");
 -      rc = 2;
 -    }else if( (zRes = readFile("testcase-out.txt", 0))==0 ){
 -      rc = 2;
 -    }else if( testcase_glob(azArg[1],zRes)==0 ){
 -      utf8_printf(stderr,
 -                 "testcase-%s FAILED\n Expected: [%s]\n      Got: [%s]\n",
 -                 p->zTestcase, azArg[1], zRes);
 -      rc = 1;
 -    }else{
 -      utf8_printf(stdout, "testcase-%s ok\n", p->zTestcase);
 -      p->nCheck++;
 +    if( psi->bSafeMode
 +        && psi->openMode!=SHELL_OPEN_HEXDB
 +        && zFN
 +        && cli_strcmp(zFN,":memory:")!=0
 +        ){
 +      *pzErr = smprintf("cannot open database files in safe mode");
 +      return DCR_AbortError;
      }
 -    sqlite3_free(zRes);
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 -
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( c=='c' && cli_strncmp(azArg[0], "clone", n)==0 ){
 -    failIfSafeMode(p, "cannot run .clone in safe mode");
 -    if( nArg==2 ){
 -      tryToClone(p, azArg[1]);
 +#else
 +      /* WASM mode has its own sandboxed pseudo-filesystem. */
 +#endif
 +    if( zFN ){
 +      zNewFilename = smprintf("%s", zFN);
 +      shell_check_oom(zNewFilename);
      }else{
 -      raw_printf(stderr, "Usage: .clone FILENAME\n");
 +      zNewFilename = 0;
 +    }
 +    psi->pAuxDb->zDbFilename = zNewFilename;
 +    psi->openFlags = openFlags;
 +    psi->szMax = szMax;
 +    open_db(p, OPEN_DB_KEEPALIVE);
 +    if( DBX(p)==0 ){
 +      *pzErr = smprintf("cannot open '%s'\n", zNewFilename);
 +      sqlite3_free(zNewFilename);
        rc = 1;
 -    }
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 -
 -  if( c=='c' && cli_strncmp(azArg[0], "connection", n)==0 ){
 -    if( nArg==1 ){
 -      /* List available connections */
 -      int i;
 -      for(i=0; i<ArraySize(p->aAuxDb); i++){
 -        const char *zFile = p->aAuxDb[i].zDbFilename;
 -        if( p->aAuxDb[i].db==0 && p->pAuxDb!=&p->aAuxDb[i] ){
 -          zFile = "(not open)";
 -        }else if( zFile==0 ){
 -          zFile = "(memory)";
 -        }else if( zFile[0]==0 ){
 -          zFile = "(temporary-file)";
 -        }
 -        if( p->pAuxDb == &p->aAuxDb[i] ){
 -          utf8_printf(stdout, "ACTIVE %d: %s\n", i, zFile);
 -        }else if( p->aAuxDb[i].db!=0 ){
 -          utf8_printf(stdout, "       %d: %s\n", i, zFile);
 -        }
 -      }
 -    }else if( nArg==2 && IsDigit(azArg[1][0]) && azArg[1][1]==0 ){
 -      int i = azArg[1][0] - '0';
 -      if( p->pAuxDb != &p->aAuxDb[i] && i>=0 && i<ArraySize(p->aAuxDb) ){
 -        p->pAuxDb->db = p->db;
 -        p->pAuxDb = &p->aAuxDb[i];
 -        globalDb = p->db = p->pAuxDb->db;
 -        p->pAuxDb->db = 0;
 -      }
 -    }else if( nArg==3 && cli_strcmp(azArg[1], "close")==0
 -           && IsDigit(azArg[2][0]) && azArg[2][1]==0 ){
 -      int i = azArg[2][0] - '0';
 -      if( i<0 || i>=ArraySize(p->aAuxDb) ){
 -        /* No-op */
 -      }else if( p->pAuxDb == &p->aAuxDb[i] ){
 -        raw_printf(stderr, "cannot close the active database connection\n");
 -        rc = 1;
 -      }else if( p->aAuxDb[i].db ){
 -        session_close_all(p, i);
 -        close_db(p->aAuxDb[i].db);
 -        p->aAuxDb[i].db = 0;
 -      }
      }else{
 -      raw_printf(stderr, "Usage: .connection [close] [CONNECTION-NUMBER]\n");
 -      rc = 1;
 +      psi->pAuxDb->zFreeOnClose = zNewFilename;
      }
 -  }else
 -
 -  if( c=='d' && n>1 && cli_strncmp(azArg[0], "databases", n)==0 ){
 -    char **azName = 0;
 -    int nName = 0;
 -    sqlite3_stmt *pStmt;
 -    int i;
 +  }
 +  if( DBX(p)==0 ){
 +    /* As a fall-back open a TEMP database */
 +    psi->pAuxDb->zDbFilename = 0;
      open_db(p, 0);
 -    rc = sqlite3_prepare_v2(p->db, "PRAGMA database_list", -1, &pStmt, 0);
 -    if( rc ){
 -      utf8_printf(stderr, "Error: %s\n", sqlite3_errmsg(p->db));
 +  }
 +  return DCR_Ok|(rc!=0);
 +}
 +
 +DISPATCHABLE_COMMAND( nonce ? 2 2 ){
 +  ShellInState *psi = ISS(p);
 +  if( psi->zNonce==0 || cli_strcmp(azArg[1],psi->zNonce)!=0 ){
 +    raw_printf(STD_ERR, "line %d: incorrect nonce: \"%s\"\n",
 +               psi->pInSource->lineno, azArg[1]);
 +    exit(1);
 +  }
 +  /* Suspend safe mode for 1 dot-command after this. */
 +  psi->bSafeModeFuture = 2;
 +  return DCR_Ok;
 +}
 +
 +DISPATCHABLE_COMMAND( nullvalue ? 2 2 ){
 +  sqlite3_snprintf(sizeof(ISS(p)->nullValue), ISS(p)->nullValue, "%.*s",
 +                   (int)ArraySize(ISS(p)->nullValue)-1, azArg[1]);
 +  return DCR_Ok;
 +}
 +
 +/* Helper functions for .parameter and .vars commands
 + */
 +
 +struct keyval_row { char * value; int uses; int hits; };
 +
 +static int kv_find_callback(void *pData, int nc, char **pV, char **pC){
 +  assert(nc>=1);
 +  assert(cli_strcmp(pC[0],"value")==0);
 +  struct keyval_row *pParam = (struct keyval_row *)pData;
 +  assert(pParam->value==0); /* key values are supposedly unique. */
 +  if( pParam->value!=0 ) sqlite3_free( pParam->value );
 +  pParam->value = smprintf("%s", pV[0]); /* source owned by statement */
 +  if( nc>1 ) pParam->uses = (int)integerValue(pV[1]);
 +  ++pParam->hits;
 +  return 0;
 +}
 +
 +static void append_in_clause(sqlite3_str *pStr,
 +                             const char **azBeg, const char **azLim);
 +static void append_glob_terms(sqlite3_str *pStr, const char *zColName,
 +                              const char **azBeg, const char **azLim);
 +static char *find_home_dir(int clearFlag);
 +
 +/* Create a home-relative pathname from ~ prefixed path.
 + * Return it, or 0 for any error.
 + * Caller must sqlite3_free() it.
 + */
 +static char *home_based_path( const char *zPath ){
 +  char *zHome = find_home_dir(0);
 +  char *zErr = 0;
 +  assert( zPath[0]=='~' );
 +  if( zHome==0 ){
 +    zErr = "Cannot find home directory.";
 +  }else if( zPath[0]==0 || (zPath[1]!='/'
 +#if defined(_WIN32) || defined(WIN32)
 +                            && zPath[1]!='\\'
 +#endif
 +                            ) ){
 +    zErr = "Malformed pathname";
 +  }else{
 +    return smprintf("%s%s", zHome, zPath+1);
 +  }
 +  utf8_printf(STD_ERR, "Error: %s\n", zErr);
 +  return 0;
 +}
 +
 +/* Transfer selected parameters between two parameter tables, for save/load.
 + * Argument bSaveNotLoad determines transfer direction and other actions.
 + * If it is true, the store DB will be created if not existent, and its
 + * table for keeping parameters will be created. Or failure is returned.
 + * If it is false, the store DB will be opened for read and its presumed
 + * table for keeping parameters will be read. Or failure is returned.
 + *
 + * Arguments azNames and nNames reference the ?NAMES? save/load arguments.
 + * If it is an empty list, all parameters will be saved or loaded.
 + * Otherwise, only the named parameters are transferred, if they exist.
 + * It is not an error to specify a name that cannot be transferred
 + * because it does not exist in the source table.
 + *
 + * Returns are SQLITE_OK for success, or other codes for failure.
 + */
 +static int kv_xfr_table(sqlite3 *db, const char *zStoreDbName,
 +                        int bSaveNotLoad, ParamTableUse ptu,
 +                        const char *azNames[], int nNames){
 +  int rc = 0;
 +  char *zSql = 0; /* to be sqlite3_free()'ed */
 +  sqlite3_str *sbCopy = 0;
 +  const char *zHere = 0;
 +  const char *zThere = SH_KV_STORE_SNAME;
 +  const char *zTo;
 +  const char *zFrom;
 +  sqlite3 *dbStore = 0;
 +  int openFlags = (bSaveNotLoad)
 +    ? SQLITE_OPEN_URI|SQLITE_OPEN_READWRITE|SQLITE_OPEN_CREATE
 +    : SQLITE_OPEN_READONLY;
 +
 +  switch( ptu ){
 +  case PTU_Binding: zHere = PARAM_TABLE_SNAME; break;
 +  case PTU_Script:  zHere = SHVAR_TABLE_SNAME; break;
 +  default: assert(0); return 1;
 +  }
 +  zTo = (bSaveNotLoad)? zThere : zHere;
 +  zFrom = (bSaveNotLoad)? zHere : zThere;
 +  /* Ensure store DB can be opened and/or created appropriately. */
 +  rc = sqlite3_open_v2(zStoreDbName, &dbStore, openFlags, 0);
 +  if( rc!=SQLITE_OK ){
 +    utf8_printf(STD_ERR, "Error: Cannot %s key/value store DB %s\n",
 +                bSaveNotLoad? "open/create" : "read", zStoreDbName);
 +    return rc;
 +  }
 +  /* Ensure it has the kv store table, or handle its absence. */
 +  assert(dbStore!=0);
 +  if( sqlite3_table_column_metadata
 +      (dbStore, "main", SH_KV_STORE_NAME, 0, 0, 0, 0, 0, 0)!=SQLITE_OK ){
 +    if( !bSaveNotLoad ){
 +      utf8_printf(STD_ERR, "Error: No key/value pairs ever stored in DB %s\n",
 +                  zStoreDbName);
        rc = 1;
      }else{
 -      while( sqlite3_step(pStmt)==SQLITE_ROW ){
 -        const char *zSchema = (const char *)sqlite3_column_text(pStmt,1);
 -        const char *zFile = (const char*)sqlite3_column_text(pStmt,2);
 -        if( zSchema==0 || zFile==0 ) continue;
 -        azName = sqlite3_realloc(azName, (nName+1)*2*sizeof(char*));
 -        shell_check_oom(azName);
 -        azName[nName*2] = strdup(zSchema);
 -        azName[nName*2+1] = strdup(zFile);
 -        nName++;
 +      /* The saved parameters table is not there yet; create it. */
 +      const char *zCT =
 +        "CREATE TABLE IF NOT EXISTS "SH_KV_STORE_NAME"(\n"
 +        "  key TEXT PRIMARY KEY,\n"
 +        "  value,\n"
 +        "  uses INT\n"
 +        ") WITHOUT ROWID;";
 +      rc = sqlite3_exec(dbStore, zCT, 0, 0, 0);
 +      if( rc!=SQLITE_OK ){
 +        utf8_printf(STD_ERR, "Cannot create table %s. Nothing saved.", zThere);
        }
      }
 -    sqlite3_finalize(pStmt);
 -    for(i=0; i<nName; i++){
 -      int eTxn = sqlite3_txn_state(p->db, azName[i*2]);
 -      int bRdonly = sqlite3_db_readonly(p->db, azName[i*2]);
 -      const char *z = azName[i*2+1];
 -      utf8_printf(p->out, "%s: %s %s%s\n",
 -         azName[i*2],
 -         z && z[0] ? z : "\"\"",
 -         bRdonly ? "r/o" : "r/w",
 -         eTxn==SQLITE_TXN_NONE ? "" :
 -            eTxn==SQLITE_TXN_READ ? " read-txn" : " write-txn");
 -      free(azName[i*2]);
 -      free(azName[i*2+1]);
 -    }
 -    sqlite3_free(azName);
 -  }else
 +  }
 +  sqlite3_close(dbStore);
 +  if( rc!=0 ) return rc;
  
 -  if( c=='d' && n>=3 && cli_strncmp(azArg[0], "dbconfig", n)==0 ){
 -    static const struct DbConfigChoices {
 -      const char *zName;
 -      int op;
 -    } aDbConfig[] = {
 -        { "defensive",          SQLITE_DBCONFIG_DEFENSIVE             },
 -        { "dqs_ddl",            SQLITE_DBCONFIG_DQS_DDL               },
 -        { "dqs_dml",            SQLITE_DBCONFIG_DQS_DML               },
 -        { "enable_fkey",        SQLITE_DBCONFIG_ENABLE_FKEY           },
 -        { "enable_qpsg",        SQLITE_DBCONFIG_ENABLE_QPSG           },
 -        { "enable_trigger",     SQLITE_DBCONFIG_ENABLE_TRIGGER        },
 -        { "enable_view",        SQLITE_DBCONFIG_ENABLE_VIEW           },
 -        { "fts3_tokenizer",     SQLITE_DBCONFIG_ENABLE_FTS3_TOKENIZER },
 -        { "legacy_alter_table", SQLITE_DBCONFIG_LEGACY_ALTER_TABLE    },
 -        { "legacy_file_format", SQLITE_DBCONFIG_LEGACY_FILE_FORMAT    },
 -        { "load_extension",     SQLITE_DBCONFIG_ENABLE_LOAD_EXTENSION },
 -        { "no_ckpt_on_close",   SQLITE_DBCONFIG_NO_CKPT_ON_CLOSE      },
 -        { "reset_database",     SQLITE_DBCONFIG_RESET_DATABASE        },
 -        { "reverse_scanorder",  SQLITE_DBCONFIG_REVERSE_SCANORDER     },
 -        { "stmt_scanstatus",    SQLITE_DBCONFIG_STMT_SCANSTATUS       },
 -        { "trigger_eqp",        SQLITE_DBCONFIG_TRIGGER_EQP           },
 -        { "trusted_schema",     SQLITE_DBCONFIG_TRUSTED_SCHEMA        },
 -        { "writable_schema",    SQLITE_DBCONFIG_WRITABLE_SCHEMA       },
 -    };
 -    int ii, v;
 -    open_db(p, 0);
 -    for(ii=0; ii<ArraySize(aDbConfig); ii++){
 -      if( nArg>1 && cli_strcmp(azArg[1], aDbConfig[ii].zName)!=0 ) continue;
 -      if( nArg>=3 ){
 -        sqlite3_db_config(p->db, aDbConfig[ii].op, booleanValue(azArg[2]), 0);
 -      }
 -      sqlite3_db_config(p->db, aDbConfig[ii].op, -1, &v);
 -      utf8_printf(p->out, "%19s %s\n", aDbConfig[ii].zName, v ? "on" : "off");
 -      if( nArg>1 ) break;
 -    }
 -    if( nArg>1 && ii==ArraySize(aDbConfig) ){
 -      utf8_printf(stderr, "Error: unknown dbconfig \"%s\"\n", azArg[1]);
 -      utf8_printf(stderr, "Enter \".dbconfig\" with no arguments for a list\n");
 -    }
 -  }else
 +  zSql = smprintf("ATTACH %Q AS %s;", zStoreDbName, SH_KV_STORE_SCHEMA);
 +  shell_check_oom(zSql);
 +  rc = sqlite3_exec(db, zSql, 0, 0, 0);
 +  sqlite3_free(zSql);
 +  if( rc!=SQLITE_OK ) return rc;
  
 -#if SQLITE_SHELL_HAVE_RECOVER
 -  if( c=='d' && n>=3 && cli_strncmp(azArg[0], "dbinfo", n)==0 ){
 -    rc = shell_dbinfo_command(p, nArg, azArg);
 -  }else
 +  sbCopy = sqlite3_str_new(db);
 +  sqlite3_str_appendf
 +      (sbCopy, "INSERT OR REPLACE INTO %s(key,value,uses)"
 +       "SELECT key, value, uses FROM %s WHERE key ", zTo, zFrom);
 +  append_in_clause(sbCopy, azNames, azNames+nNames);
 +  zSql = sqlite3_str_finish(sbCopy);
 +  shell_check_oom(zSql);
 +  rc = sqlite3_exec(db, zSql, 0, 0, 0);
 +  sqlite3_free(zSql);
  
 -  if( c=='r' && cli_strncmp(azArg[0], "recover", n)==0 ){
 -    open_db(p, 0);
 -    rc = recoverDatabaseCmd(p, nArg, azArg);
 -  }else
 -#endif /* SQLITE_SHELL_HAVE_RECOVER */
 +  sqlite3_exec(db, "DETACH "SH_KV_STORE_SCHEMA";", 0, 0, 0);
 +  return rc;
 +}
  
 -  if( c=='d' && cli_strncmp(azArg[0], "dump", n)==0 ){
 -    char *zLike = 0;
 -    char *zSql;
 -    int i;
 -    int savedShowHeader = p->showHeader;
 -    int savedShellFlags = p->shellFlgs;
 -    ShellClearFlag(p,
 -       SHFLG_PreserveRowid|SHFLG_Newlines|SHFLG_Echo
 -       |SHFLG_DumpDataOnly|SHFLG_DumpNoSys);
 -    for(i=1; i<nArg; i++){
 -      if( azArg[i][0]=='-' ){
 -        const char *z = azArg[i]+1;
 -        if( z[0]=='-' ) z++;
 -        if( cli_strcmp(z,"preserve-rowids")==0 ){
 -#ifdef SQLITE_OMIT_VIRTUALTABLE
 -          raw_printf(stderr, "The --preserve-rowids option is not compatible"
 -                             " with SQLITE_OMIT_VIRTUALTABLE\n");
 -          rc = 1;
 -          sqlite3_free(zLike);
 -          goto meta_command_exit;
 -#else
 -          ShellSetFlag(p, SHFLG_PreserveRowid);
 -#endif
 -        }else
 -        if( cli_strcmp(z,"newlines")==0 ){
 -          ShellSetFlag(p, SHFLG_Newlines);
 -        }else
 -        if( cli_strcmp(z,"data-only")==0 ){
 -          ShellSetFlag(p, SHFLG_DumpDataOnly);
 -        }else
 -        if( cli_strcmp(z,"nosys")==0 ){
 -          ShellSetFlag(p, SHFLG_DumpNoSys);
 -        }else
 -        {
 -          raw_printf(stderr, "Unknown option \"%s\" on \".dump\"\n", azArg[i]);
 -          rc = 1;
 -          sqlite3_free(zLike);
 -          goto meta_command_exit;
 -        }
 -      }else{
 -        /* azArg[i] contains a LIKE pattern. This ".dump" request should
 -        ** only dump data for tables for which either the table name matches
 -        ** the LIKE pattern, or the table appears to be a shadow table of
 -        ** a virtual table for which the name matches the LIKE pattern.
 -        */
 -        char *zExpr = sqlite3_mprintf(
 -            "name LIKE %Q ESCAPE '\\' OR EXISTS ("
 -            "  SELECT 1 FROM sqlite_schema WHERE "
 -            "    name LIKE %Q ESCAPE '\\' AND"
 -            "    sql LIKE 'CREATE VIRTUAL TABLE%%' AND"
 -            "    substr(o.name, 1, length(name)+1) == (name||'_')"
 -            ")", azArg[i], azArg[i]
 -        );
 +/* Default locations of kv store DBs for .parameters and .vars save/load. */
 +static const char *zDefaultParamStore = "~/sqlite_params.sdb";
 +static const char *zDefaultVarStore = "~/sqlite_vars.sdb";
  
 -        if( zLike ){
 -          zLike = sqlite3_mprintf("%z OR %z", zLike, zExpr);
 -        }else{
 -          zLike = zExpr;
 -        }
 -      }
 -    }
 +/* Possibly generate a derived path from input spec, with defaulting
 + * and conversion of leading (or only) tilde as home directory.
 + * The above-set default is used for zSpec NULL, "" or "~".
 + * When return is 0, there is an error; what needs doing cannnot be done.
 + * If the return is exactly the input, it must not be sqlite3_free()'ed.
 + * If the return differs from the input, it must be sqlite3_free()'ed.
 + */
 +  static const char *kv_store_path(const char *zSpec, ParamTableUse ptu){
 +  if( zSpec==0 || zSpec[0]==0 || cli_strcmp(zSpec,"~")==0 ){
 +    const char *zDef;
 +    switch( ptu ){
 +    case PTU_Binding: zDef = zDefaultParamStore; break;
 +    case PTU_Script:  zDef = zDefaultVarStore; break;
 +    default: return 0;
 +    }
 +    return home_based_path(zDef);
 +  }else if ( zSpec[0]=='~' ){
 +    return home_based_path(zSpec);
 +  }
 +  return zSpec;
 +}
  
 -    open_db(p, 0);
 +/* Load some or all kv pairs. Arguments are "load FILE ?NAMES?". */
 +static int kv_pairs_load(sqlite3 *db, ParamTableUse ptu,
 +                         const char *azArg[], int nArg){
 +  const char *zStore = kv_store_path((nArg>1)? azArg[1] : 0, ptu);
 +  if( zStore==0 ){
 +    utf8_printf(STD_ERR, "Cannot form parameter load path. Nothing loaded.\n");
 +    return DCR_Error;
 +  }else{
 +    const char **pzFirst = (nArg>2)? azArg+2 : 0;
 +    int nNames = (nArg>2)? nArg-2 : 0;
 +    int rc = kv_xfr_table(db, zStore, 0, ptu, pzFirst, nNames);
 +    if( nArg>1 && zStore!=azArg[1] ) sqlite3_free((void*)zStore);
 +    return rc;
 +  }
 +}
  
 -    if( (p->shellFlgs & SHFLG_DumpDataOnly)==0 ){
 -      /* When playing back a "dump", the content might appear in an order
 -      ** which causes immediate foreign key constraints to be violated.
 -      ** So disable foreign-key constraint enforcement to prevent problems. */
 -      raw_printf(p->out, "PRAGMA foreign_keys=OFF;\n");
 -      raw_printf(p->out, "BEGIN TRANSACTION;\n");
 -    }
 -    p->writableSchema = 0;
 -    p->showHeader = 0;
 -    /* Set writable_schema=ON since doing so forces SQLite to initialize
 -    ** as much of the schema as it can even if the sqlite_schema table is
 -    ** corrupt. */
 -    sqlite3_exec(p->db, "SAVEPOINT dump; PRAGMA writable_schema=ON", 0, 0, 0);
 -    p->nErr = 0;
 -    if( zLike==0 ) zLike = sqlite3_mprintf("true");
 -    zSql = sqlite3_mprintf(
 -      "SELECT name, type, sql FROM sqlite_schema AS o "
 -      "WHERE (%s) AND type=='table'"
 -      "  AND sql NOT NULL"
 -      " ORDER BY tbl_name='sqlite_sequence', rowid",
 -      zLike
 -    );
 -    run_schema_dump_query(p,zSql);
 -    sqlite3_free(zSql);
 -    if( (p->shellFlgs & SHFLG_DumpDataOnly)==0 ){
 -      zSql = sqlite3_mprintf(
 -        "SELECT sql FROM sqlite_schema AS o "
 -        "WHERE (%s) AND sql NOT NULL"
 -        "  AND type IN ('index','trigger','view')",
 -        zLike
 -      );
 -      run_table_dump_query(p, zSql);
 -      sqlite3_free(zSql);
 -    }
 -    sqlite3_free(zLike);
 -    if( p->writableSchema ){
 -      raw_printf(p->out, "PRAGMA writable_schema=OFF;\n");
 -      p->writableSchema = 0;
 -    }
 -    sqlite3_exec(p->db, "PRAGMA writable_schema=OFF;", 0, 0, 0);
 -    sqlite3_exec(p->db, "RELEASE dump;", 0, 0, 0);
 -    if( (p->shellFlgs & SHFLG_DumpDataOnly)==0 ){
 -      raw_printf(p->out, p->nErr?"ROLLBACK; -- due to errors\n":"COMMIT;\n");
 -    }
 -    p->showHeader = savedShowHeader;
 -    p->shellFlgs = savedShellFlags;
 -  }else
 +/* Save some or all parameters. Arguments are "save FILE ?NAMES?". */
 +static int kv_pairs_save(sqlite3 *db, ParamTableUse ptu,
 +                         const char *azArg[], int nArg){
 +  const char *zStore = kv_store_path((nArg>1)? azArg[1] : 0, ptu);
 +  if( zStore==0 ){
 +    utf8_printf(STD_ERR, "Cannot form parameter save path. Nothing saved.\n");
 +    return DCR_Error;
 +  }else{
 +    const char **pzFirst = (nArg>2)? azArg+2 : 0;
 +    int nNames = (nArg>2)? nArg-2 : 0;
 +    int rc = kv_xfr_table(db, zStore, 1, ptu, pzFirst, nNames);
 +    if( nArg>1 && zStore!=azArg[1] ) sqlite3_free((void*)zStore);
 +    return rc;
 +  }
 +}
 +
 +#ifndef SQLITE_NOHAVE_SYSTEM
 +/*
 + * Edit one named value in the parameters or shell variables table.
 + * If it does not yet exist, create it. If eval is true, the value
 + * is treated as a bare expression, otherwise it is a text value.
 + * The "uses" argument sets the 3rd column in the selected table,
 + * and serves to select which of the two tables is modified.
 + */
 +static int edit_one_kvalue(sqlite3 *db, char *name, int eval,
 +                           ParamTableUse uses, const char * zEditor){
 +  struct keyval_row kvRow = {0,0,0};
 +  int rc;
 +  char * zVal = 0;
 +  const char *zTab = 0;
 +  char * zSql = 0;
  
 -  if( c=='e' && cli_strncmp(azArg[0], "echo", n)==0 ){
 -    if( nArg==2 ){
 -      setOrClearFlag(p, SHFLG_Echo, azArg[1]);
 +  switch( uses ){
 +  case PTU_Script:  zTab = SHVAR_TABLE_SNAME; break;
 +  case PTU_Binding: zTab = PARAM_TABLE_SNAME; break;
 +  default: assert(0);
 +  }
 +  zSql = smprintf("SELECT value, uses FROM %s "
 +                  "WHERE key=%Q AND uses=%d", zTab, name, uses);
 +  shell_check_oom(zSql);
 +  sqlite3_exec(db, zSql, kv_find_callback, &kvRow, 0);
 +  sqlite3_free(zSql);
 +  assert(kvRow.hits<2);
 +  if( kvRow.hits==1 && kvRow.uses==uses){
 +    /* Editing an existing value of same kind. */
 +    sqlite3_free(kvRow.value);
 +    if( eval!=0 ){
 +      zSql = smprintf("SELECT edit(value, %Q) FROM %s "
 +                      "WHERE key=%Q AND uses=%d", zEditor, zTab, name, uses);
 +      shell_check_oom(zSql);
 +      zVal = db_text(db, zSql, 1);
 +      sqlite3_free(zSql);
 +      zSql = smprintf("UPDATE %s SET value=(SELECT %s) "
 +                      "WHERE key=%Q AND uses=%d", zTab, zVal, name, uses);
      }else{
 -      raw_printf(stderr, "Usage: .echo on|off\n");
 -      rc = 1;
 +      zSql = smprintf("UPDATE %s SET value=edit(value, %Q) WHERE"
 +                      " key=%Q AND uses=%d", zTab, zEditor, name, uses);
      }
 -  }else
 -
 -  if( c=='e' && cli_strncmp(azArg[0], "eqp", n)==0 ){
 -    if( nArg==2 ){
 -      p->autoEQPtest = 0;
 -      if( p->autoEQPtrace ){
 -        if( p->db ) sqlite3_exec(p->db, "PRAGMA vdbe_trace=OFF;", 0, 0, 0);
 -        p->autoEQPtrace = 0;
 -      }
 -      if( cli_strcmp(azArg[1],"full")==0 ){
 -        p->autoEQP = AUTOEQP_full;
 -      }else if( cli_strcmp(azArg[1],"trigger")==0 ){
 -        p->autoEQP = AUTOEQP_trigger;
 -#ifdef SQLITE_DEBUG
 -      }else if( cli_strcmp(azArg[1],"test")==0 ){
 -        p->autoEQP = AUTOEQP_on;
 -        p->autoEQPtest = 1;
 -      }else if( cli_strcmp(azArg[1],"trace")==0 ){
 -        p->autoEQP = AUTOEQP_full;
 -        p->autoEQPtrace = 1;
 -        open_db(p, 0);
 -        sqlite3_exec(p->db, "SELECT name FROM sqlite_schema LIMIT 1", 0, 0, 0);
 -        sqlite3_exec(p->db, "PRAGMA vdbe_trace=ON;", 0, 0, 0);
 -#endif
 -      }else{
 -        p->autoEQP = (u8)booleanValue(azArg[1]);
 -      }
 +  }else{
 +    /* Editing a new value of same kind. */
 +    assert(kvRow.value==0 || kvRow.uses!=uses);
 +    if( eval!=0 ){
 +      zSql = smprintf("SELECT edit('-- %q%s', %Q)", name, "\n", zEditor);
 +      zVal = db_text(db, zSql, 1);
 +      sqlite3_free(zSql);
 +      zSql = smprintf("INSERT INTO %s(key,value,uses)"
 +         " VALUES (%Q,(SELECT %s LIMIT 1),%d)",
 +         zTab, name, zVal, uses);
      }else{
 -      raw_printf(stderr, "Usage: .eqp off|on|trace|trigger|full\n");
 -      rc = 1;
 +      zSql = smprintf("INSERT INTO %s(key,value,uses)"
 +                      " VALUES (%Q,edit('-- %q;%s', %Q),%d)",
 +                      zTab, name, name, "\n", zEditor, uses);
      }
 -  }else
 -
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( c=='e' && cli_strncmp(azArg[0], "exit", n)==0 ){
 -    if( nArg>1 && (rc = (int)integerValue(azArg[1]))!=0 ) exit(rc);
 -    rc = 2;
 -  }else
 +  }
 +  shell_check_oom(zSql);
 +  rc = sqlite3_exec(db, zSql, 0, 0, 0);
 +  sqlite3_free(zSql);
 +  sqlite3_free(zVal);
 +  return rc!=SQLITE_OK;
 +}
  #endif
  
 -  /* The ".explain" command is automatic now.  It is largely pointless.  It
 -  ** retained purely for backwards compatibility */
 -  if( c=='e' && cli_strncmp(azArg[0], "explain", n)==0 ){
 -    int val = 1;
 -    if( nArg>=2 ){
 -      if( cli_strcmp(azArg[1],"auto")==0 ){
 -        val = 99;
 -      }else{
 -        val =  booleanValue(azArg[1]);
 +/* Space-join values in an argument list. *valLim is not included. */
 +char *values_join( char **valBeg, char **valLim ){
 +  char *z = 0;
 +  const char *zSep = 0;
 +  while( valBeg < valLim ){
 +    z = smprintf("%z%s%s", z, zSep, *valBeg);
 +    zSep = " ";
 +    ++valBeg;
 +  }
 +  return z;
 +}
 +
 +static struct ParamSetOpts {
 +  const char cCast;
 +  const char *zTypename;
 +  int evalKind;
 +} param_set_opts[] = {
 +  /* { 'q', 0, 2 }, */
 +  /* { 'x', 0, 1 }, */
 +  { 'i', "INT", 1 },
 +  { 'r', "REAL", 1 },
 +  { 'b', "BLOB", 1 },
 +  { 't', "TEXT", 0 },
 +  { 'n', "NUMERIC", 1 }
 +};
 +
 +/* Return an option character if it is single and prefixed by - or --,
 + * else return 0.
 + */
 +static char option_char(char *zArg){
 +  if( zArg[0]=='-' ){
 +    ++zArg;
 +    if( zArg[0]=='-' ) ++zArg;
 +    if( zArg[0]!=0 && zArg[1]==0 ) return zArg[0];
 +  }
 +  return 0;
 +}
 +
 +/* Most of .vars set
 + * Return SQLITE_OK on success, else SQLITE_ERROR.
 + */
 +static int shvar_set(sqlite3 *db, char *name, char **valBeg, char **valLim){
 +  int rc = SQLITE_OK;
 +  char *zValGlom = (valLim-valBeg>1)? values_join(valBeg, valLim) : 0;
 +  sqlite3_stmt *pStmtSet = 0;
 +  char *zValue = (zValGlom==0)? *valBeg : zValGlom;
 +  char *zSql
 +    = smprintf("REPLACE INTO "SHVAR_TABLE_SNAME"(key,value,uses)"
 +               "VALUES(%Q,%Q,"SPTU_Script");", name, zValue);
 +  shell_check_oom(zSql);
 +  rc = sqlite3_prepare_v2(db, zSql, -1, &pStmtSet, 0);
 +  assert(rc==SQLITE_OK);
 +  sqlite3_free(zSql);
 +  rc = (SQLITE_DONE==sqlite3_step(pStmtSet))? SQLITE_OK : SQLITE_ERROR;
 +  sqlite3_finalize(pStmtSet);
 +  sqlite3_free(zValGlom);
 +  return rc;
 +}
 +
 +
 +/* Most of the .parameter set subcommand (per help text)
 + */
 +static int param_set(sqlite3 *db, char cCast,
 +                     char *name, char **valBeg, char **valLim){
 +  char *zSql = 0;
 +  int rc = SQLITE_OK, retries = 0, needsEval = 1;
 +  char *zValGlom = (valLim-valBeg>1)? values_join(valBeg, valLim) : 0;
 +  sqlite3_stmt *pStmtSet = 0;
 +  const char *zCastTo = 0;
 +  char *zValue = (zValGlom==0)? *valBeg : zValGlom;
 +  if( cCast ){
 +    struct ParamSetOpts *pSO = param_set_opts;
 +    for(; pSO-param_set_opts < ArraySize(param_set_opts); ++pSO ){
 +      if( cCast==pSO->cCast ){
 +        zCastTo = pSO->zTypename;
 +        needsEval = pSO->evalKind > 0;
 +        break;
        }
      }
 -    if( val==1 && p->mode!=MODE_Explain ){
 -      p->normalMode = p->mode;
 -      p->mode = MODE_Explain;
 -      p->autoExplain = 0;
 -    }else if( val==0 ){
 -      if( p->mode==MODE_Explain ) p->mode = p->normalMode;
 -      p->autoExplain = 0;
 -    }else if( val==99 ){
 -      if( p->mode==MODE_Explain ) p->mode = p->normalMode;
 -      p->autoExplain = 1;
 +  }
 +  if( needsEval ){
 +    if( zCastTo!=0 ){
 +      zSql = smprintf
 +        ( "REPLACE INTO "PARAM_TABLE_SNAME"(key,value,uses)"
 +          " VALUES(%Q,CAST((%s) AS %s),"SPTU_Binding");",
 +          name, zValue, zCastTo );
 +    }else{
 +      zSql = smprintf
 +        ( "REPLACE INTO "PARAM_TABLE_SNAME"(key,value,uses)"
 +          "VALUES(%Q,(%s),"SPTU_Binding");", name, zValue );
      }
 -  }else
 +    shell_check_oom(zSql);
 +    rc = sqlite3_prepare_v2(db, zSql, -1, &pStmtSet, 0);
 +    sqlite3_free(zSql);
 +  }
 +  if( !needsEval || rc!=SQLITE_OK ){
 +    /* Reach here when value either requested to be cast to text, or must be. */
 +    sqlite3_finalize(pStmtSet);
 +    pStmtSet = 0;
 +    zSql = smprintf
 +      ( "REPLACE INTO "PARAM_TABLE_SNAME"(key,value,uses)"
 +        "VALUES(%Q,%Q,"SPTU_Binding");", name, zValue );
 +    shell_check_oom(zSql);
 +    rc = sqlite3_prepare_v2(db, zSql, -1, &pStmtSet, 0);
 +    assert(rc==SQLITE_OK);
 +    sqlite3_free(zSql);
 +  }
 +  sqlite3_step(pStmtSet);
 +  sqlite3_finalize(pStmtSet);
 +  sqlite3_free(zValGlom);
 +  return rc;
 +}
  
 -#ifndef SQLITE_OMIT_VIRTUALTABLE
 -  if( c=='e' && cli_strncmp(azArg[0], "expert", n)==0 ){
 -    if( p->bSafeMode ){
 -      raw_printf(stderr,
 -        "Cannot run experimental commands such as \"%s\" in safe mode\n",
 -        azArg[0]);
 -      rc = 1;
 +/* list or ls subcommand for .parameter and .vars dot-commands */
 +static void list_pov_entries(ShellExState *psx, ParamTableUse ptu, u8 bShort,
 +                             char **pzArgs, int nArg){
 +  sqlite3_stmt *pStmt = 0;
 +  sqlite3_str *sbList;
 +  int len = 0, rc;
 +  char *zFromWhere = 0;
 +  char *zSql = 0;
 +  sqlite3 *db;
 +  const char *zTab;
 +
 +  switch( ptu ){
 +  case PTU_Binding:
 +    db = DBX(psx);
 +    zTab = PARAM_TABLE_SNAME;
 +    break;
 +  case PTU_Script:
 +    db = psx->dbShell;
 +    zTab = SHVAR_TABLE_NAME;
 +    break;
 +  default: assert(0); return;
 +  }
 +  sbList = sqlite3_str_new(db);
 +  sqlite3_str_appendf(sbList, "FROM ");
 +  sqlite3_str_appendf(sbList, zTab);
 +  sqlite3_str_appendf(sbList, " WHERE (uses=?1) AND ");
 +  append_glob_terms(sbList, "key",
 +                    (const char **)pzArgs, (const char **)pzArgs+nArg);
 +  zFromWhere = sqlite3_str_finish(sbList);
 +  shell_check_oom(zFromWhere);
 +  zSql = smprintf("SELECT max(length(key)) %s", zFromWhere);
 +  shell_check_oom(zSql);
 +  rc = sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
 +  if( rc==SQLITE_OK ){
 +    sqlite3_bind_int(pStmt, 1, ptu);
 +    if( sqlite3_step(pStmt)==SQLITE_ROW ){
 +      len = sqlite3_column_int(pStmt, 0);
 +      if( len>40 ) len = 40;
 +      if( len<4 ) len = 4;
 +    }
 +  }
 +  sqlite3_finalize(pStmt);
 +  pStmt = 0;
 +  if( len ){
 +    FILE *out = ISS(psx)->out;
 +    sqlite3_free(zSql);
 +    if( !bShort ){
 +      int nBindings = 0, nScripts = 0;
 +      zSql = smprintf("SELECT key, uses,"
 +                      " iif(typeof(value)='text', quote(value), value) as v"
 +                      " %z ORDER BY uses, key", zFromWhere);
 +      shell_check_oom(zSql);
 +      rc = sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
 +      sqlite3_bind_int(pStmt, 1, ptu);
 +      while( rc==SQLITE_OK && sqlite3_step(pStmt)==SQLITE_ROW ){
 +        ParamTableUse ptux = sqlite3_column_int(pStmt,1);
 +        switch( ptux ){
 +        case PTU_Binding:
 +          if( nBindings++ == 0 ){
 +            utf8_printf(out, "Bindings:\n%-*s %s\n",
 +                        len, "name", "value");
 +          }
 +          utf8_printf(out, "%-*s %s\n", len, sqlite3_column_text(pStmt,0),
 +                      sqlite3_column_text(pStmt,2));
 +          break;
 +        case PTU_Script:
 +          if( nScripts++ == 0 ){
 +            utf8_printf(out, "Scripts:\n%-*s %s\n", len, "name", "value");
 +          }
 +          utf8_printf(out, "%-*s %s\n", len, sqlite3_column_text(pStmt,0),
 +                      sqlite3_column_text(pStmt,2));
 +          break;
 +        default: break; /* Ignore */
 +        }
 +      }
      }else{
 -      open_db(p, 0);
 -      expertDotCommand(p, azArg, nArg);
 +      int nc = 0, ncw = 78/(len+2);
 +      zSql = smprintf("SELECT key %z ORDER BY key", zFromWhere);
 +      shell_check_oom(zSql);
 +      rc = sqlite3_prepare_v2(db, zSql, -1, &pStmt, 0);
 +      sqlite3_bind_int(pStmt, 1, ptu);
 +      while( rc==SQLITE_OK && sqlite3_step(pStmt)==SQLITE_ROW ){
 +        utf8_printf(out, "%s  %-*s", ((++nc%ncw==0)? "\n" : ""),
 +                    len, sqlite3_column_text(pStmt,0));
 +      }
 +      if( nc>0 ) utf8_printf(out, "\n");
      }
 -  }else
 -#endif
 -
 -  if( c=='f' && cli_strncmp(azArg[0], "filectrl", n)==0 ){
 -    static const struct {
 -       const char *zCtrlName;   /* Name of a test-control option */
 -       int ctrlCode;            /* Integer code for that option */
 -       const char *zUsage;      /* Usage notes */
 -    } aCtrl[] = {
 -      { "chunk_size",     SQLITE_FCNTL_CHUNK_SIZE,      "SIZE"           },
 -      { "data_version",   SQLITE_FCNTL_DATA_VERSION,    ""               },
 -      { "has_moved",      SQLITE_FCNTL_HAS_MOVED,       ""               },
 -      { "lock_timeout",   SQLITE_FCNTL_LOCK_TIMEOUT,    "MILLISEC"       },
 -      { "persist_wal",    SQLITE_FCNTL_PERSIST_WAL,     "[BOOLEAN]"      },
 -   /* { "pragma",         SQLITE_FCNTL_PRAGMA,          "NAME ARG"       },*/
 -      { "psow",       SQLITE_FCNTL_POWERSAFE_OVERWRITE, "[BOOLEAN]"      },
 -      { "reserve_bytes",  SQLITE_FCNTL_RESERVE_BYTES,   "[N]"            },
 -      { "size_limit",     SQLITE_FCNTL_SIZE_LIMIT,      "[LIMIT]"        },
 -      { "tempfilename",   SQLITE_FCNTL_TEMPFILENAME,    ""               },
 -   /* { "win32_av_retry", SQLITE_FCNTL_WIN32_AV_RETRY,  "COUNT DELAY"    },*/
 -    };
 -    int filectrl = -1;
 -    int iCtrl = -1;
 -    sqlite3_int64 iRes = 0;  /* Integer result to display if rc2==1 */
 -    int isOk = 0;            /* 0: usage  1: %lld  2: no-result */
 -    int n2, i;
 -    const char *zCmd = 0;
 -    const char *zSchema = 0;
 +    sqlite3_finalize(pStmt);
 +  }else{
 +    sqlite3_free(zFromWhere);
 +  }
 +  sqlite3_free(zSql);
 +}
  
 -    open_db(p, 0);
 -    zCmd = nArg>=2 ? azArg[1] : "help";
 +/* Append an OR'ed series of GLOB terms comparing a given column
 + * name to a series of patterns. Result is an appended expression.
 + * For an empty pattern series, expression is true for non-NULL.
 + */
 +static void append_glob_terms(sqlite3_str *pStr, const char *zColName,
 +                              const char **azBeg, const char **azLim){
 +  if( azBeg==azLim ) sqlite3_str_appendf(pStr, "%s NOT NULL", zColName);
 +  else{
 +    char *zSep = "(";
 +    while( azBeg<azLim ){
 +      sqlite3_str_appendf(pStr, "%sglob(%Q,%s)", zSep, *azBeg, zColName);
 +      zSep = " OR ";
 +      ++azBeg;
 +    }
 +    sqlite3_str_appendf(pStr, ")");
 +  }
 +}
  
 -    if( zCmd[0]=='-'
 -     && (cli_strcmp(zCmd,"--schema")==0 || cli_strcmp(zCmd,"-schema")==0)
 -     && nArg>=4
 -    ){
 -      zSchema = azArg[2];
 -      for(i=3; i<nArg; i++) azArg[i-2] = azArg[i];
 -      nArg -= 2;
 -      zCmd = azArg[1];
 -    }
 +/* Append either an IN clause or an always true test to some SQL.
 + *
 + * An empty IN list is the same as always true (for non-NULL LHS)
 + * for this clause, which assumes a trailing LHS operand and space.
 + * If that is not the right result, guard the call against it.
 + * This is used for ".parameter dostuff ?NAMES?" options,
 + * where a missing list means all the qualifying entries.
 + *
 + * The empty list may be signified by azBeg and azLim both 0.
 + */
 +static void append_in_clause(sqlite3_str *pStr,
 +                             const char **azBeg, const char **azLim){
 +  if( azBeg==azLim ) sqlite3_str_appendf(pStr, "NOT NULL");
 +  else{
 +    char cSep = '(';
 +    sqlite3_str_appendf(pStr, "IN");
 +    while( azBeg<azLim ){
 +      sqlite3_str_appendf(pStr, "%c%Q", cSep, *azBeg);
 +      cSep = ',';
 +      ++azBeg;
 +    }
 +    sqlite3_str_appendf(pStr, ")");
 +  }
 +}
  
 -    /* The argument can optionally begin with "-" or "--" */
 -    if( zCmd[0]=='-' && zCmd[1] ){
 -      zCmd++;
 -      if( zCmd[0]=='-' && zCmd[1] ) zCmd++;
 -    }
 +/*****************
 + * The .parameter command
 + */
 +COLLECT_HELP_TEXT[
 +  ".parameter CMD ...       Manage per-DB SQL parameter bindings table",
 +  "   clear ?NAMES?           Erase all or only given named parameters",
 +#ifndef SQLITE_NOHAVE_SYSTEM
 +  "   edit ?OPT? NAME ...     Use edit() to create or alter parameter NAME",
 +  "      OPT may be -t to use edited value as text or -e to evaluate it.",
 +#endif
 +  "   init                    Initialize TEMP table for bindings and scripts",
 +  "   list ?PATTERNS?         List current DB parameters table binding values",
 +  "      Alternatively, to list just some or all names: ls ?PATTERNS?",
 +  "   load ?FILE? ?NAMES?     Load some or all named parameters from FILE",
 +  "      If FILE missing, empty or '~', it defaults to ~/sqlite_params.sdb",
 +  "   save ?FILE? ?NAMES?     Save some or all named parameters into FILE",
 +  "      If FILE missing, empty or '~', it defaults to ~/sqlite_params.sdb",
 +  "   set ?TOPT? NAME VALUE   Give SQL parameter NAME a value of VALUE",
 +  "      NAME must begin with one of $,:,@,? for bindings, VALUE is the space-",
 +  "      joined argument list. TOPT may be one of {-b -i -n -r -t} to cast the",
 +  "      effective value to BLOB, INT, NUMERIC, REAL or TEXT respectively.",
 +  "   unset ?NAMES?           Remove named parameter(s) from parameters table",
 +];
 +DISPATCHABLE_COMMAND( parameter 2 2 0 ){
 +  int rc = 0;
 +  open_db(p,0);
 +  sqlite3 *db = DBX(p);
  
 -    /* --help lists all file-controls */
 -    if( cli_strcmp(zCmd,"help")==0 ){
 -      utf8_printf(p->out, "Available file-controls:\n");
 -      for(i=0; i<ArraySize(aCtrl); i++){
 -        utf8_printf(p->out, "  .filectrl %s %s\n",
 -                    aCtrl[i].zCtrlName, aCtrl[i].zUsage);
 -      }
 -      rc = 1;
 -      goto meta_command_exit;
 +  /* .parameter clear  and  .parameter unset ?NAMES?
 +  **  Delete some or all parameters from the TEMP table that holds them.
 +  **  Without any arguments, clear deletes them all and unset does nothing.
 +  */
 +  if( cli_strcmp(azArg[1],"clear")==0 || cli_strcmp(azArg[1],"unset")==0 ){
 +    if( param_table_exists(db) && (nArg>2 || azArg[1][0]=='c') ){
 +      sqlite3_str *sbZap = sqlite3_str_new(db);
 +      char *zSql;
 +      sqlite3_str_appendf
 +        (sbZap, "DELETE FROM "PARAM_TABLE_SNAME" WHERE key ");
 +      append_in_clause(sbZap,
 +                       (const char **)&azArg[2], (const char **)&azArg[nArg]);
 +      zSql = sqlite3_str_finish(sbZap);
 +      shell_check_oom(zSql);
 +      sqlite3_exec(db, zSql, 0, 0, 0);
 +      sqlite3_free(zSql);
      }
 -
 -    /* convert filectrl text option to value. allow any unique prefix
 -    ** of the option name, or a numerical value. */
 -    n2 = strlen30(zCmd);
 -    for(i=0; i<ArraySize(aCtrl); i++){
 -      if( cli_strncmp(zCmd, aCtrl[i].zCtrlName, n2)==0 ){
 -        if( filectrl<0 ){
 -          filectrl = aCtrl[i].ctrlCode;
 -          iCtrl = i;
 -        }else{
 -          utf8_printf(stderr, "Error: ambiguous file-control: \"%s\"\n"
 -                              "Use \".filectrl --help\" for help\n", zCmd);
 -          rc = 1;
 -          goto meta_command_exit;
 +  }else
 +#ifndef SQLITE_NOHAVE_SYSTEM
 +  /* .parameter edit ?NAMES?
 +  ** Edit the named parameters. Any that do not exist are created.
 +  */
 +  if( cli_strcmp(azArg[1],"edit")==0 ){
 +    ShellInState *psi = ISS(p);
 +    int ia = 2;
 +    int eval = 0;
 +    int edSet;
 +
 +    if( !INSOURCE_IS_INTERACTIVE(psi->pInSource) ){
 +      utf8_printf(STD_ERR, "Error: "
 +                  ".parameter edit can only be used interactively.\n");
 +      return DCR_Error;
 +    }
 +    param_table_init(db);
 +    edSet = attempt_editor_set(psi, azArg[0], (nArg>2)? azArg[2] : 0 );
 +    if( edSet < 0 ) return DCR_Error;
 +    else ia += edSet;
 +    /* Future: Allow an option whereby new value can be evaluated
 +     * the way that .parameter set ... does.
 +     */
 +    while( ia < nArg ){
 +      ParamTableUse ptu;
 +      char *zA = azArg[ia];
 +      char cf = (zA[0]=='-')? zA[1] : 0;
 +      if( cf!=0 && zA[2]==0 ){
 +        ++ia;
 +        switch( cf ){
 +        case 'e': eval = 1; continue;
 +        case 't': eval = 0; continue;
 +        default:
 +          utf8_printf(STD_ERR, "Error: bad .parameter name: %s\n", zA);
 +          return DCR_Error;
          }
        }
 -    }
 -    if( filectrl<0 ){
 -      utf8_printf(stderr,"Error: unknown file-control: %s\n"
 -                         "Use \".filectrl --help\" for help\n", zCmd);
 -    }else{
 -      switch(filectrl){
 -        case SQLITE_FCNTL_SIZE_LIMIT: {
 -          if( nArg!=2 && nArg!=3 ) break;
 -          iRes = nArg==3 ? integerValue(azArg[2]) : -1;
 -          sqlite3_file_control(p->db, zSchema, SQLITE_FCNTL_SIZE_LIMIT, &iRes);
 -          isOk = 1;
 -          break;
 -        }
 -        case SQLITE_FCNTL_LOCK_TIMEOUT:
 -        case SQLITE_FCNTL_CHUNK_SIZE: {
 -          int x;
 -          if( nArg!=3 ) break;
 -          x = (int)integerValue(azArg[2]);
 -          sqlite3_file_control(p->db, zSchema, filectrl, &x);
 -          isOk = 2;
 -          break;
 -        }
 -        case SQLITE_FCNTL_PERSIST_WAL:
 -        case SQLITE_FCNTL_POWERSAFE_OVERWRITE: {
 -          int x;
 -          if( nArg!=2 && nArg!=3 ) break;
 -          x = nArg==3 ? booleanValue(azArg[2]) : -1;
 -          sqlite3_file_control(p->db, zSchema, filectrl, &x);
 -          iRes = x;
 -          isOk = 1;
 -          break;
 -        }
 -        case SQLITE_FCNTL_DATA_VERSION:
 -        case SQLITE_FCNTL_HAS_MOVED: {
 -          int x;
 -          if( nArg!=2 ) break;
 -          sqlite3_file_control(p->db, zSchema, filectrl, &x);
 -          iRes = x;
 -          isOk = 1;
 -          break;
 -        }
 -        case SQLITE_FCNTL_TEMPFILENAME: {
 -          char *z = 0;
 -          if( nArg!=2 ) break;
 -          sqlite3_file_control(p->db, zSchema, filectrl, &z);
 -          if( z ){
 -            utf8_printf(p->out, "%s\n", z);
 -            sqlite3_free(z);
 -          }
 -          isOk = 2;
 -          break;
 -        }
 -        case SQLITE_FCNTL_RESERVE_BYTES: {
 -          int x;
 -          if( nArg>=3 ){
 -            x = atoi(azArg[2]);
 -            sqlite3_file_control(p->db, zSchema, filectrl, &x);
 -          }
 -          x = -1;
 -          sqlite3_file_control(p->db, zSchema, filectrl, &x);
 -          utf8_printf(p->out,"%d\n", x);
 -          isOk = 2;
 -          break;
 -        }
 +      ptu = classify_param_name(zA);
 +      if( ptu!=PTU_Binding ){
 +        utf8_printf(STD_ERR, "Error: "
 +                    "%s cannot be a binding parameter name.\n", zA);
 +        return DCR_Error;
        }
 -    }
 -    if( isOk==0 && iCtrl>=0 ){
 -      utf8_printf(p->out, "Usage: .filectrl %s %s\n", zCmd,aCtrl[iCtrl].zUsage);
 -      rc = 1;
 -    }else if( isOk==1 ){
 -      char zBuf[100];
 -      sqlite3_snprintf(sizeof(zBuf), zBuf, "%lld", iRes);
 -      raw_printf(p->out, "%s\n", zBuf);
 +      rc = edit_one_kvalue(db, zA, eval, ptu, psi->zEditor);
 +      ++ia;
 +      if( rc!=0 ) return DCR_Error;
      }
    }else
 +#endif
  
 -  if( c=='f' && cli_strncmp(azArg[0], "fullschema", n)==0 ){
 -    ShellState data;
 -    int doStats = 0;
 -    memcpy(&data, p, sizeof(data));
 -    data.showHeader = 0;
 -    data.cMode = data.mode = MODE_Semi;
 -    if( nArg==2 && optionMatch(azArg[1], "indent") ){
 -      data.cMode = data.mode = MODE_Pretty;
 -      nArg = 1;
 -    }
 -    if( nArg!=1 ){
 -      raw_printf(stderr, "Usage: .fullschema ?--indent?\n");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    open_db(p, 0);
 -    rc = sqlite3_exec(p->db,
 -       "SELECT sql FROM"
 -       "  (SELECT sql sql, type type, tbl_name tbl_name, name name, rowid x"
 -       "     FROM sqlite_schema UNION ALL"
 -       "   SELECT sql, type, tbl_name, name, rowid FROM sqlite_temp_schema) "
 -       "WHERE type!='meta' AND sql NOTNULL AND name NOT LIKE 'sqlite_%' "
 -       "ORDER BY x",
 -       callback, &data, 0
 -    );
 -    if( rc==SQLITE_OK ){
 -      sqlite3_stmt *pStmt;
 -      rc = sqlite3_prepare_v2(p->db,
 -               "SELECT rowid FROM sqlite_schema"
 -               " WHERE name GLOB 'sqlite_stat[134]'",
 -               -1, &pStmt, 0);
 -      doStats = sqlite3_step(pStmt)==SQLITE_ROW;
 -      sqlite3_finalize(pStmt);
 -    }
 -    if( doStats==0 ){
 -      raw_printf(p->out, "/* No STAT tables available */\n");
 -    }else{
 -      raw_printf(p->out, "ANALYZE sqlite_schema;\n");
 -      data.cMode = data.mode = MODE_Insert;
 -      data.zDestTable = "sqlite_stat1";
 -      shell_exec(&data, "SELECT * FROM sqlite_stat1", 0);
 -      data.zDestTable = "sqlite_stat4";
 -      shell_exec(&data, "SELECT * FROM sqlite_stat4", 0);
 -      raw_printf(p->out, "ANALYZE sqlite_schema;\n");
 -    }
 +  /* .parameter init
 +  ** Make sure the TEMP table used to hold bind parameters exists.
 +  ** Create it if necessary.
 +  */
 +  if( nArg==2 && cli_strcmp(azArg[1],"init")==0 ){
 +    param_table_init(db);
    }else
  
 -  if( c=='h' && cli_strncmp(azArg[0], "headers", n)==0 ){
 -    if( nArg==2 ){
 -      p->showHeader = booleanValue(azArg[1]);
 -      p->shellFlgs |= SHFLG_HeaderSet;
 -    }else{
 -      raw_printf(stderr, "Usage: .headers on|off\n");
 -      rc = 1;
 -    }
 +  /* .parameter list|ls
 +  ** List all or selected bind parameters.
 +  ** list displays names, values and uses.
 +  ** ls displays just the names.
 +  */
 +  if( nArg>=2 && ((cli_strcmp(azArg[1],"list")==0)
 +                  || (cli_strcmp(azArg[1],"ls")==0)) ){
 +    list_pov_entries(p, PTU_Binding, azArg[1][1]=='s', azArg+2, nArg-2);
    }else
  
 -  if( c=='h' && cli_strncmp(azArg[0], "help", n)==0 ){
 -    if( nArg>=2 ){
 -      n = showHelp(p->out, azArg[1]);
 -      if( n==0 ){
 -        utf8_printf(p->out, "Nothing matches '%s'\n", azArg[1]);
 -      }
 -    }else{
 -      showHelp(p->out, 0);
 -    }
 +  /* .parameter load
 +  ** Load all or named parameters from specified or default (DB) file.
 +  */
 +  if( cli_strcmp(azArg[1],"load")==0 ){
 +    param_table_init(db);
 +    rc = kv_pairs_load(db, PTU_Binding, (const char **)azArg+1, nArg-1);
    }else
  
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( c=='i' && cli_strncmp(azArg[0], "import", n)==0 ){
 -    char *zTable = 0;           /* Insert data into this table */
 -    char *zSchema = 0;          /* within this schema (may default to "main") */
 -    char *zFile = 0;            /* Name of file to extra content from */
 -    sqlite3_stmt *pStmt = NULL; /* A statement */
 -    int nCol;                   /* Number of columns in the table */
 -    int nByte;                  /* Number of bytes in an SQL string */
 -    int i, j;                   /* Loop counters */
 -    int needCommit;             /* True to COMMIT or ROLLBACK at end */
 -    int nSep;                   /* Number of bytes in p->colSeparator[] */
 -    char *zSql;                 /* An SQL statement */
 -    char *zFullTabName;         /* Table name with schema if applicable */
 -    ImportCtx sCtx;             /* Reader context */
 -    char *(SQLITE_CDECL *xRead)(ImportCtx*); /* Func to read one value */
 -    int eVerbose = 0;           /* Larger for more console output */
 -    int nSkip = 0;              /* Initial lines to skip */
 -    int useOutputMode = 1;      /* Use output mode to determine separators */
 -    char *zCreate = 0;          /* CREATE TABLE statement text */
 -
 -    failIfSafeMode(p, "cannot run .import in safe mode");
 -    memset(&sCtx, 0, sizeof(sCtx));
 -    if( p->mode==MODE_Ascii ){
 -      xRead = ascii_read_one_field;
 -    }else{
 -      xRead = csv_read_one_field;
 -    }
 -    rc = 1;
 -    for(i=1; i<nArg; i++){
 -      char *z = azArg[i];
 -      if( z[0]=='-' && z[1]=='-' ) z++;
 -      if( z[0]!='-' ){
 -        if( zFile==0 ){
 -          zFile = z;
 -        }else if( zTable==0 ){
 -          zTable = z;
 -        }else{
 -          utf8_printf(p->out, "ERROR: extra argument: \"%s\".  Usage:\n", z);
 -          showHelp(p->out, "import");
 -          goto meta_command_exit;
 -        }
 -      }else if( cli_strcmp(z,"-v")==0 ){
 -        eVerbose++;
 -      }else if( cli_strcmp(z,"-schema")==0 && i<nArg-1 ){
 -        zSchema = azArg[++i];
 -      }else if( cli_strcmp(z,"-skip")==0 && i<nArg-1 ){
 -        nSkip = integerValue(azArg[++i]);
 -      }else if( cli_strcmp(z,"-ascii")==0 ){
 -        sCtx.cColSep = SEP_Unit[0];
 -        sCtx.cRowSep = SEP_Record[0];
 -        xRead = ascii_read_one_field;
 -        useOutputMode = 0;
 -      }else if( cli_strcmp(z,"-csv")==0 ){
 -        sCtx.cColSep = ',';
 -        sCtx.cRowSep = '\n';
 -        xRead = csv_read_one_field;
 -        useOutputMode = 0;
 -      }else{
 -        utf8_printf(p->out, "ERROR: unknown option: \"%s\".  Usage:\n", z);
 -        showHelp(p->out, "import");
 -        goto meta_command_exit;
 -      }
 -    }
 -    if( zTable==0 ){
 -      utf8_printf(p->out, "ERROR: missing %s argument. Usage:\n",
 -                  zFile==0 ? "FILE" : "TABLE");
 -      showHelp(p->out, "import");
 -      goto meta_command_exit;
 -    }
 -    seenInterrupt = 0;
 -    open_db(p, 0);
 -    if( useOutputMode ){
 -      /* If neither the --csv or --ascii options are specified, then set
 -      ** the column and row separator characters from the output mode. */
 -      nSep = strlen30(p->colSeparator);
 -      if( nSep==0 ){
 -        raw_printf(stderr,
 -                   "Error: non-null column separator required for import\n");
 -        goto meta_command_exit;
 -      }
 -      if( nSep>1 ){
 -        raw_printf(stderr,
 -              "Error: multi-character column separators not allowed"
 -              " for import\n");
 -        goto meta_command_exit;
 -      }
 -      nSep = strlen30(p->rowSeparator);
 -      if( nSep==0 ){
 -        raw_printf(stderr,
 -            "Error: non-null row separator required for import\n");
 -        goto meta_command_exit;
 -      }
 -      if( nSep==2 && p->mode==MODE_Csv
 -       && cli_strcmp(p->rowSeparator,SEP_CrLf)==0
 -      ){
 -        /* When importing CSV (only), if the row separator is set to the
 -        ** default output row separator, change it to the default input
 -        ** row separator.  This avoids having to maintain different input
 -        ** and output row separators. */
 -        sqlite3_snprintf(sizeof(p->rowSeparator), p->rowSeparator, SEP_Row);
 -        nSep = strlen30(p->rowSeparator);
 -      }
 -      if( nSep>1 ){
 -        raw_printf(stderr, "Error: multi-character row separators not allowed"
 -                           " for import\n");
 -        goto meta_command_exit;
 -      }
 -      sCtx.cColSep = (u8)p->colSeparator[0];
 -      sCtx.cRowSep = (u8)p->rowSeparator[0];
 -    }
 -    sCtx.zFile = zFile;
 -    sCtx.nLine = 1;
 -    if( sCtx.zFile[0]=='|' ){
 -#ifdef SQLITE_OMIT_POPEN
 -      raw_printf(stderr, "Error: pipes are not supported in this OS\n");
 -      goto meta_command_exit;
 -#else
 -      sCtx.in = popen(sCtx.zFile+1, "r");
 -      sCtx.zFile = "<pipe>";
 -      sCtx.xCloser = pclose;
 -#endif
 -    }else{
 -      sCtx.in = fopen(sCtx.zFile, "rb");
 -      sCtx.xCloser = fclose;
 -    }
 -    if( sCtx.in==0 ){
 -      utf8_printf(stderr, "Error: cannot open \"%s\"\n", zFile);
 -      goto meta_command_exit;
 -    }
 -    if( eVerbose>=2 || (eVerbose>=1 && useOutputMode) ){
 -      char zSep[2];
 -      zSep[1] = 0;
 -      zSep[0] = sCtx.cColSep;
 -      utf8_printf(p->out, "Column separator ");
 -      output_c_string(p->out, zSep);
 -      utf8_printf(p->out, ", row separator ");
 -      zSep[0] = sCtx.cRowSep;
 -      output_c_string(p->out, zSep);
 -      utf8_printf(p->out, "\n");
 -    }
 -    sCtx.z = sqlite3_malloc64(120);
 -    if( sCtx.z==0 ){
 -      import_cleanup(&sCtx);
 -      shell_out_of_memory();
 -    }
 -    /* Below, resources must be freed before exit. */
 -    while( (nSkip--)>0 ){
 -      while( xRead(&sCtx) && sCtx.cTerm==sCtx.cColSep ){}
 -    }
 -    if( zSchema!=0 ){
 -      zFullTabName = sqlite3_mprintf("\"%w\".\"%w\"", zSchema, zTable);
 +  /* .parameter save
 +  ** Save all or named parameters into specified or default (DB) file.
 +  */
 +  if( cli_strcmp(azArg[1],"save")==0 ){
 +    rc = kv_pairs_save(db, PTU_Binding, (const char **)azArg+1, nArg-1);
 +  }else
 +
 +  /* .parameter set NAME VALUE
 +  ** Set or reset a bind parameter.  NAME should be the full parameter
 +  ** name exactly as it appears in the query.  (ex: $abc, @def).  The
 +  ** VALUE can be in either SQL literal notation, or if not it will be
 +  ** understood to be a text string.
 +  */
 +  if( nArg>=4 && cli_strcmp(azArg[1],"set")==0 ){
 +    char cCast = option_char(azArg[2]);
 +    int inv = 2 + (cCast != 0);
 +    ParamTableUse ptu = classify_param_name(azArg[inv]);
 +    if( ptu!=PTU_Binding ){
 +      utf8_printf(STD_ERR,
 +                  "Error: %s is not a usable parameter name.\n", azArg[inv]);
 +      rc = 1;
      }else{
 -      zFullTabName = sqlite3_mprintf("\"%w\"", zTable);
 -    }
 -    zSql = sqlite3_mprintf("SELECT * FROM %s", zFullTabName);
 -    if( zSql==0 || zFullTabName==0 ){
 -      import_cleanup(&sCtx);
 -      shell_out_of_memory();
 -    }
 -    nByte = strlen30(zSql);
 -    rc = sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -    import_append_char(&sCtx, 0);    /* To ensure sCtx.z is allocated */
 -    if( rc && sqlite3_strglob("no such table: *", sqlite3_errmsg(p->db))==0 ){
 -      sqlite3 *dbCols = 0;
 -      char *zRenames = 0;
 -      char *zColDefs;
 -      zCreate = sqlite3_mprintf("CREATE TABLE %s", zFullTabName);
 -      while( xRead(&sCtx) ){
 -        zAutoColumn(sCtx.z, &dbCols, 0);
 -        if( sCtx.cTerm!=sCtx.cColSep ) break;
 -      }
 -      zColDefs = zAutoColumn(0, &dbCols, &zRenames);
 -      if( zRenames!=0 ){
 -        utf8_printf((stdin_is_interactive && p->in==stdin)? p->out : stderr,
 -                    "Columns renamed during .import %s due to duplicates:\n"
 -                    "%s\n", sCtx.zFile, zRenames);
 -        sqlite3_free(zRenames);
 -      }
 -      assert(dbCols==0);
 -      if( zColDefs==0 ){
 -        utf8_printf(stderr,"%s: empty file\n", sCtx.zFile);
 -      import_fail:
 -        sqlite3_free(zCreate);
 -        sqlite3_free(zSql);
 -        sqlite3_free(zFullTabName);
 -        import_cleanup(&sCtx);
 +      param_table_init(db);
 +      rc = param_set(db, cCast, azArg[inv], &azArg[inv+1], &azArg[nArg]);
 +      if( rc!=SQLITE_OK ){
 +        utf8_printf(STD_ERR, "Error: %s\n", sqlite3_errmsg(db));
          rc = 1;
 -        goto meta_command_exit;
        }
 -      zCreate = sqlite3_mprintf("%z%z\n", zCreate, zColDefs);
 -      if( eVerbose>=1 ){
 -        utf8_printf(p->out, "%s\n", zCreate);
 +    }
 +  }else
 +
 +  {  /* If no command name and arg count matches, show a syntax error */
 +    showHelp(ISS(p)->out, "parameter", p);
 +    return DCR_CmdErred;
 +  }
 +
 +  return DCR_Ok | (rc!=0);
 +}
 +
 +/*****************
 + * The .print, .progress and .prompt commands
 + */
 +CONDITION_COMMAND( progress !defined(SQLITE_OMIT_PROGRESS_CALLBACK) );
 +COLLECT_HELP_TEXT[
 +  ".print STRING...         Print literal STRING",
 +  ".progress N              Invoke progress handler after every N opcodes",
 +  "   --limit N                 Interrupt after N progress callbacks",
 +  "   --once                    Do no more than one progress interrupt",
 +  "   --quiet|-q                No output except at interrupts",
 +  "   --reset                   Reset the count for each input and interrupt",
 +  ".prompt MAIN CONTINUE    Replace the standard prompts",
 +];
 +DISPATCHABLE_COMMAND( print 3 1 0 ){
 +  int i;
 +  for(i=1; i<nArg; i++){
 +    utf8_printf(ISS(p)->out, "%s%s", azArg[i], (i==nArg-1)? "\n" : " ");
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( progress 3 2 0 ){
 +  ShellInState *psi = ISS(p);
 +  int i;
 +  int nn = 0;
 +  psi->flgProgress = 0;
 +  psi->mxProgress = 0;
 +  psi->nProgress = 0;
 +  for(i=1; i<nArg; i++){
 +    const char *z = azArg[i];
 +    if( z[0]=='-' ){
 +      z++;
 +      if( z[0]=='-' ) z++;
 +      if( cli_strcmp(z,"quiet")==0 || cli_strcmp(z,"q")==0 ){
 +        psi->flgProgress |= SHELL_PROGRESS_QUIET;
 +        continue;
        }
 -      rc = sqlite3_exec(p->db, zCreate, 0, 0, 0);
 -      if( rc ){
 -        utf8_printf(stderr, "%s failed:\n%s\n", zCreate, sqlite3_errmsg(p->db));
 -        goto import_fail;
 +      if( cli_strcmp(z,"reset")==0 ){
 +        psi->flgProgress |= SHELL_PROGRESS_RESET;
 +        continue;
        }
 -      sqlite3_free(zCreate);
 -      zCreate = 0;
 -      rc = sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -    }
 -    if( rc ){
 -      if (pStmt) sqlite3_finalize(pStmt);
 -      utf8_printf(stderr,"Error: %s\n", sqlite3_errmsg(p->db));
 -      goto import_fail;
 -    }
 -    sqlite3_free(zSql);
 -    nCol = sqlite3_column_count(pStmt);
 -    sqlite3_finalize(pStmt);
 -    pStmt = 0;
 -    if( nCol==0 ) return 0; /* no columns, no error */
 -    zSql = sqlite3_malloc64( nByte*2 + 20 + nCol*2 );
 -    if( zSql==0 ){
 -      import_cleanup(&sCtx);
 -      shell_out_of_memory();
 -    }
 -    sqlite3_snprintf(nByte+20, zSql, "INSERT INTO %s VALUES(?", zFullTabName);
 -    j = strlen30(zSql);
 -    for(i=1; i<nCol; i++){
 -      zSql[j++] = ',';
 -      zSql[j++] = '?';
 -    }
 -    zSql[j++] = ')';
 -    zSql[j] = 0;
 -    if( eVerbose>=2 ){
 -      utf8_printf(p->out, "Insert using: %s\n", zSql);
 -    }
 -    rc = sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -    if( rc ){
 -      utf8_printf(stderr, "Error: %s\n", sqlite3_errmsg(p->db));
 -      if (pStmt) sqlite3_finalize(pStmt);
 -      goto import_fail;
 -    }
 -    sqlite3_free(zSql);
 -    sqlite3_free(zFullTabName);
 -    needCommit = sqlite3_get_autocommit(p->db);
 -    if( needCommit ) sqlite3_exec(p->db, "BEGIN", 0, 0, 0);
 -    do{
 -      int startLine = sCtx.nLine;
 -      for(i=0; i<nCol; i++){
 -        char *z = xRead(&sCtx);
 -        /*
 -        ** Did we reach end-of-file before finding any columns?
 -        ** If so, stop instead of NULL filling the remaining columns.
 -        */
 -        if( z==0 && i==0 ) break;
 -        /*
 -        ** Did we reach end-of-file OR end-of-line before finding any
 -        ** columns in ASCII mode?  If so, stop instead of NULL filling
 -        ** the remaining columns.
 -        */
 -        if( p->mode==MODE_Ascii && (z==0 || z[0]==0) && i==0 ) break;
 -        sqlite3_bind_text(pStmt, i+1, z, -1, SQLITE_TRANSIENT);
 -        if( i<nCol-1 && sCtx.cTerm!=sCtx.cColSep ){
 -          utf8_printf(stderr, "%s:%d: expected %d columns but found %d - "
 -                          "filling the rest with NULL\n",
 -                          sCtx.zFile, startLine, nCol, i+1);
 -          i += 2;
 -          while( i<=nCol ){ sqlite3_bind_null(pStmt, i); i++; }
 -        }
 +      if( cli_strcmp(z,"once")==0 ){
 +        psi->flgProgress |= SHELL_PROGRESS_ONCE;
 +        continue;
        }
 -      if( sCtx.cTerm==sCtx.cColSep ){
 -        do{
 -          xRead(&sCtx);
 -          i++;
 -        }while( sCtx.cTerm==sCtx.cColSep );
 -        utf8_printf(stderr, "%s:%d: expected %d columns but found %d - "
 -                        "extras ignored\n",
 -                        sCtx.zFile, startLine, nCol, i);
 -      }
 -      if( i>=nCol ){
 -        sqlite3_step(pStmt);
 -        rc = sqlite3_reset(pStmt);
 -        if( rc!=SQLITE_OK ){
 -          utf8_printf(stderr, "%s:%d: INSERT failed: %s\n", sCtx.zFile,
 -                      startLine, sqlite3_errmsg(p->db));
 -          sCtx.nErr++;
 +      if( cli_strcmp(z,"limit")==0 ){
 +        if( i+1>=nArg ){
 +          *pzErr = smprintf("missing argument on --limit\n");
 +          return DCR_Unpaired|i;
          }else{
 -          sCtx.nRow++;
 +          psi->mxProgress = (int)integerValue(azArg[++i]);
          }
 +        continue;
        }
 -    }while( sCtx.cTerm!=EOF );
 -
 -    import_cleanup(&sCtx);
 -    sqlite3_finalize(pStmt);
 -    if( needCommit ) sqlite3_exec(p->db, "COMMIT", 0, 0, 0);
 -    if( eVerbose>0 ){
 -      utf8_printf(p->out,
 -          "Added %d rows with %d errors using %d lines of input\n",
 -          sCtx.nRow, sCtx.nErr, sCtx.nLine-1);
 +      return DCR_Unknown|i;
 +    }else{
 +      nn = (int)integerValue(z);
      }
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 +  }
 +  open_db(p, 0);
 +  sqlite3_progress_handler(DBX(p), nn, progress_handler, psi);
 +  return DCR_Ok;
 +}
  
 -#ifndef SQLITE_UNTESTABLE
 -  if( c=='i' && cli_strncmp(azArg[0], "imposter", n)==0 ){
 -    char *zSql;
 -    char *zCollist = 0;
 -    sqlite3_stmt *pStmt;
 -    int tnum = 0;
 -    int isWO = 0;  /* True if making an imposter of a WITHOUT ROWID table */
 -    int lenPK = 0; /* Length of the PRIMARY KEY string for isWO tables */
 -    int i;
 -    if( !ShellHasFlag(p,SHFLG_TestingMode) ){
 -      utf8_printf(stderr, ".%s unavailable without --unsafe-testing\n",
 -                  "imposter");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    if( !(nArg==3 || (nArg==2 && sqlite3_stricmp(azArg[1],"off")==0)) ){
 -      utf8_printf(stderr, "Usage: .imposter INDEX IMPOSTER\n"
 -                          "       .imposter off\n");
 -      /* Also allowed, but not documented:
 -      **
 -      **    .imposter TABLE IMPOSTER
 -      **
 -      ** where TABLE is a WITHOUT ROWID table.  In that case, the
 -      ** imposter is another WITHOUT ROWID table with the columns in
 -      ** storage order. */
 -      rc = 1;
 -      goto meta_command_exit;
 +/* Allow too few arguments by tradition, (a form of no-op.) */
 +DISPATCHABLE_COMMAND( prompt ? 1 3 ){
 +  if( nArg >= 2) {
 +    SET_MAIN_PROMPT(azArg[1]);
 +  }
 +  if( nArg >= 3) {
 +    SET_MORE_PROMPT(azArg[2]);
 +  }
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .recover and .restore commands
 + */
 +CONDITION_COMMAND( recover SQLITE_SHELL_HAVE_RECOVER );
 +CONDITION_COMMAND( restore !defined(SQLITE_SHELL_FIDDLE) );
 +COLLECT_HELP_TEXT[
 +  ".recover                 Recover as much data as possible from corrupt db.",
 +  "   --ignore-freelist        Ignore pages that appear to be on db freelist",
 +  "   --lost-and-found TABLE   Alternative name for the lost-and-found table",
 +  "   --no-rowids              Do not attempt to recover rowid values",
 +  "                            that are not also INTEGER PRIMARY KEYs",
 +  ".restore ?DB? FILE       Restore content of DB (default \"main\") from FILE",
 +];
 +
 +/*
 +** This command is invoked to recover data from the database. A script
 +** to construct a new database containing all recovered data is output
 +** on stream pState->out.
 +*/
 +DISPATCHABLE_COMMAND( recover ? 1 7 ){
 +  int rc = SQLITE_OK;
 +  const char *zRecoveryDb = "";   /* Name of "recovery" database. Debug only */
 +  const char *zLAF = "lost_and_found";
 +  int bFreelist = 1;              /* 0 if --ignore-freelist is specified */
 +  int bRowids = 1;                /* 0 if --no-rowids */
 +  sqlite3_recover *pr = 0;
 +  int i = 0;
 +  FILE *out = ISS(p)->out;
 +  sqlite3 *db;
 +
 +  open_db(p, 0);
 +  db = DBX(p);
 +
 +  for(i=1; i<nArg; i++){
 +    char *z = azArg[i];
 +    int n;
 +    if( z[0]=='-' && z[1]=='-' ) z++;
 +    n = strlen30(z);
 +    if( n<=17 && memcmp("-ignore-freelist", z, n)==0 ){
 +      bFreelist = 0;
 +    }else
 +    if( n<=12 && memcmp("-recovery-db", z, n)==0 && i<(nArg-1) ){
 +      /* This option determines the name of the ATTACH-ed database used
 +      ** internally by the recovery extension.  The default is "" which
 +      ** means to use a temporary database that is automatically deleted
 +      ** when closed.  This option is undocumented and might disappear at
 +      ** any moment. */
 +      i++;
 +      zRecoveryDb = azArg[i];
 +    }else
 +    if( n<=15 && memcmp("-lost-and-found", z, n)==0 && i<(nArg-1) ){
 +      i++;
 +      zLAF = azArg[i];
 +    }else
 +    if( n<=10 && memcmp("-no-rowids", z, n)==0 ){
 +      bRowids = 0;
      }
 -    open_db(p, 0);
 -    if( nArg==2 ){
 -      sqlite3_test_control(SQLITE_TESTCTRL_IMPOSTER, p->db, "main", 0, 1);
 -      goto meta_command_exit;
 -    }
 -    zSql = sqlite3_mprintf(
 -      "SELECT rootpage, 0 FROM sqlite_schema"
 -      " WHERE name='%q' AND type='index'"
 -      "UNION ALL "
 -      "SELECT rootpage, 1 FROM sqlite_schema"
 -      " WHERE name='%q' AND type='table'"
 -      "   AND sql LIKE '%%without%%rowid%%'",
 -      azArg[1], azArg[1]
 -    );
 -    sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -    sqlite3_free(zSql);
 -    if( sqlite3_step(pStmt)==SQLITE_ROW ){
 -      tnum = sqlite3_column_int(pStmt, 0);
 -      isWO = sqlite3_column_int(pStmt, 1);
 +    else{
 +      utf8_printf(stderr, "unexpected option: %s\n", azArg[i]);
 +      showHelp(stderr, azArg[0], p);
 +      return DCR_Error;
      }
 -    sqlite3_finalize(pStmt);
 -    zSql = sqlite3_mprintf("PRAGMA index_xinfo='%q'", azArg[1]);
 -    rc = sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -    sqlite3_free(zSql);
 -    i = 0;
 -    while( rc==SQLITE_OK && sqlite3_step(pStmt)==SQLITE_ROW ){
 -      char zLabel[20];
 -      const char *zCol = (const char*)sqlite3_column_text(pStmt,2);
 -      i++;
 -      if( zCol==0 ){
 -        if( sqlite3_column_int(pStmt,1)==-1 ){
 -          zCol = "_ROWID_";
 -        }else{
 -          sqlite3_snprintf(sizeof(zLabel),zLabel,"expr%d",i);
 -          zCol = zLabel;
 -        }
 -      }
 -      if( isWO && lenPK==0 && sqlite3_column_int(pStmt,5)==0 && zCollist ){
 -        lenPK = (int)strlen(zCollist);
 -      }
 -      if( zCollist==0 ){
 -        zCollist = sqlite3_mprintf("\"%w\"", zCol);
 +  }
 +
 +  pr = sqlite3_recover_init_sql(db, "main", recoverSqlCb, (void*)p);
 +
 +  sqlite3_recover_config(pr, 789, (void*)zRecoveryDb);  /* Debug use only */
 +  sqlite3_recover_config(pr, SQLITE_RECOVER_LOST_AND_FOUND, (void*)zLAF);
 +  sqlite3_recover_config(pr, SQLITE_RECOVER_ROWIDS, (void*)&bRowids);
 +  sqlite3_recover_config(pr, SQLITE_RECOVER_FREELIST_CORRUPT,(void*)&bFreelist);
 +
 +  sqlite3_recover_run(pr);
 +  if( sqlite3_recover_errcode(pr)!=SQLITE_OK ){
 +    const char *zErr = sqlite3_recover_errmsg(pr);
 +    int errCode = sqlite3_recover_errcode(pr);
 +    raw_printf(stderr, "sql error: %s (%d)\n", zErr, errCode);
 +  }
 +  rc = sqlite3_recover_finish(pr);
 +  return rc? DCR_Error : DCR_Ok;
 +}
 +
 +DISPATCHABLE_COMMAND( restore ? 2 3 ){
 +  int rc;
 +  const char *zSrcFile;
 +  const char *zDb;
 +  sqlite3 *pSrc;
 +  sqlite3_backup *pBackup;
 +  int nTimeout = 0;
 +
 +  if( ISS(p)->bSafeMode ) return DCR_AbortError;
 +  if( nArg==2 ){
 +    zSrcFile = azArg[1];
 +    zDb = "main";
 +  }else if( nArg==3 ){
 +    zSrcFile = azArg[2];
 +    zDb = azArg[1];
 +  }else{
 +    return DCR_TooMany;
 +  }
 +  rc = sqlite3_open(zSrcFile, &pSrc);
 +  if( rc!=SQLITE_OK ){
 +    *pzErr = smprintf("cannot open \"%s\"\n", zSrcFile);
 +    close_db(pSrc);
 +    return DCR_Error;
 +  }
 +  open_db(p, 0);
 +  pBackup = sqlite3_backup_init(DBX(p), zDb, pSrc, "main");
 +  if( pBackup==0 ){
 +    *pzErr = smprintf("%s\n", sqlite3_errmsg(DBX(p)));
 +    close_db(pSrc);
 +    return DCR_Error;
 +  }
 +  while( (rc = sqlite3_backup_step(pBackup,100))==SQLITE_OK
 +         || rc==SQLITE_BUSY  ){
 +    if( rc==SQLITE_BUSY ){
 +      if( nTimeout++ >= 3 ) break;
 +      sqlite3_sleep(100);
 +    }
 +  }
 +  sqlite3_backup_finish(pBackup);
 +  if( rc==SQLITE_DONE ){
 +    rc = 0;
 +  }else if( rc==SQLITE_BUSY || rc==SQLITE_LOCKED ){
 +    *pzErr = smprintf("source database is busy\n");
 +    rc = 1;
 +  }else{
 +    *pzErr = smprintf("%s\n", sqlite3_errmsg(DBX(p)));
 +    rc = 1;
 +  }
 +  close_db(pSrc);
 +  return DCR_Ok|rc;
 +}
 +
 +/*****************
 + * The .scanstats and .schema commands
 + */
 +COLLECT_HELP_TEXT[
 +  ".scanstats on|off|est    Turn sqlite3_stmt_scanstatus() metrics on or off",
 +  ".schema ?PATTERN?        Show the CREATE statements matching PATTERN",
 +  "   Options:",
 +  "      --indent             Try to pretty-print the schema",
 +  "      --nosys              Omit objects whose names start with \"sqlite_\"",
 +];
 +DISPATCHABLE_COMMAND( scanstats ? 2 2 ){
 +  if( cli_strcmp(azArg[1], "est")==0 ){
 +    ISS(p)->scanstatsOn = 2;
 +  }else{
 +    ISS(p)->scanstatsOn = (u8)booleanValue(azArg[1]);
 +  }
 +  open_db(p, 0);
 +  sqlite3_db_config(DBX(p), SQLITE_DBCONFIG_STMT_SCANSTATUS,
 +                    ISS(p)->scanstatsOn, (int*)0);
 +#ifndef SQLITE_ENABLE_STMT_SCANSTATUS
 +  raw_printf(STD_ERR, "Warning: .scanstats not available in this build.\n");
 +#endif
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( schema ? 1 2 ){
 +  int rc = 0;
 +  ShellText sSelect;
 +  ShellInState data;
 +  ShellExState datax;
 +  char *zErrMsg = 0;
 +  const char *zDiv = "(";
 +  const char *zName = 0;
 +  int iSchema = 0;
 +  int bDebug = 0;
 +  int bNoSystemTabs = 0;
 +  int ii;
 +
 +  open_db(p, 0);
 +  /* Consider some refactoring to avoid duplicative wholesale copying. */
 +  memcpy(&data, ISS(p), sizeof(data));
 +  memcpy(&datax, p, sizeof(datax));
 +  data.pSXS = &datax;
 +  datax.pSIS = &data;
 +
 +  data.showHeader = 0;
 +  data.cMode = data.mode = MODE_Semi;
 +  initText(&sSelect);
 +  for(ii=1; ii<nArg; ii++){
 +    if( optionMatch(azArg[ii],"indent") ){
 +      data.cMode = data.mode = MODE_Pretty;
 +    }else if( optionMatch(azArg[ii],"debug") ){
 +      bDebug = 1;
 +    }else if( optionMatch(azArg[ii],"nosys") ){
 +      bNoSystemTabs = 1;
 +    }else if( azArg[ii][0]=='-' ){
 +      return DCR_Unknown|ii;
 +    }else if( zName==0 ){
 +      zName = azArg[ii];
 +    }else{
 +      return DCR_TooMany;
 +    }
 +  }
 +  if( zName!=0 ){
 +    int isSchema = sqlite3_strlike(zName, "sqlite_master", '\\')==0
 +      || sqlite3_strlike(zName, "sqlite_schema", '\\')==0
 +      || sqlite3_strlike(zName,"sqlite_temp_master", '\\')==0
 +      || sqlite3_strlike(zName,"sqlite_temp_schema", '\\')==0;
 +    if( isSchema ){
 +      char *new_argv[2], *new_colv[2];
 +      new_argv[0] = smprintf(
 +                             "CREATE TABLE %s (\n"
 +                             "  type text,\n"
 +                             "  name text,\n"
 +                             "  tbl_name text,\n"
 +                             "  rootpage integer,\n"
 +                             "  sql text\n"
 +                             ")", zName);
 +      shell_check_oom(new_argv[0]);
 +      new_argv[1] = 0;
 +      new_colv[0] = "sql";
 +      new_colv[1] = 0;
 +      callback(&datax, 1, new_argv, new_colv);
 +      sqlite3_free(new_argv[0]);
 +    }
 +  }
 +  if( zDiv ){
 +    sqlite3_stmt *pStmt = 0;
 +    rc = sqlite3_prepare_v2(datax.dbUser,
 +                            "SELECT name FROM pragma_database_list",
 +                            -1, &pStmt, 0);
 +    if( rc ){
 +      *pzErr = smprintf("%s\n", sqlite3_errmsg(datax.dbUser));
 +      sqlite3_finalize(pStmt);
 +      return DCR_Error;
 +    }
 +    appendText(&sSelect, "SELECT sql FROM", 0);
 +    iSchema = 0;
 +    while( sqlite3_step(pStmt)==SQLITE_ROW ){
 +      const char *zDb = (const char*)sqlite3_column_text(pStmt, 0);
 +      char zScNum[30];
 +      sqlite3_snprintf(sizeof(zScNum), zScNum, "%d", ++iSchema);
 +      appendText(&sSelect, zDiv, 0);
 +      zDiv = " UNION ALL ";
 +      appendText(&sSelect, "SELECT shell_add_schema(sql,", 0);
 +      if( sqlite3_stricmp(zDb, "main")!=0 ){
 +        appendText(&sSelect, zDb, '\'');
        }else{
 -        zCollist = sqlite3_mprintf("%z,\"%w\"", zCollist, zCol);
 +        appendText(&sSelect, "NULL", 0);
        }
 +      appendText(&sSelect, ",name) AS sql, type, tbl_name, name, rowid,", 0);
 +      appendText(&sSelect, zScNum, 0);
 +      appendText(&sSelect, " AS snum, ", 0);
 +      appendText(&sSelect, zDb, '\'');
 +      appendText(&sSelect, " AS sname FROM ", 0);
 +      appendText(&sSelect, zDb, quoteChar(zDb));
 +      appendText(&sSelect, ".sqlite_schema", 0);
      }
      sqlite3_finalize(pStmt);
 -    if( i==0 || tnum==0 ){
 -      utf8_printf(stderr, "no such index: \"%s\"\n", azArg[1]);
 -      rc = 1;
 -      sqlite3_free(zCollist);
 -      goto meta_command_exit;
 +#ifndef SQLITE_OMIT_INTROSPECTION_PRAGMAS
 +    if( zName ){
 +      appendText(&sSelect,
 +                 " UNION ALL SELECT shell_module_schema(name),"
 +                 " 'table', name, name, name, 9e+99, 'main'"
 +                 " FROM pragma_module_list",
 +                 0);
      }
 -    if( lenPK==0 ) lenPK = 100000;
 -    zSql = sqlite3_mprintf(
 -          "CREATE TABLE \"%w\"(%s,PRIMARY KEY(%.*s))WITHOUT ROWID",
 -          azArg[2], zCollist, lenPK, zCollist);
 -    sqlite3_free(zCollist);
 -    rc = sqlite3_test_control(SQLITE_TESTCTRL_IMPOSTER, p->db, "main", 1, tnum);
 -    if( rc==SQLITE_OK ){
 -      rc = sqlite3_exec(p->db, zSql, 0, 0, 0);
 -      sqlite3_test_control(SQLITE_TESTCTRL_IMPOSTER, p->db, "main", 0, 0);
 -      if( rc ){
 -        utf8_printf(stderr, "Error in [%s]: %s\n", zSql, sqlite3_errmsg(p->db));
 +#endif
 +    appendText(&sSelect, ") WHERE ", 0);
 +    if( zName ){
 +      char *zQarg = smprintf("%Q", zName);
 +      int bGlob;
 +      shell_check_oom(zQarg);
 +      bGlob = strchr(zName, '*') != 0 || strchr(zName, '?') != 0
 +        || strchr(zName, '[') != 0;
 +      if( strchr(zName, '.') ){
 +        appendText(&sSelect, "lower(printf('%s.%s',sname,tbl_name))", 0);
        }else{
 -        utf8_printf(stdout, "%s;\n", zSql);
 -        raw_printf(stdout,
 -          "WARNING: writing to an imposter table will corrupt the \"%s\" %s!\n",
 -          azArg[1], isWO ? "table" : "index"
 -        );
 +        appendText(&sSelect, "lower(tbl_name)", 0);
        }
 -    }else{
 -      raw_printf(stderr, "SQLITE_TESTCTRL_IMPOSTER returns %d\n", rc);
 -      rc = 1;
 -    }
 -    sqlite3_free(zSql);
 -  }else
 -#endif /* !defined(SQLITE_OMIT_TEST_CONTROL) */
 -
 -#ifdef SQLITE_ENABLE_IOTRACE
 -  if( c=='i' && cli_strncmp(azArg[0], "iotrace", n)==0 ){
 -    SQLITE_API extern void (SQLITE_CDECL *sqlite3IoTrace)(const char*, ...);
 -    if( iotrace && iotrace!=stdout ) fclose(iotrace);
 -    iotrace = 0;
 -    if( nArg<2 ){
 -      sqlite3IoTrace = 0;
 -    }else if( cli_strcmp(azArg[1], "-")==0 ){
 -      sqlite3IoTrace = iotracePrintf;
 -      iotrace = stdout;
 -    }else{
 -      iotrace = fopen(azArg[1], "w");
 -      if( iotrace==0 ){
 -        utf8_printf(stderr, "Error: cannot open \"%s\"\n", azArg[1]);
 -        sqlite3IoTrace = 0;
 -        rc = 1;
 -      }else{
 -        sqlite3IoTrace = iotracePrintf;
 +      appendText(&sSelect, bGlob ? " GLOB " : " LIKE ", 0);
 +      appendText(&sSelect, zQarg, 0);
 +      if( !bGlob ){
 +        appendText(&sSelect, " ESCAPE '\\' ", 0);
        }
 +      appendText(&sSelect, " AND ", 0);
 +      sqlite3_free(zQarg);
      }
 -  }else
 -#endif
 -
 -  if( c=='l' && n>=5 && cli_strncmp(azArg[0], "limits", n)==0 ){
 -    static const struct {
 -       const char *zLimitName;   /* Name of a limit */
 -       int limitCode;            /* Integer code for that limit */
 -    } aLimit[] = {
 -      { "length",                SQLITE_LIMIT_LENGTH                    },
 -      { "sql_length",            SQLITE_LIMIT_SQL_LENGTH                },
 -      { "column",                SQLITE_LIMIT_COLUMN                    },
 -      { "expr_depth",            SQLITE_LIMIT_EXPR_DEPTH                },
 -      { "compound_select",       SQLITE_LIMIT_COMPOUND_SELECT           },
 -      { "vdbe_op",               SQLITE_LIMIT_VDBE_OP                   },
 -      { "function_arg",          SQLITE_LIMIT_FUNCTION_ARG              },
 -      { "attached",              SQLITE_LIMIT_ATTACHED                  },
 -      { "like_pattern_length",   SQLITE_LIMIT_LIKE_PATTERN_LENGTH       },
 -      { "variable_number",       SQLITE_LIMIT_VARIABLE_NUMBER           },
 -      { "trigger_depth",         SQLITE_LIMIT_TRIGGER_DEPTH             },
 -      { "worker_threads",        SQLITE_LIMIT_WORKER_THREADS            },
 -    };
 -    int i, n2;
 -    open_db(p, 0);
 -    if( nArg==1 ){
 -      for(i=0; i<ArraySize(aLimit); i++){
 -        printf("%20s %d\n", aLimit[i].zLimitName,
 -               sqlite3_limit(p->db, aLimit[i].limitCode, -1));
 -      }
 -    }else if( nArg>3 ){
 -      raw_printf(stderr, "Usage: .limit NAME ?NEW-VALUE?\n");
 -      rc = 1;
 -      goto meta_command_exit;
 +    if( bNoSystemTabs ){
 +      appendText(&sSelect, "name NOT LIKE 'sqlite_%%' AND ", 0);
 +    }
 +    appendText(&sSelect, "sql IS NOT NULL"
 +               " ORDER BY snum, rowid", 0);
 +    if( bDebug ){
 +      utf8_printf(data.out, "SQL: %s;\n", sSelect.z);
      }else{
 -      int iLimit = -1;
 -      n2 = strlen30(azArg[1]);
 -      for(i=0; i<ArraySize(aLimit); i++){
 -        if( sqlite3_strnicmp(aLimit[i].zLimitName, azArg[1], n2)==0 ){
 -          if( iLimit<0 ){
 -            iLimit = i;
 -          }else{
 -            utf8_printf(stderr, "ambiguous limit: \"%s\"\n", azArg[1]);
 -            rc = 1;
 -            goto meta_command_exit;
 -          }
 -        }
 -      }
 -      if( iLimit<0 ){
 -        utf8_printf(stderr, "unknown limit: \"%s\"\n"
 -                        "enter \".limits\" with no arguments for a list.\n",
 -                         azArg[1]);
 -        rc = 1;
 -        goto meta_command_exit;
 -      }
 -      if( nArg==3 ){
 -        sqlite3_limit(p->db, aLimit[iLimit].limitCode,
 -                      (int)integerValue(azArg[2]));
 -      }
 -      printf("%20s %d\n", aLimit[iLimit].zLimitName,
 -             sqlite3_limit(p->db, aLimit[iLimit].limitCode, -1));
 +      rc = sqlite3_exec(datax.dbUser, sSelect.z, callback, &datax, &zErrMsg);
      }
 -  }else
 -
 -  if( c=='l' && n>2 && cli_strncmp(azArg[0], "lint", n)==0 ){
 -    open_db(p, 0);
 -    lintDotCommand(p, azArg, nArg);
 -  }else
 +    freeText(&sSelect);
 +  }
 +  if( zErrMsg ){
 +    *pzErr = zErrMsg;
 +    return DCR_Error;
 +  }else if( rc != SQLITE_OK ){
 +    *pzErr = smprintf("Error: querying schema information\n");
 +    return DCR_Error;
 +  }else{
 +    return DCR_Ok;
 +  }
 +}
  
 -#if !defined(SQLITE_OMIT_LOAD_EXTENSION) && !defined(SQLITE_SHELL_FIDDLE)
 -  if( c=='l' && cli_strncmp(azArg[0], "load", n)==0 ){
 -    const char *zFile, *zProc;
 -    char *zErrMsg = 0;
 -    failIfSafeMode(p, "cannot run .load in safe mode");
 -    if( nArg<2 || azArg[1][0]==0 ){
 -      /* Must have a non-empty FILE. (Will not load self.) */
 -      raw_printf(stderr, "Usage: .load FILE ?ENTRYPOINT?\n");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    zFile = azArg[1];
 -    zProc = nArg>=3 ? azArg[2] : 0;
 -    open_db(p, 0);
 -    rc = sqlite3_load_extension(p->db, zFile, zProc, &zErrMsg);
 -    if( rc!=SQLITE_OK ){
 -      utf8_printf(stderr, "Error: %s\n", zErrMsg);
 -      sqlite3_free(zErrMsg);
 -      rc = 1;
 +/*****************
 + * The .selecttrace, .separator, .session and .sha3sum commands
 + */
 +CONDITION_COMMAND( session defined(SQLITE_ENABLE_SESSION) );
 +COLLECT_HELP_TEXT[
 +  ".separator COL ?ROW?     Change the column and row separators",
 +  ".session ?NAME? CMD ...  Create or control sessions",
 +  "   Subcommands:",
 +  "     attach TABLE             Attach TABLE",
 +  "     changeset FILE           Write a changeset into FILE",
 +  "     close                    Close one session",
 +  "     enable ?BOOLEAN?         Set or query the enable bit",
 +  "     filter GLOB...           Reject tables matching GLOBs",
 +  "     indirect ?BOOLEAN?       Mark or query the indirect status",
 +  "     isempty                  Query whether the session is empty",
 +  "     list                     List currently open session names",
 +  "     open DB NAME             Open a new session on DB",
 +  "     patchset FILE            Write a patchset into FILE",
 +  "   If ?NAME? is omitted, the first defined session is used.",
 +  ".sha3sum ...             Compute a SHA3 hash of database content",
 +  "    Options:",
 +  "      --schema              Also hash the sqlite_schema table",
 +  "      --sha3-224            Use the sha3-224 algorithm",
 +  "      --sha3-256            Use the sha3-256 algorithm (default)",
 +  "      --sha3-384            Use the sha3-384 algorithm",
 +  "      --sha3-512            Use the sha3-512 algorithm",
 +  "    Any other argument is a LIKE pattern for tables to hash",
 +];
 +DISPATCHABLE_COMMAND( separator ? 2 3 ){
 +  if( nArg>=2 ){
 +    sqlite3_snprintf(sizeof(ISS(p)->colSeparator), ISS(p)->colSeparator,
 +                     "%.*s", (int)ArraySize(ISS(p)->colSeparator)-1, azArg[1]);
 +  }
 +  if( nArg>=3 ){
 +    sqlite3_snprintf(sizeof(ISS(p)->rowSeparator), ISS(p)->rowSeparator,
 +                     "%.*s", (int)ArraySize(ISS(p)->rowSeparator)-1, azArg[2]);
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( session 3 2 0 ){
 +  int rc = 0;
 +  struct AuxDb *pAuxDb = ISS(p)->pAuxDb;
 +  OpenSession *pSession = &pAuxDb->aSession[0];
 +  FILE *out = ISS(p)->out;
 +  char **azCmd = &azArg[1];
 +  int iSes = 0;
 +  int nCmd = nArg - 1;
 +  int i;
 +  open_db(p, 0);
 +  if( nArg>=3 ){
 +    for(iSes=0; iSes<pAuxDb->nSession; iSes++){
 +      if( cli_strcmp(pAuxDb->aSession[iSes].zName, azArg[1])==0 ) break;
 +    }
 +    if( iSes<pAuxDb->nSession ){
 +      pSession = &pAuxDb->aSession[iSes];
 +      azCmd++;
 +      nCmd--;
 +    }else{
 +      pSession = &pAuxDb->aSession[0];
 +      iSes = 0;
      }
 -  }else
 -#endif
 +  }
  
 -  if( c=='l' && cli_strncmp(azArg[0], "log", n)==0 ){
 -    if( nArg!=2 ){
 -      raw_printf(stderr, "Usage: .log FILENAME\n");
 -      rc = 1;
 +  /* .session attach TABLE
 +  ** Invoke the sqlite3session_attach() interface to attach a particular
 +  ** table so that it is never filtered.
 +  */
 +  if( cli_strcmp(azCmd[0],"attach")==0 ){
 +    if( nCmd!=2 ) goto session_syntax_error;
 +    if( pSession->p==0 ){
 +    session_not_open:
 +      raw_printf(STD_ERR, "ERROR: No sessions are open\n");
      }else{
 -      const char *zFile = azArg[1];
 -      if( p->bSafeMode
 -       && cli_strcmp(zFile,"on")!=0
 -       && cli_strcmp(zFile,"off")!=0
 -      ){
 -        raw_printf(stdout, "cannot set .log to anything other "
 -                   "than \"on\" or \"off\"\n");
 -        zFile = "off";
 +      rc = sqlite3session_attach(pSession->p, azCmd[1]);
 +      if( rc ){
 +        raw_printf(STD_ERR, "ERROR: sqlite3session_attach() returns %d\n", rc);
 +        rc = 0;
        }
 -      output_file_close(p->pLog);
 -      if( cli_strcmp(zFile,"on")==0 ) zFile = "stdout";
 -      p->pLog = output_file_open(zFile, 0);
      }
    }else
  
      }
    }else
  
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( (c=='o'
 -        && (cli_strncmp(azArg[0], "output", n)==0
 -            || cli_strncmp(azArg[0], "once", n)==0))
 -   || (c=='e' && n==5 && cli_strcmp(azArg[0],"excel")==0)
 -  ){
 -    char *zFile = 0;
 -    int bTxtMode = 0;
 -    int i;
 -    int eMode = 0;
 -    int bOnce = 0;            /* 0: .output, 1: .once, 2: .excel */
 -    unsigned char zBOM[4];    /* Byte-order mark to using if --bom is present */
 -
 -    zBOM[0] = 0;
 -    failIfSafeMode(p, "cannot run .%s in safe mode", azArg[0]);
 -    if( c=='e' ){
 -      eMode = 'x';
 -      bOnce = 2;
 -    }else if( cli_strncmp(azArg[0],"once",n)==0 ){
 -      bOnce = 1;
 +  /* .session isempty
 +  ** Determine if the session is empty
 +  */
 +  if( cli_strcmp(azCmd[0], "isempty")==0 ){
 +    int ii;
 +    if( nCmd!=1 ) goto session_syntax_error;
 +    if( pAuxDb->nSession ){
 +      ii = sqlite3session_isempty(pSession->p);
 +      utf8_printf(out, "session %s isempty flag = %d\n",
 +                  pSession->zName, ii);
      }
 -    for(i=1; i<nArg; i++){
 -      char *z = azArg[i];
 -      if( z[0]=='-' ){
 -        if( z[1]=='-' ) z++;
 -        if( cli_strcmp(z,"-bom")==0 ){
 -          zBOM[0] = 0xef;
 -          zBOM[1] = 0xbb;
 -          zBOM[2] = 0xbf;
 -          zBOM[3] = 0;
 -        }else if( c!='e' && cli_strcmp(z,"-x")==0 ){
 -          eMode = 'x';  /* spreadsheet */
 -        }else if( c!='e' && cli_strcmp(z,"-e")==0 ){
 -          eMode = 'e';  /* text editor */
 -        }else{
 -          utf8_printf(p->out, "ERROR: unknown option: \"%s\".  Usage:\n",
 -                      azArg[i]);
 -          showHelp(p->out, azArg[0]);
 -          rc = 1;
 -          goto meta_command_exit;
 -        }
 -      }else if( zFile==0 && eMode!='e' && eMode!='x' ){
 -        zFile = sqlite3_mprintf("%s", z);
 -        if( zFile && zFile[0]=='|' ){
 -          while( i+1<nArg ) zFile = sqlite3_mprintf("%z %s", zFile, azArg[++i]);
 -          break;
 -        }
 -      }else{
 -        utf8_printf(p->out,"ERROR: extra parameter: \"%s\".  Usage:\n",
 -                    azArg[i]);
 -        showHelp(p->out, azArg[0]);
 -        rc = 1;
 -        sqlite3_free(zFile);
 -        goto meta_command_exit;
 -      }
 +  }else
 +
 +  /* .session list
 +  ** List all currently open sessions
 +  */
 +  if( cli_strcmp(azCmd[0],"list")==0 ){
 +    for(i=0; i<pAuxDb->nSession; i++){
 +      utf8_printf(out, "%d %s\n", i, pAuxDb->aSession[i].zName);
      }
 -    if( zFile==0 ){
 -      zFile = sqlite3_mprintf("stdout");
 +  }else
 +
 +  /* .session open DB NAME
 +  ** Open a new session called NAME on the attached database DB.
 +  ** DB is normally "main".
 +  */
 +  if( cli_strcmp(azCmd[0],"open")==0 ){
 +    char *zName;
 +    if( nCmd!=3 ) goto session_syntax_error;
 +    zName = azCmd[2];
 +    if( zName[0]==0 ) goto session_syntax_error;
 +    for(i=0; i<pAuxDb->nSession; i++){
 +      if( cli_strcmp(pAuxDb->aSession[i].zName,zName)==0 ){
 +        utf8_printf(STD_ERR, "Session \"%s\" already exists\n", zName);
 +        return rc;
 +      }
 +    }
 +    if( pAuxDb->nSession>=ArraySize(pAuxDb->aSession) ){
 +      raw_printf
 +        (STD_ERR, "Maximum of %d sessions\n", ArraySize(pAuxDb->aSession));
 +      return rc;
 +    }
 +    pSession = &pAuxDb->aSession[pAuxDb->nSession];
 +    rc = sqlite3session_create(DBX(p), azCmd[1], &pSession->p);
 +    if( rc ){
 +      *pzErr = smprintf("Cannot open session: error code=%d\n", rc);
 +      return rc;
      }
 -    if( bOnce ){
 -      p->outCount = 2;
 +    pSession->nFilter = 0;
 +    sqlite3session_table_filter(pSession->p, session_filter, pSession);
 +    pAuxDb->nSession++;
 +    shell_newstr_assign(&pSession->zName, smprintf("%s", zName));
 +  }else{
 +
 +  /* If no command name matches, show a syntax error */
 +  session_syntax_error:
 +    showHelp(out, "session", p);
 +    return DCR_CmdErred;
 +  }
 +  return rc;
 +}
 +DISPATCHABLE_COMMAND( sha3sum 4 1 1 ){
 +  const char *zLike = 0;   /* Which table to checksum. 0 means everything */
 +  int i;                   /* Loop counter */
 +  int bSchema = 0;         /* Also hash the schema */
 +  int bSeparate = 0;       /* Hash each table separately */
 +  int iSize = 224;         /* Hash algorithm to use */
 +  int bDebug = 0;          /* Only show the query that would have run */
 +  sqlite3_stmt *pStmt;     /* For querying tables names */
 +  char *zSql;              /* SQL to be run */
 +  char *zSep;              /* Separator */
 +  ShellText sSql;          /* Complete SQL for the query to run the hash */
 +  ShellText sQuery;        /* Set of queries used to read all content */
 +  open_db(p, 0);
 +  for(i=1; i<nArg; i++){
 +    const char *z = azArg[i];
 +    if( z[0]=='-' ){
 +      z++;
 +      if( z[0]=='-' ) z++;
 +      if( cli_strcmp(z,"schema")==0 ){
 +        bSchema = 1;
 +      }else
 +        if( cli_strcmp(z,"sha3-224")==0 || cli_strcmp(z,"sha3-256")==0
 +            || cli_strcmp(z,"sha3-384")==0 || cli_strcmp(z,"sha3-512")==0
 +            ){
 +          iSize = atoi(&z[5]);
 +        }else
 +          if( cli_strcmp(z,"debug")==0 ){
 +            bDebug = 1;
 +          }else
 +            {
 +              *pzErr = smprintf("Unknown option \"%s\" on \"%s\"\n",
 +                                azArg[i], azArg[0]);
 +              return DCR_Unknown|i;
 +            }
 +    }else if( zLike ){
 +      return DCR_TooMany;
      }else{
 -      p->outCount = 0;
 -    }
 -    output_reset(p);
 -#ifndef SQLITE_NOHAVE_SYSTEM
 -    if( eMode=='e' || eMode=='x' ){
 -      p->doXdgOpen = 1;
 -      outputModePush(p);
 -      if( eMode=='x' ){
 -        /* spreadsheet mode.  Output as CSV. */
 -        newTempFile(p, "csv");
 -        ShellClearFlag(p, SHFLG_Echo);
 -        p->mode = MODE_Csv;
 -        sqlite3_snprintf(sizeof(p->colSeparator), p->colSeparator, SEP_Comma);
 -        sqlite3_snprintf(sizeof(p->rowSeparator), p->rowSeparator, SEP_CrLf);
 -      }else{
 -        /* text editor mode */
 -        newTempFile(p, "txt");
 -        bTxtMode = 1;
 -      }
 -      sqlite3_free(zFile);
 -      zFile = sqlite3_mprintf("%s", p->zTempFile);
 +      zLike = z;
 +      bSeparate = 1;
 +      if( sqlite3_strlike("sqlite\\_%", zLike, '\\')==0 ) bSchema = 1;
      }
 -#endif /* SQLITE_NOHAVE_SYSTEM */
 -    shell_check_oom(zFile);
 -    if( zFile[0]=='|' ){
 -#ifdef SQLITE_OMIT_POPEN
 -      raw_printf(stderr, "Error: pipes are not supported in this OS\n");
 -      rc = 1;
 -      p->out = stdout;
 -#else
 -      p->out = popen(zFile + 1, "w");
 -      if( p->out==0 ){
 -        utf8_printf(stderr,"Error: cannot open pipe \"%s\"\n", zFile + 1);
 -        p->out = stdout;
 -        rc = 1;
 +  }
 +  if( bSchema ){
 +    zSql = "SELECT lower(name) AS tname FROM sqlite_schema"
 +      " WHERE type='table' AND coalesce(rootpage,0)>1"
 +      " UNION ALL SELECT 'sqlite_schema'"
 +      " ORDER BY 1 collate nocase";
 +  }else{
 +    zSql = "SELECT lower(name) AS tname FROM sqlite_schema"
 +      " WHERE type='table' AND coalesce(rootpage,0)>1"
 +      " AND name NOT LIKE 'sqlite_%'"
 +      " ORDER BY 1 collate nocase";
 +  }
 +  sqlite3_prepare_v2(DBX(p), zSql, -1, &pStmt, 0);
 +  initText(&sQuery);
 +  initText(&sSql);
 +  appendText(&sSql, "WITH [sha3sum$query](a,b) AS(",0);
 +  zSep = "VALUES(";
 +  while( SQLITE_ROW==sqlite3_step(pStmt) ){
 +    const char *zTab = (const char*)sqlite3_column_text(pStmt,0);
 +    if( zTab==0 ) continue;
 +    if( zLike && sqlite3_strlike(zLike, zTab, 0)!=0 ) continue;
 +    if( cli_strncmp(zTab, "sqlite_",7)!=0 ){
 +      appendText(&sQuery,"SELECT * FROM ", 0);
 +      appendText(&sQuery,zTab,'"');
 +      appendText(&sQuery," NOT INDEXED;", 0);
 +    }else if( cli_strcmp(zTab, "sqlite_schema")==0 ){
 +      appendText(&sQuery,"SELECT type,name,tbl_name,sql FROM sqlite_schema"
 +                 " ORDER BY name;", 0);
 +    }else if( cli_strcmp(zTab, "sqlite_sequence")==0 ){
 +      appendText(&sQuery,"SELECT name,seq FROM sqlite_sequence"
 +                 " ORDER BY name;", 0);
 +    }else if( cli_strcmp(zTab, "sqlite_stat1")==0 ){
 +      appendText(&sQuery,"SELECT tbl,idx,stat FROM sqlite_stat1"
 +                 " ORDER BY tbl,idx;", 0);
 +    }else if( cli_strcmp(zTab, "sqlite_stat4")==0 ){
 +      appendText(&sQuery, "SELECT * FROM ", 0);
 +      appendText(&sQuery, zTab, 0);
 +      appendText(&sQuery, " ORDER BY tbl, idx, rowid;\n", 0);
 +    }
 +    appendText(&sSql, zSep, 0);
 +    appendText(&sSql, sQuery.z, '\'');
 +    sQuery.n = 0;
 +    appendText(&sSql, ",", 0);
 +    appendText(&sSql, zTab, '\'');
 +    zSep = "),(";
 +  }
 +  sqlite3_finalize(pStmt);
 +  if( bSeparate ){
 +    zSql = smprintf(
 +           "%s))"
 +           " SELECT lower(hex(sha3_query(a,%d))) AS hash, b AS label"
 +           "   FROM [sha3sum$query]",
 +           sSql.z, iSize);
 +  }else{
 +    zSql = smprintf(
 +           "%s))"
 +           " SELECT lower(hex(sha3_query(group_concat(a,''),%d))) AS hash"
 +           "   FROM [sha3sum$query]",
 +           sSql.z, iSize);
 +  }
 +  shell_check_oom(zSql);
 +  freeText(&sQuery);
 +  freeText(&sSql);
 +  if( bDebug ){
 +    utf8_printf(ISS(p)->out, "%s\n", zSql);
 +  }else{
 +    shell_exec(p, zSql, 0);
 +  }
 +#if !defined(SQLITE_OMIT_SCHEMA_PRAGMAS) && !defined(SQLITE_OMIT_VIRTUALTABLE)
 +  {
 +    int lrc;
 +    char *zRevText = /* Query for reversible to-blob-to-text check */
 +      "SELECT lower(name) as tname FROM sqlite_schema\n"
 +      "WHERE type='table' AND coalesce(rootpage,0)>1\n"
 +      "AND name NOT LIKE 'sqlite_%%'%s\n"
 +      "ORDER BY 1 collate nocase";
 +    zRevText = sqlite3_mprintf(zRevText, zLike? " AND name LIKE $tspec" : "");
 +    zRevText = sqlite3_mprintf(
 +        /* lower-case query is first run, producing upper-case query. */
 +        "with tabcols as materialized(\n"
 +        "select tname, cname\n"
 +        "from ("
 +        " select ss.tname as tname, ti.name as cname\n"
 +        " from (%z) ss\n inner join pragma_table_info(tname) ti))\n"
 +        "select 'SELECT total(bad_text_count) AS bad_text_count\n"
 +        "FROM ('||group_concat(query, ' UNION ALL ')||')' as btc_query\n"
 +        " from (select 'SELECT COUNT(*) AS bad_text_count\n"
 +        "FROM '||tname||' WHERE '\n"
 +        "||group_concat('CAST(CAST('||cname||' AS BLOB) AS TEXT)<>'||cname\n"
 +        "|| ' AND typeof('||cname||')=''text'' ',\n"
 +        "' OR ') as query, tname from tabcols group by tname)"
 +        , zRevText);
 +    shell_check_oom(zRevText);
 +    if( bDebug ) utf8_printf(ISS(p)->out, "%s\n", zRevText);
 +    lrc = sqlite3_prepare_v2(DBX(p), zRevText, -1, &pStmt, 0);
 +    if( lrc!=SQLITE_OK ){
 +      sqlite3_free(zRevText);
 +      return DCR_Error;
 +    }
 +    if( zLike ) sqlite3_bind_text(pStmt,1,zLike,-1,SQLITE_STATIC);
 +    lrc = SQLITE_ROW==sqlite3_step(pStmt);
 +    if( lrc ){
 +      const char *zGenQuery = (char*)sqlite3_column_text(pStmt,0);
 +      sqlite3_stmt *pCheckStmt;
 +      lrc = sqlite3_prepare_v2(DBX(p), zGenQuery, -1, &pCheckStmt, 0);
 +      if( bDebug ) utf8_printf(ISS(p)->out, "%s\n", zGenQuery);
 +      if( SQLITE_OK!=lrc ){
 +        sqlite3_finalize(pStmt);
 +        sqlite3_free(zRevText);
 +        return DCR_Error;
        }else{
 -        if( zBOM[0] ) fwrite(zBOM, 1, 3, p->out);
 -        sqlite3_snprintf(sizeof(p->outfile), p->outfile, "%s", zFile);
 -      }
 -#endif
 -    }else{
 -      p->out = output_file_open(zFile, bTxtMode);
 -      if( p->out==0 ){
 -        if( cli_strcmp(zFile,"off")!=0 ){
 -          utf8_printf(stderr,"Error: cannot write to \"%s\"\n", zFile);
 +        if( SQLITE_ROW==sqlite3_step(pCheckStmt) ){
 +          double countIrreversible = sqlite3_column_double(pCheckStmt, 0);
 +          if( countIrreversible>0 ){
 +            int sz = (int)(countIrreversible + 0.5);
 +            utf8_printf(stderr,
 +               "Digest includes %d invalidly encoded text field%s.\n",
 +               sz, (sz>1)? "s": "");
 +          }
          }
 -        p->out = stdout;
 -        rc = 1;
 -      } else {
 -        if( zBOM[0] ) fwrite(zBOM, 1, 3, p->out);
 -        sqlite3_snprintf(sizeof(p->outfile), p->outfile, "%s", zFile);
 +        sqlite3_finalize(pCheckStmt);
        }
 +      sqlite3_finalize(pStmt);
      }
 -    sqlite3_free(zFile);
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 +    sqlite3_free(zRevText);
 +  }
 +#endif /* !defined(*_OMIT_SCHEMA_PRAGMAS) && !defined(*_OMIT_VIRTUALTABLE) */
 +  sqlite3_free(zSql);
 +  return DCR_Ok;
 +}
  
 -  if( c=='p' && n>=3 && cli_strncmp(azArg[0], "parameter", n)==0 ){
 -    open_db(p,0);
 -    if( nArg<=1 ) goto parameter_syntax_error;
 +/*****************
 + * The .selftest* and .show commands
 + */
 +CONDITION_COMMAND( selftest_bool defined(SQLITE_DEBUG) );
 +CONDITION_COMMAND( selftest_int defined(SQLITE_DEBUG) );
 +COLLECT_HELP_TEXT[
 +  ",selftest ?OPTIONS?      Run tests defined in the SELFTEST table",
 +  "    Options:",
 +  "       --init               Create a new SELFTEST table",
 +  "       -v                   Verbose output",
 +  ",selftest_bool ?ARGS?    Show boolean values of ARGS as flag tokens",
 +  ",selftest_int ?ARGS?     Show integer values of ARGS as integer tokens",
 +  ".show                    Show the current values for various settings",
 +];
  
 -    /* .parameter clear
 -    ** Clear all bind parameters by dropping the TEMP table that holds them.
 -    */
 -    if( nArg==2 && cli_strcmp(azArg[1],"clear")==0 ){
 -      sqlite3_exec(p->db, "DROP TABLE IF EXISTS temp.sqlite_parameters;",
 -                   0, 0, 0);
 -    }else
 +DISPATCHABLE_COMMAND( selftest_bool 10 0 0 ){
 +  int i, v;
 +  for(i=1; i<nArg; i++){
 +    v = booleanValue(azArg[i]);
 +    utf8_printf(ISS(p)->out, "%s: %d 0x%x\n", azArg[i], v, v);
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( selftest_int 10 0 0 ){
 +  int i; sqlite3_int64 v;
 +  for(i=1; i<nArg; i++){
 +    char zBuf[200];
 +    v = integerValue(azArg[i]);
 +    sqlite3_snprintf(sizeof(zBuf),zBuf,"%s: %lld 0x%llx\n", azArg[i],v,v);
 +    utf8_printf(ISS(p)->out, "%s", zBuf);
 +  }
 +  return DCR_Ok;
 +}
  
 -    /* .parameter list
 -    ** List all bind parameters.
 -    */
 -    if( nArg==2 && cli_strcmp(azArg[1],"list")==0 ){
 -      sqlite3_stmt *pStmt = 0;
 -      int rx;
 -      int len = 0;
 -      rx = sqlite3_prepare_v2(p->db,
 -             "SELECT max(length(key)) "
 -             "FROM temp.sqlite_parameters;", -1, &pStmt, 0);
 -      if( rx==SQLITE_OK && sqlite3_step(pStmt)==SQLITE_ROW ){
 -        len = sqlite3_column_int(pStmt, 0);
 -        if( len>40 ) len = 40;
 -      }
 +DISPATCHABLE_COMMAND( selftest 4 0 0 ){
 +  int rc = 0;
 +  ShellInState *psi = ISS(p);
 +  int bIsInit = 0;         /* True to initialize the SELFTEST table */
 +  int bVerbose = 0;        /* Verbose output */
 +  int bSelftestExists;     /* True if SELFTEST already exists */
 +  int i, k;                /* Loop counters */
 +  int nTest = 0;           /* Number of tests runs */
 +  int nErr = 0;            /* Number of errors seen */
 +  ShellText str;           /* Answer for a query */
 +  sqlite3_stmt *pStmt = 0; /* Query against the SELFTEST table */
 +
 +  for(i=1; i<nArg; i++){
 +    const char *z = azArg[i];
 +    if( z[0]=='-' && z[1]=='-' ) z++;
 +    if( cli_strcmp(z,"-init")==0 ){
 +      bIsInit = 1;
 +    }else
 +      if( cli_strcmp(z,"-v")==0 ){
 +        bVerbose++;
 +      }else
 +        {
 +          *pzErr = smprintf
 +            ("Unknown option \"%s\" on \"%s\"\n"
 +             "Should be one of: --init -v\n", azArg[i], azArg[0]);
 +          return DCR_ArgWrong;
 +        }
 +  }
 +  open_db(p,0);
 +  if( sqlite3_table_column_metadata(DBX(p),"main","selftest",0,0,0,0,0,0)
 +      != SQLITE_OK ){
 +    bSelftestExists = 0;
 +  }else{
 +    bSelftestExists = 1;
 +  }
 +  if( bIsInit ){
 +    createSelftestTable(ISS(p));
 +    bSelftestExists = 1;
 +  }
 +  initText(&str);
 +  appendText(&str, "x", 0);
 +  for(k=bSelftestExists; k>=0; k--){
 +    if( k==1 ){
 +      rc = sqlite3_prepare_v2(DBX(p),
 +              "SELECT tno,op,cmd,ans FROM selftest ORDER BY tno",
 +              -1, &pStmt, 0);
 +    }else{
 +      rc = sqlite3_prepare_v2(DBX(p),
 +          "VALUES(0,'memo','Missing SELFTEST table - default checks only',''),"
 +          "      (1,'run','PRAGMA integrity_check','ok')",
 +          -1, &pStmt, 0);
 +    }
 +    if( rc ){
 +      *pzErr = smprintf("Error querying the selftest table\n");
        sqlite3_finalize(pStmt);
 -      pStmt = 0;
 -      if( len ){
 -        rx = sqlite3_prepare_v2(p->db,
 -             "SELECT key, quote(value) "
 -             "FROM temp.sqlite_parameters;", -1, &pStmt, 0);
 -        while( rx==SQLITE_OK && sqlite3_step(pStmt)==SQLITE_ROW ){
 -          utf8_printf(p->out, "%-*s %s\n", len, sqlite3_column_text(pStmt,0),
 -                      sqlite3_column_text(pStmt,1));
 +      return DCR_Error;
 +    }
 +    for(i=1; sqlite3_step(pStmt)==SQLITE_ROW; i++){
 +      int tno = sqlite3_column_int(pStmt, 0);
 +      const char *zOp = (const char*)sqlite3_column_text(pStmt, 1);
 +      const char *zSql = (const char*)sqlite3_column_text(pStmt, 2);
 +      const char *zAns = (const char*)sqlite3_column_text(pStmt, 3);
 +
 +      if( zOp==0 || zSql==0 || zAns==0 ) continue;
 +      k = 0;
 +      if( bVerbose>0 ){
 +        /* This unusually directed output is for test purposes. */
 +        fprintf(STD_OUT, "%d: %s %s\n", tno, zOp, zSql);
 +      }
 +      if( cli_strcmp(zOp,"memo")==0 ){
 +        utf8_printf(psi->out, "%s\n", zSql);
 +      }else if( cli_strcmp(zOp,"run")==0 ){
 +        char *zErrMsg = 0;
 +        str.n = 0;
 +        str.z[0] = 0;
 +        rc = sqlite3_exec(DBX(p), zSql, captureOutputCallback, &str, &zErrMsg);
 +        nTest++;
 +        if( bVerbose ){
 +          utf8_printf(psi->out, "Result: %s\n", str.z);
          }
 -        sqlite3_finalize(pStmt);
 -      }
 -    }else
 -
 -    /* .parameter init
 -    ** Make sure the TEMP table used to hold bind parameters exists.
 -    ** Create it if necessary.
 -    */
 -    if( nArg==2 && cli_strcmp(azArg[1],"init")==0 ){
 -      bind_table_init(p);
 -    }else
 -
 -    /* .parameter set NAME VALUE
 -    ** Set or reset a bind parameter.  NAME should be the full parameter
 -    ** name exactly as it appears in the query.  (ex: $abc, @def).  The
 -    ** VALUE can be in either SQL literal notation, or if not it will be
 -    ** understood to be a text string.
 -    */
 -    if( nArg==4 && cli_strcmp(azArg[1],"set")==0 ){
 -      int rx;
 -      char *zSql;
 -      sqlite3_stmt *pStmt;
 -      const char *zKey = azArg[2];
 -      const char *zValue = azArg[3];
 -      bind_table_init(p);
 -      zSql = sqlite3_mprintf(
 -                  "REPLACE INTO temp.sqlite_parameters(key,value)"
 -                  "VALUES(%Q,%s);", zKey, zValue);
 -      shell_check_oom(zSql);
 -      pStmt = 0;
 -      rx = sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -      sqlite3_free(zSql);
 -      if( rx!=SQLITE_OK ){
 -        sqlite3_finalize(pStmt);
 -        pStmt = 0;
 -        zSql = sqlite3_mprintf(
 -                   "REPLACE INTO temp.sqlite_parameters(key,value)"
 -                   "VALUES(%Q,%Q);", zKey, zValue);
 -        shell_check_oom(zSql);
 -        rx = sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -        sqlite3_free(zSql);
 -        if( rx!=SQLITE_OK ){
 -          utf8_printf(p->out, "Error: %s\n", sqlite3_errmsg(p->db));
 -          sqlite3_finalize(pStmt);
 -          pStmt = 0;
 +        if( rc || zErrMsg ){
 +          nErr++;
 +          rc = 1;
 +          utf8_printf(psi->out, "%d: error-code-%d: %s\n", tno, rc, zErrMsg);
 +          sqlite3_free(zErrMsg);
 +        }else if( cli_strcmp(zAns,str.z)!=0 ){
 +          nErr++;
            rc = 1;
 +          utf8_printf(psi->out, "%d: Expected: [%s]\n", tno, zAns);
 +          utf8_printf(psi->out, "%d:      Got: [%s]\n", tno, str.z);
          }
 +      }else{
 +        *pzErr = smprintf
 +          ("Unknown operation \"%s\" on selftest line %d\n", zOp, tno);
 +        rc = 1;
 +        break;
        }
 -      sqlite3_step(pStmt);
 -      sqlite3_finalize(pStmt);
 -    }else
 +    } /* End loop over rows of content from SELFTEST */
 +    sqlite3_finalize(pStmt);
 +  } /* End loop over k */
 +  freeText(&str);
 +  utf8_printf(psi->out, "%d errors out of %d tests\n", nErr, nTest);
 +  return rc > 0;
 +}
  
 -    /* .parameter unset NAME
 -    ** Remove the NAME binding from the parameter binding table, if it
 -    ** exists.
 -    */
 -    if( nArg==3 && cli_strcmp(azArg[1],"unset")==0 ){
 -      char *zSql = sqlite3_mprintf(
 -          "DELETE FROM temp.sqlite_parameters WHERE key=%Q", azArg[2]);
 -      shell_check_oom(zSql);
 -      sqlite3_exec(p->db, zSql, 0, 0, 0);
 -      sqlite3_free(zSql);
 -    }else
 -    /* If no command name matches, show a syntax error */
 -    parameter_syntax_error:
 -    showHelp(p->out, "parameter");
 -  }else
 +/*****************
 + * The .shell and .system commands
 + */
- CONDITION_COMMAND( shell !defined(SQLITE_NOHAVE_SYSTEM) && !defined(SQLITE_SHELL_FIDDLE) );
- CONDITION_COMMAND( system !defined(SQLITE_NOHAVE_SYSTEM) && !defined(SQLITE_SHELL_FIDDLE) );
++#if !defined(SQLITE_NOHAVE_SYSTEM) && !defined(SQLITE_SHELL_FIDDLE)
++# define SHELLOUT_ENABLE 1
++#else
++# define SHELLOUT_ENABLE 0
++#endif
++CONDITION_COMMAND( shell SHELLOUT_ENABLE );
++CONDITION_COMMAND( system SHELLOUT_ENABLE );
 +COLLECT_HELP_TEXT[
 +  ".shell CMD ARGS...       Run CMD ARGS... in a system shell",
 +  ".system CMD ARGS...      Run CMD ARGS... in a system shell",
 +];
 +
- #if !defined(SQLITE_NOHAVE_SYSTEM) && !defined(SQLITE_SHELL_FIDDLE)
++#if SHELLOUT_ENABLE
 +static DotCmdRC shellOut(char *azArg[], int nArg,
 +                         ShellExState *psx, char **pzErr){
 +  char *zCmd;
 +  int i, x;
 +  if( ISS(psx)->bSafeMode ) return DCR_AbortError;
 +  zCmd = smprintf(strchr(azArg[1],' ')==0?"%s":"\"%s\"", azArg[1]);
 +  for(i=2; i<nArg; i++){
 +    zCmd = smprintf(strchr(azArg[i],' ')==0?"%z %s":"%z \"%s\"",
 +                    zCmd, azArg[i]);
 +  }
 +  shell_check_oom(zCmd);
 +  x = system(zCmd);
 +  sqlite3_free(zCmd);
 +  if( x ) raw_printf(STD_ERR, "%s command returns %d\n", azArg[0], x);
 +  return DCR_Ok;
 +}
 +#endif
 +DISPATCHABLE_COMMAND( shell ? 2 0 ){
 +  return shellOut(azArg, nArg, p, pzErr);
 +}
  
 -  if( c=='p' && n>=3 && cli_strncmp(azArg[0], "print", n)==0 ){
 -    int i;
 -    for(i=1; i<nArg; i++){
 -      if( i>1 ) raw_printf(p->out, " ");
 -      utf8_printf(p->out, "%s", azArg[i]);
 +DISPATCHABLE_COMMAND( system ? 2 0 ){
 +  return shellOut(azArg, nArg, p, pzErr);
 +}
 +
 +/*****************
 + * The .shxload and .shxopts commands
 + */
 +CONDITION_COMMAND( shxload (SHELL_DYNAMIC_EXTENSION)!=0 );
 +CONDITION_COMMAND( shxopts (SHELL_EXTENSIONS)!=0 );
 +COLLECT_HELP_TEXT[
 +  ".shxload FILE ?OPTIONS?  Load a CLI shell extension library",
 +  "   The first option may name the init function to be called upon load.",
 +  "   Otherwise, its name is derived from FILE. Either way, the entry point"
 +  "   \"sqlite_NAME_init\" is called. All options after \"--\" are passed to",
 +  "   the extension's init function in the ShellExtensionLink struct.",
 +  ".shxopts ?SIGNED_OPTS?   Show or alter shell extension options",
 +  "   Run without arguments to see their self-descriptive names",
 +];
 +
 +DISPATCHABLE_COMMAND( shxload 4 2 0 ){
 +  const char *zFile = 0, *zProc = 0;
 +  int ai = 1, rc;
 +  char **pzExtArgs = 0;
 +  if( ISS(p)->bSafeMode ) return DCR_AbortError;
 +  while( ai<nArg ){
 +    const char *zA = azArg[ai++];
 +    if( cli_strcmp(zA, "--")==0 ){
 +      pzExtArgs = azArg + ai;
 +      break;
      }
 -    raw_printf(p->out, "\n");
 -  }else
 +    if( zFile==0 ) zFile = zA;
 +    else if( zProc==0 ) zProc = zA;
 +  }
 +  if( zFile==0 ) return DCR_Missing;
 +  if( pzExtArgs==0 ) pzExtArgs = azArg + ai;
 +  rc = load_shell_extension(p, zFile, zProc, pzErr, nArg-ai, pzExtArgs);
 +  return DCR_Ok|(rc!=SQLITE_OK);
 +}
  
 -#ifndef SQLITE_OMIT_PROGRESS_CALLBACK
 -  if( c=='p' && n>=3 && cli_strncmp(azArg[0], "progress", n)==0 ){
 -    int i;
 -    int nn = 0;
 -    p->flgProgress = 0;
 -    p->mxProgress = 0;
 -    p->nProgress = 0;
 -    for(i=1; i<nArg; i++){
 -      const char *z = azArg[i];
 -      if( z[0]=='-' ){
 -        z++;
 -        if( z[0]=='-' ) z++;
 -        if( cli_strcmp(z,"quiet")==0 || cli_strcmp(z,"q")==0 ){
 -          p->flgProgress |= SHELL_PROGRESS_QUIET;
 -          continue;
 -        }
 -        if( cli_strcmp(z,"reset")==0 ){
 -          p->flgProgress |= SHELL_PROGRESS_RESET;
 -          continue;
 -        }
 -        if( cli_strcmp(z,"once")==0 ){
 -          p->flgProgress |= SHELL_PROGRESS_ONCE;
 -          continue;
 -        }
 -        if( cli_strcmp(z,"limit")==0 ){
 -          if( i+1>=nArg ){
 -            utf8_printf(stderr, "Error: missing argument on --limit\n");
 -            rc = 1;
 -            goto meta_command_exit;
 -          }else{
 -            p->mxProgress = (int)integerValue(azArg[++i]);
 -          }
 -          continue;
 +DISPATCHABLE_COMMAND( shxopts 3 0 0 ){
 +  static struct { const char *name; u8 mask; } shopts[] = {
 +#if SHELL_DYNAMIC_COMMANDS
 +    {"dyn_cmds", 1<<SHEXT_DYNCMDS_BIT},
 +#endif
 +#if SHELL_EXTENDED_PARSING
 +    {"parsing", 1<<SHEXT_PARSING_BIT},
 +#endif
 +#if SHELL_VARIABLE_EXPANSION
 +    {"dot_vars", 1<<SHEXT_VAREXP_BIT},
 +#endif
 +    {"all_opts", SHELL_ALL_EXTENSIONS}
 +  };
 +  const char *zMoan = 0, *zAbout = 0;
 +  ShellInState *psi = ISS(p);
 +  int ia, io;
 +  if( nArg>1 ){
 +    for( ia=1; ia<nArg; ++ia ){
 +      char cs = azArg[ia][0];
 +      if( cs!='+' && cs!='-' ){
 +        zMoan = "arguments must have a sign prefix.";
 +        zAbout = azArg[0];
 +        goto moan_error;
 +      }
 +      for( io=0; io<ArraySize(shopts); ++io ){
 +        if( cli_strcmp(azArg[ia]+1, shopts[io].name)==0 ){
 +          if( cs=='+' ) psi->bExtendedDotCmds |= shopts[io].mask;
 +          else psi->bExtendedDotCmds &= ~shopts[io].mask;
 +          break;
          }
 -        utf8_printf(stderr, "Error: unknown option: \"%s\"\n", azArg[i]);
 -        rc = 1;
 -        goto meta_command_exit;
 -      }else{
 -        nn = (int)integerValue(z);
 +      }
 +      if( io==ArraySize(shopts) ){
 +        zAbout = azArg[ia];
 +        zMoan = "is not a recognized option name";
 +        goto moan_error;
        }
      }
 -    open_db(p, 0);
 -    sqlite3_progress_handler(p->db, nn, progress_handler, p);
 -  }else
 -#endif /* SQLITE_OMIT_PROGRESS_CALLBACK */
 -
 -  if( c=='p' && cli_strncmp(azArg[0], "prompt", n)==0 ){
 -    if( nArg >= 2) {
 -      shell_strncpy(mainPrompt,azArg[1],(int)ArraySize(mainPrompt)-1);
 -    }
 -    if( nArg >= 3) {
 -      shell_strncpy(continuePrompt,azArg[2],(int)ArraySize(continuePrompt)-1);
 -    }
 -  }else
 +  }else{
 +    raw_printf(psi->out,
 +               "     name    value  \"-shxopts set\"\n"
 +               "   --------  -----  ---------------\n");
 +    for( io=0; io<ArraySize(shopts); ++io ){
 +      unsigned m = shopts[io].mask;
 +      unsigned v = ((psi->bExtendedDotCmds & m) == m)? 1 : 0;
 +      raw_printf(psi->out,
 +                 "  %9s   %2d    \"-shxopts 0x%02X\"\n",
 +                 shopts[io].name,  v, m);
 +    }
 +  }
 +  return DCR_Ok;
 + moan_error:
 +  raw_printf(STD_ERR, "Error: %s %s\n", zAbout, zMoan);
 +  return DCR_CmdErred;
 +}
  
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( c=='q' && cli_strncmp(azArg[0], "quit", n)==0 ){
 -    rc = 2;
 -  }else
 -#endif
 +DISPATCHABLE_COMMAND( show ? 1 1 ){
 +  static const char *azBool[] = { "off", "on", "trigger", "full"};
 +  const char *zOut;
 +  ShellInState *psi = ISS(p);
 +  FILE *out = psi->out;
 +  int i;
 +  utf8_printf(out, "%12.12s: %s\n","echo",
 +              azBool[ShellHasFlag(p, SHFLG_Echo)]);
 +  utf8_printf(out, "%12.12s: %s\n","eqp", azBool[psi->autoEQP&3]);
 +  utf8_printf(out, "%12.12s: %s\n","explain",
 +              psi->mode==MODE_Explain
 +              ? "on" : psi->autoExplain ? "auto" : "off");
 +  utf8_printf(out,"%12.12s: %s\n","headers", azBool[psi->showHeader!=0]);
 +  zOut = modeDescr[psi->mode].zModeName;
 +  i = strlen30(zOut) - modeDescr[psi->mode].bDepluralize;
 +  if( MODE_IS_COLUMNAR(psi->mode) ){
 +    utf8_printf
 +      (out, "%12.12s: %.*s --wrap %d --wordwrap %s --%squote\n", "mode",
 +       i, zOut, psi->cmOpts.iWrap,
 +       psi->cmOpts.bWordWrap ? "on" : "off",
 +       psi->cmOpts.bQuote ? "" : "no");
 +  }else{
 +    utf8_printf(out, "%12.12s: %.*s\n","mode", i, zOut);
 +  }
 +  utf8_printf(out, "%12.12s: ", "nullvalue");
 +  output_c_string(out, psi->nullValue);
 +  raw_printf(out, "\n");
 +  utf8_printf(out,"%12.12s: %s\n","output",
 +              strlen30(psi->outfile) ? psi->outfile : "stdout");
 +  utf8_printf(out,"%12.12s: ", "colseparator");
 +  output_c_string(out, psi->colSeparator);
 +  raw_printf(out, "\n");
 +  utf8_printf(out,"%12.12s: ", "rowseparator");
 +  output_c_string(out, psi->rowSeparator);
 +  raw_printf(out, "\n");
 +  switch( psi->statsOn ){
 +  case 0:  zOut = "off";     break;
 +  default: zOut = "on";      break;
 +  case 2:  zOut = "stmt";    break;
 +  case 3:  zOut = "vmstep";  break;
 +  }
 +  utf8_printf(out, "%12.12s: %s\n","stats", zOut);
 +  utf8_printf(out, "%12.12s: ", "width");
 +  for (i=0;i<p->numWidths;i++) {
 +    raw_printf(out, "%d ", p->pSpecWidths[i]);
 +  }
 +  raw_printf(out, "\n");
 +  utf8_printf(out, "%12.12s: %s\n", "filename",
 +              psi->pAuxDb->zDbFilename ? psi->pAuxDb->zDbFilename : "");
 +  return DCR_Ok;
 +}
  
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( c=='r' && n>=3 && cli_strncmp(azArg[0], "read", n)==0 ){
 -    FILE *inSaved = p->in;
 -    int savedLineno = p->lineno;
 -    failIfSafeMode(p, "cannot run .read in safe mode");
 -    if( nArg!=2 ){
 -      raw_printf(stderr, "Usage: .read FILE\n");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    if( azArg[1][0]=='|' ){
 -#ifdef SQLITE_OMIT_POPEN
 -      raw_printf(stderr, "Error: pipes are not supported in this OS\n");
 -      rc = 1;
 -      p->out = stdout;
 -#else
 -      p->in = popen(azArg[1]+1, "r");
 -      if( p->in==0 ){
 -        utf8_printf(stderr, "Error: cannot open \"%s\"\n", azArg[1]);
 -        rc = 1;
 -      }else{
 -        rc = process_input(p);
 -        pclose(p->in);
 -      }
 -#endif
 -    }else if( (p->in = openChrSource(azArg[1]))==0 ){
 -      utf8_printf(stderr,"Error: cannot open \"%s\"\n", azArg[1]);
 -      rc = 1;
 +/*****************
 + * The .stats command
 + */
 +COLLECT_HELP_TEXT[
 +  ".stats ?ARG?             Show stats or turn stats on or off",
 +  "   off                      Turn off automatic stat display",
 +  "   on                       Turn on automatic stat display",
 +  "   stmt                     Show statement stats",
 +  "   vmstep                   Show the virtual machine step count only",
 +];
 +DISPATCHABLE_COMMAND( stats ? 0 0 ){
 +  ShellInState *psi = ISS(p);
 +  if( nArg==2 ){
 +    if( cli_strcmp(azArg[1],"stmt")==0 ){
 +      psi->statsOn = 2;
 +    }else if( cli_strcmp(azArg[1],"vmstep")==0 ){
 +      psi->statsOn = 3;
      }else{
 -      rc = process_input(p);
 -      fclose(p->in);
 +      psi->statsOn = (u8)booleanValue(azArg[1]);
      }
 -    p->in = inSaved;
 -    p->lineno = savedLineno;
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 +  }else if( nArg==1 ){
 +    display_stats(DBX(p), psi, 0);
 +  }else{
 +    *pzErr = smprintf("Usage: .stats ?on|off|stmt|vmstep?\n");
 +    return DCR_SayUsage;
 +  }
 +  return DCR_Ok;
 +}
  
 -#ifndef SQLITE_SHELL_FIDDLE
 -  if( c=='r' && n>=3 && cli_strncmp(azArg[0], "restore", n)==0 ){
 -    const char *zSrcFile;
 -    const char *zDb;
 -    sqlite3 *pSrc;
 -    sqlite3_backup *pBackup;
 -    int nTimeout = 0;
 -
 -    failIfSafeMode(p, "cannot run .restore in safe mode");
 -    if( nArg==2 ){
 -      zSrcFile = azArg[1];
 -      zDb = "main";
 -    }else if( nArg==3 ){
 -      zSrcFile = azArg[2];
 -      zDb = azArg[1];
 +/*****************
 + * The .tables, .views, .indices and .indexes command
 + * These are together because they share implementation or are aliases.
 + */
 +COLLECT_HELP_TEXT[
 +  ".indexes ?TABLE?         Show names of indexes",
 +  "                           If TABLE is specified, only show indexes for",
 +  "                           tables matching TABLE using the LIKE operator.",
 +];
 +static int showTableLike(char *azArg[], int nArg, ShellExState *p,
 +                         char **pzErr, char ot){
 +  int rc;
 +  sqlite3_stmt *pStmt;
 +  char **azResult;
 +  int nRow, nAlloc;
 +  int ii;
 +  ShellText s;
 +  initText(&s);
 +  open_db(p, 0);
 +  rc = sqlite3_prepare_v2(DBX(p), "PRAGMA database_list", -1, &pStmt, 0);
 +  if( rc ){
 +    sqlite3_finalize(pStmt);
 +    return shellDatabaseError(DBX(p));
 +  }
 +
 +  if( nArg>2 && ot=='i' ){
 +    /* It is an historical accident that the .indexes command shows an error
 +    ** when called with the wrong number of arguments whereas the .tables
 +    ** command does not. */
 +    *pzErr = smprintf("Usage: .indexes ?LIKE-PATTERN?\n");
 +    sqlite3_finalize(pStmt);
 +    return DCR_SayUsage;
 +  }
 +  for(ii=0; sqlite3_step(pStmt)==SQLITE_ROW; ii++){
 +    const char *zDbName = (const char*)sqlite3_column_text(pStmt, 1);
 +    const char *zFilter = "";
 +    const char *zSystem = " AND name NOT LIKE 'sqlite_%'";
 +    if( zDbName==0 ) continue;
 +    if( s.z && s.z[0] ) appendText(&s, " UNION ALL ", 0);
 +    if( sqlite3_stricmp(zDbName, "main")==0 ){
 +      appendText(&s, "SELECT name FROM ", 0);
      }else{
 -      raw_printf(stderr, "Usage: .restore ?DB? FILE\n");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    rc = sqlite3_open(zSrcFile, &pSrc);
 -    if( rc!=SQLITE_OK ){
 -      utf8_printf(stderr, "Error: cannot open \"%s\"\n", zSrcFile);
 -      close_db(pSrc);
 -      return 1;
 +      appendText(&s, "SELECT ", 0);
 +      appendText(&s, zDbName, '\'');
 +      appendText(&s, "||'.'||name FROM ", 0);
 +    }
 +    appendText(&s, zDbName, '"');
 +    appendText(&s, ".sqlite_schema ", 0);
 +    switch (ot) {
 +    case 'i':
 +      zFilter = "'index'";
 +      break;
 +#ifndef LEGACY_TABLES_LISTING
 +    case 't':
 +      zFilter = "'table'";
 +      break;
 +    case 'v':
 +      zFilter = "'view'";
 +      break;
 +#endif
 +    case 's':
 +      zSystem = " AND name LIKE 'sqlite_%'";
 +      deliberate_fall_through;
 +    case 'T':
 +      zFilter = "'table','view'";
 +      break;
 +    default:
 +      assert(0);
      }
 -    open_db(p, 0);
 -    pBackup = sqlite3_backup_init(p->db, zDb, pSrc, "main");
 -    if( pBackup==0 ){
 -      utf8_printf(stderr, "Error: %s\n", sqlite3_errmsg(p->db));
 -      close_db(pSrc);
 -      return 1;
 +    appendText(&s, " WHERE type IN(", 0);
 +    appendText(&s, zFilter, 0);
 +    appendText(&s, ") AND name LIKE ?1", 0);
 +    appendText(&s, zSystem, 0);
 +  }
 +  rc = sqlite3_finalize(pStmt);
 +  if( rc==SQLITE_OK ){
 +    appendText(&s, " ORDER BY 1", 0);
 +    rc = sqlite3_prepare_v2(DBX(p), s.z, -1, &pStmt, 0);
 +  }
 +  freeText(&s);
 +  if( rc ) return shellDatabaseError(DBX(p));
 +
 +  /* Run the SQL statement prepared by the above block. Store the results
 +  ** as an array of nul-terminated strings in azResult[].  */
 +  nRow = nAlloc = 0;
 +  azResult = 0;
 +  if( nArg>1 ){
 +    sqlite3_bind_text(pStmt, 1, azArg[1], -1, SQLITE_TRANSIENT);
 +  }else{
 +    sqlite3_bind_text(pStmt, 1, "%", -1, SQLITE_STATIC);
 +  }
 +  while( sqlite3_step(pStmt)==SQLITE_ROW ){
 +    if( nRow>=nAlloc ){
 +      char **azNew;
 +      int n2 = nAlloc*2 + 10;
 +      azNew = sqlite3_realloc64(azResult, sizeof(azResult[0])*n2);
 +      shell_check_oom(azNew);
 +      nAlloc = n2;
 +      azResult = azNew;
 +    }
 +    azResult[nRow] = smprintf("%s", sqlite3_column_text(pStmt, 0));
 +    shell_check_oom(azResult[nRow]);
 +    nRow++;
 +  }
 +  if( sqlite3_finalize(pStmt)!=SQLITE_OK ){
 +    rc = shellDatabaseError(DBX(p));
 +  }
 +
 +  /* Pretty-print the contents of array azResult[] to the output */
 +  if( rc==0 && nRow>0 ){
 +    int len, maxlen = 0;
 +    int i, j;
 +    int nPrintCol, nPrintRow;
 +    for(i=0; i<nRow; i++){
 +      len = strlen30(azResult[i]);
 +      if( len>maxlen ) maxlen = len;
      }
 -    while( (rc = sqlite3_backup_step(pBackup,100))==SQLITE_OK
 -          || rc==SQLITE_BUSY  ){
 -      if( rc==SQLITE_BUSY ){
 -        if( nTimeout++ >= 3 ) break;
 -        sqlite3_sleep(100);
 +    nPrintCol = 80/(maxlen+2);
 +    if( nPrintCol<1 ) nPrintCol = 1;
 +    nPrintRow = (nRow + nPrintCol - 1)/nPrintCol;
 +    for(i=0; i<nPrintRow; i++){
 +      for(j=i; j<nRow; j+=nPrintRow){
 +        char *zSp = j<nPrintRow ? "" : "  ";
 +        utf8_printf(ISS(p)->out, "%s%-*s", zSp, maxlen,
 +                    azResult[j] ? azResult[j]:"");
        }
 +      raw_printf(ISS(p)->out, "\n");
      }
 -    sqlite3_backup_finish(pBackup);
 -    if( rc==SQLITE_DONE ){
 -      rc = 0;
 -    }else if( rc==SQLITE_BUSY || rc==SQLITE_LOCKED ){
 -      raw_printf(stderr, "Error: source database is busy\n");
 -      rc = 1;
 -    }else{
 -      utf8_printf(stderr, "Error: %s\n", sqlite3_errmsg(p->db));
 -      rc = 1;
 -    }
 -    close_db(pSrc);
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 +  }
  
 -  if( c=='s' && cli_strncmp(azArg[0], "scanstats", n)==0 ){
 -    if( nArg==2 ){
 -      if( cli_strcmp(azArg[1], "est")==0 ){
 -        p->scanstatsOn = 2;
 -      }else{
 -        p->scanstatsOn = (u8)booleanValue(azArg[1]);
 -      }
 -      open_db(p, 0);
 -      sqlite3_db_config(
 -          p->db, SQLITE_DBCONFIG_STMT_SCANSTATUS, p->scanstatsOn, (int*)0
 -      );
 -#ifndef SQLITE_ENABLE_STMT_SCANSTATUS
 -      raw_printf(stderr, "Warning: .scanstats not available in this build.\n");
 +  for(ii=0; ii<nRow; ii++) sqlite3_free(azResult[ii]);
 +  sqlite3_free(azResult);
 +  return DCR_Ok;
 +}
 +
 +COLLECT_HELP_TEXT[
 +#ifndef LEGACY_TABLES_LISTING
 +  ".tables ?FLAG? ?TVLIKE?  List names of tables and/or views",
 +  "   FLAG may be -t, -v or -s to list only tables, views or system tables",
 +  "   TVLIKE may restrict the listing to names matching given LIKE pattern",
 +#else
 +  ".tables ?TABLE?          List names of tables matching LIKE pattern TABLE",
  #endif
 -    }else{
 -      raw_printf(stderr, "Usage: .scanstats on|off|est\n");
 -      rc = 1;
 +];
 +DISPATCHABLE_COMMAND( tables 2 1 3 ){
 +  char objType = 'T';
 +#ifndef LEGACY_TABLES_LISTING
 +  if( nArg>1 && azArg[1][0]=='-' && azArg[1][1]!=0 && azArg[1][2]==0 ){
 +    char c = azArg[1][1];
 +    switch (c){
 +    case 's':
 +    case 't':
 +    case 'v':
 +      objType = c;
 +      ++azArg;
 +      --nArg;
 +      break;
 +    default:
 +      return DCR_Unknown|1;
      }
 -  }else
 +  }
 +#endif
 +  return showTableLike(azArg, nArg, p, pzErr, objType);
 +}
 +DISPATCHABLE_COMMAND( indexes 3 1 2 ){
 +  return showTableLike(azArg, nArg, p, pzErr, 'i');
 +}
 +DISPATCHABLE_COMMAND( indices 3 1 2 ){
 +  return showTableLike(azArg, nArg, p, pzErr, 'i');
 +}
  
 -  if( c=='s' && cli_strncmp(azArg[0], "schema", n)==0 ){
 -    ShellText sSelect;
 -    ShellState data;
 -    char *zErrMsg = 0;
 -    const char *zDiv = "(";
 -    const char *zName = 0;
 -    int iSchema = 0;
 -    int bDebug = 0;
 -    int bNoSystemTabs = 0;
 -    int ii;
 +/*****************
 + * The .selecttrace, .treetrace and .wheretrace commands (undocumented)
 + */
 +static DotCmdRC setTrace( char *azArg[], int nArg, ShellExState *psx, int ts ){
 +  unsigned int x = nArg>1 ? (unsigned int)integerValue(azArg[1]) : ~0;
 +  sqlite3_test_control(SQLITE_TESTCTRL_TRACEFLAGS, ts, &x);
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( selecttrace 0 1 2 ){
 +  return setTrace(azArg, nArg, p, 1);
 +}
 +DISPATCHABLE_COMMAND( treetrace 0 1 2 ){
 +  return setTrace(azArg, nArg, p, 1);
 +}
 +DISPATCHABLE_COMMAND( wheretrace 0 1 2 ){
 +  return setTrace(azArg, nArg, p, 3);
 +}
  
 -    open_db(p, 0);
 -    memcpy(&data, p, sizeof(data));
 -    data.showHeader = 0;
 -    data.cMode = data.mode = MODE_Semi;
 -    initText(&sSelect);
 -    for(ii=1; ii<nArg; ii++){
 -      if( optionMatch(azArg[ii],"indent") ){
 -        data.cMode = data.mode = MODE_Pretty;
 -      }else if( optionMatch(azArg[ii],"debug") ){
 -        bDebug = 1;
 -      }else if( optionMatch(azArg[ii],"nosys") ){
 -        bNoSystemTabs = 1;
 -      }else if( azArg[ii][0]=='-' ){
 -        utf8_printf(stderr, "Unknown option: \"%s\"\n", azArg[ii]);
 -        rc = 1;
 -        goto meta_command_exit;
 -      }else if( zName==0 ){
 -        zName = azArg[ii];
 -      }else{
 -        raw_printf(stderr,
 -                   "Usage: .schema ?--indent? ?--nosys? ?LIKE-PATTERN?\n");
 -        rc = 1;
 -        goto meta_command_exit;
 -      }
 -    }
 -    if( zName!=0 ){
 -      int isSchema = sqlite3_strlike(zName, "sqlite_master", '\\')==0
 -                  || sqlite3_strlike(zName, "sqlite_schema", '\\')==0
 -                  || sqlite3_strlike(zName,"sqlite_temp_master", '\\')==0
 -                  || sqlite3_strlike(zName,"sqlite_temp_schema", '\\')==0;
 -      if( isSchema ){
 -        char *new_argv[2], *new_colv[2];
 -        new_argv[0] = sqlite3_mprintf(
 -                      "CREATE TABLE %s (\n"
 -                      "  type text,\n"
 -                      "  name text,\n"
 -                      "  tbl_name text,\n"
 -                      "  rootpage integer,\n"
 -                      "  sql text\n"
 -                      ")", zName);
 -        shell_check_oom(new_argv[0]);
 -        new_argv[1] = 0;
 -        new_colv[0] = "sql";
 -        new_colv[1] = 0;
 -        callback(&data, 1, new_argv, new_colv);
 -        sqlite3_free(new_argv[0]);
 -      }
 -    }
 -    if( zDiv ){
 -      sqlite3_stmt *pStmt = 0;
 -      rc = sqlite3_prepare_v2(p->db, "SELECT name FROM pragma_database_list",
 -                              -1, &pStmt, 0);
 -      if( rc ){
 -        utf8_printf(stderr, "Error: %s\n", sqlite3_errmsg(p->db));
 -        sqlite3_finalize(pStmt);
 -        rc = 1;
 -        goto meta_command_exit;
 -      }
 -      appendText(&sSelect, "SELECT sql FROM", 0);
 -      iSchema = 0;
 -      while( sqlite3_step(pStmt)==SQLITE_ROW ){
 -        const char *zDb = (const char*)sqlite3_column_text(pStmt, 0);
 -        char zScNum[30];
 -        sqlite3_snprintf(sizeof(zScNum), zScNum, "%d", ++iSchema);
 -        appendText(&sSelect, zDiv, 0);
 -        zDiv = " UNION ALL ";
 -        appendText(&sSelect, "SELECT shell_add_schema(sql,", 0);
 -        if( sqlite3_stricmp(zDb, "main")!=0 ){
 -          appendText(&sSelect, zDb, '\'');
 -        }else{
 -          appendText(&sSelect, "NULL", 0);
 -        }
 -        appendText(&sSelect, ",name) AS sql, type, tbl_name, name, rowid,", 0);
 -        appendText(&sSelect, zScNum, 0);
 -        appendText(&sSelect, " AS snum, ", 0);
 -        appendText(&sSelect, zDb, '\'');
 -        appendText(&sSelect, " AS sname FROM ", 0);
 -        appendText(&sSelect, zDb, quoteChar(zDb));
 -        appendText(&sSelect, ".sqlite_schema", 0);
 -      }
 -      sqlite3_finalize(pStmt);
 -#ifndef SQLITE_OMIT_INTROSPECTION_PRAGMAS
 -      if( zName ){
 -        appendText(&sSelect,
 -           " UNION ALL SELECT shell_module_schema(name),"
 -           " 'table', name, name, name, 9e+99, 'main' FROM pragma_module_list",
 -        0);
 -      }
 -#endif
 -      appendText(&sSelect, ") WHERE ", 0);
 -      if( zName ){
 -        char *zQarg = sqlite3_mprintf("%Q", zName);
 -        int bGlob;
 -        shell_check_oom(zQarg);
 -        bGlob = strchr(zName, '*') != 0 || strchr(zName, '?') != 0 ||
 -                strchr(zName, '[') != 0;
 -        if( strchr(zName, '.') ){
 -          appendText(&sSelect, "lower(printf('%s.%s',sname,tbl_name))", 0);
 -        }else{
 -          appendText(&sSelect, "lower(tbl_name)", 0);
 -        }
 -        appendText(&sSelect, bGlob ? " GLOB " : " LIKE ", 0);
 -        appendText(&sSelect, zQarg, 0);
 -        if( !bGlob ){
 -          appendText(&sSelect, " ESCAPE '\\' ", 0);
 -        }
 -        appendText(&sSelect, " AND ", 0);
 -        sqlite3_free(zQarg);
 -      }
 -      if( bNoSystemTabs ){
 -        appendText(&sSelect, "name NOT LIKE 'sqlite_%%' AND ", 0);
 -      }
 -      appendText(&sSelect, "sql IS NOT NULL"
 -                           " ORDER BY snum, rowid", 0);
 -      if( bDebug ){
 -        utf8_printf(p->out, "SQL: %s;\n", sSelect.z);
 -      }else{
 -        rc = sqlite3_exec(p->db, sSelect.z, callback, &data, &zErrMsg);
 -      }
 -      freeText(&sSelect);
 -    }
 -    if( zErrMsg ){
 -      utf8_printf(stderr,"Error: %s\n", zErrMsg);
 -      sqlite3_free(zErrMsg);
 -      rc = 1;
 -    }else if( rc != SQLITE_OK ){
 -      raw_printf(stderr,"Error: querying schema information\n");
 -      rc = 1;
 -    }else{
 -      rc = 0;
 -    }
 -  }else
 +/*****************
 + * The .testcase, .testctrl, .timeout, .timer and .trace commands
 + */
 +CONDITION_COMMAND( testcase !defined(SQLITE_SHELL_FIDDLE) );
 +CONDITION_COMMAND( testctrl !defined(SQLITE_UNTESTABLE) );
 +CONDITION_COMMAND( trace !defined(SQLITE_OMIT_TRACE) );
 +COLLECT_HELP_TEXT[
 +  ",testcase NAME           Begin redirecting output to 'testcase-out.txt'",
 +  ",testctrl CMD ...        Run various sqlite3_test_control() operations",
 +  "                            Run \".testctrl\" with no arguments for details",
 +  ".timeout MS              Try opening locked tables for MS milliseconds",
 +  ".timer on|off            Turn SQL timer on or off",
 +  ".trace ?OPTIONS?         Output each SQL statement as it is run",
 +  "    FILE                    Send output to FILE",
 +  "    stdout                  Send output to stdout",
 +  "    stderr                  Send output to stderr",
 +  "    off                     Disable tracing",
 +  "    --expanded              Expand query parameters",
 +#ifdef SQLITE_ENABLE_NORMALIZE
 +  "    --normalized            Normal the SQL statements",
 +#endif
 +  "    --plain                 Show SQL as it is input",
 +  "    --stmt                  Trace statement execution (SQLITE_TRACE_STMT)",
 +  "    --profile               Profile statements (SQLITE_TRACE_PROFILE)",
 +  "    --row                   Trace each row (SQLITE_TRACE_ROW)",
 +  "    --close                 Trace connection close (SQLITE_TRACE_CLOSE)",
 +];
 +
 +/* Begin redirecting output to the file "testcase-out.txt" */
 +DISPATCHABLE_COMMAND( testcase ? 0 0 ){
 +  ShellInState *psi = ISS(p);
 +  output_reset(psi);
 +  psi->out = output_file_open("testcase-out.txt", 0);
 +  if( psi->out==0 ){
 +    raw_printf(STD_ERR, "Error: cannot open 'testcase-out.txt'\n");
 +  }
 +  if( nArg>=2 ){
 +    sqlite3_snprintf(sizeof(psi->zTestcase), psi->zTestcase, "%s", azArg[1]);
 +  }else{
 +    sqlite3_snprintf(sizeof(psi->zTestcase), psi->zTestcase, "?");
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( testctrl ? 0 0 ){
 +  FILE *out = ISS(p)->out;
 +  static const struct {
 +    const char *zCtrlName;   /* Name of a test-control option */
 +    int ctrlCode;            /* Integer code for that option */
 +    int unSafe;              /* Not valid for --safe mode */
 +    const char *zUsage;      /* Usage notes */
 +  } aCtrl[] = {
 +    {"always",             SQLITE_TESTCTRL_ALWAYS, 1,     "BOOLEAN"         },
 +    {"assert",             SQLITE_TESTCTRL_ASSERT, 1,     "BOOLEAN"         },
 +  /*{"benign_malloc_hooks",SQLITE_TESTCTRL_BENIGN_MALLOC_HOOKS,1, ""        },*/
 +  /*{"bitvec_test",        SQLITE_TESTCTRL_BITVEC_TEST, 1,  ""              },*/
 +    {"byteorder",          SQLITE_TESTCTRL_BYTEORDER, 0,  ""                },
 +    {"extra_schema_checks",SQLITE_TESTCTRL_EXTRA_SCHEMA_CHECKS,0,"BOOLEAN"  },
 +  /*{"fault_install",      SQLITE_TESTCTRL_FAULT_INSTALL, 1,""              },*/
 +    {"imposter",         SQLITE_TESTCTRL_IMPOSTER,1,"SCHEMA ON/OFF ROOTPAGE"},
 +    {"internal_functions", SQLITE_TESTCTRL_INTERNAL_FUNCTIONS,0,""          },
 +    {"localtime_fault",    SQLITE_TESTCTRL_LOCALTIME_FAULT,0,"BOOLEAN"      },
 +    {"never_corrupt",      SQLITE_TESTCTRL_NEVER_CORRUPT,1, "BOOLEAN"       },
 +    {"optimizations",      SQLITE_TESTCTRL_OPTIMIZATIONS,0,"DISABLE-MASK"   },
 +#ifdef YYCOVERAGE
 +    {"parser_coverage",    SQLITE_TESTCTRL_PARSER_COVERAGE,0,""             },
 +#endif
 +    {"pending_byte",       SQLITE_TESTCTRL_PENDING_BYTE,0, "OFFSET  "       },
 +    {"prng_restore",       SQLITE_TESTCTRL_PRNG_RESTORE,0, ""               },
 +    {"prng_save",          SQLITE_TESTCTRL_PRNG_SAVE,   0, ""               },
 +    {"prng_seed",          SQLITE_TESTCTRL_PRNG_SEED,   0, "SEED ?db?"      },
 +    {"seek_count",         SQLITE_TESTCTRL_SEEK_COUNT,  0, ""               },
 +    {"sorter_mmap",        SQLITE_TESTCTRL_SORTER_MMAP, 0, "NMAX"           },
 +    {"tune",               SQLITE_TESTCTRL_TUNE,        1, "ID VALUE"       },
 +  };
 +  int testctrl = -1;
 +  int iCtrl = -1;
 +  int rc2 = 0;    /* 0: usage.  1: %d  2: %x  3: no-output */
 +  int isOk = 0;
 +  int i, n2;
 +  const char *zCmd = 0;
 +
 +  if( !ShellHasFlag(p,SHFLG_TestingMode) ){
 +    utf8_printf(stderr, ".%s unavailable without --unsafe-testing\n",
 +                "testctrl");
 +    return DCR_Error;
 +  }
 +  open_db(p, 0);
 +  zCmd = nArg>=2 ? azArg[1] : "help";
  
 -  if( (c=='s' && n==11 && cli_strncmp(azArg[0], "selecttrace", n)==0)
 -   || (c=='t' && n==9  && cli_strncmp(azArg[0], "treetrace", n)==0)
 -  ){
 -    unsigned int x = nArg>=2? (unsigned int)integerValue(azArg[1]) : 0xffffffff;
 -    sqlite3_test_control(SQLITE_TESTCTRL_TRACEFLAGS, 1, &x);
 -  }else
 +  /* The argument can optionally begin with "-" or "--" */
 +  if( zCmd[0]=='-' && zCmd[1] ){
 +    zCmd++;
 +    if( zCmd[0]=='-' && zCmd[1] ) zCmd++;
 +  }
  
 -#if defined(SQLITE_ENABLE_SESSION)
 -  if( c=='s' && cli_strncmp(azArg[0],"session",n)==0 && n>=3 ){
 -    struct AuxDb *pAuxDb = p->pAuxDb;
 -    OpenSession *pSession = &pAuxDb->aSession[0];
 -    char **azCmd = &azArg[1];
 -    int iSes = 0;
 -    int nCmd = nArg - 1;
 -    int i;
 -    if( nArg<=1 ) goto session_syntax_error;
 -    open_db(p, 0);
 -    if( nArg>=3 ){
 -      for(iSes=0; iSes<pAuxDb->nSession; iSes++){
 -        if( cli_strcmp(pAuxDb->aSession[iSes].zName, azArg[1])==0 ) break;
 -      }
 -      if( iSes<pAuxDb->nSession ){
 -        pSession = &pAuxDb->aSession[iSes];
 -        azCmd++;
 -        nCmd--;
 -      }else{
 -        pSession = &pAuxDb->aSession[0];
 -        iSes = 0;
 -      }
 +  /* --help lists all test-controls */
 +  if( cli_strcmp(zCmd,"help")==0 ){
 +    utf8_printf(out, "Available test-controls:\n");
 +    for(i=0; i<ArraySize(aCtrl); i++){
 +      utf8_printf(out, "  .testctrl %s %s\n",
 +                  aCtrl[i].zCtrlName, aCtrl[i].zUsage);
      }
 +    return DCR_CmdErred;
 +  }
  
 -    /* .session attach TABLE
 -    ** Invoke the sqlite3session_attach() interface to attach a particular
 -    ** table so that it is never filtered.
 -    */
 -    if( cli_strcmp(azCmd[0],"attach")==0 ){
 -      if( nCmd!=2 ) goto session_syntax_error;
 -      if( pSession->p==0 ){
 -        session_not_open:
 -        raw_printf(stderr, "ERROR: No sessions are open\n");
 +  /* convert testctrl text option to value. allow any unique prefix
 +  ** of the option name, or a numerical value. */
 +  n2 = strlen30(zCmd);
 +  for(i=0; i<ArraySize(aCtrl); i++){
 +    if( cli_strncmp(zCmd, aCtrl[i].zCtrlName, n2)==0 ){
 +      if( testctrl<0 ){
 +        testctrl = aCtrl[i].ctrlCode;
 +        iCtrl = i;
        }else{
 -        rc = sqlite3session_attach(pSession->p, azCmd[1]);
 -        if( rc ){
 -          raw_printf(stderr, "ERROR: sqlite3session_attach() returns %d\n", rc);
 -          rc = 0;
 -        }
 +        *pzErr = smprintf
 +          ("Error: ambiguous test-control: \"%s\"\n"
 +           "Use \".testctrl --help\" for help\n", zCmd);
 +        return DCR_ArgWrong;
        }
 -    }else
 +    }
 +  }
 +  if( testctrl<0 ){
 +    utf8_printf(STD_ERR,"Error: unknown test-control: %s\n"
 +                "Use \".testctrl --help\" for help\n", zCmd);
 +  }else if( aCtrl[iCtrl].unSafe && ISS(p)->bSafeMode ){
 +    utf8_printf(STD_ERR,
 +                "line %d: \".testctrl %s\" may not be used in safe mode\n",
 +                ISS(p)->pInSource->lineno, aCtrl[iCtrl].zCtrlName);
 +    exit(1);
 +  }else{
 +    switch(testctrl){
  
 -    /* .session changeset FILE
 -    ** .session patchset FILE
 -    ** Write a changeset or patchset into a file.  The file is overwritten.
 -    */
 -    if( cli_strcmp(azCmd[0],"changeset")==0
 -     || cli_strcmp(azCmd[0],"patchset")==0
 -    ){
 -      FILE *out = 0;
 -      failIfSafeMode(p, "cannot run \".session %s\" in safe mode", azCmd[0]);
 -      if( nCmd!=2 ) goto session_syntax_error;
 -      if( pSession->p==0 ) goto session_not_open;
 -      out = fopen(azCmd[1], "wb");
 -      if( out==0 ){
 -        utf8_printf(stderr, "ERROR: cannot open \"%s\" for writing\n",
 -                    azCmd[1]);
 -      }else{
 -        int szChng;
 -        void *pChng;
 -        if( azCmd[0][0]=='c' ){
 -          rc = sqlite3session_changeset(pSession->p, &szChng, &pChng);
 -        }else{
 -          rc = sqlite3session_patchset(pSession->p, &szChng, &pChng);
 -        }
 -        if( rc ){
 -          printf("Error: error code %d\n", rc);
 -          rc = 0;
 -        }
 -        if( pChng
 -          && fwrite(pChng, szChng, 1, out)!=1 ){
 -          raw_printf(stderr, "ERROR: Failed to write entire %d-byte output\n",
 -                  szChng);
 -        }
 -        sqlite3_free(pChng);
 -        fclose(out);
 +      /* sqlite3_test_control(int, db, int) */
 +    case SQLITE_TESTCTRL_OPTIMIZATIONS:
 +      if( nArg==3 ){
 +        unsigned int opt = (unsigned int)strtol(azArg[2], 0, 0);
 +        rc2 = sqlite3_test_control(testctrl, DBX(p), opt);
 +        isOk = 3;
        }
 -    }else
 +      break;
  
 -    /* .session close
 -    ** Close the identified session
 -    */
 -    if( cli_strcmp(azCmd[0], "close")==0 ){
 -      if( nCmd!=1 ) goto session_syntax_error;
 -      if( pAuxDb->nSession ){
 -        session_close(pSession);
 -        pAuxDb->aSession[iSes] = pAuxDb->aSession[--pAuxDb->nSession];
 +      /* sqlite3_test_control(int) */
 +    case SQLITE_TESTCTRL_PRNG_SAVE:
 +    case SQLITE_TESTCTRL_PRNG_RESTORE:
 +    case SQLITE_TESTCTRL_BYTEORDER:
 +      if( nArg==2 ){
 +        rc2 = sqlite3_test_control(testctrl);
 +        isOk = testctrl==SQLITE_TESTCTRL_BYTEORDER ? 1 : 3;
        }
 -    }else
 +      break;
  
 -    /* .session enable ?BOOLEAN?
 -    ** Query or set the enable flag
 -    */
 -    if( cli_strcmp(azCmd[0], "enable")==0 ){
 -      int ii;
 -      if( nCmd>2 ) goto session_syntax_error;
 -      ii = nCmd==1 ? -1 : booleanValue(azCmd[1]);
 -      if( pAuxDb->nSession ){
 -        ii = sqlite3session_enable(pSession->p, ii);
 -        utf8_printf(p->out, "session %s enable flag = %d\n",
 -                    pSession->zName, ii);
 +      /* sqlite3_test_control(int, uint) */
 +    case SQLITE_TESTCTRL_PENDING_BYTE:
 +      if( nArg==3 ){
 +        unsigned int opt = (unsigned int)integerValue(azArg[2]);
 +        rc2 = sqlite3_test_control(testctrl, opt);
 +        isOk = 3;
        }
 -    }else
 +      break;
  
 -    /* .session filter GLOB ....
 -    ** Set a list of GLOB patterns of table names to be excluded.
 -    */
 -    if( cli_strcmp(azCmd[0], "filter")==0 ){
 -      int ii, nByte;
 -      if( nCmd<2 ) goto session_syntax_error;
 -      if( pAuxDb->nSession ){
 -        for(ii=0; ii<pSession->nFilter; ii++){
 -          sqlite3_free(pSession->azFilter[ii]);
 +      /* sqlite3_test_control(int, int, sqlite3*) */
 +    case SQLITE_TESTCTRL_PRNG_SEED:
 +      if( nArg==3 || nArg==4 ){
 +        int ii = (int)integerValue(azArg[2]);
 +        sqlite3 *db;
 +        if( ii==0 && cli_strcmp(azArg[2],"random")==0 ){
 +          sqlite3_randomness(sizeof(ii),&ii);
 +          fprintf(STD_OUT, "-- random seed: %d\n", ii);
          }
 -        sqlite3_free(pSession->azFilter);
 -        nByte = sizeof(pSession->azFilter[0])*(nCmd-1);
 -        pSession->azFilter = sqlite3_malloc( nByte );
 -        if( pSession->azFilter==0 ){
 -          raw_printf(stderr, "Error: out or memory\n");
 -          exit(1);
 -        }
 -        for(ii=1; ii<nCmd; ii++){
 -          char *x = pSession->azFilter[ii-1] = sqlite3_mprintf("%s", azCmd[ii]);
 -          shell_check_oom(x);
 +        if( nArg==3 ){
 +          db = 0;
 +        }else{
 +          db = DBX(p);
 +          /* Make sure the schema has been loaded */
 +          sqlite3_table_column_metadata(db, 0, "x", 0, 0, 0, 0, 0, 0);
          }
 -        pSession->nFilter = ii-1;
 +        rc2 = sqlite3_test_control(testctrl, ii, db);
 +        isOk = 3;
        }
 -    }else
 +      break;
  
 -    /* .session indirect ?BOOLEAN?
 -    ** Query or set the indirect flag
 -    */
 -    if( cli_strcmp(azCmd[0], "indirect")==0 ){
 -      int ii;
 -      if( nCmd>2 ) goto session_syntax_error;
 -      ii = nCmd==1 ? -1 : booleanValue(azCmd[1]);
 -      if( pAuxDb->nSession ){
 -        ii = sqlite3session_indirect(pSession->p, ii);
 -        utf8_printf(p->out, "session %s indirect flag = %d\n",
 -                    pSession->zName, ii);
 +      /* sqlite3_test_control(int, int) */
 +    case SQLITE_TESTCTRL_ASSERT:
 +    case SQLITE_TESTCTRL_ALWAYS:
 +      if( nArg==3 ){
 +        int opt = booleanValue(azArg[2]);
 +        rc2 = sqlite3_test_control(testctrl, opt);
 +        isOk = 1;
        }
 -    }else
 +      break;
  
 -    /* .session isempty
 -    ** Determine if the session is empty
 -    */
 -    if( cli_strcmp(azCmd[0], "isempty")==0 ){
 -      int ii;
 -      if( nCmd!=1 ) goto session_syntax_error;
 -      if( pAuxDb->nSession ){
 -        ii = sqlite3session_isempty(pSession->p);
 -        utf8_printf(p->out, "session %s isempty flag = %d\n",
 -                    pSession->zName, ii);
 +      /* sqlite3_test_control(int, int) */
 +    case SQLITE_TESTCTRL_LOCALTIME_FAULT:
 +    case SQLITE_TESTCTRL_NEVER_CORRUPT:
 +      if( nArg==3 ){
 +        int opt = booleanValue(azArg[2]);
 +        rc2 = sqlite3_test_control(testctrl, opt);
 +        isOk = 3;
        }
 -    }else
 +      break;
  
 -    /* .session list
 -    ** List all currently open sessions
 -    */
 -    if( cli_strcmp(azCmd[0],"list")==0 ){
 -      for(i=0; i<pAuxDb->nSession; i++){
 -        utf8_printf(p->out, "%d %s\n", i, pAuxDb->aSession[i].zName);
 +      /* sqlite3_test_control(sqlite3*) */
 +    case SQLITE_TESTCTRL_INTERNAL_FUNCTIONS:
 +      rc2 = sqlite3_test_control(testctrl, DBX(p));
 +      isOk = 3;
 +      break;
 +
 +    case SQLITE_TESTCTRL_IMPOSTER:
 +      if( nArg==5 ){
 +        rc2 = sqlite3_test_control(testctrl, DBX(p),
 +                                   azArg[2],
 +                                   integerValue(azArg[3]),
 +                                   integerValue(azArg[4]));
 +        isOk = 3;
        }
 -    }else
 +      break;
  
 -    /* .session open DB NAME
 -    ** Open a new session called NAME on the attached database DB.
 -    ** DB is normally "main".
 -    */
 -    if( cli_strcmp(azCmd[0],"open")==0 ){
 -      char *zName;
 -      if( nCmd!=3 ) goto session_syntax_error;
 -      zName = azCmd[2];
 -      if( zName[0]==0 ) goto session_syntax_error;
 -      for(i=0; i<pAuxDb->nSession; i++){
 -        if( cli_strcmp(pAuxDb->aSession[i].zName,zName)==0 ){
 -          utf8_printf(stderr, "Session \"%s\" already exists\n", zName);
 -          goto meta_command_exit;
 +    case SQLITE_TESTCTRL_SEEK_COUNT: {
 +      u64 x = 0;
 +      rc2 = sqlite3_test_control(testctrl, DBX(p), &x);
 +      utf8_printf(out, "%llu\n", x);
 +      isOk = 3;
 +      break;
 +    }
 +
 +#ifdef YYCOVERAGE
 +    case SQLITE_TESTCTRL_PARSER_COVERAGE: {
 +      if( nArg==2 ){
 +        sqlite3_test_control(testctrl, out);
 +        isOk = 3;
 +      }
 +      break;
 +    }
 +#endif
 +#ifdef SQLITE_DEBUG
 +    case SQLITE_TESTCTRL_TUNE: {
 +      if( nArg==4 ){
 +        int id = (int)integerValue(azArg[2]);
 +        int val = (int)integerValue(azArg[3]);
 +        sqlite3_test_control(testctrl, id, &val);
 +        isOk = 3;
 +      }else if( nArg==3 ){
 +        int id = (int)integerValue(azArg[2]);
 +        sqlite3_test_control(testctrl, -id, &rc2);
 +        isOk = 1;
 +      }else if( nArg==2 ){
 +        int id = 1;
 +        while(1){
 +          int val = 0;
 +          rc2 = sqlite3_test_control(testctrl, -id, &val);
 +          if( rc2!=SQLITE_OK ) break;
 +          if( id>1 ) utf8_printf(out, "  ");
 +          utf8_printf(out, "%d: %d", id, val);
 +          id++;
          }
 +        if( id>1 ) utf8_printf(out, "\n");
 +        isOk = 3;
        }
 -      if( pAuxDb->nSession>=ArraySize(pAuxDb->aSession) ){
 -        raw_printf(stderr,
 -                   "Maximum of %d sessions\n", ArraySize(pAuxDb->aSession));
 -        goto meta_command_exit;
 +      break;
 +    }
 +#endif
 +    }
 +  }
 +  if( isOk==0 && iCtrl>=0 ){
 +    utf8_printf(out, "Usage: .testctrl %s %s\n", zCmd,aCtrl[iCtrl].zUsage);
 +    return DCR_CmdErred;
 +  }else if( isOk==1 ){
 +    raw_printf(out, "%d\n", rc2);
 +  }else if( isOk==2 ){
 +    raw_printf(out, "0x%08x\n", rc2);
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( timeout 4 1 2 ){
 +  open_db(p, 0);
 +  sqlite3_busy_timeout(DBX(p), nArg>=2 ? (int)integerValue(azArg[1]) : 0);
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( timer ? 2 2 ){
 +  enableTimer = booleanValue(azArg[1]);
 +  if( enableTimer && !HAS_TIMER ){
 +    raw_printf(STD_ERR, "Error: timer not available on this system.\n");
 +    enableTimer = 0;
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( trace ? 0 0 ){
 +  ShellInState *psi = ISS(p);
 +  int mType = 0;
 +  int jj;
 +  open_db(p, 0);
 +  for(jj=1; jj<nArg; jj++){
 +    const char *z = azArg[jj];
 +    if( z[0]=='-' ){
 +      if( optionMatch(z, "expanded") ){
 +        psi->eTraceType = SHELL_TRACE_EXPANDED;
        }
 -      pSession = &pAuxDb->aSession[pAuxDb->nSession];
 -      rc = sqlite3session_create(p->db, azCmd[1], &pSession->p);
 -      if( rc ){
 -        raw_printf(stderr, "Cannot open session: error code=%d\n", rc);
 -        rc = 0;
 -        goto meta_command_exit;
 +#ifdef SQLITE_ENABLE_NORMALIZE
 +      else if( optionMatch(z, "normalized") ){
 +        psi->eTraceType = SHELL_TRACE_NORMALIZED;
        }
 -      pSession->nFilter = 0;
 -      sqlite3session_table_filter(pSession->p, session_filter, pSession);
 -      pAuxDb->nSession++;
 -      pSession->zName = sqlite3_mprintf("%s", zName);
 -      shell_check_oom(pSession->zName);
 -    }else
 -    /* If no command name matches, show a syntax error */
 -    session_syntax_error:
 -    showHelp(p->out, "session");
 -  }else
  #endif
 -
 -#ifdef SQLITE_DEBUG
 -  /* Undocumented commands for internal testing.  Subject to change
 -  ** without notice. */
 -  if( c=='s' && n>=10 && cli_strncmp(azArg[0], "selftest-", 9)==0 ){
 -    if( cli_strncmp(azArg[0]+9, "boolean", n-9)==0 ){
 -      int i, v;
 -      for(i=1; i<nArg; i++){
 -        v = booleanValue(azArg[i]);
 -        utf8_printf(p->out, "%s: %d 0x%x\n", azArg[i], v, v);
 +      else if( optionMatch(z, "plain") ){
 +        psi->eTraceType = SHELL_TRACE_PLAIN;
        }
 -    }
 -    if( cli_strncmp(azArg[0]+9, "integer", n-9)==0 ){
 -      int i; sqlite3_int64 v;
 -      for(i=1; i<nArg; i++){
 -        char zBuf[200];
 -        v = integerValue(azArg[i]);
 -        sqlite3_snprintf(sizeof(zBuf),zBuf,"%s: %lld 0x%llx\n", azArg[i],v,v);
 -        utf8_printf(p->out, "%s", zBuf);
 +      else if( optionMatch(z, "profile") ){
 +        mType |= SQLITE_TRACE_PROFILE;
 +      }
 +      else if( optionMatch(z, "row") ){
 +        mType |= SQLITE_TRACE_ROW;
 +      }
 +      else if( optionMatch(z, "stmt") ){
 +        mType |= SQLITE_TRACE_STMT;
 +      }
 +      else if( optionMatch(z, "close") ){
 +        mType |= SQLITE_TRACE_CLOSE;
        }
 +      else {
 +        return DCR_Unknown|jj;
 +      }
 +    }else{
 +      output_file_close(psi->traceOut);
 +      psi->traceOut = output_file_open(z, 0);
      }
 -  }else
 -#endif
 +  }
 +  if( psi->traceOut==0 ){
 +    sqlite3_trace_v2(DBX(p), 0, 0, 0);
 +  }else{
 +    if( mType==0 ) mType = SQLITE_TRACE_STMT;
 +    sqlite3_trace_v2(DBX(p), mType, sql_trace_callback, psi);
 +  }
 +  return DCR_Ok;
 +}
  
 -  if( c=='s' && n>=4 && cli_strncmp(azArg[0],"selftest",n)==0 ){
 -    int bIsInit = 0;         /* True to initialize the SELFTEST table */
 -    int bVerbose = 0;        /* Verbose output */
 -    int bSelftestExists;     /* True if SELFTEST already exists */
 -    int i, k;                /* Loop counters */
 -    int nTest = 0;           /* Number of tests runs */
 -    int nErr = 0;            /* Number of errors seen */
 -    ShellText str;           /* Answer for a query */
 -    sqlite3_stmt *pStmt = 0; /* Query against the SELFTEST table */
 +/*****************
 + * The .unknown command (undocumented)
 + */
 +COLLECT_HELP_TEXT[
 +  ",unknown ?ARGS?          Handle attempt to use an unknown dot command",
 +  "   The invocation dispatcher calls this after replacing azArg[0] with the",
 +  "   mystery command name, leaving remaining arguments as originally passed.",
 +  "   An extension may override this to provide new dot commands dynamically.",
 +  "   This name and operation were inspired by a similar feature of TCL.",
 +];
 +DISPATCHABLE_COMMAND( unknown ? 1 0 ){
 +  /* Dispatcher will call this for dot commands it cannot find. */
 +  return DCR_Unknown|0;
 +}
  
 -    open_db(p,0);
 -    for(i=1; i<nArg; i++){
 -      const char *z = azArg[i];
 -      if( z[0]=='-' && z[1]=='-' ) z++;
 -      if( cli_strcmp(z,"-init")==0 ){
 -        bIsInit = 1;
 -      }else
 -      if( cli_strcmp(z,"-v")==0 ){
 -        bVerbose++;
 -      }else
 -      {
 -        utf8_printf(stderr, "Unknown option \"%s\" on \"%s\"\n",
 -                    azArg[i], azArg[0]);
 -        raw_printf(stderr, "Should be one of: --init -v\n");
 -        rc = 1;
 -        goto meta_command_exit;
 -      }
 +/*****************
 + * The .unmodule command
 + */
- CONDITION_COMMAND( unmodule defined(SQLITE_DEBUG) && !defined(SQLITE_OMIT_VIRTUALTABLE) );
++#if defined(SQLITE_DEBUG) && !defined(SQLITE_OMIT_VIRTUALTABLE)
++# define UNMODULE_ENABLE 1
++#else
++# define UNMODULE_ENABLE 0
++#endif
++CONDITION_COMMAND( unmodule UNMODULE_ENABLE );
 +COLLECT_HELP_TEXT[
 +  ".unmodule NAME ...       Unregister virtual table modules",
 +  "    --allexcept             Unregister everything except those named",
 +];
 +DISPATCHABLE_COMMAND( unmodule ? 2 0 ){
 +  int ii;
 +  int lenOpt;
 +  char *zOpt;
 +  open_db(p, 0);
 +  zOpt = azArg[1];
 +  if( zOpt[0]=='-' && zOpt[1]=='-' && zOpt[2]!=0 ) zOpt++;
 +  lenOpt = (int)strlen(zOpt);
 +  if( lenOpt>=3 && cli_strncmp(zOpt, "-allexcept",lenOpt)==0 ){
 +    assert( azArg[nArg]==0 );
 +    sqlite3_drop_modules(DBX(p), nArg>2 ? (const char**)(azArg+2) : 0);
 +  }else{
 +    for(ii=1; ii<nArg; ii++){
 +      sqlite3_create_module(DBX(p), azArg[ii], 0, 0);
      }
 -    if( sqlite3_table_column_metadata(p->db,"main","selftest",0,0,0,0,0,0)
 -           != SQLITE_OK ){
 -      bSelftestExists = 0;
 -    }else{
 -      bSelftestExists = 1;
 -    }
 -    if( bIsInit ){
 -      createSelftestTable(p);
 -      bSelftestExists = 1;
 -    }
 -    initText(&str);
 -    appendText(&str, "x", 0);
 -    for(k=bSelftestExists; k>=0; k--){
 -      if( k==1 ){
 -        rc = sqlite3_prepare_v2(p->db,
 -            "SELECT tno,op,cmd,ans FROM selftest ORDER BY tno",
 -            -1, &pStmt, 0);
 -      }else{
 -        rc = sqlite3_prepare_v2(p->db,
 -          "VALUES(0,'memo','Missing SELFTEST table - default checks only',''),"
 -          "      (1,'run','PRAGMA integrity_check','ok')",
 -          -1, &pStmt, 0);
 -      }
 -      if( rc ){
 -        raw_printf(stderr, "Error querying the selftest table\n");
 -        rc = 1;
 -        sqlite3_finalize(pStmt);
 -        goto meta_command_exit;
 -      }
 -      for(i=1; sqlite3_step(pStmt)==SQLITE_ROW; i++){
 -        int tno = sqlite3_column_int(pStmt, 0);
 -        const char *zOp = (const char*)sqlite3_column_text(pStmt, 1);
 -        const char *zSql = (const char*)sqlite3_column_text(pStmt, 2);
 -        const char *zAns = (const char*)sqlite3_column_text(pStmt, 3);
 -
 -        if( zOp==0 ) continue;
 -        if( zSql==0 ) continue;
 -        if( zAns==0 ) continue;
 -        k = 0;
 -        if( bVerbose>0 ){
 -          printf("%d: %s %s\n", tno, zOp, zSql);
 -        }
 -        if( cli_strcmp(zOp,"memo")==0 ){
 -          utf8_printf(p->out, "%s\n", zSql);
 -        }else
 -        if( cli_strcmp(zOp,"run")==0 ){
 -          char *zErrMsg = 0;
 -          str.n = 0;
 -          str.z[0] = 0;
 -          rc = sqlite3_exec(p->db, zSql, captureOutputCallback, &str, &zErrMsg);
 -          nTest++;
 -          if( bVerbose ){
 -            utf8_printf(p->out, "Result: %s\n", str.z);
 -          }
 -          if( rc || zErrMsg ){
 -            nErr++;
 -            rc = 1;
 -            utf8_printf(p->out, "%d: error-code-%d: %s\n", tno, rc, zErrMsg);
 -            sqlite3_free(zErrMsg);
 -          }else if( cli_strcmp(zAns,str.z)!=0 ){
 -            nErr++;
 -            rc = 1;
 -            utf8_printf(p->out, "%d: Expected: [%s]\n", tno, zAns);
 -            utf8_printf(p->out, "%d:      Got: [%s]\n", tno, str.z);
 -          }
 -        }else
 -        {
 -          utf8_printf(stderr,
 -            "Unknown operation \"%s\" on selftest line %d\n", zOp, tno);
 -          rc = 1;
 -          break;
 -        }
 -      } /* End loop over rows of content from SELFTEST */
 -      sqlite3_finalize(pStmt);
 -    } /* End loop over k */
 -    freeText(&str);
 -    utf8_printf(p->out, "%d errors out of %d tests\n", nErr, nTest);
 -  }else
 +  }
 +  return DCR_Ok;
 +}
  
 -  if( c=='s' && cli_strncmp(azArg[0], "separator", n)==0 ){
 -    if( nArg<2 || nArg>3 ){
 -      raw_printf(stderr, "Usage: .separator COL ?ROW?\n");
 -      rc = 1;
 +/*****************
 + * The .user command
 + * Because there is no help text for .user, it does its own argument validation.
 + */
 +CONDITION_COMMAND( user SQLITE_USER_AUTHENTICATION );
 +DISPATCHABLE_COMMAND( user ? 0 0 ){
 +  int rc;
 +  const char *usage
 +    = "Usage: .user SUBCOMMAND ...\n"
 +      "Subcommands are:\n"
 +      "   login USER PASSWORD\n"
 +      "   delete USER\n"
 +      "   add USER PASSWORD ISADMIN\n"
 +      "   edit USER PASSWORD ISADMIN\n"
 +    ;
 +  if( nArg<2 ){
 +  teach_fail:
 +    *pzErr = smprintf(usage);
 +    return DCR_SayUsage;
 +  }
 +  open_db(p, 0);
 +  if( cli_strcmp(azArg[1],"login")==0 ){
 +    if( nArg!=4 ){
 +      goto teach_fail;
      }
 -    if( nArg>=2 ){
 -      sqlite3_snprintf(sizeof(p->colSeparator), p->colSeparator,
 -                       "%.*s", (int)ArraySize(p->colSeparator)-1, azArg[1]);
 +    rc = sqlite3_user_authenticate(DBX(p), azArg[2], azArg[3],
 +                                   strlen30(azArg[3]));
 +    if( rc ){
 +      *pzErr = smprintf(0,"Authentication failed for user %s\n", azArg[2]);
 +      return DCR_Error;
      }
 -    if( nArg>=3 ){
 -      sqlite3_snprintf(sizeof(p->rowSeparator), p->rowSeparator,
 -                       "%.*s", (int)ArraySize(p->rowSeparator)-1, azArg[2]);
 +  }else if( cli_strcmp(azArg[1],"add")==0 ){
 +    if( nArg!=5 ){
 +      goto teach_fail;
      }
 -  }else
 +    rc = sqlite3_user_add(DBX(p), azArg[2], azArg[3], strlen30(azArg[3]),
 +                          booleanValue(azArg[4]));
 +    if( rc ){
 +      *pzErr = smprintf(0,"User-Add failed: %d\n", rc);
 +      return DCR_Error;
 +    }
 +  }else if( cli_strcmp(azArg[1],"edit")==0 ){
 +    if( nArg!=5 ){
 +      goto teach_fail;
 +    }
 +    rc = sqlite3_user_change(DBX(p), azArg[2], azArg[3], strlen30(azArg[3]),
 +                             booleanValue(azArg[4]));
 +    if( rc ){
 +      *pzErr = smprintf(0,"User-Edit failed: %d\n", rc);
 +      return DCR_Error;
 +    }
 +  }else if( cli_strcmp(azArg[1],"delete")==0 ){
 +    if( nArg!=3 ){
 +      goto teach_fail;
 +    }
 +    rc = sqlite3_user_delete(DBX(p), azArg[2]);
 +    if( rc ){
 +      *pzErr = smprintf(0,"User-Delete failed: %d\n", rc);
 +      return DCR_Error;
 +    }
 +  }else{
 +    goto teach_fail;
 +  }
 +  return DCR_Ok;
 +}
  
 -  if( c=='s' && n>=4 && cli_strncmp(azArg[0],"sha3sum",n)==0 ){
 -    const char *zLike = 0;   /* Which table to checksum. 0 means everything */
 -    int i;                   /* Loop counter */
 -    int bSchema = 0;         /* Also hash the schema */
 -    int bSeparate = 0;       /* Hash each table separately */
 -    int iSize = 224;         /* Hash algorithm to use */
 -    int bDebug = 0;          /* Only show the query that would have run */
 -    sqlite3_stmt *pStmt;     /* For querying tables names */
 -    char *zSql;              /* SQL to be run */
 -    char *zSep;              /* Separator */
 -    ShellText sSql;          /* Complete SQL for the query to run the hash */
 -    ShellText sQuery;        /* Set of queries used to read all content */
 -    open_db(p, 0);
 -    for(i=1; i<nArg; i++){
 -      const char *z = azArg[i];
 -      if( z[0]=='-' ){
 -        z++;
 -        if( z[0]=='-' ) z++;
 -        if( cli_strcmp(z,"schema")==0 ){
 -          bSchema = 1;
 -        }else
 -        if( cli_strcmp(z,"sha3-224")==0 || cli_strcmp(z,"sha3-256")==0
 -         || cli_strcmp(z,"sha3-384")==0 || cli_strcmp(z,"sha3-512")==0
 -        ){
 -          iSize = atoi(&z[5]);
 -        }else
 -        if( cli_strcmp(z,"debug")==0 ){
 -          bDebug = 1;
 -        }else
 -        {
 -          utf8_printf(stderr, "Unknown option \"%s\" on \"%s\"\n",
 -                      azArg[i], azArg[0]);
 -          showHelp(p->out, azArg[0]);
 -          rc = 1;
 -          goto meta_command_exit;
 +/*****************
 + * The .vars command
 + */
 +COLLECT_HELP_TEXT[
 +  ".vars ?OPTIONS? ...      Manipulate and display shell variables",
 +  "   clear ?NAMES?           Erase all or only given named variables",
 +#ifndef SQLITE_NOHAVE_SYSTEM
 +  "   edit ?-e? NAME          Use edit() to create or alter variable NAME",
 +  "      With a -e option, the edited value is evaluated as a SQL expression.",
 +#endif
 +  "   list ?PATTERNS?         List shell variables table values",
 +  "      Alternatively, to list just some or all names: ls ?PATTERNS?",
 +  "   load ?FILE? ?NAMES?     Load some or all named variables from FILE",
 +  "      If FILE missing, empty or '~', it defaults to ~/sqlite_vars.sdb",
 +  "   save ?FILE? ?NAMES?     Save some or all named variables into FILE",
 +  "      If FILE missing, empty or '~', it defaults to ~/sqlite_vars.sdb",
 +  "   set NAME VALUE          Give shell variable NAME a value of VALUE",
 +  "      NAME must begin with a letter to be executable by .x, Other leading",
 +  "      characters have special uses. VALUE is the space-joined arguments.",
 +  "   unset ?NAMES?           Remove named variables(s) from variables table",
 +];
 +DISPATCHABLE_COMMAND( vars 2 1 0 ){
 +  DotCmdRC rv = DCR_Ok;
 +  sqlite3 *dbs = p->dbShell;
 +  const char *zCmd = (nArg>1)? azArg[1] : "ls";
 +  int rc = 0;
 +  int ncCmd = strlen30(zCmd);
 +
 +  if( *zCmd>'e' && ncCmd<2 ) return DCR_Ambiguous|1;
 +#define SUBCMD(scn) (cli_strncmp(zCmd, scn, ncCmd)==0)
 +
 +  /* This could be done lazily, but with more code. */
 +  if( (dbs && ensure_shvars_table(dbs)!=SQLITE_OK) ){
 +    return DCR_Error;
 +  }else{
 +    if( ensure_shell_db(p)!=SQLITE_OK ) return DCR_Error;
 +    dbs = p->dbShell;
 +    assert(dbs!=0);
 +    if( ensure_shvars_table(dbs)!=SQLITE_OK ) return DCR_Error;
 +  }
 +
 +  /* .vars clear  and  .vars unset ?NAMES?
 +  **  Delete some or all key/value pairs from the shell variables table.
 +  **  Without any arguments, clear deletes them all and unset does nothing.
 +  */
 +  if( SUBCMD("clear") || SUBCMD("unset") ){
 +    if( (nArg>2 || zCmd[0]=='c') ){
 +      sqlite3_str *sbZap = sqlite3_str_new(dbs);
 +      char *zSql;
 +      sqlite3_str_appendf
 +        (sbZap, "DELETE FROM "SHVAR_TABLE_SNAME" WHERE key ");
 +      append_in_clause(sbZap,
 +                       (const char **)&azArg[2], (const char **)&azArg[nArg]);
 +      zSql = sqlite3_str_finish(sbZap);
 +      shell_check_oom(zSql);
 +      rc = sqlite3_exec(dbs, zSql, 0, 0, 0);
 +      sqlite3_free(zSql);
 +    }
 +#ifndef SQLITE_NOHAVE_SYSTEM
 +  }else if( SUBCMD("edit") ){
 +    ShellInState *psi = ISS(p);
 +    int ia = 2;
 +    int eval = 0;
 +    int edSet;
 +
 +    if( !INSOURCE_IS_INTERACTIVE(psi->pInSource) ){
 +      utf8_printf(STD_ERR, "Error: "
 +                  ".vars edit can only be used interactively.\n");
 +      return DCR_Error;
 +    }
 +    edSet = attempt_editor_set(psi, azArg[0], (nArg>2)? azArg[2] : 0 );
 +    if( edSet < 0 ) return DCR_Error;
 +    else ia += edSet;
 +    while( ia < nArg ){
 +      ParamTableUse ptu;
 +      char *zA = azArg[ia];
 +      char cf = (zA[0]=='-')? zA[1] : 0;
 +      if( cf!=0 && zA[2]==0 ){
 +        ++ia;
 +        switch( cf ){
 +        case 'e': eval = 1; continue;
 +        case 't': eval = 0; continue;
 +        default:
 +          utf8_printf(STD_ERR, "Error: bad .vars edit option: %s\n", zA);
 +          return DCR_Error;
          }
 -      }else if( zLike ){
 -        raw_printf(stderr, "Usage: .sha3sum ?OPTIONS? ?LIKE-PATTERN?\n");
 -        rc = 1;
 -        goto meta_command_exit;
 -      }else{
 -        zLike = z;
 -        bSeparate = 1;
 -        if( sqlite3_strlike("sqlite\\_%", zLike, '\\')==0 ) bSchema = 1;
        }
 +      ptu = classify_param_name(zA);
 +      if( ptu!=PTU_Script ){
 +        utf8_printf(STD_ERR,
 +                    "Error: %s cannot be a shell variable name.\n", zA);
 +        return DCR_Error;
 +      }
 +      rc = edit_one_kvalue(dbs, zA, eval, ptu, psi->zEditor);
 +      ++ia;
 +      if( rc!=0 ) return DCR_Error;
      }
 -    if( bSchema ){
 -      zSql = "SELECT lower(name) as tname FROM sqlite_schema"
 -             " WHERE type='table' AND coalesce(rootpage,0)>1"
 -             " UNION ALL SELECT 'sqlite_schema'"
 -             " ORDER BY 1 collate nocase";
 +#endif
 +  }else if( SUBCMD("list") || SUBCMD("ls") ){
 +    int nTailArgs = nArg - 1 - (nArg>1);
 +    char **pzTailArgs = azArg + 1 + (nArg>1);
 +    list_pov_entries(p, PTU_Script, zCmd[1]=='s', pzTailArgs, nTailArgs);
 +  }else if( SUBCMD("load") ){
 +    rc = kv_pairs_load(dbs, PTU_Script, (const char **)azArg+1, nArg-1);
 +  }else if( SUBCMD("save") ){
 +    rc = kv_pairs_save(dbs, PTU_Script, (const char **)azArg+1, nArg-1);
 +  }else if( SUBCMD("set") ){
 +    ParamTableUse ptu;
 +    if( nArg<4 ) return DCR_Missing;
 +    ptu = classify_param_name(azArg[2]);
 +    if( ptu!=PTU_Script ){
 +      utf8_printf(STD_ERR,
 +                  "Error: %s is not a valid shell variable name.\n", azArg[2]);
 +      rc = 1;
      }else{
 -      zSql = "SELECT lower(name) as tname FROM sqlite_schema"
 -             " WHERE type='table' AND coalesce(rootpage,0)>1"
 -             " AND name NOT LIKE 'sqlite_%'"
 -             " ORDER BY 1 collate nocase";
 -    }
 -    sqlite3_prepare_v2(p->db, zSql, -1, &pStmt, 0);
 -    initText(&sQuery);
 -    initText(&sSql);
 -    appendText(&sSql, "WITH [sha3sum$query](a,b) AS(",0);
 -    zSep = "VALUES(";
 -    while( SQLITE_ROW==sqlite3_step(pStmt) ){
 -      const char *zTab = (const char*)sqlite3_column_text(pStmt,0);
 -      if( zTab==0 ) continue;
 -      if( zLike && sqlite3_strlike(zLike, zTab, 0)!=0 ) continue;
 -      if( cli_strncmp(zTab, "sqlite_",7)!=0 ){
 -        appendText(&sQuery,"SELECT * FROM ", 0);
 -        appendText(&sQuery,zTab,'"');
 -        appendText(&sQuery," NOT INDEXED;", 0);
 -      }else if( cli_strcmp(zTab, "sqlite_schema")==0 ){
 -        appendText(&sQuery,"SELECT type,name,tbl_name,sql FROM sqlite_schema"
 -                           " ORDER BY name;", 0);
 -      }else if( cli_strcmp(zTab, "sqlite_sequence")==0 ){
 -        appendText(&sQuery,"SELECT name,seq FROM sqlite_sequence"
 -                           " ORDER BY name;", 0);
 -      }else if( cli_strcmp(zTab, "sqlite_stat1")==0 ){
 -        appendText(&sQuery,"SELECT tbl,idx,stat FROM sqlite_stat1"
 -                           " ORDER BY tbl,idx;", 0);
 -      }else if( cli_strcmp(zTab, "sqlite_stat4")==0 ){
 -        appendText(&sQuery, "SELECT * FROM ", 0);
 -        appendText(&sQuery, zTab, 0);
 -        appendText(&sQuery, " ORDER BY tbl, idx, rowid;\n", 0);
 -      }
 -      appendText(&sSql, zSep, 0);
 -      appendText(&sSql, sQuery.z, '\'');
 -      sQuery.n = 0;
 -      appendText(&sSql, ",", 0);
 -      appendText(&sSql, zTab, '\'');
 -      zSep = "),(";
 +      rc = shvar_set(dbs, azArg[2], &azArg[3], &azArg[nArg]);
 +      if( rc!=SQLITE_OK ){
 +        utf8_printf(STD_ERR, "Error: %s\n", sqlite3_errmsg(dbs));
 +        rc = 1;
 +      }
      }
 -    sqlite3_finalize(pStmt);
 -    if( bSeparate ){
 -      zSql = sqlite3_mprintf(
 -          "%s))"
 -          " SELECT lower(hex(sha3_query(a,%d))) AS hash, b AS label"
 -          "   FROM [sha3sum$query]",
 -          sSql.z, iSize);
 +  }else{
 +    showHelp(ISS(p)->out, "vars", p);
 +    return DCR_CmdErred;
 +  }
 +  return DCR_Ok | (rv!=0) | (rc!=0);
 +#undef SUBCMD
 +}
 +
 +/*****************
 + * The .vfsinfo, .vfslist, .vfsname and .version commands
 + */
 +COLLECT_HELP_TEXT[
 +  ".version                 Show source, library and compiler versions",
 +  ".vfsinfo ?AUX?           Information about the top-level VFS",
 +  ".vfslist                 List all available VFSes",
 +  ".vfsname ?AUX?           Print the name of the VFS stack",
 +];
 +DISPATCHABLE_COMMAND( version ? 1 1 ){
 +  FILE *out = ISS(p)->out;
 +  utf8_printf(out, "SQLite %s %s\n" /*extra-version-info*/,
 +              sqlite3_libversion(), sqlite3_sourceid());
 +#if SQLITE_HAVE_ZLIB
 +  utf8_printf(out, "zlib version %s\n", zlibVersion());
 +#endif
 +#define CTIMEOPT_VAL_(opt) #opt
 +#define CTIMEOPT_VAL(opt) CTIMEOPT_VAL_(opt)
 +#if defined(__clang__) && defined(__clang_major__)
 +  utf8_printf(out, "clang-" CTIMEOPT_VAL(__clang_major__) "."
 +              CTIMEOPT_VAL(__clang_minor__) "."
 +              CTIMEOPT_VAL(__clang_patchlevel__) "\n");
 +#elif defined(_MSC_VER)
 +  utf8_printf(out, "msvc-" CTIMEOPT_VAL(_MSC_VER) "\n");
 +#elif defined(__GNUC__) && defined(__VERSION__)
 +  utf8_printf(out, "gcc-" __VERSION__ "\n");
 +#endif
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( vfsinfo ? 1 2 ){
 +  const char *zDbName = nArg==2 ? azArg[1] : "main";
 +  sqlite3_vfs *pVfs = 0;
 +  if( DBX(p) ){
 +    sqlite3_file_control(DBX(p), zDbName, SQLITE_FCNTL_VFS_POINTER, &pVfs);
 +    if( pVfs ){
 +      FILE *out = ISS(p)->out;
 +      utf8_printf(out, "vfs.zName      = \"%s\"\n", pVfs->zName);
 +      raw_printf(out, "vfs.iVersion   = %d\n", pVfs->iVersion);
 +      raw_printf(out, "vfs.szOsFile   = %d\n", pVfs->szOsFile);
 +      raw_printf(out, "vfs.mxPathname = %d\n", pVfs->mxPathname);
 +    }
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( vfslist ? 1 1 ){
 +  sqlite3_vfs *pVfs;
 +  sqlite3_vfs *pCurrent = 0;
 +  FILE *out = ISS(p)->out;
 +  if( DBX(p) ){
 +    sqlite3_file_control(DBX(p), "main", SQLITE_FCNTL_VFS_POINTER, &pCurrent);
 +  }
 +  for(pVfs=sqlite3_vfs_find(0); pVfs; pVfs=pVfs->pNext){
 +    utf8_printf(out, "vfs.zName      = \"%s\"%s\n", pVfs->zName,
 +                pVfs==pCurrent ? "  <--- CURRENT" : "");
 +    raw_printf(out, "vfs.iVersion   = %d\n", pVfs->iVersion);
 +    raw_printf(out, "vfs.szOsFile   = %d\n", pVfs->szOsFile);
 +    raw_printf(out, "vfs.mxPathname = %d\n", pVfs->mxPathname);
 +    if( pVfs->pNext ){
 +      raw_printf(out, "-----------------------------------\n");
 +    }
 +  }
 +  return DCR_Ok;
 +}
 +DISPATCHABLE_COMMAND( vfsname ? 0 0 ){
 +  const char *zDbName = nArg==2 ? azArg[1] : "main";
 +  char *zVfsName = 0;
 +  if( DBX(p) ){
 +    sqlite3_file_control(DBX(p), zDbName, SQLITE_FCNTL_VFSNAME, &zVfsName);
 +    if( zVfsName ){
 +      utf8_printf(ISS(p)->out, "%s\n", zVfsName);
 +      sqlite3_free(zVfsName);
 +    }
 +  }
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .width command
 + */
 +static void setColumnWidths(ShellExState *p, char *azWidths[], int nWidths){
 +  int j;
 +  p->numWidths = nWidths;
 +  p->pSpecWidths = realloc(p->pSpecWidths, (nWidths+1)*sizeof(int)*2);
 +  if( nWidths>0 ){
 +    shell_check_oom(p->pSpecWidths);
 +    p->pHaveWidths = &p->pSpecWidths[nWidths];
 +    for(j=0; j<nWidths; j++){
 +      p->pSpecWidths[j] = (int)integerValue(azWidths[j]);
 +      p->pHaveWidths[j] = 0;
 +    }
 +  }else p->pHaveWidths = p->pSpecWidths;
 +}
 +COLLECT_HELP_TEXT[
 +  ".width NUM1 NUM2 ...     Set minimum column widths for columnar output",
 +  "   Negative values right-justify",
 +];
 +DISPATCHABLE_COMMAND( width ? 1 0 ){
 +  setColumnWidths(p, azArg+1, nArg-1);
 +  return DCR_Ok;
 +}
 +
 +/*****************
 + * The .x, .read and .eval commands
 + * These are together because they share some function and implementation.
 + */
 +CONDITION_COMMAND(read !defined(SQLITE_SHELL_FIDDLE));
 +COLLECT_HELP_TEXT[
 +  ".eval ?ARGS?             Process each ARG's content as shell input.",
 +  ".read FILE               Read input from FILE",
 +  "   If FILE begins with \"|\", it is a command that generates the input.",
 +  ".x ?OBJS or FLAGS?  ...  Excecute content of objects as shell input",
 +  "   FLAGS can be any of {-k -s -f} specifying what subsequent arguments are.",
 +  "   Arguments after -k are keys in a key/value table kept by the shell DB,",
 +  "   for which the object content to be executed is the corresponding value.",
 +  "   Arguments after -f name either files (or pipes), which are to be read",
 +  "   and the content executed. Input pipe names begin with '|'; the rest is",
 +  "   an OS-shell command which can be run by the OS shell to produce output.",
 +  "   Arguments after -s are strings, content of which is to be executed.",
 +  "   The default in effect for arguments prior to any FLAG is -k .",
 +  "   Arguments are executed in order until one fails.",
 +];
 +
 +/* Return an allocated string with trailing whitespace trimmed except
 + * for a trailing newline. If empty (or OOM), return 0. Otherwise, the
 + * caller must eventually pass the return to sqlite3_free().
 + */
 +static char *zPrepForEval(const char *zVal, int ntc){
 +  int ixNewline = 0;
 +  char c;
 +  while( ntc>0 && IsSpace(c = zVal[ntc-1]) ){
 +    if( c=='\n' ) ixNewline = ntc-1;
 +    --ntc;
 +  }
 +  if( ntc>0 ){
 +    /* The trailing newline (or some other placeholder) is important
 +     * because one (or some other character) will likely be put in
 +     * its place during process_input() line/group handling, along
 +     * with a terminating NUL character. Without it, the NULL could
 +     * land past the end of the allocation made just below.
 +     */
 +    int nle = ixNewline>0;
 +    return smprintf( "%.*s%s", ntc, zVal, &"\n"[nle] );
 +  }else{
 +    return 0;
 +  }
 +}
 +
 +/* Evaluate a string as input to the CLI.
 + * zName is the name to be given to the source for error reporting.
 + * Return usual dot command return codes as filtered by process_input().
 + * No provision is made for error emission because, presumably, that
 + * has been done by whatever dot commands or SQL execution is invoked.
 + */
 +static DotCmdRC shellEvalText(char *zIn, const char *zName, ShellExState *psx){
 +  DotCmdRC rv;
 +  ShellInState *psi = ISS(psx);
 +  InSource inRedir
 +    = INSOURCE_STR_REDIR(zIn, zName, psi->pInSource);
 +  psi->pInSource = &inRedir;
 +  rv = process_input(psi);
 +  psi->pInSource = inRedir.pFrom;
 +  return rv;
 +}
 +
 +DISPATCHABLE_COMMAND( eval 3 1 0 ){
 +  DotCmdRC rv = DCR_Ok;
 +  int ia = 1;
 +  int nErrors = 0;
 +  while( ia < nArg ){
 +    char *zA = azArg[ia++];
 +    int nc = strlen30(zA);
 +    char *zSubmit = zPrepForEval(zA, nc);
 +    if( zSubmit ){
 +      char zName[] = "eval arg[999]";
 +      sqlite3_snprintf(sizeof(zName), zName,"eval arg[%d]", ia-1);
 +      rv = shellEvalText(zSubmit, zName, p);
 +      sqlite3_free(zSubmit);
 +      if( rv<DCR_ArgIxMask ){
 +        nErrors += (rv & DCR_Error);
 +        /* Handle DCR_Return, DCR_Exit or DCR_Abort */
 +        if( rv>DCR_Error ) break;
 +      }
 +    }
 +  }
 +  rv |= (nErrors>0);
 +  /* If error to be returned, indicate that complaining about it is done. */
 +  return (rv==DCR_Error)? DCR_CmdErred : rv;
 +}
 +
 +DISPATCHABLE_COMMAND( read 3 2 2 ){
 +  DotCmdRC rc = DCR_Ok;
 +  FILE *inUse = 0;
 +  int (*fCloser)(FILE *) = 0;
 +  if( ISS(p)->bSafeMode ) return DCR_AbortError;
 +  if( azArg[1][0]=='|' ){
 +#ifdef SQLITE_OMIT_POPEN
 +    *pzErr = smprintf("pipes are not supported in this OS\n");
 +    rc = DCR_Error;
 +    /* p->out = STD_OUT; This was likely not needed. To be investigated. */
 +#else
 +    inUse = popen(azArg[1]+1, "r");
 +    if( inUse==0 ){
 +      *pzErr = smprintf("cannot open \"%s\"\n", azArg[1]);
 +      rc = DCR_Error;
      }else{
 -      zSql = sqlite3_mprintf(
 -          "%s))"
 -          " SELECT lower(hex(sha3_query(group_concat(a,''),%d))) AS hash"
 -          "   FROM [sha3sum$query]",
 -          sSql.z, iSize);
 +      fCloser = pclose;
      }
 -    shell_check_oom(zSql);
 -    freeText(&sQuery);
 -    freeText(&sSql);
 -    if( bDebug ){
 -      utf8_printf(p->out, "%s\n", zSql);
 -    }else{
 -      shell_exec(p, zSql, 0);
 +#endif
 +  }else if( (inUse = openChrSource(azArg[1]))==0 ){
 +    *pzErr = smprintf("cannot open \"%s\"\n", azArg[1]);
 +    rc = DCR_Error;
 +  }else{
 +    fCloser = fclose;
 +  }
 +  if( inUse!=0 ){
 +    InSource inSourceRedir
 +      = INSOURCE_FILE_REDIR(inUse, azArg[1], ISS(p)->pInSource);
 +    ISS(p)->pInSource = &inSourceRedir;
 +    rc = process_input(ISS(p));
 +    /* If error(s) occured during process, leave complaining to them. */
 +    if( rc==DCR_Error ) rc = DCR_CmdErred;
 +    assert(fCloser!=0);
 +    fCloser(inUse);
 +    ISS(p)->pInSource = inSourceRedir.pFrom;
 +  }
 +  return rc;
 +}
 +
 +DISPATCHABLE_COMMAND( x ? 1 0 ){
 +  int ia, nErrors = 0;
 +  sqlite3_stmt *pStmt = 0;
 +  sqlite3 *dbs = p->dbShell;
 +  DotCmdRC rv = DCR_Ok;
 +  enum { AsVar, AsString, AsFile } evalAs = AsVar;
 +
 +  for( ia=1; ia<nArg && nErrors==0; ++ia ){
 +    char *zSubmit = 0;
 +    const char *zOpt = azArg[ia];
 +    if ( *zOpt == '-' ){
 +      static const char *azOpts[] = { "k", "s", "f" };
 +      int io = ArraySize(azOpts);
 +      while( io > 0 ){
 +        if( optionMatch(zOpt, azOpts[--io]) ){
 +          evalAs = io;
 +          zOpt = 0;
 +          break;
 +        }
 +      }
 +      if( zOpt==0 ) continue;
      }
 -#if !defined(SQLITE_OMIT_SCHEMA_PRAGMAS) && !defined(SQLITE_OMIT_VIRTUALTABLE)
 -    {
 -      int lrc;
 -      char *zRevText = /* Query for reversible to-blob-to-text check */
 -        "SELECT lower(name) as tname FROM sqlite_schema\n"
 -        "WHERE type='table' AND coalesce(rootpage,0)>1\n"
 -        "AND name NOT LIKE 'sqlite_%%'%s\n"
 -        "ORDER BY 1 collate nocase";
 -      zRevText = sqlite3_mprintf(zRevText, zLike? " AND name LIKE $tspec" : "");
 -      zRevText = sqlite3_mprintf(
 -          /* lower-case query is first run, producing upper-case query. */
 -          "with tabcols as materialized(\n"
 -          "select tname, cname\n"
 -          "from ("
 -          " select ss.tname as tname, ti.name as cname\n"
 -          " from (%z) ss\n inner join pragma_table_info(tname) ti))\n"
 -          "select 'SELECT total(bad_text_count) AS bad_text_count\n"
 -          "FROM ('||group_concat(query, ' UNION ALL ')||')' as btc_query\n"
 -          " from (select 'SELECT COUNT(*) AS bad_text_count\n"
 -          "FROM '||tname||' WHERE '\n"
 -          "||group_concat('CAST(CAST('||cname||' AS BLOB) AS TEXT)<>'||cname\n"
 -          "|| ' AND typeof('||cname||')=''text'' ',\n"
 -          "' OR ') as query, tname from tabcols group by tname)"
 -          , zRevText);
 -      shell_check_oom(zRevText);
 -      if( bDebug ) utf8_printf(p->out, "%s\n", zRevText);
 -      lrc = sqlite3_prepare_v2(p->db, zRevText, -1, &pStmt, 0);
 -      if( lrc!=SQLITE_OK ){
 -        /* assert(lrc==SQLITE_NOMEM); // might also be SQLITE_ERROR if the
 -        ** user does cruel and unnatural things like ".limit expr_depth 0". */
 -        rc = 1;
 -      }else{
 -        if( zLike ) sqlite3_bind_text(pStmt,1,zLike,-1,SQLITE_STATIC);
 -        lrc = SQLITE_ROW==sqlite3_step(pStmt);
 -        if( lrc ){
 -          const char *zGenQuery = (char*)sqlite3_column_text(pStmt,0);
 -          sqlite3_stmt *pCheckStmt;
 -          lrc = sqlite3_prepare_v2(p->db, zGenQuery, -1, &pCheckStmt, 0);
 -          if( bDebug ) utf8_printf(p->out, "%s\n", zGenQuery);
 -          if( lrc!=SQLITE_OK ){
 -            rc = 1;
 +    switch( evalAs ){
 +    case AsVar:
 +      if( pStmt==0 ){
 +        int rc;
 +        if( dbs==0 || !shvars_table_exists(dbs) ){
 +          utf8_printf(STD_ERR,
 +                      "\".x vname\" can only be done after .var set ... .\n");
 +          return DCR_Error;
 +        }
 +        rc = sqlite3_prepare_v2(dbs, "SELECT value FROM "SHVAR_TABLE_SNAME
 +                                " WHERE key=$1 AND uses="SPTU_Script,
 +                                -1, &pStmt, 0);
 +        if( rc!=SQLITE_OK ){
 +          utf8_printf(STD_ERR, SHVAR_TABLE_SNAME" is wrongly created.\n");
 +          return DCR_Error;
 +        }
 +      }
 +      if( isalpha(azArg[ia][0]) ){
 +        int rc = sqlite3_reset(pStmt);
 +        rc = sqlite3_bind_text(pStmt, 1, azArg[ia], -1, 0);
 +        rc = sqlite3_step(pStmt);
 +        if( rc==SQLITE_ROW ){
 +          ShellInState *psi = ISS(p);
 +          const unsigned char *zValue = sqlite3_column_text(pStmt, 0);
 +          int nb = sqlite3_column_bytes(pStmt, 0);
 +          zSubmit = zPrepForEval((const char *)zValue, nb);
 +          sqlite3_reset(pStmt); /* End the script read to unlock DB. */
 +          if( zSubmit ){
 +            rv = shellEvalText(zSubmit, azArg[ia], p);
 +            sqlite3_free(zSubmit);
            }else{
 -            if( SQLITE_ROW==sqlite3_step(pCheckStmt) ){
 -              double countIrreversible = sqlite3_column_double(pCheckStmt, 0);
 -              if( countIrreversible>0 ){
 -                int sz = (int)(countIrreversible + 0.5);
 -                utf8_printf(stderr,
 -                     "Digest includes %d invalidly encoded text field%s.\n",
 -                            sz, (sz>1)? "s": "");
 -              }
 -            }
 -            sqlite3_finalize(pCheckStmt);
 +            continue; /* All white (or OOM), ignore. */
            }
 -          sqlite3_finalize(pStmt);
 +        }else{
 +          utf8_printf(STD_ERR,
 +                      "Skipping var '%s' (not set and executable.)\n",
 +                      azArg[ia]);
 +          ++nErrors;
 +        }
 +      }else{
 +        utf8_printf(STD_ERR,
 +                    "Skipping badly named %s. Run \".help x\"\n", azArg[ia]);
 +        ++nErrors;
 +      }
 +      break;
 +    case AsString:
 +      {
 +        zSubmit = zPrepForEval(zOpt, strlen30(zOpt));
 +        if( zSubmit ){
 +          char zName[] = "x arg[999]";
 +          sqlite3_snprintf(sizeof(zName), zName,"x arg[%d]", ia);
 +          rv = shellEvalText(zSubmit, zName, p);
 +          sqlite3_free(zSubmit);
          }
        }
 -      if( rc ) utf8_printf(stderr, ".sha3sum failed.\n");
 -      sqlite3_free(zRevText);
 -    }
 -#endif /* !defined(*_OMIT_SCHEMA_PRAGMAS) && !defined(*_OMIT_VIRTUALTABLE) */
 -    sqlite3_free(zSql);
 -  }else
 -
 -#if !defined(SQLITE_NOHAVE_SYSTEM) && !defined(SQLITE_SHELL_FIDDLE)
 -  if( c=='s'
 -   && (cli_strncmp(azArg[0], "shell", n)==0
 -       || cli_strncmp(azArg[0],"system",n)==0)
 -  ){
 -    char *zCmd;
 -    int i, x;
 -    failIfSafeMode(p, "cannot run .%s in safe mode", azArg[0]);
 -    if( nArg<2 ){
 -      raw_printf(stderr, "Usage: .system COMMAND\n");
 -      rc = 1;
 -      goto meta_command_exit;
 +      break;
 +    case AsFile:
 +      {
 +        char *av[] = {"read", (char*)zOpt};
 +        rv = readCommand(av, ArraySize(av), p, pzErr);
 +      }
 +      break;
      }
 -    zCmd = sqlite3_mprintf(strchr(azArg[1],' ')==0?"%s":"\"%s\"", azArg[1]);
 -    for(i=2; i<nArg && zCmd!=0; i++){
 -      zCmd = sqlite3_mprintf(strchr(azArg[i],' ')==0?"%z %s":"%z \"%s\"",
 -                             zCmd, azArg[i]);
 +    if( rv<DCR_ArgIxMask ){
 +      nErrors += (rv & DCR_Error);
 +      /* Handle DCR_Return, DCR_Exit or DCR_Abort */
 +      if( rv>DCR_Error ) break;
 +    }else{
 +      ++nErrors;
 +      rv = DCR_Error;
      }
 -    x = zCmd!=0 ? system(zCmd) : 1;
 -    sqlite3_free(zCmd);
 -    if( x ) raw_printf(stderr, "System command returns %d\n", x);
 -  }else
 -#endif /* !defined(SQLITE_NOHAVE_SYSTEM) && !defined(SQLITE_SHELL_FIDDLE) */
 +  }
 +  sqlite3_finalize(pStmt);
 +  rv |= (nErrors>0);
 +  /* If error to be returned, indicate that complaining about it is done. */
 +  return (rv==DCR_Error)? DCR_CmdErred : rv;
 +}
  
 -  if( c=='s' && cli_strncmp(azArg[0], "show", n)==0 ){
 -    static const char *azBool[] = { "off", "on", "trigger", "full"};
 -    const char *zOut;
 -    int i;
 -    if( nArg!=1 ){
 -      raw_printf(stderr, "Usage: .show\n");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    utf8_printf(p->out, "%12.12s: %s\n","echo",
 -                azBool[ShellHasFlag(p, SHFLG_Echo)]);
 -    utf8_printf(p->out, "%12.12s: %s\n","eqp", azBool[p->autoEQP&3]);
 -    utf8_printf(p->out, "%12.12s: %s\n","explain",
 -         p->mode==MODE_Explain ? "on" : p->autoExplain ? "auto" : "off");
 -    utf8_printf(p->out,"%12.12s: %s\n","headers", azBool[p->showHeader!=0]);
 -    if( p->mode==MODE_Column
 -     || (p->mode>=MODE_Markdown && p->mode<=MODE_Box)
 -    ){
 -      utf8_printf
 -        (p->out, "%12.12s: %s --wrap %d --wordwrap %s --%squote\n", "mode",
 -         modeDescr[p->mode], p->cmOpts.iWrap,
 -         p->cmOpts.bWordWrap ? "on" : "off",
 -         p->cmOpts.bQuote ? "" : "no");
 -    }else{
 -      utf8_printf(p->out, "%12.12s: %s\n","mode", modeDescr[p->mode]);
 -    }
 -    utf8_printf(p->out, "%12.12s: ", "nullvalue");
 -      output_c_string(p->out, p->nullValue);
 -      raw_printf(p->out, "\n");
 -    utf8_printf(p->out,"%12.12s: %s\n","output",
 -            strlen30(p->outfile) ? p->outfile : "stdout");
 -    utf8_printf(p->out,"%12.12s: ", "colseparator");
 -      output_c_string(p->out, p->colSeparator);
 -      raw_printf(p->out, "\n");
 -    utf8_printf(p->out,"%12.12s: ", "rowseparator");
 -      output_c_string(p->out, p->rowSeparator);
 -      raw_printf(p->out, "\n");
 -    switch( p->statsOn ){
 -      case 0:  zOut = "off";     break;
 -      default: zOut = "on";      break;
 -      case 2:  zOut = "stmt";    break;
 -      case 3:  zOut = "vmstep";  break;
 -    }
 -    utf8_printf(p->out, "%12.12s: %s\n","stats", zOut);
 -    utf8_printf(p->out, "%12.12s: ", "width");
 -    for (i=0;i<p->nWidth;i++) {
 -      raw_printf(p->out, "%d ", p->colWidth[i]);
 -    }
 -    raw_printf(p->out, "\n");
 -    utf8_printf(p->out, "%12.12s: %s\n", "filename",
 -                p->pAuxDb->zDbFilename ? p->pAuxDb->zDbFilename : "");
 -  }else
 +/* End of published, standard dot-command implementation functions
 +COMMENT  Build-time overrides of above dot-commands or new dot-commands may be
 +COMMENT  incorporated into shell.c via: -it COMMAND_CUSTOMIZE=<customize source>
 +COMMENT  where <customize source> names a file using the above methodology to
 +COMMENT  define new or altered dot-commands and their help text.
 +*/
 +INCLUDE( COMMAND_CUSTOMIZE );
 +
 +static void DotCommand_destruct(DotCommand *);
 +static const char * DotCommand_name(DotCommand *);
 +static const char * DotCommand_help(DotCommand *, const char *);
 +static DotCmdRC
 +  DotCommand_argsCheck(DotCommand *, char **, int nArgs, char *azArgs[]);
 +static DotCmdRC
 +  DotCommand_execute(DotCommand *, ShellExState *, char **, int, char *[]);
 +
 +static VTABLE_NAME(DotCommand) dot_cmd_VtabBuiltIn = {
 +  DotCommand_destruct,
 +  DotCommand_name,
 +  DotCommand_help,
 +  DotCommand_argsCheck,
 +  DotCommand_execute
 +};
  
 -  if( c=='s' && cli_strncmp(azArg[0], "stats", n)==0 ){
 -    if( nArg==2 ){
 -      if( cli_strcmp(azArg[1],"stmt")==0 ){
 -        p->statsOn = 2;
 -      }else if( cli_strcmp(azArg[1],"vmstep")==0 ){
 -        p->statsOn = 3;
 -      }else{
 -        p->statsOn = (u8)booleanValue(azArg[1]);
 -      }
 -    }else if( nArg==1 ){
 -      display_stats(p->db, p, 0);
 -    }else{
 -      raw_printf(stderr, "Usage: .stats ?on|off|stmt|vmstep?\n");
 -      rc = 1;
 -    }
 +/* Define and populate command dispatch table. */
 +static struct CommandInfo {
 +  VTABLE_NAME(DotCommand) *mcVtabBuiltIn;
 +  const char * cmdName;
 +  DotCmdRC (*cmdDoer)(char *azArg[], int nArg,
 +                               ShellExState *, char **pzErr);
 +  unsigned char minLen, minArgs, maxArgs;
 +  const char *azHelp[2]; /* primary and secondary help text */
 +  void * pCmdData;
 +  } command_table[] = {
 +  COMMENT Emit the dispatch table entries generated and collected above.
 +#define DOT_CMD_INFO(cmd, nlenMin, minArgs, maxArgs) \
 +  &dot_cmd_VtabBuiltIn, #cmd, cmd ## Command, nlenMin, minArgs, maxArgs
 +  EMIT_DOTCMD_INIT(2);
 +#undef DOT_CMD_INFO
 +  { 0, 0, 0, 0, (u8)~0, (u8)~0, {0,0}, 0 }
 +};
 +static unsigned numCommands
 +  = sizeof(command_table)/sizeof(struct CommandInfo) - 1;
 +
 +static DotCommand *builtInCommand(int ix){
 +  if( ix<0 || (unsigned)ix>=numCommands ) return 0;
 +  return (DotCommand *)&command_table[ix];
 +}
 +
 +static void DotCommand_destruct(DotCommand *pMe){
 +  UNUSED_PARAMETER(pMe);
 +}
 +
 +static const char * DotCommand_name(DotCommand *pMe){
 +  return ((struct CommandInfo *)pMe)->cmdName;
 +}
 +
 +static const char * DotCommand_help(DotCommand *pMe, const char * zWhat){
 +  struct CommandInfo *pci = (struct CommandInfo *)pMe;
 +  if( zWhat==0 ) return pci->azHelp[0];
 +  if( *zWhat==0 ) return pci->azHelp[1];
 +  else return 0;
 +}
 +
 +static DotCmdRC
 +  DotCommand_argsCheck(DotCommand *pMe,
 +                        char **pzErrMsg, int nArgs, char *azArgs[]){
 +  struct CommandInfo *pci = (struct CommandInfo *)pMe;
 +  UNUSED_PARAMETER(azArgs);
 +  if( pci->minArgs > nArgs ){
 +    if( pzErrMsg ){
 +      *pzErrMsg = smprintf("Too few arguments for \".%s\", need %d\n",
 +                           azArgs[0], pci->minArgs-1);
 +    }
 +    return DCR_TooFew;
 +  }else if( pci->maxArgs > 0 && pci->maxArgs < nArgs ){
 +    if( pzErrMsg ){
 +      *pzErrMsg = smprintf("Too many arguments for \".%s\", over %d\n",
 +                           azArgs[0], pci->maxArgs-1);
 +    }
 +    return DCR_TooMany;
 +  }else return DCR_Ok;
 +}
 +
 +static DotCmdRC
 +  DotCommand_execute(DotCommand *pMe, ShellExState *pssx,
 +                      char **pzErrMsg, int nArgs, char *azArgs[]){
 +  return (((struct CommandInfo *)pMe)->cmdDoer)(azArgs, nArgs, pssx, pzErrMsg);
 +}
 +
 +/*****************
 +** DotCommand iteration by name match, used by the .help dot-command.
 +** DotCommands, or their ad-hoc stand-ins, having matching names are produced
 +** in lexical order, with the iterator indicating which has been produced.
 +** If .zAdhocHelpName == 0, it is a regular DotCommand. Otherwise, the
 +** ".unknown" DotCommand is returned, whose help() method is to be used.
 +** Any returned CmdMatchIter must eventually be passed to freeCmdMatchIter().
 +*/
 +typedef struct CmdMatchIter {
 +  ShellExState *psx;
 +  /* 0 indicates prepared statement; non-0 is the glob pattern. */
 +  const char *zPattern;
 +  union {
 +    DotCommand *pDotCmd;
 +#if SHELL_DYNAMIC_EXTENSION
 +    sqlite3_stmt *stmt;
 +#endif
 +  } cursor;
 +#if SHELL_DYNAMIC_EXTENSION
 +  char *zAdhocHelpText; /* registered extension ad-hoc help */
 +#endif
 +} CmdMatchIter;
 +
 +/* Release resources held by the iterator and clear it. */
 +static void freeCmdMatchIter(CmdMatchIter *pMMI){
 +  if( pMMI->zPattern!=0 ){
 +    sqlite3_free((void *)pMMI->zPattern);
 +    pMMI->zPattern = 0;
 +    pMMI->cursor.pDotCmd = 0;
 +  }
 +#if SHELL_DYNAMIC_EXTENSION
 +  else{
 +    sqlite3_finalize(pMMI->cursor.stmt);
 +    pMMI->cursor.stmt = 0;
 +  }
 +  sqlite3_free(pMMI->zAdhocHelpText);
 +  pMMI->zAdhocHelpText = 0;
 +#endif
 +}
 +
 +/* Prepare an iterator that will produce a sequence of DotCommand
 + * pointers whose referents' names match the given cmdFragment.
 + * Return how many will match (if iterated upon return.) */
 +static int findMatchingDotCmds(const char *cmdFragment,
 +                                CmdMatchIter *pMMI,
 +                                ShellExState *psx){
 +  CmdMatchIter mmi = { psx, 0, 0 };
 +  int rv = 0;
 +#if SHELL_DYNAMIC_EXTENSION
 +  if( ISS(psx)->bDbDispatch ){
 +    sqlite3_stmt *stmtCount = 0;
 +    /* Prepare rv.stmt to yield results glob-matching cmdFragment. */
 +    static const char * const zSqlIter =
 +      "SELECT name, extIx, cmdIx, help FROM "SHELL_HELP_VIEW" "
 +      "WHERE name glob (?||'*') ORDER BY name";
 +    static const char * const zSqlCount =
 +      "SELECT count(*) FROM "SHELL_HELP_VIEW" "
 +      "WHERE name glob (?||'*')";
 +    if( pMMI ){
 +      sqlite3_prepare_v2(psx->dbShell, zSqlIter, -1, &mmi.cursor.stmt, 0);
 +      sqlite3_bind_text(mmi.cursor.stmt, 1, cmdFragment? cmdFragment:"", -1, 0);
 +    }
 +    sqlite3_prepare_v2(psx->dbShell, zSqlCount, -1, &stmtCount, 0);
 +    sqlite3_bind_text(stmtCount, 1, cmdFragment? cmdFragment : "", -1, 0);
 +    if( SQLITE_ROW==sqlite3_step(stmtCount) ){
 +      rv = sqlite3_column_int(stmtCount, 0);
 +    }else assert(0);
 +    sqlite3_finalize(stmtCount);
    }else
 +#endif
 +  {
 +    int i = 0;
 +    mmi.zPattern = smprintf("%s*", cmdFragment? cmdFragment : "");
 +    shell_check_oom((void *)mmi.zPattern);
  
 -  if( (c=='t' && n>1 && cli_strncmp(azArg[0], "tables", n)==0)
 -   || (c=='i' && (cli_strncmp(azArg[0], "indices", n)==0
 -                 || cli_strncmp(azArg[0], "indexes", n)==0) )
 -  ){
 -    sqlite3_stmt *pStmt;
 -    char **azResult;
 -    int nRow, nAlloc;
 -    int ii;
 -    ShellText s;
 -    initText(&s);
 -    open_db(p, 0);
 -    rc = sqlite3_prepare_v2(p->db, "PRAGMA database_list", -1, &pStmt, 0);
 -    if( rc ){
 -      sqlite3_finalize(pStmt);
 -      return shellDatabaseError(p->db);
 +    struct CommandInfo *pCI = command_table;
 +    mmi.cursor.pDotCmd = (DotCommand *)command_table;
 +    while( pCI<command_table+numCommands ){
 +      if( sqlite3_strglob(mmi.zPattern, pCI->cmdName)==0 ) ++rv;
 +      ++pCI;
      }
 +  }
 +  if( pMMI ) *pMMI = mmi;
 +  else freeCmdMatchIter(&mmi);
 +  return rv;
 +}
  
 -    if( nArg>2 && c=='i' ){
 -      /* It is an historical accident that the .indexes command shows an error
 -      ** when called with the wrong number of arguments whereas the .tables
 -      ** command does not. */
 -      raw_printf(stderr, "Usage: .indexes ?LIKE-PATTERN?\n");
 -      rc = 1;
 -      sqlite3_finalize(pStmt);
 -      goto meta_command_exit;
 -    }
 -    for(ii=0; sqlite3_step(pStmt)==SQLITE_ROW; ii++){
 -      const char *zDbName = (const char*)sqlite3_column_text(pStmt, 1);
 -      if( zDbName==0 ) continue;
 -      if( s.z && s.z[0] ) appendText(&s, " UNION ALL ", 0);
 -      if( sqlite3_stricmp(zDbName, "main")==0 ){
 -        appendText(&s, "SELECT name FROM ", 0);
 -      }else{
 -        appendText(&s, "SELECT ", 0);
 -        appendText(&s, zDbName, '\'');
 -        appendText(&s, "||'.'||name FROM ", 0);
 -      }
 -      appendText(&s, zDbName, '"');
 -      appendText(&s, ".sqlite_schema ", 0);
 -      if( c=='t' ){
 -        appendText(&s," WHERE type IN ('table','view')"
 -                      "   AND name NOT LIKE 'sqlite_%'"
 -                      "   AND name LIKE ?1", 0);
 +/* Produce the next DotCommand pointer from the iterator, or 0 if no next. */
 +static DotCommand * nextMatchingDotCmd(CmdMatchIter *pMMI){
 +  DotCommand *rv = 0;
 +#if SHELL_DYNAMIC_EXTENSION
 +  if( pMMI->zPattern==0 ){
 +    int rc = sqlite3_step(pMMI->cursor.stmt);
 +    if( rc==SQLITE_ROW ){
 +      /* name, extIx, cmdIx, help */
 +      int extIx = sqlite3_column_int(pMMI->cursor.stmt, 1);
 +      int cmdIx = sqlite3_column_int(pMMI->cursor.stmt, 2);
 +      ShellInState *psi = ISS(pMMI->psx);
 +      sqlite3_free(pMMI->zAdhocHelpText);
 +      if( cmdIx>=0 ){
 +        pMMI->zAdhocHelpText = 0;
 +        return command_by_index(psi, extIx, cmdIx);
        }else{
 -        appendText(&s," WHERE type='index'"
 -                      "   AND tbl_name LIKE ?1", 0);
 +        const unsigned char *zHT = sqlite3_column_text(pMMI->cursor.stmt, 3);
 +        assert(psi->pUnknown!=0);
 +        assert(extIx<psi->numExtLoaded && extIx>0);
 +        if( zHT==0 ) zHT = sqlite3_column_text(pMMI->cursor.stmt, 0);
 +        pMMI->zAdhocHelpText = sqlite3_mprintf("%s", zHT);
 +        return psi->pShxLoaded[extIx].pUnknown;
        }
 -    }
 -    rc = sqlite3_finalize(pStmt);
 -    if( rc==SQLITE_OK ){
 -      appendText(&s, " ORDER BY 1", 0);
 -      rc = sqlite3_prepare_v2(p->db, s.z, -1, &pStmt, 0);
 -    }
 -    freeText(&s);
 -    if( rc ) return shellDatabaseError(p->db);
 -
 -    /* Run the SQL statement prepared by the above block. Store the results
 -    ** as an array of nul-terminated strings in azResult[].  */
 -    nRow = nAlloc = 0;
 -    azResult = 0;
 -    if( nArg>1 ){
 -      sqlite3_bind_text(pStmt, 1, azArg[1], -1, SQLITE_TRANSIENT);
      }else{
 -      sqlite3_bind_text(pStmt, 1, "%", -1, SQLITE_STATIC);
 +      sqlite3_finalize(pMMI->cursor.stmt);
 +      pMMI->cursor.stmt = 0;
      }
 -    while( sqlite3_step(pStmt)==SQLITE_ROW ){
 -      if( nRow>=nAlloc ){
 -        char **azNew;
 -        int n2 = nAlloc*2 + 10;
 -        azNew = sqlite3_realloc64(azResult, sizeof(azResult[0])*n2);
 -        shell_check_oom(azNew);
 -        nAlloc = n2;
 -        azResult = azNew;
 -      }
 -      azResult[nRow] = sqlite3_mprintf("%s", sqlite3_column_text(pStmt, 0));
 -      shell_check_oom(azResult[nRow]);
 -      nRow++;
 -    }
 -    if( sqlite3_finalize(pStmt)!=SQLITE_OK ){
 -      rc = shellDatabaseError(p->db);
 -    }
 -
 -    /* Pretty-print the contents of array azResult[] to the output */
 -    if( rc==0 && nRow>0 ){
 -      int len, maxlen = 0;
 -      int i, j;
 -      int nPrintCol, nPrintRow;
 -      for(i=0; i<nRow; i++){
 -        len = strlen30(azResult[i]);
 -        if( len>maxlen ) maxlen = len;
 -      }
 -      nPrintCol = 80/(maxlen+2);
 -      if( nPrintCol<1 ) nPrintCol = 1;
 -      nPrintRow = (nRow + nPrintCol - 1)/nPrintCol;
 -      for(i=0; i<nPrintRow; i++){
 -        for(j=i; j<nRow; j+=nPrintRow){
 -          char *zSp = j<nPrintRow ? "" : "  ";
 -          utf8_printf(p->out, "%s%-*s", zSp, maxlen,
 -                      azResult[j] ? azResult[j]:"");
 -        }
 -        raw_printf(p->out, "\n");
 +  }else
 +#endif
 +  {
 +    struct CommandInfo *pCI = (struct CommandInfo *)(pMMI->cursor.pDotCmd);
 +    assert(pCI>=command_table && pCI<=command_table+numCommands);
 +    while( pCI<command_table+numCommands ){
 +      if( sqlite3_strglob(pMMI->zPattern, pCI->cmdName)==0 ){
-       rv = pMMI->cursor.pDotCmd;
++        rv = pMMI->cursor.pDotCmd;
        }
 +      pMMI->cursor.pDotCmd = (DotCommand *)(++pCI);
 +      if( rv!=0 ) break;
      }
 +  }
 +  return rv;
 +}
  
 -    for(ii=0; ii<nRow; ii++) sqlite3_free(azResult[ii]);
 -    sqlite3_free(azResult);
 +/*****************
 +** DotCommand lookup
 +**
 +** For the non-extended or non-extensible shell, this function does
 +** a binary search of the fixed list of dot-command info structs.
 +** For an extended shell, it queries the shell's DB. Either way,
 +** this function returns a DotCommand pointer if one can be found
 +** with an adequate match for the given name. Here, "adequate" may
 +** vary according to whether shell extensions have been loaded. If
 +** not, the match must be for as many characters as set within the
 +** above CommandInfo array (set via DISPATCHABLE_COMMAND macro call.)
 +** If shell extensions are loaded, the match must be long enough to
 +** result in a unique lookup.
 +*/
 +DotCommand *findDotCommand(const char *cmdName, ShellExState *psx,
 +                             /* out */ int *pnFound){
 +  if( pnFound ) *pnFound = 0;
 +#if SHELL_DYNAMIC_EXTENSION
 +  if( ISS(psx)->bDbDispatch ){
 +    int rc;
 +    int extIx = -1, cmdIx = -1, nf = 0;
 +    sqlite3_stmt *pStmt = 0;
 +    const char *zSql = "SELECT COUNT(*), extIx, cmdIx"
 +      " FROM "SHELL_DISP_VIEW" WHERE name glob (?||'*')";
 +    rc = sqlite3_prepare_v2(psx->dbShell, zSql, -1, &pStmt, 0);
 +    sqlite3_bind_text(pStmt, 1, cmdName, -1, 0);
 +    rc = sqlite3_step(pStmt);
 +    nf = sqlite3_column_int(pStmt, 0);
 +    extIx = sqlite3_column_int(pStmt, 1);
 +    cmdIx = sqlite3_column_int(pStmt, 2);
 +    sqlite3_finalize(pStmt);
 +    if( rc!= SQLITE_ROW ) return 0;
 +    if( pnFound ) *pnFound = nf;
 +    if( nf!=1 ) return 0; /* Future: indicate collisions if > 1 */
 +    return (cmdIx<0)? 0 : command_by_index(ISS(psx), extIx, cmdIx);
    }else
 -
 -#ifndef SQLITE_SHELL_FIDDLE
 -  /* Begin redirecting output to the file "testcase-out.txt" */
 -  if( c=='t' && cli_strcmp(azArg[0],"testcase")==0 ){
 -    output_reset(p);
 -    p->out = output_file_open("testcase-out.txt", 0);
 -    if( p->out==0 ){
 -      raw_printf(stderr, "Error: cannot open 'testcase-out.txt'\n");
 -    }
 -    if( nArg>=2 ){
 -      sqlite3_snprintf(sizeof(p->zTestcase), p->zTestcase, "%s", azArg[1]);
 -    }else{
 -      sqlite3_snprintf(sizeof(p->zTestcase), p->zTestcase, "?");
 +#endif
 +  {
 +    int cmdLen = strlen30(cmdName);
 +    struct CommandInfo *pci = 0;
 +    int ixb = 0, ixe = numCommands-1;
 +    while( ixb <= ixe ){
 +      int ixm = (ixb+ixe)/2;
 +      int md = cli_strncmp(cmdName, command_table[ixm].cmdName, cmdLen);
 +      if( md>0 ){
 +        ixb = ixm+1;
 +      }else if( md<0 ){
 +        ixe = ixm-1;
 +      }else{
 +        /* Have a match, see whether it's ambiguous. */
 +        if( command_table[ixm].minLen > cmdLen ){
 +          if( (ixm>0
 +               && !cli_strncmp(cmdName, command_table[ixm-1].cmdName, cmdLen))
 +              ||
 +              (ixm<ixe
 +               && !cli_strncmp(cmdName, command_table[ixm+1].cmdName, cmdLen))){
 +            /* Yes, a neighbor matches too. */
 +            if( pnFound ) *pnFound = 2; /* could be more, but >1 suffices */
 +            return 0;
 +          }
 +        }
 +        pci = &command_table[ixm];
 +        if( pnFound ) *pnFound = 1;
 +        break;
 +      }
      }
 -  }else
 -#endif /* !defined(SQLITE_SHELL_FIDDLE) */
 +    if( pnFound && pci ) *pnFound = 1;
 +    return (DotCommand *)pci;
 +  }
 +}
  
 -#ifndef SQLITE_UNTESTABLE
 -  if( c=='t' && n>=8 && cli_strncmp(azArg[0], "testctrl", n)==0 ){
 -    static const struct {
 -       const char *zCtrlName;   /* Name of a test-control option */
 -       int ctrlCode;            /* Integer code for that option */
 -       int unSafe;              /* Not valid for --safe mode */
 -       const char *zUsage;      /* Usage notes */
 -    } aCtrl[] = {
 -    {"always",             SQLITE_TESTCTRL_ALWAYS, 1,     "BOOLEAN"         },
 -    {"assert",             SQLITE_TESTCTRL_ASSERT, 1,     "BOOLEAN"         },
 -  /*{"benign_malloc_hooks",SQLITE_TESTCTRL_BENIGN_MALLOC_HOOKS,1, ""        },*/
 -  /*{"bitvec_test",        SQLITE_TESTCTRL_BITVEC_TEST, 1,  ""              },*/
 -    {"byteorder",          SQLITE_TESTCTRL_BYTEORDER, 0,  ""                },
 -    {"extra_schema_checks",SQLITE_TESTCTRL_EXTRA_SCHEMA_CHECKS,0,"BOOLEAN"  },
 -  /*{"fault_install",      SQLITE_TESTCTRL_FAULT_INSTALL, 1,""              },*/
 -    {"imposter",         SQLITE_TESTCTRL_IMPOSTER,1,"SCHEMA ON/OFF ROOTPAGE"},
 -    {"internal_functions", SQLITE_TESTCTRL_INTERNAL_FUNCTIONS,0,""          },
 -    {"localtime_fault",    SQLITE_TESTCTRL_LOCALTIME_FAULT,0,"BOOLEAN"      },
 -    {"never_corrupt",      SQLITE_TESTCTRL_NEVER_CORRUPT,1, "BOOLEAN"       },
 -    {"optimizations",      SQLITE_TESTCTRL_OPTIMIZATIONS,0,"DISABLE-MASK"   },
 -#ifdef YYCOVERAGE
 -    {"parser_coverage",    SQLITE_TESTCTRL_PARSER_COVERAGE,0,""             },
 +/*
 +** Given a DotCommand, desired help level,
 +** ( possibly retreived ad-hoc help text for extensible shell, )
 +** and an optional all-text search pattern, then
 +**   when level==0 and primary help available, output it
 +**   when level==1 and primary or secondary help available, output it
 +**   when level==2 and any help text matches pattern, output it
 +**   when level>2 or no pattern: output all help text
 +** If cLead==0, anything meeting above criteria is output. Otherwise, output
 +** is restricted to those commands whose primary help begins with cLead.
 +** Return 1 if anything output, else 0.
 +*/
 +static int putSelectedCmdHelp(DotCommand *pmc, int iLevel, char cLead,
 +#if SHELL_DYNAMIC_EXTENSION
 +                              const char *zHelpText,
  #endif
 -    {"pending_byte",       SQLITE_TESTCTRL_PENDING_BYTE,0, "OFFSET  "       },
 -    {"prng_restore",       SQLITE_TESTCTRL_PRNG_RESTORE,0, ""               },
 -    {"prng_save",          SQLITE_TESTCTRL_PRNG_SAVE,   0, ""               },
 -    {"prng_seed",          SQLITE_TESTCTRL_PRNG_SEED,   0, "SEED ?db?"      },
 -    {"seek_count",         SQLITE_TESTCTRL_SEEK_COUNT,  0, ""               },
 -    {"sorter_mmap",        SQLITE_TESTCTRL_SORTER_MMAP, 0, "NMAX"           },
 -    {"tune",               SQLITE_TESTCTRL_TUNE,        1, "ID VALUE"       },
 -    };
 -    int testctrl = -1;
 -    int iCtrl = -1;
 -    int rc2 = 0;    /* 0: usage.  1: %d  2: %x  3: no-output */
 -    int isOk = 0;
 -    int i, n2;
 -    const char *zCmd = 0;
 -
 -    if( !ShellHasFlag(p,SHFLG_TestingMode) ){
 -      utf8_printf(stderr, ".%s unavailable without --unsafe-testing\n",
 -                  "testctrl");
 +                              FILE *out, const char *zSearch){
 +  int rc = 0;
 +  assert(pmc!=0);
 +#if SHELL_DYNAMIC_EXTENSION
 +  if( zHelpText ){
 +    const char *zHT = zHelpText+1; /* skip over classifier */
 +    if( cLead && *zHelpText!= cLead ) return 0;
 +    if( *zHelpText==0 ) return 0;
 +    const char *zLE = zHT;
 +    switch( iLevel ){
 +    case 0:
 +      while( *zLE && *zLE++!='\n' ) {}
 +      utf8_printf(out,".%.*s", (int)(zLE-zHT), zHT);
        rc = 1;
 -      goto meta_command_exit;
 -    }
 -    open_db(p, 0);
 -    zCmd = nArg>=2 ? azArg[1] : "help";
 -
 -    /* The argument can optionally begin with "-" or "--" */
 -    if( zCmd[0]=='-' && zCmd[1] ){
 -      zCmd++;
 -      if( zCmd[0]=='-' && zCmd[1] ) zCmd++;
 -    }
 -
 -    /* --help lists all test-controls */
 -    if( cli_strcmp(zCmd,"help")==0 ){
 -      utf8_printf(p->out, "Available test-controls:\n");
 -      for(i=0; i<ArraySize(aCtrl); i++){
 -        utf8_printf(p->out, "  .testctrl %s %s\n",
 -                    aCtrl[i].zCtrlName, aCtrl[i].zUsage);
 +      break;
 +    case 2:
 +      if( zSearch ){
 +        if( !sqlite3_strlike(zSearch, zHT, 0) ) break;
        }
 +      deliberate_fall_through;
 +    case 1:
 +    default:
 +      utf8_printf(out,".%s", zHT);
        rc = 1;
 -      goto meta_command_exit;
      }
 -
 -    /* convert testctrl text option to value. allow any unique prefix
 -    ** of the option name, or a numerical value. */
 -    n2 = strlen30(zCmd);
 -    for(i=0; i<ArraySize(aCtrl); i++){
 -      if( cli_strncmp(zCmd, aCtrl[i].zCtrlName, n2)==0 ){
 -        if( testctrl<0 ){
 -          testctrl = aCtrl[i].ctrlCode;
 -          iCtrl = i;
 -        }else{
 -          utf8_printf(stderr, "Error: ambiguous test-control: \"%s\"\n"
 -                              "Use \".testctrl --help\" for help\n", zCmd);
 -          rc = 1;
 -          goto meta_command_exit;
 -        }
 +  }else
 +#endif
 +  {
 +    const char *zHTp = pmc->pMethods->help(pmc, 0);
 +    const char *zHTs = pmc->pMethods->help(pmc, "");
 +    if( !zHTp && !zHTs ) return 0;
 +    if( cLead && zHTp && *zHTp!= cLead ) return 0;
 +    switch( iLevel ){
 +    case 0:
 +    case 1:
 +      if( zHTp ){
 +        utf8_printf(out, HELP_TEXT_FMTP, zHTp+1);
 +        rc = 1;
 +      }
 +      if( iLevel>0 && zHTs ){
 +        utf8_printf(out, HELP_TEXT_FMTS, zHTs);
 +        rc = 1;
 +      }
 +      break;
 +    case 2:
 +      if( zSearch ){
 +        int m = 0;
 +        if( zHTp && !sqlite3_strlike(zSearch, zHTp, 0) ) ++m;
 +        if( zHTs && !sqlite3_strlike(zSearch, zHTs, 0) ) ++m;
 +        if( m==0 ) break;
        }
 +      deliberate_fall_through;
 +    default:
 +      if( zHTp ) utf8_printf(out, HELP_TEXT_FMTP, zHTp+1);
 +      if( zHTs ) utf8_printf(out, HELP_TEXT_FMTS, zHTs);
 +      rc = 1;
      }
 -    if( testctrl<0 ){
 -      utf8_printf(stderr,"Error: unknown test-control: %s\n"
 -                         "Use \".testctrl --help\" for help\n", zCmd);
 -    }else if( aCtrl[iCtrl].unSafe && p->bSafeMode ){
 -      utf8_printf(stderr,
 -         "line %d: \".testctrl %s\" may not be used in safe mode\n",
 -         p->lineno, aCtrl[iCtrl].zCtrlName);
 -      exit(1);
 -    }else{
 -      switch(testctrl){
 -
 -        /* sqlite3_test_control(int, db, int) */
 -        case SQLITE_TESTCTRL_OPTIMIZATIONS:
 -          if( nArg==3 ){
 -            unsigned int opt = (unsigned int)strtol(azArg[2], 0, 0);
 -            rc2 = sqlite3_test_control(testctrl, p->db, opt);
 -            isOk = 3;
 -          }
 -          break;
 -
 -        /* sqlite3_test_control(int) */
 -        case SQLITE_TESTCTRL_PRNG_SAVE:
 -        case SQLITE_TESTCTRL_PRNG_RESTORE:
 -        case SQLITE_TESTCTRL_BYTEORDER:
 -          if( nArg==2 ){
 -            rc2 = sqlite3_test_control(testctrl);
 -            isOk = testctrl==SQLITE_TESTCTRL_BYTEORDER ? 1 : 3;
 -          }
 -          break;
 -
 -        /* sqlite3_test_control(int, uint) */
 -        case SQLITE_TESTCTRL_PENDING_BYTE:
 -          if( nArg==3 ){
 -            unsigned int opt = (unsigned int)integerValue(azArg[2]);
 -            rc2 = sqlite3_test_control(testctrl, opt);
 -            isOk = 3;
 -          }
 -          break;
 -
 -        /* sqlite3_test_control(int, int, sqlite3*) */
 -        case SQLITE_TESTCTRL_PRNG_SEED:
 -          if( nArg==3 || nArg==4 ){
 -            int ii = (int)integerValue(azArg[2]);
 -            sqlite3 *db;
 -            if( ii==0 && cli_strcmp(azArg[2],"random")==0 ){
 -              sqlite3_randomness(sizeof(ii),&ii);
 -              printf("-- random seed: %d\n", ii);
 -            }
 -            if( nArg==3 ){
 -              db = 0;
 -            }else{
 -              db = p->db;
 -              /* Make sure the schema has been loaded */
 -              sqlite3_table_column_metadata(db, 0, "x", 0, 0, 0, 0, 0, 0);
 -            }
 -            rc2 = sqlite3_test_control(testctrl, ii, db);
 -            isOk = 3;
 -          }
 -          break;
 -
 -        /* sqlite3_test_control(int, int) */
 -        case SQLITE_TESTCTRL_ASSERT:
 -        case SQLITE_TESTCTRL_ALWAYS:
 -          if( nArg==3 ){
 -            int opt = booleanValue(azArg[2]);
 -            rc2 = sqlite3_test_control(testctrl, opt);
 -            isOk = 1;
 -          }
 -          break;
 +  }
 +  return rc;
 +}
  
 -        /* sqlite3_test_control(int, int) */
 -        case SQLITE_TESTCTRL_LOCALTIME_FAULT:
 -        case SQLITE_TESTCTRL_NEVER_CORRUPT:
 -          if( nArg==3 ){
 -            int opt = booleanValue(azArg[2]);
 -            rc2 = sqlite3_test_control(testctrl, opt);
 -            isOk = 3;
 -          }
 -          break;
 +/*
 +** Output primary (single-line) help for a known command.
 +*/
 +static void showPrimaryHelp(FILE *out, const char *zCmd, ShellExState *psx){
 +  CmdMatchIter cmi = {0};
 +  int nm = findMatchingDotCmds(zCmd, &cmi, psx);
 +  DotCommand *pdc = nextMatchingDotCmd(&cmi);
 +  if( pdc!=0 ){
 +    putSelectedCmdHelp(pdc, 0, 0,
 +#if SHELL_DYNAMIC_EXTENSION
 +                       cmi.zAdhocHelpText,
 +#endif
 +                       out, 0);
 +  }
 +  freeCmdMatchIter(&cmi);
 +}
  
 -        /* sqlite3_test_control(sqlite3*) */
 -        case SQLITE_TESTCTRL_INTERNAL_FUNCTIONS:
 -          rc2 = sqlite3_test_control(testctrl, p->db);
 -          isOk = 3;
 -          break;
 +/*
 +** Output various subsets of help text. These 6 are defined:
 +** 1. HO_AllP  For all commands, primary help text only.
 +** 2. HO_AllX  For all commands, complete help text.
 +** 3. HO_LikeP For multiple commands matching pattern, primary help text only.
 +** 4. HO_OneX  For a single matched command, complete help text.
 +** 5. HO_LikeT For commands whose help contains a pattern, complete help text.
 +** 6. HO_Undoc For all internal "undocumented" (without normal help) commands.
 +** These variations are indicated thusly:
 +** 1. zPattern is NULL
 +** 2. zPattern is ""
 +** 3. zPattern is a prefix matching more than one command
 +** 4. zPattern is a word or prefix matching just one command
 +** 5. zPattern is neither case 3 or 4 but is found in complete help text
 +** 6. zPattern is exactly the pointer known locally as zHelpAll.
 +**
 +** Return the number of matches.
 +*/
 +static int showHelp(FILE *out, const char *zPattern, ShellExState *psx){
 +  u8 bNullPattern = zPattern==0;
 +  u8 bShowUndoc = zPattern==zHelpAll;
 +  u8 bEmptyPattern = !bNullPattern && (*zPattern==0 || bShowUndoc);
 +  int npm = 0; /* track how many matches found */
 +  CmdMatchIter cmi = {0};
 +  DotCommand *pdc;
 +  char *zPat = 0;
 +  char cLead = (bShowUndoc)? ',' : '.';
 +  int iLevel = 0;
 +  enum {
 +    HO_Tbd, HO_AllP, HO_AllX, HO_LikeP, HO_OneX, HO_LikeT, HO_Undoc
 +  } hoKind = bShowUndoc? HO_Undoc : HO_Tbd;
 +
 +  if( hoKind==HO_Undoc ){
 +    unsigned ixct = 0;
 +    utf8_printf(out, "%s\n%s\n",
 +      "The following commands are for SQLite diagnosis and internal testing.",
 +      "They are undocumented and subject to change without notice.");
 +    /* Bypass command lookup/resolution. This is just for internal commands. */
 +    while( ixct<numCommands ){
 +      struct CommandInfo *pci = &command_table[ixct];
 +      const char *zH = pci->azHelp[0];
 +      if( zH && *zH==cLead ){
 +        utf8_printf(out, HELP_TEXT_FMTP, zH+1);
 +        zH = pci->azHelp[1];
 +        if( zH ) utf8_printf(out, HELP_TEXT_FMTS, zH);
 +        ++npm;
 +      }
 +      ++ixct;
 +    }
 +    return npm;
 +  }
 +  npm = findMatchingDotCmds(zPattern, &cmi, psx);
 +  if( bNullPattern ) hoKind = HO_AllP;
 +  else if( bEmptyPattern ) hoKind = HO_AllX;
 +  else if( npm>1 ) hoKind = HO_LikeP;
 +  else if( npm==1 ) hoKind = HO_OneX;
 +  else{
 +    hoKind = HO_LikeT;
 +    zPat = smprintf("%%%s%%", zPattern);
 +    shell_check_oom(zPat);
 +  }
 +  zPattern = 0;
 +  iLevel = 1;
 +  switch( hoKind ){
 +  case HO_AllP: case HO_LikeP:
 +    iLevel = 0;
 +    break;
 +  case HO_AllX:
 +    break;
 +  case HO_OneX:
 +    cLead = 0;
 +    break;
 +  case HO_LikeT:
 +    zPattern = zPat;
 +    break;
 +  default: return 0;
 +  }
 +  npm = 0;
 +  while( 0 != (pdc = nextMatchingDotCmd(&cmi)) ){
 +    npm += putSelectedCmdHelp(pdc, iLevel, cLead,
 +#if SHELL_DYNAMIC_EXTENSION
 +                              cmi.zAdhocHelpText,
 +#endif
 +                              out, zPattern);
 +  }
 +  freeCmdMatchIter(&cmi);
 +  sqlite3_free(zPat);
 +  return npm;
 +}
  
 -        case SQLITE_TESTCTRL_IMPOSTER:
 -          if( nArg==5 ){
 -            rc2 = sqlite3_test_control(testctrl, p->db,
 -                          azArg[2],
 -                          integerValue(azArg[3]),
 -                          integerValue(azArg[4]));
 -            isOk = 3;
 -          }
 -          break;
 +/* Perform preparation needed prior to actually running any dot command. */
 +static void command_prep(ShellInState *psi){
 +  clearTempFile(psi);
 +#ifndef SQLITE_OMIT_VIRTUALTABLE
 +  if( psi->expert.pExpert ){
 +    expertFinish(psi, 1, 0);
 +  }
 +#endif
 +}
  
 -        case SQLITE_TESTCTRL_SEEK_COUNT: {
 -          u64 x = 0;
 -          rc2 = sqlite3_test_control(testctrl, p->db, &x);
 -          utf8_printf(p->out, "%llu\n", x);
 -          isOk = 3;
 -          break;
 -        }
 +/* Perform post-execution actions needed after running any dot command. */
 +static void command_post(ShellInState *psi){
 +  if( psi->outCount ){
 +    psi->outCount--;
 +    if( psi->outCount==0 ) output_reset(psi);
 +  }
 +  updateSafeMode(psi);
 +}
  
 -#ifdef YYCOVERAGE
 -        case SQLITE_TESTCTRL_PARSER_COVERAGE: {
 -          if( nArg==2 ){
 -            sqlite3_test_control(testctrl, p->out);
 -            isOk = 3;
 -          }
 -          break;
 -        }
 -#endif
 -#ifdef SQLITE_DEBUG
 -        case SQLITE_TESTCTRL_TUNE: {
 -          if( nArg==4 ){
 -            int id = (int)integerValue(azArg[2]);
 -            int val = (int)integerValue(azArg[3]);
 -            sqlite3_test_control(testctrl, id, &val);
 -            isOk = 3;
 -          }else if( nArg==3 ){
 -            int id = (int)integerValue(azArg[2]);
 -            sqlite3_test_control(testctrl, -id, &rc2);
 -            isOk = 1;
 -          }else if( nArg==2 ){
 -            int id = 1;
 -            while(1){
 -              int val = 0;
 -              rc2 = sqlite3_test_control(testctrl, -id, &val);
 -              if( rc2!=SQLITE_OK ) break;
 -              if( id>1 ) utf8_printf(p->out, "  ");
 -              utf8_printf(p->out, "%d: %d", id, val);
 -              id++;
 -            }
 -            if( id>1 ) utf8_printf(p->out, "\n");
 -            isOk = 3;
 -          }
 -          break;
 -        }
 -#endif
 -        case SQLITE_TESTCTRL_SORTER_MMAP:
 -          if( nArg==3 ){
 -            int opt = (unsigned int)integerValue(azArg[2]);
 -            rc2 = sqlite3_test_control(testctrl, p->db, opt);
 -            isOk = 3;
 -          }
 -          break;
 +/* Issue errors per returned DotCmdRC and error message, handle certain
 + * exceptional returns, and translate return to the sanitized first 8.
 + */
 +static DotCmdRC dot_command_errors(char *zErr, char *azArg[], int nArg,
 +                                    DotCmdRC dcr, ShellExState *psx){
 +  if( psx->shellAbruptExit!=0 ){
 +    if( psx->shellAbruptExit>0x1ff ) dcr = DCR_AbortError;
 +    else dcr = DCR_Exit | (dcr & DCR_Error);
 +  }
 +  if( dcr==DCR_CmdErred ){
 +    /* Error message(s) already emitted. Just translate to execute error. */
 +    dcr = DCR_Error;
 +  }else if( dcr==DCR_SayUsage ){
 +    if( zErr ){
 +      utf8_printf(STD_ERR, "%s", zErr);
 +    }else{
 +      utf8_printf(STD_ERR, "Usage:\n");
 +      showPrimaryHelp(STD_ERR, azArg[0], psx);
 +    }
 +    dcr = DCR_Error;
 +  }else if( dcr > DCR_AbortError ){
 +    /* Handle invocation errors. */
 +    int ia = dcr & DCR_ArgIxMask;
 +    const char *pArg1st = (ia>=nArg)? "" : azArg[ia];
 +    const char *pArg2nd = 0;
 +    int ec = dcr & ~DCR_ArgIxMask;
 +    int unknownCmd = 0;
 +    const char *z = 0;
 +    switch( ec ){
 +    case DCR_Unknown:
 +      unknownCmd = ia==0;
 +      if( unknownCmd ) z = "unknown dot command: \".%s\"";
 +      else{
 +        z = "On .%s, unknown option or subcommand: \"%s\"";
 +        pArg2nd = pArg1st;
 +        pArg1st = azArg[0];
        }
 +      break;
 +    case DCR_Ambiguous:
 +      if( ia>0 ){
 +        z = "For .%s, \"%s\" is ambiguous; it matches more than one subcommand";
 +        pArg2nd = pArg1st;
 +        pArg1st = azArg[0];
 +      }else z = "\"%s\" is ambiguous; it matches multiple dot commands";
 +      break;
 +    case DCR_Unpaired:
 +      z = "With .%s, option %s must be paired with a value argument";
 +      pArg2nd = pArg1st;
 +      pArg1st = azArg[0];
 +      break;
 +    case DCR_TooMany:
 +      z = "Excess arguments provided; try .help %s";
 +      pArg1st = azArg[0];
 +      break;
 +    case DCR_TooFew:
 +      z = "Insufficient arguments; try .help %s";
 +      pArg1st = azArg[0];
 +      break;
 +    case DCR_Missing:
 +      z = "Required arguments missing; try .help %s";
 +      pArg1st = azArg[0];
 +      break;
 +    case DCR_ArgWrong:
 +      z = "Argument(s) incorrect; try .help %s";
 +      pArg1st = azArg[0];
 +      break;
 +    default:
 +      z = "? Bizarre return from %s";
 +      break;
      }
 -    if( isOk==0 && iCtrl>=0 ){
 -      utf8_printf(p->out, "Usage: .testctrl %s %s\n", zCmd,aCtrl[iCtrl].zUsage);
 -      rc = 1;
 -    }else if( isOk==1 ){
 -      raw_printf(p->out, "%d\n", rc2);
 -    }else if( isOk==2 ){
 -      raw_printf(p->out, "0x%08x\n", rc2);
 -    }
 -  }else
 -#endif /* !defined(SQLITE_UNTESTABLE) */
 -
 -  if( c=='t' && n>4 && cli_strncmp(azArg[0], "timeout", n)==0 ){
 -    open_db(p, 0);
 -    sqlite3_busy_timeout(p->db, nArg>=2 ? (int)integerValue(azArg[1]) : 0);
 -  }else
 -
 -  if( c=='t' && n>=5 && cli_strncmp(azArg[0], "timer", n)==0 ){
 -    if( nArg==2 ){
 -      enableTimer = booleanValue(azArg[1]);
 -      if( enableTimer && !HAS_TIMER ){
 -        raw_printf(stderr, "Error: timer not available on this system.\n");
 -        enableTimer = 0;
 +    if( !zErr ){
 +      if( z!=0 ){
 +        char *ze = smprintf("Error: %z\n", smprintf(z, pArg1st, pArg2nd));
 +        utf8_printf(STD_ERR, "%s", ze);
 +        sqlite3_free(ze);
        }
      }else{
 -      raw_printf(stderr, "Usage: .timer on|off\n");
 -      rc = 1;
 +      const char *fmt
 +        = (sqlite3_strnicmp(zErr, "Error", 5)==0)? "%s" : "Error: %s";
 +      utf8_printf(STD_ERR, fmt, zErr);
      }
 -  }else
 -
 -#ifndef SQLITE_OMIT_TRACE
 -  if( c=='t' && cli_strncmp(azArg[0], "trace", n)==0 ){
 -    int mType = 0;
 -    int jj;
 -    open_db(p, 0);
 -    for(jj=1; jj<nArg; jj++){
 -      const char *z = azArg[jj];
 -      if( z[0]=='-' ){
 -        if( optionMatch(z, "expanded") ){
 -          p->eTraceType = SHELL_TRACE_EXPANDED;
 -        }
 -#ifdef SQLITE_ENABLE_NORMALIZE
 -        else if( optionMatch(z, "normalized") ){
 -          p->eTraceType = SHELL_TRACE_NORMALIZED;
 -        }
 -#endif
 -        else if( optionMatch(z, "plain") ){
 -          p->eTraceType = SHELL_TRACE_PLAIN;
 -        }
 -        else if( optionMatch(z, "profile") ){
 -          mType |= SQLITE_TRACE_PROFILE;
 -        }
 -        else if( optionMatch(z, "row") ){
 -          mType |= SQLITE_TRACE_ROW;
 -        }
 -        else if( optionMatch(z, "stmt") ){
 -          mType |= SQLITE_TRACE_STMT;
 -        }
 -        else if( optionMatch(z, "close") ){
 -          mType |= SQLITE_TRACE_CLOSE;
 -        }
 -        else {
 -          raw_printf(stderr, "Unknown option \"%s\" on \".trace\"\n", z);
 -          rc = 1;
 -          goto meta_command_exit;
 -        }
 +    if( INSOURCE_IS_INTERACTIVE(ISS(psx)->pInSource) ){
 +      if( unknownCmd ){
 +        utf8_printf(STD_ERR, "Enter \".help\" for a list of commands.\n");
        }else{
 -        output_file_close(p->traceOut);
 -        p->traceOut = output_file_open(z, 0);
 +        utf8_printf(STD_ERR, "Usage:\n");
 +        showPrimaryHelp(STD_ERR, azArg[0], psx);
        }
      }
 -    if( p->traceOut==0 ){
 -      sqlite3_trace_v2(p->db, 0, 0, 0);
 +    /* If the shell DB becomes messed up, at least .quit will be doable. */
 +    if( unknownCmd && psx->dbShell!=0
 +        && sqlite3_strnicmp(azArg[0],"quit",strlen30(azArg[0]))==0 ){
 +      dcr = DCR_Return;
      }else{
 -      if( mType==0 ) mType = SQLITE_TRACE_STMT;
 -      sqlite3_trace_v2(p->db, mType, sql_trace_callback, p);
 -    }
 -  }else
 -#endif /* !defined(SQLITE_OMIT_TRACE) */
 -
 -#if defined(SQLITE_DEBUG) && !defined(SQLITE_OMIT_VIRTUALTABLE)
 -  if( c=='u' && cli_strncmp(azArg[0], "unmodule", n)==0 ){
 -    int ii;
 -    int lenOpt;
 -    char *zOpt;
 -    if( nArg<2 ){
 -      raw_printf(stderr, "Usage: .unmodule [--allexcept] NAME ...\n");
 -      rc = 1;
 -      goto meta_command_exit;
 +      dcr = DCR_Error;
      }
 -    open_db(p, 0);
 -    zOpt = azArg[1];
 -    if( zOpt[0]=='-' && zOpt[1]=='-' && zOpt[2]!=0 ) zOpt++;
 -    lenOpt = (int)strlen(zOpt);
 -    if( lenOpt>=3 && cli_strncmp(zOpt, "-allexcept",lenOpt)==0 ){
 -      assert( azArg[nArg]==0 );
 -      sqlite3_drop_modules(p->db, nArg>2 ? (const char**)(azArg+2) : 0);
 +  }else{
 +    /* Handle execution errors. */
 +    if( dcr==DCR_AbortError ){
 +      if( zErr ){
 +        utf8_printf(STD_ERR, "Error: \".%s\" may not %s in -safe mode\n",
 +                    azArg[0], zErr);
 +      }else {
 +        utf8_printf(STD_ERR, "Error: \".%s\" forbidden in -safe mode\n",
 +                    azArg[0]);
 +      }
 +      psx->shellAbruptExit = 0x203;
      }else{
 -      for(ii=1; ii<nArg; ii++){
 -        sqlite3_create_module(p->db, azArg[ii], 0, 0);
 +      int error = dcr & DCR_Error;
 +      int action = dcr & ~DCR_Error;
 +      if( error ){
 +        if( zErr ){
 +          const char *fmt
 +            = (sqlite3_strnicmp(zErr, "Error", 5)==0)? "%s" : "Error: %s";
 +          utf8_printf(STD_ERR, fmt, zErr);
 +        }
 +        else utf8_printf(STD_ERR, "Error: .%s failed\n", azArg[0]);
        }
      }
 -  }else
 +  }
 +  return dcr;
 +}
 +
 +/* Argument-check and execute a found DotCommand, wrapping execution
 + * with command_{prep,post}(...), and issue errors as made evident.
 + * Return one of the "Post-execute action and success/error status"
 + * codes from the DotCmdRC enum.
 + *
 + * Note that this function is exposed for shell extensions to use.
 + *
 + * This should be called for "top-level" dot command execution only.
 + * Should an extension wrap or use a DotCommand object to effect its
 + * own functionality, that object's execute() method should be called
 + * directly, without going through this function.
 + */
 +static DotCmdRC runDotCommand(DotCommand *pmc, char *azArg[], int nArg,
 +                               ShellExState *psx){
 +  char *zErr = 0;
 +  DotCmdRC dcr = pmc->pMethods->argsCheck(pmc, &zErr, nArg, azArg);
 +
 +  command_prep(ISS(psx));
 +  if( dcr==DCR_Ok ){
 +    dcr = pmc->pMethods->execute(pmc, psx, &zErr, nArg, azArg);
 +  }
 +  if( dcr!=DCR_Ok ){
 +    dcr = dot_command_errors(zErr, azArg, nArg, dcr, psx);
 +  }
 +  sqlite3_free(zErr);
 +  command_post(ISS(psx));
 +  return dcr;
 +}
 +
 +/*
 +** If an input line or line group begins with "." then invoke this routine
 +** to process that line.
 +**
 +** Returns sanitized DotCmdRC values, with invocation error codes
 +** translated to DCR_Error, so that only these 8 returns are possible:
 +** DCR_Ok, DCR_Return, DCR_Exit or DCR_Abort possibly or'ed with DCR_Error.
 +**
 +** Any applicable error messages are issued along with output messages.
 +*/
 +static DotCmdRC do_dot_command(char *zLine, ShellExState *psx){
 +  int h = 1; /* Passing over leading '.' */
 +  int nArg = 0;
 +  char *azArg[52];
 +  DotCmdRC dcr = DCR_Ok;
 +#if SHELL_VARIABLE_EXPANSION
 +  int ncLineIn = strlen30(zLine);
 +  u8 bExpVars = SHEXT_VAREXP(ISS(psx));
  #endif
  
 -#if SQLITE_USER_AUTHENTICATION
 -  if( c=='u' && cli_strncmp(azArg[0], "user", n)==0 ){
 -    if( nArg<2 ){
 -      raw_printf(stderr, "Usage: .user SUBCOMMAND ...\n");
 -      rc = 1;
 -      goto meta_command_exit;
 -    }
 -    open_db(p, 0);
 -    if( cli_strcmp(azArg[1],"login")==0 ){
 -      if( nArg!=4 ){
 -        raw_printf(stderr, "Usage: .user login USER PASSWORD\n");
 -        rc = 1;
 -        goto meta_command_exit;
 -      }
 -      rc = sqlite3_user_authenticate(p->db, azArg[2], azArg[3],
 -                                     strlen30(azArg[3]));
 -      if( rc ){
 -        utf8_printf(stderr, "Authentication failed for user %s\n", azArg[2]);
 -        rc = 1;
 -      }
 -    }else if( cli_strcmp(azArg[1],"add")==0 ){
 -      if( nArg!=5 ){
 -        raw_printf(stderr, "Usage: .user add USER PASSWORD ISADMIN\n");
 -        rc = 1;
 -        goto meta_command_exit;
 -      }
 -      rc = sqlite3_user_add(p->db, azArg[2], azArg[3], strlen30(azArg[3]),
 -                            booleanValue(azArg[4]));
 -      if( rc ){
 -        raw_printf(stderr, "User-Add failed: %d\n", rc);
 -        rc = 1;
 -      }
 -    }else if( cli_strcmp(azArg[1],"edit")==0 ){
 -      if( nArg!=5 ){
 -        raw_printf(stderr, "Usage: .user edit USER PASSWORD ISADMIN\n");
 -        rc = 1;
 -        goto meta_command_exit;
 -      }
 -      rc = sqlite3_user_change(p->db, azArg[2], azArg[3], strlen30(azArg[3]),
 -                              booleanValue(azArg[4]));
 -      if( rc ){
 -        raw_printf(stderr, "User-Edit failed: %d\n", rc);
 -        rc = 1;
 -      }
 -    }else if( cli_strcmp(azArg[1],"delete")==0 ){
 -      if( nArg!=3 ){
 -        raw_printf(stderr, "Usage: .user delete USER\n");
 -        rc = 1;
 -        goto meta_command_exit;
 +  /* Parse the input line into tokens which are 0-terminated and left in-place.
 +  */
 +  while( zLine[h] && nArg<ArraySize(azArg)-1 ){
 +    /* Future: Complain if this fixed argument count limit is hit. */
 +    while( IsSpace(zLine[h]) ){ h++; }
 +    if( zLine[h]==0 ) break;
 +    if( zLine[h]=='\'' || zLine[h]=='"' ){
 +      int delim = zLine[h++];
 +      azArg[nArg++] = &zLine[h];
 +      while( zLine[h] && zLine[h]!=delim ){
 +        if( zLine[h]=='\\' && delim=='"' && zLine[h+1]!=0 ) h++;
 +        h++;
        }
 -      rc = sqlite3_user_delete(p->db, azArg[2]);
 -      if( rc ){
 -        raw_printf(stderr, "User-Delete failed: %d\n", rc);
 -        rc = 1;
 +      if( zLine[h]==delim ){
 +        zLine[h++] = 0;
        }
 +      if( delim=='"' ) resolve_backslashes(azArg[nArg-1]);
      }else{
 -      raw_printf(stderr, "Usage: .user login|add|edit|delete ...\n");
 -      rc = 1;
 -      goto meta_command_exit;
 +      azArg[nArg++] = &zLine[h];
 +      while( zLine[h] && !IsSpace(zLine[h]) ){ h++; }
 +      if( zLine[h] ) zLine[h++] = 0;
 +      resolve_backslashes(azArg[nArg-1]);
      }
 -  }else
 -#endif /* SQLITE_USER_AUTHENTICATION */
 +  }
 +  azArg[nArg] = 0; /* No code here relies on this, but some extension might. */
  
 -  if( c=='v' && cli_strncmp(azArg[0], "version", n)==0 ){
 -    utf8_printf(p->out, "SQLite %s %s\n" /*extra-version-info*/,
 -        sqlite3_libversion(), sqlite3_sourceid());
 -#if SQLITE_HAVE_ZLIB
 -    utf8_printf(p->out, "zlib version %s\n", zlibVersion());
 -#endif
 -#define CTIMEOPT_VAL_(opt) #opt
 -#define CTIMEOPT_VAL(opt) CTIMEOPT_VAL_(opt)
 -#if defined(__clang__) && defined(__clang_major__)
 -    utf8_printf(p->out, "clang-" CTIMEOPT_VAL(__clang_major__) "."
 -                    CTIMEOPT_VAL(__clang_minor__) "."
 -                    CTIMEOPT_VAL(__clang_patchlevel__) "\n");
 -#elif defined(_MSC_VER)
 -    utf8_printf(p->out, "msvc-" CTIMEOPT_VAL(_MSC_VER) "\n");
 -#elif defined(__GNUC__) && defined(__VERSION__)
 -    utf8_printf(p->out, "gcc-" __VERSION__ "\n");
 +  /* Process the input line. If it was empty, do nothing and declare success.
 +   * Note that "empty" includes a leading '.' followed by nothing else.
 +   */
 +  if( nArg>0 ){
 +    int nFound;
 +    DotCommand *pmc = findDotCommand(azArg[0], psx, &nFound);
 +    if( pmc==0 || nFound>1 ){
 +      if( nFound==0 ){
 +        dcr = DCR_Unknown;
 +#if SHELL_DYNAMIC_EXTENSION
 +        pmc = ISS(psx)->pUnknown;
 +        if( pmc ) dcr = runDotCommand(pmc, azArg, nArg, psx);
  #endif
 -  }else
 -
 -  if( c=='v' && cli_strncmp(azArg[0], "vfsinfo", n)==0 ){
 -    const char *zDbName = nArg==2 ? azArg[1] : "main";
 -    sqlite3_vfs *pVfs = 0;
 -    if( p->db ){
 -      sqlite3_file_control(p->db, zDbName, SQLITE_FCNTL_VFS_POINTER, &pVfs);
 -      if( pVfs ){
 -        utf8_printf(p->out, "vfs.zName      = \"%s\"\n", pVfs->zName);
 -        raw_printf(p->out, "vfs.iVersion   = %d\n", pVfs->iVersion);
 -        raw_printf(p->out, "vfs.szOsFile   = %d\n", pVfs->szOsFile);
 -        raw_printf(p->out, "vfs.mxPathname = %d\n", pVfs->mxPathname);
 -      }
 -    }
 -  }else
 -
 -  if( c=='v' && cli_strncmp(azArg[0], "vfslist", n)==0 ){
 -    sqlite3_vfs *pVfs;
 -    sqlite3_vfs *pCurrent = 0;
 -    if( p->db ){
 -      sqlite3_file_control(p->db, "main", SQLITE_FCNTL_VFS_POINTER, &pCurrent);
 -    }
 -    for(pVfs=sqlite3_vfs_find(0); pVfs; pVfs=pVfs->pNext){
 -      utf8_printf(p->out, "vfs.zName      = \"%s\"%s\n", pVfs->zName,
 -           pVfs==pCurrent ? "  <--- CURRENT" : "");
 -      raw_printf(p->out, "vfs.iVersion   = %d\n", pVfs->iVersion);
 -      raw_printf(p->out, "vfs.szOsFile   = %d\n", pVfs->szOsFile);
 -      raw_printf(p->out, "vfs.mxPathname = %d\n", pVfs->mxPathname);
 -      if( pVfs->pNext ){
 -        raw_printf(p->out, "-----------------------------------\n");
 +      }else{
 +        dcr = DCR_Ambiguous;
        }
 -    }
 -  }else
 -
 -  if( c=='v' && cli_strncmp(azArg[0], "vfsname", n)==0 ){
 -    const char *zDbName = nArg==2 ? azArg[1] : "main";
 -    char *zVfsName = 0;
 -    if( p->db ){
 -      sqlite3_file_control(p->db, zDbName, SQLITE_FCNTL_VFSNAME, &zVfsName);
 -      if( zVfsName ){
 -        utf8_printf(p->out, "%s\n", zVfsName);
 -        sqlite3_free(zVfsName);
 +      if( dcr > DCR_ArgIxMask ){
 +        /* Issue error for unknown or inadequately specified dot command. */
 +        dcr = dot_command_errors(0, azArg, nArg, dcr, psx);
        }
      }
 -  }else
 -
 -  if( c=='w' && cli_strncmp(azArg[0], "wheretrace", n)==0 ){
 -    unsigned int x = nArg>=2? (unsigned int)integerValue(azArg[1]) : 0xffffffff;
 -    sqlite3_test_control(SQLITE_TESTCTRL_TRACEFLAGS, 3, &x);
 -  }else
 -
 -  if( c=='w' && cli_strncmp(azArg[0], "width", n)==0 ){
 -    int j;
 -    assert( nArg<=ArraySize(azArg) );
 -    p->nWidth = nArg-1;
 -    p->colWidth = realloc(p->colWidth, (p->nWidth+1)*sizeof(int)*2);
 -    if( p->colWidth==0 && p->nWidth>0 ) shell_out_of_memory();
 -    if( p->nWidth ) p->actualWidth = &p->colWidth[p->nWidth];
 -    for(j=1; j<nArg; j++){
 -      p->colWidth[j-1] = (int)integerValue(azArg[j]);
 +    else{
 +      char *arg0 = azArg[0];
 +      azArg[0] = (char *)(pmc->pMethods->name(pmc));
 +      /* Run found command and issue or handle any errors it may report. */
 +      dcr = runDotCommand(pmc, azArg, nArg, psx);
 +      azArg[0] = arg0;
      }
 -  }else
 -
 -  {
 -    utf8_printf(stderr, "Error: unknown command or invalid arguments: "
 -      " \"%s\". Enter \".help\" for help\n", azArg[0]);
 -    rc = 1;
    }
  
 -meta_command_exit:
 -  if( p->outCount ){
 -    p->outCount--;
 -    if( p->outCount==0 ) output_reset(p);
 +#if SHELL_VARIABLE_EXPANSION
 +  if( bExpVars ){
 +    /* Free any arguments that are allocated rather than tokenized in place. */
 +    for( n=1; n<nArg; ++n ){
 +      int iArgOffset = azArg[n]-zLine;
 +      u8 bInPlace = iArgOffset>0 && iArgOffset<ncLineIn;
 +      if( !bInPlace ) sqlite3_free(azArg[n]);
 +    }
    }
 -  p->bSafeMode = p->bSafeModePersist;
 -  return rc;
 +#endif
 +  return dcr;
  }
  
  /* Line scan result and intermediate states (supporting scan resumption)
@@@ -15006,8 -11330,8 +15058,8 @@@ static void sql_prescan(const char *zLi
          if( *zLine=='*' ){
            ++zLine;
            cWait = '*';
-         CONTINUE_PROMPT_AWAITS(pst, "/*");
+           CONTINUE_PROMPT_AWAITS(pst, "/*");
 -          qss = QSS_SETV(qss, cWait);
 +          sss = SSS_SETV(sss, cWait);
            goto TermScan;
          }
          break;
          deliberate_fall_through;
        case '`': case '\'': case '"':
          cWait = cin;
 -        qss = QSS_HasDark | cWait;
 +        sss = SSS_HasDark | cWait;
-       CONTINUE_PROMPT_AWAITC(pst, cin);
+         CONTINUE_PROMPT_AWAITC(pst, cin);
          goto TermScan;
        case '(':
-       CONTINUE_PAREN_INCR(pst, 1);
-       break;
+         CONTINUE_PAREN_INCR(pst, 1);
+         break;
        case ')':
-       CONTINUE_PAREN_INCR(pst, -1);
-       break;
+         CONTINUE_PAREN_INCR(pst, -1);
+         break;
        default:
          break;
        }
              continue;
            ++zLine;
            cWait = 0;
-         CONTINUE_PROMPT_AWAITC(pst, 0);
+           CONTINUE_PROMPT_AWAITC(pst, 0);
 -          qss = QSS_SETV(qss, 0);
 +          sss = SSS_SETV(sss, 0);
            goto PlainScan;
          case '`': case '\'': case '"':
            if(*zLine==cWait){
            deliberate_fall_through;
          case ']':
            cWait = 0;
-         CONTINUE_PROMPT_AWAITC(pst, 0);
+           CONTINUE_PROMPT_AWAITC(pst, 0);
 -          qss = QSS_SETV(qss, 0);
 +          sss = SSS_SETV(sss, 0);
            goto PlainScan;
          default: assert(0);
          }
@@@ -15991,369 -11936,6 +16043,369 @@@ static void sayAbnormalExit(void)
    if( seenInterrupt ) fprintf(stderr, "Program interrupted.\n");
  }
  
-         sqlite3_config(SQLITE_CONFIG_HEAP, malloc((int)szHeap), (int)szHeap, 64);
 +/* A vector of command strings collected from . */
 +typedef struct CmdArgs {
 +  /* Array is malloc'ed, but not its elements except by wmain()'s futzing. */
 +  char **azCmd;  /* the strings */
 +  int nCmd;      /* how many collected */
 +  ResourceMark buffMark; /* where to grab held array pointer */
 +} CmdArgs;
 +/* Data collected during args scanning. */
 +typedef struct ArgsData {
 +  int readStdin;         /* whether stdin will be read */
 +  int nOptsEnd;          /* where -- seen, else argc */
 +  const char *zInitFile; /* specified init file */
 +  const char *zVfs;      /* -vfs command-line option */
 +  short bQuiet;          /* -quiet option */
 +} ArgsData;
 +/*
 +** Perform CLI invocation argument processing.
 +** This code is collected here for convenience, to declutter main()
 +** and to make this processing a little simpler to understand.
 +*/
 +static int scanInvokeArgs(int argc, char **argv, int pass, ShellInState *psi,
 +                          CmdArgs *pca, ArgsData *pad){
 +  int rc = 0;
 +  DotCmdRC drc;
 +  int i;
 +  if( pass==1 ){
 +    for(i=1; i<argc && rc<2; i++){
 +      char *z = argv[i];
 +      if( z[0]!='-' || i>pad->nOptsEnd ){
 +        if( psi->aAuxDb->zDbFilename==0 ){
 +          psi->aAuxDb->zDbFilename = z;
 +        }else{
 +          void *vaz;
 +          if( pca->nCmd == 0 ){
 +            pca->buffMark = holder_mark();
 +            more_holders(1);
 +          }
 +          vaz = realloc(pca->azCmd, sizeof(pca->azCmd[0])*(pca->nCmd+1));
 +          shell_check_oom(vaz);
 +          if( pca->nCmd == 0 ) mmem_holder(vaz);
 +          else swap_held(pca->buffMark, 0, vaz);
 +          pca->azCmd = (char**)vaz;
 +          pca->azCmd[pca->nCmd++] = z;
 +          /* Excesss arguments are interpreted as SQL (or dot-commands)
 +          ** and mean that nothing is to be read from stdin. */
 +          pad->readStdin = 0;
 +        }
 +        continue;
 +      }
 +      if( z[1]=='-' ) z++;
 +      if( cli_strcmp(z, "-")==0 ){
 +        pad->nOptsEnd = i;
 +        continue;
 +      }else if( cli_strcmp(z,"-separator")==0
 +       || cli_strcmp(z,"-nullvalue")==0
 +       || cli_strcmp(z,"-newline")==0
 +       || cli_strcmp(z,"-cmd")==0
 +      ){
 +        (void)cmdline_option_value(argc, argv, ++i);
 +        /* Will pickup value on next pass. */
 +      }else if( cli_strcmp(z,"-init")==0 ){
 +        pad->zInitFile = cmdline_option_value(argc, argv, ++i);
 +      }else if( cli_strcmp(z,"-batch")==0 ){
 +        /* Need to check for batch mode here to so we can avoid printing
 +        ** informational messages (like from process_sqliterc) before
 +        ** we do the actual processing of arguments later in a second pass.
 +        */
 +        stdin_is_interactive = 0;
 +      }else if( cli_strcmp(z,"-heap")==0 ){
 +#if defined(SQLITE_ENABLE_MEMSYS3) || defined(SQLITE_ENABLE_MEMSYS5)
 +        const char *zSize;
 +        sqlite3_int64 szHeap;
 +
 +        zSize = cmdline_option_value(argc, argv, ++i);
 +        szHeap = integerValue(zSize);
 +        if( szHeap>0x7fff0000 ) szHeap = 0x7fff0000;
 +        verify_uninitialized();
-         ** prior to sending the SQL into SQLite.  Useful for injecting
-         ** crazy bytes in the middle of SQL statements for testing and debugging.
++        sqlite3_config(SQLITE_CONFIG_HEAP,malloc((int)szHeap),(int)szHeap, 64);
 +#else
 +        (void)cmdline_option_value(argc, argv, ++i);
 +#endif
 +      }else if( cli_strcmp(z,"-pagecache")==0 ){
 +        sqlite3_int64 n, sz;
 +        void *pvCache = 0;
 +        sz = integerValue(cmdline_option_value(argc,argv,++i));
 +        if( sz>70000 ) sz = 70000;
 +        if( sz<0 ) sz = 0;
 +        n = integerValue(cmdline_option_value(argc,argv,++i));
 +        if( sz>0 && n>0 && 0xffffffffffffLL/sz<n ){
 +          n = 0xffffffffffffLL/sz;
 +        }
 +        verify_uninitialized();
 +        if( n>0 && sz>0 ) pvCache = malloc(n*sz);
 +        shell_check_oom(pvCache);
 +        sqlite3_config(SQLITE_CONFIG_PAGECACHE, pvCache, sz, n);
 +        psi->shellFlgs |= SHFLG_Pagecache;
 +      }else if( cli_strcmp(z,"-lookaside")==0 ){
 +        int n, sz;
 +        sz = (int)integerValue(cmdline_option_value(argc,argv,++i));
 +        if( sz<0 ) sz = 0;
 +        n = (int)integerValue(cmdline_option_value(argc,argv,++i));
 +        if( n<0 ) n = 0;
 +        verify_uninitialized();
 +        sqlite3_config(SQLITE_CONFIG_LOOKASIDE, sz, n);
 +        if( sz*n==0 ) psi->shellFlgs &= ~SHFLG_Lookaside;
 +      }else if( cli_strcmp(z,"-threadsafe")==0 ){
 +        int n;
 +        n = (int)integerValue(cmdline_option_value(argc,argv,++i));
 +        verify_uninitialized();
 +        switch( n ){
 +           case 0:  sqlite3_config(SQLITE_CONFIG_SINGLETHREAD);  break;
 +           case 2:  sqlite3_config(SQLITE_CONFIG_MULTITHREAD);   break;
 +           default: sqlite3_config(SQLITE_CONFIG_SERIALIZED);    break;
 +        }
 +#ifdef SQLITE_ENABLE_VFSTRACE
 +      }else if( cli_strcmp(z,"-vfstrace")==0 ){
 +        extern int vfstrace_register(
 +           const char *zTraceName,
 +           const char *zOldVfsName,
 +           int (*xOut)(const char*,void*),
 +           void *pOutArg,
 +           int makeDefault
 +        );
 +        vfstrace_register("trace",0,(int(*)(const char*,void*))fputs,STD_ERR,1);
 +#endif
 +#ifdef SQLITE_ENABLE_MULTIPLEX
 +      }else if( cli_strcmp(z,"-multiplex")==0 ){
 +        extern int sqlite3_multiple_initialize(const char*,int);
 +        sqlite3_multiplex_initialize(0, 1);
 +#endif
 +      }else if( cli_strcmp(z,"-mmap")==0 ){
 +        sqlite3_int64 sz = integerValue(cmdline_option_value(argc,argv,++i));
 +        verify_uninitialized();
 +        sqlite3_config(SQLITE_CONFIG_MMAP_SIZE, sz, sz);
 +#ifdef SQLITE_ENABLE_SORTER_REFERENCES
 +      }else if( cli_strcmp(z,"-sorterref")==0 ){
 +        sqlite3_int64 sz = integerValue(cmdline_option_value(argc,argv,++i));
 +        verify_uninitialized();
 +        sqlite3_config(SQLITE_CONFIG_SORTERREF_SIZE, (int)sz);
 +#endif
 +      }else if( cli_strcmp(z,"-vfs")==0 ){
 +        pad->zVfs = cmdline_option_value(argc, argv, ++i);
 +#ifdef SQLITE_HAVE_ZLIB
 +      }else if( cli_strcmp(z,"-zip")==0 ){
 +        psi->openMode = SHELL_OPEN_ZIPFILE;
 +#endif
 +      }else if( cli_strcmp(z,"-append")==0 ){
 +        psi->openMode = SHELL_OPEN_APPENDVFS;
 +#ifndef SQLITE_OMIT_DESERIALIZE
 +      }else if( cli_strcmp(z,"-deserialize")==0 ){
 +        psi->openMode = SHELL_OPEN_DESERIALIZE;
 +      }else if( cli_strcmp(z,"-maxsize")==0 && i+1<argc ){
 +        psi->szMax = integerValue(argv[++i]);
 +#endif
 +      }else if( cli_strcmp(z,"-readonly")==0 ){
 +        psi->openMode = SHELL_OPEN_READONLY;
 +      }else if( cli_strcmp(z,"-nofollow")==0 ){
 +        psi->openFlags = SQLITE_OPEN_NOFOLLOW;
 +#if !defined(SQLITE_OMIT_VIRTUALTABLE) && defined(SQLITE_HAVE_ZLIB)
 +      }else if( cli_strncmp(z, "-A",2)==0 ){
 +        /* All remaining command-line arguments are passed to the ".archive"
 +        ** command, so ignore them */
 +        break;
 +#endif
 +      }else if( cli_strcmp(z, "-memtrace")==0 ){
 +        sqlite3MemTraceActivate(STD_ERR);
 +      }else if( cli_strcmp(z,"-bail")==0 ){
 +        bail_on_error = 1;
 +#if SHELL_EXTENSIONS
 +      }else if( cli_strcmp(z,"-shxopts")==0 ){
 +        psi->bExtendedDotCmds = (u8)integerValue(argv[++i]);
 +#endif
 +      }else if( cli_strcmp(z,"-nonce")==0 ){
 +        free(psi->zNonce);
 +        psi->zNonce = strdup(argv[++i]);
 +        shell_check_oom(psi->zNonce);
 +      }else if( cli_strcmp(z,"-quiet")==0 ){
 +        pad->bQuiet = (int)integerValue(cmdline_option_value(argc,argv,++i));
 +      }else if( cli_strcmp(z,"-unsafe-testing")==0 ){
 +        psi->shellFlgs |= SHFLG_TestingMode;
 +      }else if( cli_strcmp(z,"-safe")==0 ){
 +        /* catch this on the second pass (Unsafe is fine on invocation.) */
 +      }
 +    }
 +  }else if( pass==2 ){
 +    for(i=1; i<argc && rc<2; i++){
 +      char *z = argv[i];
 +      char *zModeSet = 0;
 +      if( z[0]!='-' || i>=pad->nOptsEnd ) continue;
 +      if( z[1]=='-' ){ z++; }
 +      if( cli_strcmp(z,"-init")==0 ){
 +        i++;
 +      }else if( cli_strcmp(z,"-html")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-list")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-quote")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-line")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-column")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-json")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-markdown")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-table")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-box")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-csv")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-ascii")==0 ){
 +        zModeSet = z;
 +      }else if( cli_strcmp(z,"-tabs")==0 ){
 +        zModeSet = z;
 +#ifdef SQLITE_HAVE_ZLIB
 +      }else if( cli_strcmp(z,"-zip")==0 ){
 +        psi->openMode = SHELL_OPEN_ZIPFILE;
 +#endif
 +      }else if( cli_strcmp(z,"-append")==0 ){
 +        psi->openMode = SHELL_OPEN_APPENDVFS;
 +#ifndef SQLITE_OMIT_DESERIALIZE
 +      }else if( cli_strcmp(z,"-deserialize")==0 ){
 +        psi->openMode = SHELL_OPEN_DESERIALIZE;
 +      }else if( cli_strcmp(z,"-maxsize")==0 && i+1<argc ){
 +        psi->szMax = integerValue(argv[++i]);
 +#endif
 +      }else if( cli_strcmp(z,"-readonly")==0 ){
 +        psi->openMode = SHELL_OPEN_READONLY;
 +      }else if( cli_strcmp(z,"-nofollow")==0 ){
 +        psi->openFlags |= SQLITE_OPEN_NOFOLLOW;
 +      }else if( cli_strcmp(z,"-separator")==0 ){
 +        sqlite3_snprintf(sizeof(psi->colSeparator), psi->colSeparator,
 +                         "%s",cmdline_option_value(argc,argv,++i));
 +      }else if( cli_strcmp(z,"-newline")==0 ){
 +        sqlite3_snprintf(sizeof(psi->rowSeparator), psi->rowSeparator,
 +                         "%s",cmdline_option_value(argc,argv,++i));
 +      }else if( cli_strcmp(z,"-nullvalue")==0 ){
 +        sqlite3_snprintf(sizeof(psi->nullValue), psi->nullValue,
 +                         "%s",cmdline_option_value(argc,argv,++i));
 +      }else if( cli_strcmp(z,"-header")==0 ){
 +        psi->showHeader = 1;
 +        ShellSetFlagI(psi, SHFLG_HeaderSet);
 +      }else if( cli_strcmp(z,"-noheader")==0 ){
 +        psi->showHeader = 0;
 +        ShellSetFlagI(psi, SHFLG_HeaderSet);
 +      }else if( cli_strcmp(z,"-echo")==0 ){
 +        ShellSetFlagI(psi, SHFLG_Echo);
 +      }else if( cli_strcmp(z,"-eqp")==0 ){
 +        psi->autoEQP = AUTOEQP_on;
 +      }else if( cli_strcmp(z,"-eqpfull")==0 ){
 +        psi->autoEQP = AUTOEQP_full;
 +      }else if( cli_strcmp(z,"-stats")==0 ){
 +        psi->statsOn = 1;
 +      }else if( cli_strcmp(z,"-scanstats")==0 ){
 +        psi->scanstatsOn = 1;
 +      }else if( cli_strcmp(z,"-backslash")==0 ){
 +        /* Undocumented command-line option: -backslash
 +        ** Causes C-style backslash escapes to be evaluated in SQL statements
++        ** prior to sending the SQL into SQLite.  Useful for injecting crazy
++        ** bytes in the middle of SQL statements for testing and debugging.
 +        */
 +        ShellSetFlagI(psi, SHFLG_Backslash);
 +      }else if( cli_strcmp(z,"-bail")==0 ){
 +        /* No-op.  The bail_on_error flag should already be set. */
 +#if SHELL_EXTENSIONS
 +      }else if( cli_strcmp(z,"-shxopts")==0 ){
 +        i++; /* Handled on first pass. */
 +#endif
 +      }else if( cli_strcmp(z,"-version")==0 ){
 +        fprintf(STD_OUT, "%s %s\n", sqlite3_libversion(), sqlite3_sourceid());
 +        rc = 2;
 +      }else if( cli_strcmp(z,"-interactive")==0 ){
 +        stdin_is_interactive = 1;
 +      }else if( cli_strcmp(z,"-batch")==0 ){
 +        stdin_is_interactive = 0;
 +      }else if( cli_strcmp(z,"-utf8")==0 ){
 +#if SHELL_WIN_UTF8_OPT
 +        console_utf8 = 1;
 +#endif /* SHELL_WIN_UTF8_OPT */
 +      }else if( cli_strcmp(z,"-heap")==0 ){
 +        i++;
 +      }else if( cli_strcmp(z,"-pagecache")==0 ){
 +        i+=2;
 +      }else if( cli_strcmp(z,"-lookaside")==0 ){
 +        i+=2;
 +      }else if( cli_strcmp(z,"-threadsafe")==0 ){
 +        i+=2;
 +      }else if( cli_strcmp(z,"-nonce")==0 ){
 +        i+=2;
 +      }else if( cli_strcmp(z,"-mmap")==0 ){
 +        i++;
 +      }else if( cli_strcmp(z,"-memtrace")==0 ){
 +        i++;
 +#ifdef SQLITE_ENABLE_SORTER_REFERENCES
 +      }else if( cli_strcmp(z,"-sorterref")==0 ){
 +        i++;
 +#endif
 +      }else if( cli_strcmp(z,"-vfs")==0 ){
 +        i++;
 +#ifdef SQLITE_ENABLE_VFSTRACE
 +      }else if( cli_strcmp(z,"-vfstrace")==0 ){
 +        i++;
 +#endif
 +#ifdef SQLITE_ENABLE_MULTIPLEX
 +      }else if( cli_strcmp(z,"-multiplex")==0 ){
 +        i++;
 +#endif
 +      }else if( cli_strcmp(z,"-help")==0 ){
 +        usage(1);
 +      }else if( cli_strcmp(z,"-cmd")==0 ){
 +        /* Run commands that follow -cmd first and separately from commands
 +        ** that simply appear on the command-line.  This seems goofy.  It would
 +        ** be better if all commands ran in the order that they appear.  But
 +        ** we retain the goofy behavior for historical compatibility. */
 +        if( i==argc-1 ) break; /* Pretend specified command is empty. */
 +        set_invocation_cmd(cmdline_option_value(argc,argv,++i));
 +        drc = process_input(psi);
 +        rc = (drc>2)? 2 : drc;
 +        if( rc>0 ){
 +          break;
 +        }
 +#if !defined(SQLITE_OMIT_VIRTUALTABLE) && defined(SQLITE_HAVE_ZLIB)
 +      }else if( cli_strncmp(z, "-A", 2)==0 ){
 +        if( pca->nCmd>0 ){
 +          utf8_printf(STD_ERR, "Error: cannot mix regular SQL or dot-commands"
 +                              " with \"%s\"\n", z);
 +          rc = 1;
 +          break;
 +        }
 +        open_db(XSS(psi), OPEN_DB_ZIPFILE);
 +        if( z[2] ){
 +          argv[i] = &z[2];
 +          drc = arDotCommand(XSS(psi), 1, argv+(i-1), argc-(i-1));
 +        }else{
 +          drc = arDotCommand(XSS(psi), 1, argv+i, argc-i);
 +        }
 +        rc = (drc>2)? 2 : drc;
 +        pad->readStdin = 0;
 +        break;
 +#endif
 +      }else if( cli_strcmp(z,"-safe")==0 ){
 +        psi->bSafeMode = psi->bSafeModeFuture = 1;
 +      }else if( cli_strcmp(z,"-unsafe-testing")==0 ){
 +        /* Acted upon in first pass. */
 +      }else if( cli_strcmp(z,"-quiet")==0 ){
 +        ++i;
 +      }else{
 +        utf8_printf(STD_ERR,"%s: Error: unknown option: %s\n", Argv0, z);
 +        raw_printf(STD_ERR,"Use -help for a list of options.\n");
 +        rc = 2;
 +      }
 +      if( zModeSet!=0 ){
 +        char *azModeCmd[] = { ".mode", zModeSet+1 };
 +        modeCommand(azModeCmd, 2, XSS(psi), 0);
 +        psi->cMode = psi->mode;
 +      }
 +    }
 +  }
 +  return rc;
 +}
 +
  #ifndef SQLITE_SHELL_IS_UTF8
  #  if (defined(_WIN32) || defined(WIN32)) \
     && (defined(_MSC_VER) || (defined(UNICODE) && defined(__GNUC__)))
@@@ -16384,29 -11958,21 +16436,29 @@@ int SQLITE_CDECL SHELL_MAIN(int argc, w
  #ifdef SQLITE_DEBUG
    sqlite3_int64 mem_main_enter = 0;
  #endif
 -  char *zErrMsg = 0;
  #ifdef SQLITE_SHELL_FIDDLE
--#  define data shellState
++#  define datai shellStateI
 +#  define datax shellStateX
  #else
-   ShellInState data;
 -  ShellState data;
++  ShellInState datai;
 +  ShellExState datax;
  #endif
-   BuiltInFFExporter ffExporter = BI_FF_EXPORTER_INIT( &data );
-   BuiltInCMExporter cmExporter = BI_CM_EXPORTER_INIT( &data );
 +#if SHELL_DATAIO_EXT
++  BuiltInFFExporter ffExporter = BI_FF_EXPORTER_INIT( &datai );
++  BuiltInCMExporter cmExporter = BI_CM_EXPORTER_INIT( &datai );
 +#endif
 +  RIP_STATE(exit_jb);
    const char *zInitFile = 0;
 -  int i;
 +  int bQuiet = 0; /* for testing, to suppress banner and history actions */
 +  int i, aec;
    int rc = 0;
 +  DotCmdRC drc = DCR_Ok;
    int warnInmemoryDb = 0;
 -  int readStdin = 1;
 -  int nCmd = 0;
 +  /* azCmd, nCmd, buffMark */
 +  CmdArgs cmdArgs = {0,0,0};
 +  /* readStdin, nOptsEnd, zInitFile, zVfs, bQuiet */
 +  ArgsData argsData = { 1, argc, 0,0,0 };
    int nOptsEnd = argc;
 -  char **azCmd = 0;
 -  const char *zVfs = 0;           /* Value of -vfs command-line option */
  #if !SQLITE_SHELL_IS_UTF8
    char **argvToFree = 0;
    int argcToFree = 0;
  #ifdef SQLITE_SHELL_FIDDLE
    stdin_is_interactive = 0;
    stdout_is_console = 1;
--  data.wasm.zDefaultDbName = "/fiddle.sqlite3";
++  datai.wasm.zDefaultDbName = "/fiddle.sqlite3";
  #else
    stdin_is_interactive = isatty(0);
    stdout_is_console = isatty(1);
      exit(1);
    }
  #endif
-   main_init(&data,&datax);
 -  main_init(&data);
++  main_init(&datai,&datax);
 +#if SHELL_DATAIO_EXT
-   data.pFreeformExporter = (ExportHandler*)&ffExporter;
-   data.pColumnarExporter = (ExportHandler*)&cmExporter;
-   data.pActiveExporter = (ExportHandler*)&ffExporter;
++  datai.pFreeformExporter = (ExportHandler*)&ffExporter;
++  datai.pColumnarExporter = (ExportHandler*)&cmExporter;
++  datai.pActiveExporter = (ExportHandler*)&ffExporter;
 +#endif
  
 -  /* On Windows, we must translate command-line arguments into UTF-8.
 -  ** The SQLite memory allocator subsystem has to be enabled in order to
 -  ** do this.  But we want to run an sqlite3_shutdown() afterwards so that
 -  ** subsequent sqlite3_config() calls will work.  So copy all results into
 -  ** memory that does not come from the SQLite memory allocator.
 +  /* From here on, within the true clause of this next test, various
 +  ** heap allocations are made which may fail, resulting in an abrupt
 +  ** shell exit. Such an exit happens in 1 of 2 ways: A held resource
 +  ** stack and the call stack are ripped back to this point; or just
 +  ** the held resource stack is ripped back and a process exit occurs.
    */
 +  register_exit_ripper(&exit_jb, entry_mark);
 +  if( 0==RIP_TO_HERE(exit_jb) ){
 +
 +    /* On Windows, we must translate command-line arguments into UTF-8.
 +    ** The SQLite memory allocator subsystem has to be enabled in order to
 +    ** do this.  But we want to run an sqlite3_shutdown() afterwards so that
 +    ** subsequent sqlite3_config() calls will work.  So copy all results into
 +    ** memory that does not come from the SQLite memory allocator.
 +    */
  #if !SQLITE_SHELL_IS_UTF8
 -  sqlite3_initialize();
 -  argvToFree = malloc(sizeof(argv[0])*argc*2);
 -  shell_check_oom(argvToFree);
 -  argcToFree = argc;
 -  argv = argvToFree + argc;
 -  for(i=0; i<argc; i++){
 -    char *z = sqlite3_win32_unicode_to_utf8(wargv[i]);
 -    i64 n;
 -    shell_check_oom(z);
 -    n = strlen(z);
 -    argv[i] = malloc( n+1 );
 -    shell_check_oom(argv[i]);
 -    memcpy(argv[i], z, n+1);
 -    argvToFree[i] = argv[i];
 -    sqlite3_free(z);
 -  }
 -  sqlite3_shutdown();
 +    sqlite3_initialize();
 +    argvToFree = malloc(sizeof(argv[0])*argc*2);
 +    shell_check_oom(argvToFree);
 +    argcToFree = argc;
 +    argv = argvToFree + argc;
 +    for(i=0; i<argc; i++){
 +      char *z = sqlite3_win32_unicode_to_utf8(wargv[i]);
 +      i64 n;
 +      shell_check_oom(z);
 +      n = strlen(z);
 +      argv[i] = malloc( n+1 );
 +      shell_check_oom(argv[i]);
 +      memcpy(argv[i], z, n+1);
 +      argvToFree[i] = argv[i];
 +      sqlite3_free(z);
 +    }
 +    sqlite3_shutdown();
  #endif
  
 -  assert( argc>=1 && argv && argv[0] );
 -  Argv0 = argv[0];
 +    assert( argc>=1 && argv && argv[0] );
 +    Argv0 = argv[0];
 +#if SHELL_DYNAMIC_EXTENSION
 +    initStartupDir();
-     if( isExtendedBasename(Argv0) ) data.bExtendedDotCmds = SHELL_ALL_EXTENSIONS;
++    if( isExtendedBasename(Argv0) ){
++      datai.bExtendedDotCmds = SHELL_ALL_EXTENSIONS;
++    }
 +#endif
  
  #ifdef SQLITE_SHELL_DBNAME_PROC
 -  {
 -    /* If the SQLITE_SHELL_DBNAME_PROC macro is defined, then it is the name
 -    ** of a C-function that will provide the name of the database file.  Use
 -    ** this compile-time option to embed this shell program in larger
 -    ** applications. */
 -    extern void SQLITE_SHELL_DBNAME_PROC(const char**);
 -    SQLITE_SHELL_DBNAME_PROC(&data.pAuxDb->zDbFilename);
 -    warnInmemoryDb = 0;
 -  }
 +    {
 +      /* If the SQLITE_SHELL_DBNAME_PROC macro is defined, then it is the name
 +      ** of a C-function that will provide the name of the database file.  Use
 +      ** this compile-time option to embed this shell program in larger
 +      ** applications. */
 +      extern void SQLITE_SHELL_DBNAME_PROC(const char**);
-       SQLITE_SHELL_DBNAME_PROC(&data.pAuxDb->zDbFilename);
++      SQLITE_SHELL_DBNAME_PROC(&datai.pAuxDb->zDbFilename);
 +      warnInmemoryDb = 0;
 +    }
  #endif
  
 -  /* Do an initial pass through the command-line argument to locate
 -  ** the name of the database file, the name of the initialization file,
 -  ** the size of the alternative malloc heap,
 -  ** and the first command to execute.
 -  */
 +    /* Do an initial pass through the command-line argument to locate
 +    ** the name of the database file, the name of the initialization file,
 +    ** the size of the alternative malloc heap,
 +    ** and the first command to execute.
 +    */
  #ifndef SQLITE_SHELL_FIDDLE
 -  verify_uninitialized();
 -#endif
 -  for(i=1; i<argc; i++){
 -    char *z;
 -    z = argv[i];
 -    if( z[0]!='-' || i>nOptsEnd ){
 -      if( data.aAuxDb->zDbFilename==0 ){
 -        data.aAuxDb->zDbFilename = z;
 -      }else{
 -        /* Excesss arguments are interpreted as SQL (or dot-commands) and
 -        ** mean that nothing is read from stdin */
 -        readStdin = 0;
 -        nCmd++;
 -        azCmd = realloc(azCmd, sizeof(azCmd[0])*nCmd);
 -        shell_check_oom(azCmd);
 -        azCmd[nCmd-1] = z;
 -      }
 -      continue;
 -    }
 -    if( z[1]=='-' ) z++;
 -    if( cli_strcmp(z, "-")==0 ){
 -      nOptsEnd = i;
 -      continue;
 -    }else if( cli_strcmp(z,"-separator")==0
 -     || cli_strcmp(z,"-nullvalue")==0
 -     || cli_strcmp(z,"-newline")==0
 -     || cli_strcmp(z,"-cmd")==0
 -    ){
 -      (void)cmdline_option_value(argc, argv, ++i);
 -    }else if( cli_strcmp(z,"-init")==0 ){
 -      zInitFile = cmdline_option_value(argc, argv, ++i);
 -    }else if( cli_strcmp(z,"-batch")==0 ){
 -      /* Need to check for batch mode here to so we can avoid printing
 -      ** informational messages (like from process_sqliterc) before
 -      ** we do the actual processing of arguments later in a second pass.
 -      */
 -      stdin_is_interactive = 0;
 -    }else if( cli_strcmp(z,"-heap")==0 ){
 -#if defined(SQLITE_ENABLE_MEMSYS3) || defined(SQLITE_ENABLE_MEMSYS5)
 -      const char *zSize;
 -      sqlite3_int64 szHeap;
 -
 -      zSize = cmdline_option_value(argc, argv, ++i);
 -      szHeap = integerValue(zSize);
 -      if( szHeap>0x7fff0000 ) szHeap = 0x7fff0000;
 -      verify_uninitialized();
 -      sqlite3_config(SQLITE_CONFIG_HEAP, malloc((int)szHeap), (int)szHeap, 64);
 -#else
 -      (void)cmdline_option_value(argc, argv, ++i);
 -#endif
 -    }else if( cli_strcmp(z,"-pagecache")==0 ){
 -      sqlite3_int64 n, sz;
 -      sz = integerValue(cmdline_option_value(argc,argv,++i));
 -      if( sz>70000 ) sz = 70000;
 -      if( sz<0 ) sz = 0;
 -      n = integerValue(cmdline_option_value(argc,argv,++i));
 -      if( sz>0 && n>0 && 0xffffffffffffLL/sz<n ){
 -        n = 0xffffffffffffLL/sz;
 -      }
 -      verify_uninitialized();
 -      sqlite3_config(SQLITE_CONFIG_PAGECACHE,
 -                    (n>0 && sz>0) ? malloc(n*sz) : 0, sz, n);
 -      data.shellFlgs |= SHFLG_Pagecache;
 -    }else if( cli_strcmp(z,"-lookaside")==0 ){
 -      int n, sz;
 -      sz = (int)integerValue(cmdline_option_value(argc,argv,++i));
 -      if( sz<0 ) sz = 0;
 -      n = (int)integerValue(cmdline_option_value(argc,argv,++i));
 -      if( n<0 ) n = 0;
 -      verify_uninitialized();
 -      sqlite3_config(SQLITE_CONFIG_LOOKASIDE, sz, n);
 -      if( sz*n==0 ) data.shellFlgs &= ~SHFLG_Lookaside;
 -    }else if( cli_strcmp(z,"-threadsafe")==0 ){
 -      int n;
 -      n = (int)integerValue(cmdline_option_value(argc,argv,++i));
 -      verify_uninitialized();
 -      switch( n ){
 -         case 0:  sqlite3_config(SQLITE_CONFIG_SINGLETHREAD);  break;
 -         case 2:  sqlite3_config(SQLITE_CONFIG_MULTITHREAD);   break;
 -         default: sqlite3_config(SQLITE_CONFIG_SERIALIZED);    break;
 -      }
 -#ifdef SQLITE_ENABLE_VFSTRACE
 -    }else if( cli_strcmp(z,"-vfstrace")==0 ){
 -      extern int vfstrace_register(
 -         const char *zTraceName,
 -         const char *zOldVfsName,
 -         int (*xOut)(const char*,void*),
 -         void *pOutArg,
 -         int makeDefault
 -      );
 -      vfstrace_register("trace",0,(int(*)(const char*,void*))fputs,stderr,1);
 -#endif
 -#ifdef SQLITE_ENABLE_MULTIPLEX
 -    }else if( cli_strcmp(z,"-multiplex")==0 ){
 -      extern int sqlite3_multiple_initialize(const char*,int);
 -      sqlite3_multiplex_initialize(0, 1);
 -#endif
 -    }else if( cli_strcmp(z,"-mmap")==0 ){
 -      sqlite3_int64 sz = integerValue(cmdline_option_value(argc,argv,++i));
 -      verify_uninitialized();
 -      sqlite3_config(SQLITE_CONFIG_MMAP_SIZE, sz, sz);
 -#if defined(SQLITE_ENABLE_SORTER_REFERENCES)
 -    }else if( cli_strcmp(z,"-sorterref")==0 ){
 -      sqlite3_int64 sz = integerValue(cmdline_option_value(argc,argv,++i));
 -      verify_uninitialized();
 -      sqlite3_config(SQLITE_CONFIG_SORTERREF_SIZE, (int)sz);
 -#endif
 -    }else if( cli_strcmp(z,"-vfs")==0 ){
 -      zVfs = cmdline_option_value(argc, argv, ++i);
 -#ifdef SQLITE_HAVE_ZLIB
 -    }else if( cli_strcmp(z,"-zip")==0 ){
 -      data.openMode = SHELL_OPEN_ZIPFILE;
 +    verify_uninitialized();
  #endif
-     i = scanInvokeArgs(argc, argv, 1, &data, &cmdArgs, &argsData);
 -    }else if( cli_strcmp(z,"-append")==0 ){
 -      data.openMode = SHELL_OPEN_APPENDVFS;
 -#ifndef SQLITE_OMIT_DESERIALIZE
 -    }else if( cli_strcmp(z,"-deserialize")==0 ){
 -      data.openMode = SHELL_OPEN_DESERIALIZE;
 -    }else if( cli_strcmp(z,"-maxsize")==0 && i+1<argc ){
 -      data.szMax = integerValue(argv[++i]);
 -#endif
 -    }else if( cli_strcmp(z,"-readonly")==0 ){
 -      data.openMode = SHELL_OPEN_READONLY;
 -    }else if( cli_strcmp(z,"-nofollow")==0 ){
 -      data.openFlags = SQLITE_OPEN_NOFOLLOW;
 -#if !defined(SQLITE_OMIT_VIRTUALTABLE) && defined(SQLITE_HAVE_ZLIB)
 -    }else if( cli_strncmp(z, "-A",2)==0 ){
 -      /* All remaining command-line arguments are passed to the ".archive"
 -      ** command, so ignore them */
 -      break;
 -#endif
 -    }else if( cli_strcmp(z, "-memtrace")==0 ){
 -      sqlite3MemTraceActivate(stderr);
 -    }else if( cli_strcmp(z,"-bail")==0 ){
 -      bail_on_error = 1;
 -    }else if( cli_strcmp(z,"-nonce")==0 ){
 -      free(data.zNonce);
 -      data.zNonce = strdup(argv[++i]);
 -    }else if( cli_strcmp(z,"-unsafe-testing")==0 ){
 -      ShellSetFlag(&data,SHFLG_TestingMode);
 -    }else if( cli_strcmp(z,"-safe")==0 ){
 -      /* no-op - catch this on the second pass */
 -    }
 -  }
++    i = scanInvokeArgs(argc, argv, 1, &datai, &cmdArgs, &argsData);
  #ifndef SQLITE_SHELL_FIDDLE
 -  verify_uninitialized();
 +    verify_uninitialized();
  #endif
  
 -
  #ifdef SQLITE_SHELL_INIT_PROC
 -  {
 -    /* If the SQLITE_SHELL_INIT_PROC macro is defined, then it is the name
 -    ** of a C-function that will perform initialization actions on SQLite that
 -    ** occur just before or after sqlite3_initialize(). Use this compile-time
 -    ** option to embed this shell program in larger applications. */
 -    extern void SQLITE_SHELL_INIT_PROC(void);
 -    SQLITE_SHELL_INIT_PROC();
 -  }
 +    {
 +      /* If the SQLITE_SHELL_INIT_PROC macro is defined, then it is the name
 +      ** of a C-function that will perform initialization actions on SQLite that
 +      ** occur just before or after sqlite3_initialize(). Use this compile-time
 +      ** option to embed this shell program in larger applications. */
 +      extern void SQLITE_SHELL_INIT_PROC(void);
 +      SQLITE_SHELL_INIT_PROC();
 +    }
  #else
 -  /* All the sqlite3_config() calls have now been made. So it is safe
 -  ** to call sqlite3_initialize() and process any command line -vfs option. */
 -  sqlite3_initialize();
 +    /* All the sqlite3_config() calls have now been made. So it is safe
 +    ** to call sqlite3_initialize() and process any command line -vfs option. */
 +    sqlite3_initialize();
  #endif
  
 -  if( zVfs ){
 -    sqlite3_vfs *pVfs = sqlite3_vfs_find(zVfs);
 -    if( pVfs ){
 -      sqlite3_vfs_register(pVfs, 1);
 -    }else{
 -      utf8_printf(stderr, "no such VFS: \"%s\"\n", zVfs);
 -      exit(1);
 +    /* Register the control-C (SIGINT) handler.
 +    ** Make sure we have a valid signal handler early, before anything
 +    ** is done that might take long. */
 +    pGlobalDbLock = sqlite3_mutex_alloc(SQLITE_MUTEX_FAST);
 +#ifdef SIGINT
 +    signal(SIGINT, interrupt_handler);
 +#elif (defined(_WIN32) || defined(WIN32)) && !defined(_WIN32_WCE)
 +    SetConsoleCtrlHandler(ConsoleCtrlHandler, TRUE);
 +#endif
 +
 +    if( argsData.zVfs ){
 +      sqlite3_vfs *pVfs = sqlite3_vfs_find(argsData.zVfs);
 +      if( pVfs ){
 +        sqlite3_vfs_register(pVfs, 1);
 +      }else{
 +        utf8_printf(STD_ERR, "no such VFS: \"%s\"\n", argsData.zVfs);
 +        rc = 1;
 +        goto shell_bail;
 +      }
      }
 -  }
  
-     if( data.pAuxDb->zDbFilename==0 ){
 -  if( data.pAuxDb->zDbFilename==0 ){
++    if( datai.pAuxDb->zDbFilename==0 ){
  #ifndef SQLITE_OMIT_MEMORYDB
-       data.pAuxDb->zDbFilename = ":memory:";
 -    data.pAuxDb->zDbFilename = ":memory:";
 -    warnInmemoryDb = argc==1;
++      datai.pAuxDb->zDbFilename = ":memory:";
 +      warnInmemoryDb = argc==1;
  #else
 -    utf8_printf(stderr,"%s: Error: no database filename specified\n", Argv0);
 -    return 1;
 +      utf8_printf(STD_ERR,"%s: Error: no database filename specified\n", Argv0);
 +      rc = 1;
 +      goto shell_bail;
  #endif
 -  }
 -  data.out = stdout;
 +    }
-     data.out = STD_OUT;
++    datai.out = STD_OUT;
  #ifndef SQLITE_SHELL_FIDDLE
 -  sqlite3_appendvfs_init(0,0,0);
 +    sqlite3_appendvfs_init(0,0,0);
  #endif
  
 -  /* Go ahead and open the database file if it already exists.  If the
 -  ** file does not exist, delay opening it.  This prevents empty database
 -  ** files from being created if a user mistypes the database name argument
 -  ** to the sqlite command-line tool.
 -  */
 -  if( access(data.pAuxDb->zDbFilename, 0)==0 ){
 -    open_db(&data, 0);
 -  }
 +    /* Go ahead and open the database file if it already exists.  If the
 +    ** file does not exist, delay opening it.  This prevents empty database
 +    ** files from being created if a user mistypes the database name argument
 +    ** to the sqlite command-line tool.
 +    */
-     if( access(data.pAuxDb->zDbFilename, 0)==0 ){
++    if( access(datai.pAuxDb->zDbFilename, 0)==0 ){
 +      open_db(&datax, 0);
 +    }
  
 -  /* Process the initialization file if there is one.  If no -init option
 -  ** is given on the command line, look for a file named ~/.sqliterc and
 -  ** try to process it.
 -  */
 -  process_sqliterc(&data,zInitFile);
 +    /* Process the initialization file if there is one.  If no -init option
 +    ** is given on the command line, look for a file named ~/.sqliterc and
 +    ** try to process it, without any quitting or bail-on-error.
 +    */
-     process_sqliterc(&data,argsData.zInitFile);
++    process_sqliterc(&datai,argsData.zInitFile);
 +
 +    /* Make a second pass through the command-line argument and set
 +    ** options.  This second pass is delayed until after the initialization
 +    ** file is processed so that the command-line arguments will override
 +    ** settings in the initialization file.
 +    */
-     rc = scanInvokeArgs(argc, argv, 2, &data, &cmdArgs, &argsData);
++    rc = scanInvokeArgs(argc, argv, 2, &datai, &cmdArgs, &argsData);
 +    if( rc>0 ){
 +      goto shell_bail;
 +    }
  
 -  /* Make a second pass through the command-line argument and set
 -  ** options.  This second pass is delayed until after the initialization
 -  ** file is processed so that the command-line arguments will override
 -  ** settings in the initialization file.
 -  */
 -  for(i=1; i<argc; i++){
 -    char *z = argv[i];
 -    if( z[0]!='-' || i>=nOptsEnd ) continue;
 -    if( z[1]=='-' ){ z++; }
 -    if( cli_strcmp(z,"-init")==0 ){
 -      i++;
 -    }else if( cli_strcmp(z,"-html")==0 ){
 -      data.mode = MODE_Html;
 -    }else if( cli_strcmp(z,"-list")==0 ){
 -      data.mode = MODE_List;
 -    }else if( cli_strcmp(z,"-quote")==0 ){
 -      data.mode = MODE_Quote;
 -      sqlite3_snprintf(sizeof(data.colSeparator), data.colSeparator, SEP_Comma);
 -      sqlite3_snprintf(sizeof(data.rowSeparator), data.rowSeparator, SEP_Row);
 -    }else if( cli_strcmp(z,"-line")==0 ){
 -      data.mode = MODE_Line;
 -    }else if( cli_strcmp(z,"-column")==0 ){
 -      data.mode = MODE_Column;
 -    }else if( cli_strcmp(z,"-json")==0 ){
 -      data.mode = MODE_Json;
 -    }else if( cli_strcmp(z,"-markdown")==0 ){
 -      data.mode = MODE_Markdown;
 -    }else if( cli_strcmp(z,"-table")==0 ){
 -      data.mode = MODE_Table;
 -    }else if( cli_strcmp(z,"-box")==0 ){
 -      data.mode = MODE_Box;
 -    }else if( cli_strcmp(z,"-csv")==0 ){
 -      data.mode = MODE_Csv;
 -      memcpy(data.colSeparator,",",2);
 -#ifdef SQLITE_HAVE_ZLIB
 -    }else if( cli_strcmp(z,"-zip")==0 ){
 -      data.openMode = SHELL_OPEN_ZIPFILE;
 -#endif
 -    }else if( cli_strcmp(z,"-append")==0 ){
 -      data.openMode = SHELL_OPEN_APPENDVFS;
 -#ifndef SQLITE_OMIT_DESERIALIZE
 -    }else if( cli_strcmp(z,"-deserialize")==0 ){
 -      data.openMode = SHELL_OPEN_DESERIALIZE;
 -    }else if( cli_strcmp(z,"-maxsize")==0 && i+1<argc ){
 -      data.szMax = integerValue(argv[++i]);
 -#endif
 -    }else if( cli_strcmp(z,"-readonly")==0 ){
 -      data.openMode = SHELL_OPEN_READONLY;
 -    }else if( cli_strcmp(z,"-nofollow")==0 ){
 -      data.openFlags |= SQLITE_OPEN_NOFOLLOW;
 -    }else if( cli_strcmp(z,"-ascii")==0 ){
 -      data.mode = MODE_Ascii;
 -      sqlite3_snprintf(sizeof(data.colSeparator), data.colSeparator,SEP_Unit);
 -      sqlite3_snprintf(sizeof(data.rowSeparator), data.rowSeparator,SEP_Record);
 -    }else if( cli_strcmp(z,"-tabs")==0 ){
 -      data.mode = MODE_List;
 -      sqlite3_snprintf(sizeof(data.colSeparator), data.colSeparator,SEP_Tab);
 -      sqlite3_snprintf(sizeof(data.rowSeparator), data.rowSeparator,SEP_Row);
 -    }else if( cli_strcmp(z,"-separator")==0 ){
 -      sqlite3_snprintf(sizeof(data.colSeparator), data.colSeparator,
 -                       "%s",cmdline_option_value(argc,argv,++i));
 -    }else if( cli_strcmp(z,"-newline")==0 ){
 -      sqlite3_snprintf(sizeof(data.rowSeparator), data.rowSeparator,
 -                       "%s",cmdline_option_value(argc,argv,++i));
 -    }else if( cli_strcmp(z,"-nullvalue")==0 ){
 -      sqlite3_snprintf(sizeof(data.nullValue), data.nullValue,
 -                       "%s",cmdline_option_value(argc,argv,++i));
 -    }else if( cli_strcmp(z,"-header")==0 ){
 -      data.showHeader = 1;
 -      ShellSetFlag(&data, SHFLG_HeaderSet);
 -     }else if( cli_strcmp(z,"-noheader")==0 ){
 -      data.showHeader = 0;
 -      ShellSetFlag(&data, SHFLG_HeaderSet);
 -    }else if( cli_strcmp(z,"-echo")==0 ){
 -      ShellSetFlag(&data, SHFLG_Echo);
 -    }else if( cli_strcmp(z,"-eqp")==0 ){
 -      data.autoEQP = AUTOEQP_on;
 -    }else if( cli_strcmp(z,"-eqpfull")==0 ){
 -      data.autoEQP = AUTOEQP_full;
 -    }else if( cli_strcmp(z,"-stats")==0 ){
 -      data.statsOn = 1;
 -    }else if( cli_strcmp(z,"-scanstats")==0 ){
 -      data.scanstatsOn = 1;
 -    }else if( cli_strcmp(z,"-backslash")==0 ){
 -      /* Undocumented command-line option: -backslash
 -      ** Causes C-style backslash escapes to be evaluated in SQL statements
 -      ** prior to sending the SQL into SQLite.  Useful for injecting
 -      ** crazy bytes in the middle of SQL statements for testing and debugging.
 -      */
 -      ShellSetFlag(&data, SHFLG_Backslash);
 -    }else if( cli_strcmp(z,"-bail")==0 ){
 -      /* No-op.  The bail_on_error flag should already be set. */
 -    }else if( cli_strcmp(z,"-version")==0 ){
 -      printf("%s %s\n", sqlite3_libversion(), sqlite3_sourceid());
 -      return 0;
 -    }else if( cli_strcmp(z,"-interactive")==0 ){
 -      stdin_is_interactive = 1;
 -    }else if( cli_strcmp(z,"-batch")==0 ){
 -      stdin_is_interactive = 0;
 -    }else if( cli_strcmp(z,"-utf8")==0 ){
  #if SHELL_WIN_UTF8_OPT
 -      console_utf8 = 1;
 -#endif /* SHELL_WIN_UTF8_OPT */
 -    }else if( cli_strcmp(z,"-heap")==0 ){
 -      i++;
 -    }else if( cli_strcmp(z,"-pagecache")==0 ){
 -      i+=2;
 -    }else if( cli_strcmp(z,"-lookaside")==0 ){
 -      i+=2;
 -    }else if( cli_strcmp(z,"-threadsafe")==0 ){
 -      i+=2;
 -    }else if( cli_strcmp(z,"-nonce")==0 ){
 -      i += 2;
 -    }else if( cli_strcmp(z,"-mmap")==0 ){
 -      i++;
 -    }else if( cli_strcmp(z,"-memtrace")==0 ){
 -      i++;
 -#ifdef SQLITE_ENABLE_SORTER_REFERENCES
 -    }else if( cli_strcmp(z,"-sorterref")==0 ){
 -      i++;
 -#endif
 -    }else if( cli_strcmp(z,"-vfs")==0 ){
 -      i++;
 -#ifdef SQLITE_ENABLE_VFSTRACE
 -    }else if( cli_strcmp(z,"-vfstrace")==0 ){
 -      i++;
 -#endif
 -#ifdef SQLITE_ENABLE_MULTIPLEX
 -    }else if( cli_strcmp(z,"-multiplex")==0 ){
 -      i++;
 -#endif
 -    }else if( cli_strcmp(z,"-help")==0 ){
 -      usage(1);
 -    }else if( cli_strcmp(z,"-cmd")==0 ){
 -      /* Run commands that follow -cmd first and separately from commands
 -      ** that simply appear on the command-line.  This seems goofy.  It would
 -      ** be better if all commands ran in the order that they appear.  But
 -      ** we retain the goofy behavior for historical compatibility. */
 -      if( i==argc-1 ) break;
 -      z = cmdline_option_value(argc,argv,++i);
 -      if( z[0]=='.' ){
 -        rc = do_meta_command(z, &data);
 -        if( rc && bail_on_error ) return rc==2 ? 0 : rc;
 -      }else{
 -        open_db(&data, 0);
 -        rc = shell_exec(&data, z, &zErrMsg);
 -        if( zErrMsg!=0 ){
 -          utf8_printf(stderr,"Error: %s\n", zErrMsg);
 -          if( bail_on_error ) return rc!=0 ? rc : 1;
 -        }else if( rc!=0 ){
 -          utf8_printf(stderr,"Error: unable to process SQL \"%s\"\n", z);
 -          if( bail_on_error ) return rc;
 -        }
 -      }
 -#if !defined(SQLITE_OMIT_VIRTUALTABLE) && defined(SQLITE_HAVE_ZLIB)
 -    }else if( cli_strncmp(z, "-A", 2)==0 ){
 -      if( nCmd>0 ){
 -        utf8_printf(stderr, "Error: cannot mix regular SQL or dot-commands"
 -                            " with \"%s\"\n", z);
 -        return 1;
 -      }
 -      open_db(&data, OPEN_DB_ZIPFILE);
 -      if( z[2] ){
 -        argv[i] = &z[2];
 -        arDotCommand(&data, 1, argv+(i-1), argc-(i-1));
 -      }else{
 -        arDotCommand(&data, 1, argv+i, argc-i);
 -      }
 -      readStdin = 0;
 -      break;
 -#endif
 -    }else if( cli_strcmp(z,"-safe")==0 ){
 -      data.bSafeMode = data.bSafeModePersist = 1;
 -    }else if( cli_strcmp(z,"-unsafe-testing")==0 ){
 -      /* Acted upon in first pass. */
 +    if( console_utf8 && stdin_is_interactive ){
 +      console_prepare();
      }else{
 -      utf8_printf(stderr,"%s: Error: unknown option: %s\n", Argv0, z);
 -      raw_printf(stderr,"Use -help for a list of options.\n");
 -      return 1;
 +      setBinaryMode(stdin, 0);
 +      console_utf8 = 0;
      }
 -    data.cMode = data.mode;
 -  }
 -#if SHELL_WIN_UTF8_OPT
 -  if( console_utf8 && stdin_is_interactive ){
 -    console_prepare();
 -  }else{
 -    setBinaryMode(stdin, 0);
 -    console_utf8 = 0;
 -  }
  #endif
  
 -  if( !readStdin ){
 -    /* Run all arguments that do not begin with '-' as if they were separate
 -    ** command-line inputs, except for the argToSkip argument which contains
 -    ** the database filename.
 -    */
 -    for(i=0; i<nCmd; i++){
 -      if( azCmd[i][0]=='.' ){
 -        rc = do_meta_command(azCmd[i], &data);
 -        if( rc ){
 -          free(azCmd);
 -          return rc==2 ? 0 : rc;
 -        }
 -      }else{
 -        open_db(&data, 0);
 -        echo_group_input(&data, azCmd[i]);
 -        rc = shell_exec(&data, azCmd[i], &zErrMsg);
 -        if( zErrMsg || rc ){
 -          if( zErrMsg!=0 ){
 -            utf8_printf(stderr,"Error: %s\n", zErrMsg);
 -          }else{
 -            utf8_printf(stderr,"Error: unable to process SQL: %s\n", azCmd[i]);
 -          }
 -          sqlite3_free(zErrMsg);
 -          free(azCmd);
 -          return rc!=0 ? rc : 1;
 -        }
 -      }
 -    }
 -  }else{
 -    /* Run commands received from standard input
 -    */
 -    if( stdin_is_interactive ){
 -      char *zHome;
 -      char *zHistory;
 -      int nHistory;
 -      printf(
 -        "SQLite version %s %.19s\n" /*extra-version-info*/
 -        "Enter \".help\" for usage hints.\n",
 -        sqlite3_libversion(), sqlite3_sourceid()
 -      );
 -      if( warnInmemoryDb ){
 -        printf("Connected to a ");
 -        printBold("transient in-memory database");
 -        printf(".\nUse \".open FILENAME\" to reopen on a "
 -               "persistent database.\n");
 -      }
 -      zHistory = getenv("SQLITE_HISTORY");
 -      if( zHistory ){
 -        zHistory = strdup(zHistory);
 -      }else if( (zHome = find_home_dir(0))!=0 ){
 -        nHistory = strlen30(zHome) + 20;
 -        if( (zHistory = malloc(nHistory))!=0 ){
 -          sqlite3_snprintf(nHistory, zHistory,"%s/.sqlite_history", zHome);
 +    if( !argsData.readStdin ){
 +      /* Run all arguments that are not the DB name or do not begin with '-'
 +      ** as if they were separate command-line inputs. */
 +      for(i=0; i<cmdArgs.nCmd && rc<2; i++){
 +        set_invocation_cmd(cmdArgs.azCmd[i]);
-         drc = process_input(&data);
++        drc = process_input(&datai);
 +        rc = (drc>2)? 2 : drc;
 +        if( rc>0 ){
 +          goto shell_bail;
          }
        }
 -      if( zHistory ){ shell_read_history(zHistory); }
 +    }else{
 +      /* Run commands received from standard input
 +      */
 +      if( stdin_is_interactive ){
 +        char *zHome;
 +        char *zHistory = 0;
 +        if( argsData.bQuiet ){
 +          /* bQuiet is almost like normal interactive, but quieter
 +          ** and avoids history keeping and line editor completions. */
 +          mainPrompt[0] = 0;
 +          continuePrompt[0] = 0;
 +        }else{
 +          fprintf(STD_OUT,
 +            "SQLite version %s %.19s\n" /*extra-version-info*/
 +            "Enter \".help\" for usage hints.\n",
 +            sqlite3_libversion(), sqlite3_sourceid()
 +          );
 +          if( warnInmemoryDb ){
 +            fprintf(STD_OUT, "Connected to a ");
 +            printBold("transient in-memory database");
 +            fprintf(STD_OUT, ".\nUse \".open FILENAME\" to reopen on a "
 +                   "persistent database.\n");
 +          }
 +          zHistory = getenv("SQLITE_HISTORY");
 +          if( zHistory ){
 +            zHistory = strdup(zHistory);
 +          }else if( (zHome = find_home_dir(0))!=0 ){
 +            int nHistory = strlen30(zHome) + 20;
 +            if( (zHistory = malloc(nHistory))!=0 ){
 +              sqlite3_snprintf(nHistory, zHistory,"%s/.sqlite_history", zHome);
 +            }
 +          }
 +          if( zHistory ){ shell_read_history(zHistory); }
  #if HAVE_READLINE || HAVE_EDITLINE
 -      rl_attempted_completion_function = readline_completion;
 +          rl_attempted_completion_function = readline_completion;
  #elif HAVE_LINENOISE
 -      linenoiseSetCompletionCallback(linenoise_completion);
 +          linenoiseSetCompletionCallback(linenoise_completion);
  #endif
 -      data.in = 0;
 -      rc = process_input(&data);
 -      if( zHistory ){
 -        shell_stifle_history(2000);
 -        shell_write_history(zHistory);
 -        free(zHistory);
 +        }
-         data.pInSource = &termInSource; /* read from stdin interactively */
-         drc = process_input(&data);
++        datai.pInSource = &termInSource; /* read from stdin interactively */
++        drc = process_input(&datai);
 +        rc = (drc>2)? 2 : drc;
 +        if( !bQuiet ){
 +          if( zHistory ){
 +            shell_stifle_history(2000);
 +            shell_write_history(zHistory);
 +            free(zHistory);
 +          }
 +        }
 +      }else{
-         data.pInSource = &stdInSource; /* read from stdin without prompts */
-         drc = process_input(&data);
++        datai.pInSource = &stdInSource; /* read from stdin without prompts */
++        drc = process_input(&datai);
 +        rc = (drc>2)? 2 : drc;
        }
 -    }else{
 -      data.in = stdin;
 -      rc = process_input(&data);
      }
 +  }else{
 +    /* An abrupt, stack-ripping exit arrives here. */
    }
 + shell_bail:
 +  holder_free(entry_mark);
  #ifndef SQLITE_SHELL_FIDDLE
    /* In WASM mode we have to leave the db state in place so that
 -  ** client code can "push" SQL into it after this call returns. */
 -  free(azCmd);
 -  set_table_name(&data, 0);
 -  if( data.db ){
 -    session_close_all(&data, -1);
 -    close_db(data.db);
 +  ** client code can "push" SQL into it after this call returns.
 +  ** For that build, just bypass freeing all acquired resources.
 +  */
 +  set_table_name(&datax, 0);
 +  if( datax.dbUser ){
-     session_close_all(&data, -1);
++    session_close_all(&datai, -1);
 +# if SHELL_DYNAMIC_EXTENSION
-     notify_subscribers(&data, NK_DbAboutToClose, datax.dbUser);
++    notify_subscribers(&datai, NK_DbAboutToClose, datax.dbUser);
 +# endif
 +    close_db(datax.dbUser);
    }
 -  for(i=0; i<ArraySize(data.aAuxDb); i++){
 -    sqlite3_free(data.aAuxDb[i].zFreeOnClose);
 -    if( data.aAuxDb[i].db ){
 -      session_close_all(&data, i);
 -      close_db(data.aAuxDb[i].db);
 +  sqlite3_mutex_free(pGlobalDbLock);
 +  pGlobalDbLock = 0;
-   for(i=0; i<ArraySize(data.aAuxDb); i++){
-     sqlite3_free(data.aAuxDb[i].zFreeOnClose);
-     if( data.aAuxDb[i].db ){
-       session_close_all(&data, i);
-       close_db(data.aAuxDb[i].db);
++  for(i=0; i<ArraySize(datai.aAuxDb); i++){
++    sqlite3_free(datai.aAuxDb[i].zFreeOnClose);
++    if( datai.aAuxDb[i].db ){
++      session_close_all(&datai, i);
++      close_db(datai.aAuxDb[i].db);
      }
    }
    find_home_dir(1);
--  output_reset(&data);
--  data.doXdgOpen = 0;
--  clearTempFile(&data);
-   sqlite3_free(data.zEditor);
 -#if !SQLITE_SHELL_IS_UTF8
++  output_reset(&datai);
++  datai.doXdgOpen = 0;
++  clearTempFile(&datai);
++  sqlite3_free(datai.zEditor);
 +# if SHELL_DYNAMIC_EXTENSION
-   notify_subscribers(&data, NK_DbAboutToClose, datax.dbShell);
++  notify_subscribers(&datai, NK_DbAboutToClose, datax.dbShell);
 +  /* It is necessary that the shell DB be closed after the user DBs.
 +   * This is because loaded extensions are held by the shell DB and
 +   * are therefor (automatically) unloaded when it is closed. */
-   notify_subscribers(&data, NK_ExtensionUnload, datax.dbShell);
++  notify_subscribers(&datai, NK_ExtensionUnload, datax.dbShell);
 +  /* Forcefully unsubscribe any extension which ignored above or did
 +   * not unsubscribe upon getting above event. */
-   unsubscribe_extensions(&data);
++  unsubscribe_extensions(&datai);
 +  /* This must be done before any extensions unload. */
-   free_all_shext_tracking(&data);
++  free_all_shext_tracking(&datai);
 +  /* Unload extensions and free the DB used for dealing with them. */
 +  sqlite3_close(datax.dbShell);
 +  /* This notification can only reach statically linked extensions. */
-   notify_subscribers(&data, NK_ShutdownImminent, 0);
++  notify_subscribers(&datai, NK_ShutdownImminent, 0);
 +  /* Forcefull unsubscribe static extension event listeners. */
 +  subscribe_events(&datax, 0, &datax, NK_Unsubscribe, 0);
 +# endif
 +# if !SQLITE_SHELL_IS_UTF8
    for(i=0; i<argcToFree; i++) free(argvToFree[i]);
    free(argvToFree);
 -#endif
 -  free(data.colWidth);
 -  free(data.zNonce);
 -  /* Clear the global data structure so that valgrind will detect memory
 -  ** leaks */
 -  memset(&data, 0, sizeof(data));
 -#ifdef SQLITE_DEBUG
 +# endif
 +  free(datax.pSpecWidths);
-   free(data.zNonce);
-   for(i=0; i<data.nSavedModes; ++i) sqlite3_free(data.pModeStack[i]);
++  free(datai.zNonce);
++  for(i=0; i<datai.nSavedModes; ++i) sqlite3_free(datai.pModeStack[i]);
 +# if SHELL_DATAIO_EXT
 +  cmExporter.pMethods->destruct((ExportHandler*)&cmExporter);
 +  ffExporter.pMethods->destruct((ExportHandler*)&ffExporter);
 +# endif
 +  aec = datax.shellAbruptExit;
 +  /* Clear shell state objects so that valgrind detects real memory leaks. */
-   memset(&data, 0, sizeof(data));
++  memset(&datai, 0, sizeof(datai));
 +  memset(&datax, 0, sizeof(datax));
 +# ifdef SQLITE_DEBUG
    if( sqlite3_memory_used()>mem_main_enter ){
      utf8_printf(stderr, "Memory leaked: %u bytes\n",
                  (unsigned int)(sqlite3_memory_used()-mem_main_enter));
@@@ -16863,8 -12667,8 +16917,8 @@@ int fiddle_export_db( int (*xCallback)(
    sqlite3_file * pFile = 0;
    unsigned char buf[1024 * 8];
    int nBuf = (int)sizeof(buf);
--  int rc = shellState.db
--    ? sqlite3_file_control(shellState.db, "main",
++  int rc = shellStateI.db
++    ? sqlite3_file_control(shellStateI.db, "main",
                             SQLITE_FCNTL_FILE_POINTER, &pFile)
      : SQLITE_NOTFOUND;
    if( rc ) return rc;
  void fiddle_exec(const char * zSql){
    if(zSql && *zSql){
      if('.'==*zSql) puts(zSql);
--    shellState.wasm.zInput = zSql;
--    shellState.wasm.zPos = zSql;
--    process_input(&shellState);
--    shellState.wasm.zInput = shellState.wasm.zPos = 0;
++    shellStateI.wasm.zInput = zSql;
++    shellStateI.wasm.zPos = zSql;
++    process_input(&shellStateI);
++    shellStateI.wasm.zInput = shellStateI.wasm.zPos = 0;
    }
  }
 -#endif /* SQLITE_SHELL_FIDDLE */
 +#endif /* defined(SQLITE_SHELL_FIDDLE) */