]> git.ipfire.org Git - thirdparty/binutils-gdb.git/blobdiff - libctf/ctf-create.c
Update year range in copyright notice of binutils files
[thirdparty/binutils-gdb.git] / libctf / ctf-create.c
index 1035c5ab16decdf44dfc8dc4646237f14daa0ef5..7a3b3078dbaed46d82a58c0a527019415d1a2025 100644 (file)
@@ -1,5 +1,5 @@
-/* CTF file creation.
-   Copyright (C) 2019 Free Software Foundation, Inc.
+/* CTF dict creation.
+   Copyright (C) 2019-2023 Free Software Foundation, Inc.
 
    This file is part of libctf.
 
 
 #include <ctf-impl.h>
 #include <sys/param.h>
-#include <assert.h>
 #include <string.h>
-#include <zlib.h>
+#include <unistd.h>
 
-/* To create an empty CTF container, we just declare a zeroed header and call
-   ctf_bufopen() on it.  If ctf_bufopen succeeds, we mark the new container r/w
-   and initialize the dynamic members.  We set dtvstrlen to 1 to reserve the
-   first byte of the string table for a \0 byte, and we start assigning type
-   IDs at 1 because type ID 0 is used as a sentinel and a not-found
-   indicator.  */
+#ifndef EOVERFLOW
+#define EOVERFLOW ERANGE
+#endif
 
-ctf_file_t *
+#ifndef roundup
+#define roundup(x, y)  ((((x) + ((y) - 1)) / (y)) * (y))
+#endif
+
+/* The initial size of a dynamic type's vlen in members.  Arbitrary: the bigger
+   this is, the less allocation needs to be done for small structure
+   initialization, and the more memory is wasted for small structures during CTF
+   construction.  No effect on generated CTF or ctf_open()ed CTF. */
+#define INITIAL_VLEN 16
+
+/* Make sure the ptrtab has enough space for at least one more type.
+
+   We start with 4KiB of ptrtab, enough for a thousand types, then grow it 25%
+   at a time.  */
+
+static int
+ctf_grow_ptrtab (ctf_dict_t *fp)
+{
+  size_t new_ptrtab_len = fp->ctf_ptrtab_len;
+
+  /* We allocate one more ptrtab entry than we need, for the initial zero,
+     plus one because the caller will probably allocate a new type.  */
+
+  if (fp->ctf_ptrtab == NULL)
+    new_ptrtab_len = 1024;
+  else if ((fp->ctf_typemax + 2) > fp->ctf_ptrtab_len)
+    new_ptrtab_len = fp->ctf_ptrtab_len * 1.25;
+
+  if (new_ptrtab_len != fp->ctf_ptrtab_len)
+    {
+      uint32_t *new_ptrtab;
+
+      if ((new_ptrtab = realloc (fp->ctf_ptrtab,
+                                new_ptrtab_len * sizeof (uint32_t))) == NULL)
+       return (ctf_set_errno (fp, ENOMEM));
+
+      fp->ctf_ptrtab = new_ptrtab;
+      memset (fp->ctf_ptrtab + fp->ctf_ptrtab_len, 0,
+             (new_ptrtab_len - fp->ctf_ptrtab_len) * sizeof (uint32_t));
+      fp->ctf_ptrtab_len = new_ptrtab_len;
+    }
+  return 0;
+}
+
+/* Make sure a vlen has enough space: expand it otherwise.  Unlike the ptrtab,
+   which grows quite slowly, the vlen grows in big jumps because it is quite
+   expensive to expand: the caller has to scan the old vlen for string refs
+   first and remove them, then re-add them afterwards.  The initial size is
+   more or less arbitrary.  */
+static int
+ctf_grow_vlen (ctf_dict_t *fp, ctf_dtdef_t *dtd, size_t vlen)
+{
+  unsigned char *old = dtd->dtd_vlen;
+
+  if (dtd->dtd_vlen_alloc > vlen)
+    return 0;
+
+  if ((dtd->dtd_vlen = realloc (dtd->dtd_vlen,
+                               dtd->dtd_vlen_alloc * 2)) == NULL)
+    {
+      dtd->dtd_vlen = old;
+      return (ctf_set_errno (fp, ENOMEM));
+    }
+  memset (dtd->dtd_vlen + dtd->dtd_vlen_alloc, 0, dtd->dtd_vlen_alloc);
+  dtd->dtd_vlen_alloc *= 2;
+  return 0;
+}
+
+/* To create an empty CTF dict, we just declare a zeroed header and call
+   ctf_bufopen() on it.  If ctf_bufopen succeeds, we mark the new dict r/w and
+   initialize the dynamic members.  We start assigning type IDs at 1 because
+   type ID 0 is used as a sentinel and a not-found indicator.  */
+
+ctf_dict_t *
 ctf_create (int *errp)
 {
   static const ctf_header_t hdr = { .cth_preamble = { CTF_MAGIC, CTF_VERSION, 0 } };
 
   ctf_dynhash_t *dthash;
   ctf_dynhash_t *dvhash;
-  ctf_dynhash_t *dtbyname;
+  ctf_dynhash_t *structs = NULL, *unions = NULL, *enums = NULL, *names = NULL;
+  ctf_dynhash_t *objthash = NULL, *funchash = NULL;
   ctf_sect_t cts;
-  ctf_file_t *fp;
+  ctf_dict_t *fp;
 
   libctf_init_debug();
   dthash = ctf_dynhash_create (ctf_hash_integer, ctf_hash_eq_integer,
@@ -58,40 +128,63 @@ ctf_create (int *errp)
       goto err_dt;
     }
 
-  dtbyname = ctf_dynhash_create (ctf_hash_string, ctf_hash_eq_string,
+  structs = ctf_dynhash_create (ctf_hash_string, ctf_hash_eq_string,
+                               NULL, NULL);
+  unions = ctf_dynhash_create (ctf_hash_string, ctf_hash_eq_string,
+                              NULL, NULL);
+  enums = ctf_dynhash_create (ctf_hash_string, ctf_hash_eq_string,
+                             NULL, NULL);
+  names = ctf_dynhash_create (ctf_hash_string, ctf_hash_eq_string,
+                             NULL, NULL);
+  objthash = ctf_dynhash_create (ctf_hash_string, ctf_hash_eq_string,
                                 free, NULL);
-  if (dtbyname == NULL)
+  funchash = ctf_dynhash_create (ctf_hash_string, ctf_hash_eq_string,
+                                free, NULL);
+  if (!structs || !unions || !enums || !names)
     {
       ctf_set_open_errno (errp, EAGAIN);
       goto err_dv;
     }
 
   cts.cts_name = _CTF_SECTION;
-  cts.cts_type = SHT_PROGBITS;
-  cts.cts_flags = 0;
   cts.cts_data = &hdr;
   cts.cts_size = sizeof (hdr);
   cts.cts_entsize = 1;
-  cts.cts_offset = 0;
 
-  if ((fp = ctf_bufopen (&cts, NULL, NULL, errp)) == NULL)
-      goto err_dtbyname;
+  if ((fp = ctf_bufopen_internal (&cts, NULL, NULL, NULL, 1, errp)) == NULL)
+    goto err_dv;
 
-  fp->ctf_flags |= LCTF_RDWR;
-  fp->ctf_dtbyname = dtbyname;
+  fp->ctf_structs.ctn_writable = structs;
+  fp->ctf_unions.ctn_writable = unions;
+  fp->ctf_enums.ctn_writable = enums;
+  fp->ctf_names.ctn_writable = names;
+  fp->ctf_objthash = objthash;
+  fp->ctf_funchash = funchash;
   fp->ctf_dthash = dthash;
   fp->ctf_dvhash = dvhash;
-  fp->ctf_dtvstrlen = 1;
-  fp->ctf_dtnextid = 1;
   fp->ctf_dtoldid = 0;
-  fp->ctf_snapshots = 0;
+  fp->ctf_snapshots = 1;
   fp->ctf_snapshot_lu = 0;
+  fp->ctf_flags |= LCTF_DIRTY;
+
+  ctf_set_ctl_hashes (fp);
+  ctf_setmodel (fp, CTF_MODEL_NATIVE);
+  if (ctf_grow_ptrtab (fp) < 0)
+    {
+      ctf_set_open_errno (errp, ctf_errno (fp));
+      ctf_dict_close (fp);
+      return NULL;
+    }
 
   return fp;
 
- err_dtbyname:
-  ctf_dynhash_destroy (dtbyname);
  err_dv:
+  ctf_dynhash_destroy (structs);
+  ctf_dynhash_destroy (unions);
+  ctf_dynhash_destroy (enums);
+  ctf_dynhash_destroy (names);
+  ctf_dynhash_destroy (objthash);
+  ctf_dynhash_destroy (funchash);
   ctf_dynhash_destroy (dvhash);
  err_dt:
   ctf_dynhash_destroy (dthash);
@@ -99,563 +192,176 @@ ctf_create (int *errp)
   return NULL;
 }
 
-static unsigned char *
-ctf_copy_smembers (ctf_dtdef_t *dtd, uint32_t soff, unsigned char *t)
-{
-  ctf_dmdef_t *dmd = ctf_list_next (&dtd->dtd_u.dtu_members);
-  ctf_member_t ctm;
-
-  for (; dmd != NULL; dmd = ctf_list_next (dmd))
-    {
-      if (dmd->dmd_name)
-       {
-         ctm.ctm_name = soff;
-         soff += strlen (dmd->dmd_name) + 1;
-       }
-      else
-       ctm.ctm_name = 0;
-
-      ctm.ctm_type = (uint32_t) dmd->dmd_type;
-      ctm.ctm_offset = (uint32_t) dmd->dmd_offset;
-
-      memcpy (t, &ctm, sizeof (ctm));
-      t += sizeof (ctm);
-    }
-
-  return t;
-}
-
-static unsigned char *
-ctf_copy_lmembers (ctf_dtdef_t *dtd, uint32_t soff, unsigned char *t)
-{
-  ctf_dmdef_t *dmd = ctf_list_next (&dtd->dtd_u.dtu_members);
-  ctf_lmember_t ctlm;
-
-  for (; dmd != NULL; dmd = ctf_list_next (dmd))
-    {
-      if (dmd->dmd_name)
-       {
-         ctlm.ctlm_name = soff;
-         soff += strlen (dmd->dmd_name) + 1;
-       }
-      else
-       ctlm.ctlm_name = 0;
-
-      ctlm.ctlm_type = (uint32_t) dmd->dmd_type;
-      ctlm.ctlm_offsethi = CTF_OFFSET_TO_LMEMHI (dmd->dmd_offset);
-      ctlm.ctlm_offsetlo = CTF_OFFSET_TO_LMEMLO (dmd->dmd_offset);
-
-      memcpy (t, &ctlm, sizeof (ctlm));
-      t += sizeof (ctlm);
-    }
-
-  return t;
-}
-
-static unsigned char *
-ctf_copy_emembers (ctf_dtdef_t *dtd, uint32_t soff, unsigned char *t)
-{
-  ctf_dmdef_t *dmd = ctf_list_next (&dtd->dtd_u.dtu_members);
-  ctf_enum_t cte;
-
-  for (; dmd != NULL; dmd = ctf_list_next (dmd))
-    {
-      cte.cte_name = soff;
-      cte.cte_value = dmd->dmd_value;
-      soff += strlen (dmd->dmd_name) + 1;
-      memcpy (t, &cte, sizeof (cte));
-      t += sizeof (cte);
-    }
-
-  return t;
-}
-
-static unsigned char *
-ctf_copy_membnames (ctf_dtdef_t *dtd, unsigned char *s)
-{
-  ctf_dmdef_t *dmd = ctf_list_next (&dtd->dtd_u.dtu_members);
-  size_t len;
-
-  for (; dmd != NULL; dmd = ctf_list_next (dmd))
-    {
-      if (dmd->dmd_name == NULL)
-       continue;                       /* Skip anonymous members.  */
-      len = strlen (dmd->dmd_name) + 1;
-      memcpy (s, dmd->dmd_name, len);
-      s += len;
-    }
-
-  return s;
-}
-
-/* Sort a newly-constructed static variable array.  */
-
-static int
-ctf_sort_var (const void *one_, const void *two_, void *strtab_)
-{
-  const ctf_varent_t *one = one_;
-  const ctf_varent_t *two = two_;
-  const char *strtab = strtab_;
-  const char *n1 = strtab + CTF_NAME_OFFSET (one->ctv_name);
-  const char *n2 = strtab + CTF_NAME_OFFSET (two->ctv_name);
-
-  return (strcmp (n1, n2));
-}
-
-/* If the specified CTF container is writable and has been modified, reload this
-   container with the updated type definitions.  In order to make this code and
-   the rest of libctf as simple as possible, we perform updates by taking the
-   dynamic type definitions and creating an in-memory CTF file containing the
-   definitions, and then call ctf_simple_open() on it.  This not only leverages
-   ctf_simple_open(), but also avoids having to bifurcate the rest of the library
-   code with different lookup paths for static and dynamic type definitions.  We
-   are therefore optimizing greatly for lookup over update, which we assume will
-   be an uncommon operation.  We perform one extra trick here for the benefit of
-   callers and to keep our code simple: ctf_simple_open() will return a new
-   ctf_file_t, but we want to keep the fp constant for the caller, so after
-   ctf_simple_open() returns, we use memcpy to swap the interior of the old and
-   new ctf_file_t's, and then free the old.  */
+/* Compatibility: just update the threshold for ctf_discard.  */
 int
-ctf_update (ctf_file_t *fp)
+ctf_update (ctf_dict_t *fp)
 {
-  ctf_file_t ofp, *nfp;
-  ctf_header_t hdr;
-  ctf_dtdef_t *dtd;
-  ctf_dvdef_t *dvd;
-  ctf_varent_t *dvarents;
-
-  unsigned char *s, *s0, *t;
-  unsigned long i;
-  size_t buf_size, type_size, nvars;
-  void *buf;
-  int err;
-
   if (!(fp->ctf_flags & LCTF_RDWR))
     return (ctf_set_errno (fp, ECTF_RDONLY));
 
-  /* Update required?  */
-  if (!(fp->ctf_flags & LCTF_DIRTY))
-    return 0;
-
-  /* Fill in an initial CTF header.  We will leave the label, object,
-     and function sections empty and only output a header, type section,
-     and string table.  The type section begins at a 4-byte aligned
-     boundary past the CTF header itself (at relative offset zero).  */
-
-  memset (&hdr, 0, sizeof (hdr));
-  hdr.cth_magic = CTF_MAGIC;
-  hdr.cth_version = CTF_VERSION;
-
-  if (fp->ctf_flags & LCTF_CHILD)
-    hdr.cth_parname = 1;               /* parname added just below.  */
-
-  /* Iterate through the dynamic type definition list and compute the
-     size of the CTF type section we will need to generate.  */
-
-  for (type_size = 0, dtd = ctf_list_next (&fp->ctf_dtdefs);
-       dtd != NULL; dtd = ctf_list_next (dtd))
-    {
-      uint32_t kind = LCTF_INFO_KIND (fp, dtd->dtd_data.ctt_info);
-      uint32_t vlen = LCTF_INFO_VLEN (fp, dtd->dtd_data.ctt_info);
-
-      if (dtd->dtd_data.ctt_size != CTF_LSIZE_SENT)
-       type_size += sizeof (ctf_stype_t);
-      else
-       type_size += sizeof (ctf_type_t);
-
-      switch (kind)
-       {
-       case CTF_K_INTEGER:
-       case CTF_K_FLOAT:
-         type_size += sizeof (uint32_t);
-         break;
-       case CTF_K_ARRAY:
-         type_size += sizeof (ctf_array_t);
-         break;
-       case CTF_K_SLICE:
-         type_size += sizeof (ctf_slice_t);
-         break;
-       case CTF_K_FUNCTION:
-         type_size += sizeof (uint32_t) * (vlen + (vlen & 1));
-         break;
-       case CTF_K_STRUCT:
-       case CTF_K_UNION:
-         if (dtd->dtd_data.ctt_size < CTF_LSTRUCT_THRESH)
-           type_size += sizeof (ctf_member_t) * vlen;
-         else
-           type_size += sizeof (ctf_lmember_t) * vlen;
-         break;
-       case CTF_K_ENUM:
-         type_size += sizeof (ctf_enum_t) * vlen;
-         break;
-       }
-    }
-
-  /* Computing the number of entries in the CTF variable section is much
-     simpler.  */
-
-  for (nvars = 0, dvd = ctf_list_next (&fp->ctf_dvdefs);
-       dvd != NULL; dvd = ctf_list_next (dvd), nvars++);
-
-  /* Fill in the string table and type offset and size, compute the size
-     of the entire CTF buffer we need, and then allocate a new buffer and
-     memcpy the finished header to the start of the buffer.  */
-
-  hdr.cth_typeoff = hdr.cth_varoff + (nvars * sizeof (ctf_varent_t));
-  hdr.cth_stroff = hdr.cth_typeoff + type_size;
-  hdr.cth_strlen = fp->ctf_dtvstrlen;
-  if (fp->ctf_parname != NULL)
-    hdr.cth_strlen += strlen (fp->ctf_parname) + 1;
-
-  buf_size = sizeof (ctf_header_t) + hdr.cth_stroff + hdr.cth_strlen;
-
-  if ((buf = ctf_data_alloc (buf_size)) == NULL)
-    return (ctf_set_errno (fp, EAGAIN));
-
-  memcpy (buf, &hdr, sizeof (ctf_header_t));
-  t = (unsigned char *) buf + sizeof (ctf_header_t) + hdr.cth_varoff;
-  s = s0 = (unsigned char *) buf + sizeof (ctf_header_t) + hdr.cth_stroff;
-
-  s[0] = '\0';
-  s++;
-
-  if (fp->ctf_parname != NULL)
-    {
-      memcpy (s, fp->ctf_parname, strlen (fp->ctf_parname) + 1);
-      s += strlen (fp->ctf_parname) + 1;
-    }
-
-  /* Work over the variable list, translating everything into
-     ctf_varent_t's and filling out the string table, then sort the buffer
-     of ctf_varent_t's.  */
-
-  dvarents = (ctf_varent_t *) t;
-  for (i = 0, dvd = ctf_list_next (&fp->ctf_dvdefs); dvd != NULL;
-       dvd = ctf_list_next (dvd), i++)
-    {
-      ctf_varent_t *var = &dvarents[i];
-      size_t len = strlen (dvd->dvd_name) + 1;
-
-      var->ctv_name = (uint32_t) (s - s0);
-      var->ctv_type = dvd->dvd_type;
-      memcpy (s, dvd->dvd_name, len);
-      s += len;
-    }
-  assert (i == nvars);
-
-  qsort_r (dvarents, nvars, sizeof (ctf_varent_t), ctf_sort_var, s0);
-  t += sizeof (ctf_varent_t) * nvars;
-
-  assert (t == (unsigned char *) buf + sizeof (ctf_header_t) + hdr.cth_typeoff);
-
-  /* We now take a final lap through the dynamic type definition list and
-     copy the appropriate type records and strings to the output buffer.  */
-
-  for (dtd = ctf_list_next (&fp->ctf_dtdefs);
-       dtd != NULL; dtd = ctf_list_next (dtd))
-    {
-
-      uint32_t kind = LCTF_INFO_KIND (fp, dtd->dtd_data.ctt_info);
-      uint32_t vlen = LCTF_INFO_VLEN (fp, dtd->dtd_data.ctt_info);
-
-      ctf_array_t cta;
-      uint32_t encoding;
-      size_t len;
-
-      if (dtd->dtd_name != NULL)
-       {
-         dtd->dtd_data.ctt_name = (uint32_t) (s - s0);
-         len = strlen (dtd->dtd_name) + 1;
-         memcpy (s, dtd->dtd_name, len);
-         s += len;
-       }
-      else
-       dtd->dtd_data.ctt_name = 0;
-
-      if (dtd->dtd_data.ctt_size != CTF_LSIZE_SENT)
-       len = sizeof (ctf_stype_t);
-      else
-       len = sizeof (ctf_type_t);
-
-      memcpy (t, &dtd->dtd_data, len);
-      t += len;
-
-      switch (kind)
-       {
-       case CTF_K_INTEGER:
-       case CTF_K_FLOAT:
-         if (kind == CTF_K_INTEGER)
-           {
-             encoding = CTF_INT_DATA (dtd->dtd_u.dtu_enc.cte_format,
-                                      dtd->dtd_u.dtu_enc.cte_offset,
-                                      dtd->dtd_u.dtu_enc.cte_bits);
-           }
-         else
-           {
-             encoding = CTF_FP_DATA (dtd->dtd_u.dtu_enc.cte_format,
-                                     dtd->dtd_u.dtu_enc.cte_offset,
-                                     dtd->dtd_u.dtu_enc.cte_bits);
-           }
-         memcpy (t, &encoding, sizeof (encoding));
-         t += sizeof (encoding);
-         break;
-
-       case CTF_K_SLICE:
-         memcpy (t, &dtd->dtd_u.dtu_slice, sizeof (struct ctf_slice));
-         t += sizeof (struct ctf_slice);
-         break;
-
-       case CTF_K_ARRAY:
-         cta.cta_contents = (uint32_t) dtd->dtd_u.dtu_arr.ctr_contents;
-         cta.cta_index = (uint32_t) dtd->dtd_u.dtu_arr.ctr_index;
-         cta.cta_nelems = dtd->dtd_u.dtu_arr.ctr_nelems;
-         memcpy (t, &cta, sizeof (cta));
-         t += sizeof (cta);
-         break;
-
-       case CTF_K_FUNCTION:
-         {
-           uint32_t *argv = (uint32_t *) (uintptr_t) t;
-           uint32_t argc;
-
-           for (argc = 0; argc < vlen; argc++)
-             *argv++ = (uint32_t) dtd->dtd_u.dtu_argv[argc];
-
-           if (vlen & 1)
-             *argv++ = 0;      /* Pad to 4-byte boundary.  */
-
-           t = (unsigned char *) argv;
-           break;
-         }
-
-       case CTF_K_STRUCT:
-       case CTF_K_UNION:
-         if (dtd->dtd_data.ctt_size < CTF_LSTRUCT_THRESH)
-           t = ctf_copy_smembers (dtd, (uint32_t) (s - s0), t);
-         else
-           t = ctf_copy_lmembers (dtd, (uint32_t) (s - s0), t);
-         s = ctf_copy_membnames (dtd, s);
-         break;
-
-       case CTF_K_ENUM:
-         t = ctf_copy_emembers (dtd, (uint32_t) (s - s0), t);
-         s = ctf_copy_membnames (dtd, s);
-         break;
-       }
-    }
-  assert (t == (unsigned char *) buf + sizeof (ctf_header_t) + hdr.cth_stroff);
-
-  /* Finally, we are ready to ctf_simple_open() the new container.  If this
-     is successful, we then switch nfp and fp and free the old container.  */
-
-  ctf_data_protect (buf, buf_size);
-
-  if ((nfp = ctf_simple_open (buf, buf_size, NULL, 0, 0, NULL, 0, &err)) == NULL)
-    {
-      ctf_data_free (buf, buf_size);
-      return (ctf_set_errno (fp, err));
-    }
-
-  (void) ctf_setmodel (nfp, ctf_getmodel (fp));
-  (void) ctf_import (nfp, fp->ctf_parent);
-
-  nfp->ctf_refcnt = fp->ctf_refcnt;
-  nfp->ctf_flags |= fp->ctf_flags & ~LCTF_DIRTY;
-  nfp->ctf_data.cts_data = NULL;       /* Force ctf_data_free() on close.  */
-  nfp->ctf_dthash = fp->ctf_dthash;
-  nfp->ctf_dtdefs = fp->ctf_dtdefs;
-  nfp->ctf_dtbyname = fp->ctf_dtbyname;
-  nfp->ctf_dvhash = fp->ctf_dvhash;
-  nfp->ctf_dvdefs = fp->ctf_dvdefs;
-  nfp->ctf_dtvstrlen = fp->ctf_dtvstrlen;
-  nfp->ctf_dtnextid = fp->ctf_dtnextid;
-  nfp->ctf_dtoldid = fp->ctf_dtnextid - 1;
-  nfp->ctf_snapshots = fp->ctf_snapshots + 1;
-  nfp->ctf_specific = fp->ctf_specific;
-
-  nfp->ctf_snapshot_lu = fp->ctf_snapshots;
-
-  fp->ctf_dtbyname = NULL;
-  fp->ctf_dthash = NULL;
-  memset (&fp->ctf_dtdefs, 0, sizeof (ctf_list_t));
-
-  fp->ctf_dvhash = NULL;
-  memset (&fp->ctf_dvdefs, 0, sizeof (ctf_list_t));
-
-  memcpy (&ofp, fp, sizeof (ctf_file_t));
-  memcpy (fp, nfp, sizeof (ctf_file_t));
-  memcpy (nfp, &ofp, sizeof (ctf_file_t));
-
-  /* Initialize the ctf_lookup_by_name top-level dictionary.  We keep an
-     array of type name prefixes and the corresponding ctf_dynhash to use.
-     NOTE: This code must be kept in sync with the code in ctf_bufopen().  */
-
-  fp->ctf_lookups[0].ctl_hash = fp->ctf_structs;
-  fp->ctf_lookups[1].ctl_hash = fp->ctf_unions;
-  fp->ctf_lookups[2].ctl_hash = fp->ctf_enums;
-  fp->ctf_lookups[3].ctl_hash = fp->ctf_names;
-
-  nfp->ctf_refcnt = 1;         /* Force nfp to be freed.  */
-  ctf_file_close (nfp);
-
+  fp->ctf_dtoldid = fp->ctf_typemax;
   return 0;
 }
 
-static char *
-ctf_prefixed_name (int kind, const char *name)
+ctf_names_t *
+ctf_name_table (ctf_dict_t *fp, int kind)
 {
-  char *prefixed;
-
   switch (kind)
     {
     case CTF_K_STRUCT:
-      prefixed = ctf_strdup ("struct ");
-      break;
+      return &fp->ctf_structs;
     case CTF_K_UNION:
-      prefixed = ctf_strdup ("union ");
-      break;
+      return &fp->ctf_unions;
     case CTF_K_ENUM:
-      prefixed = ctf_strdup ("enum ");
-      break;
+      return &fp->ctf_enums;
     default:
-      prefixed = ctf_strdup ("");
+      return &fp->ctf_names;
     }
-
-  prefixed = ctf_str_append (prefixed, name);
-  return prefixed;
 }
 
-void
-ctf_dtd_insert (ctf_file_t *fp, ctf_dtdef_t *dtd)
+int
+ctf_dtd_insert (ctf_dict_t *fp, ctf_dtdef_t *dtd, int flag, int kind)
 {
-  ctf_dynhash_insert (fp->ctf_dthash, (void *) dtd->dtd_type, dtd);
-  ctf_list_append (&fp->ctf_dtdefs, dtd);
-  if (dtd->dtd_name)
+  const char *name;
+  if (ctf_dynhash_insert (fp->ctf_dthash, (void *) (uintptr_t) dtd->dtd_type,
+                         dtd) < 0)
     {
-      int kind = LCTF_INFO_KIND (fp, dtd->dtd_data.ctt_info);
-      ctf_dynhash_insert (fp->ctf_dtbyname, ctf_prefixed_name (kind,
-                                                              dtd->dtd_name),
-                         dtd);
+      ctf_set_errno (fp, ENOMEM);
+      return -1;
     }
+
+  if (flag == CTF_ADD_ROOT && dtd->dtd_data.ctt_name
+      && (name = ctf_strraw (fp, dtd->dtd_data.ctt_name)) != NULL)
+    {
+      if (ctf_dynhash_insert (ctf_name_table (fp, kind)->ctn_writable,
+                             (char *) name, (void *) (uintptr_t)
+                             dtd->dtd_type) < 0)
+       {
+         ctf_dynhash_remove (fp->ctf_dthash, (void *) (uintptr_t)
+                             dtd->dtd_type);
+         ctf_set_errno (fp, ENOMEM);
+         return -1;
+       }
+    }
+  ctf_list_append (&fp->ctf_dtdefs, dtd);
+  return 0;
 }
 
 void
-ctf_dtd_delete (ctf_file_t *fp, ctf_dtdef_t *dtd)
+ctf_dtd_delete (ctf_dict_t *fp, ctf_dtdef_t *dtd)
 {
-  ctf_dmdef_t *dmd, *nmd;
   int kind = LCTF_INFO_KIND (fp, dtd->dtd_data.ctt_info);
+  size_t vlen = LCTF_INFO_VLEN (fp, dtd->dtd_data.ctt_info);
+  int name_kind = kind;
+  const char *name;
 
-  ctf_dynhash_remove (fp->ctf_dthash, (void *) dtd->dtd_type);
+  ctf_dynhash_remove (fp->ctf_dthash, (void *) (uintptr_t) dtd->dtd_type);
 
   switch (kind)
     {
     case CTF_K_STRUCT:
     case CTF_K_UNION:
+      {
+       ctf_lmember_t *memb = (ctf_lmember_t *) dtd->dtd_vlen;
+       size_t i;
+
+       for (i = 0; i < vlen; i++)
+         ctf_str_remove_ref (fp, ctf_strraw (fp, memb[i].ctlm_name),
+                             &memb[i].ctlm_name);
+      }
+      break;
     case CTF_K_ENUM:
-      for (dmd = ctf_list_next (&dtd->dtd_u.dtu_members);
-          dmd != NULL; dmd = nmd)
-       {
-         if (dmd->dmd_name != NULL)
-           {
-             fp->ctf_dtvstrlen -= strlen (dmd->dmd_name) + 1;
-             ctf_free (dmd->dmd_name);
-           }
-         nmd = ctf_list_next (dmd);
-         ctf_free (dmd);
-       }
+      {
+       ctf_enum_t *en = (ctf_enum_t *) dtd->dtd_vlen;
+       size_t i;
+
+       for (i = 0; i < vlen; i++)
+         ctf_str_remove_ref (fp, ctf_strraw (fp, en[i].cte_name),
+                             &en[i].cte_name);
+      }
       break;
-    case CTF_K_FUNCTION:
-      ctf_free (dtd->dtd_u.dtu_argv);
+    case CTF_K_FORWARD:
+      name_kind = dtd->dtd_data.ctt_type;
       break;
     }
+  free (dtd->dtd_vlen);
+  dtd->dtd_vlen_alloc = 0;
 
-  if (dtd->dtd_name)
+  if (dtd->dtd_data.ctt_name
+      && (name = ctf_strraw (fp, dtd->dtd_data.ctt_name)) != NULL
+      && LCTF_INFO_ISROOT (fp, dtd->dtd_data.ctt_info))
     {
-      char *name;
-
-      name = ctf_prefixed_name (kind, dtd->dtd_name);
-      ctf_dynhash_remove (fp->ctf_dtbyname, name);
-      free (name);
-
-      fp->ctf_dtvstrlen -= strlen (dtd->dtd_name) + 1;
-      ctf_free (dtd->dtd_name);
+      ctf_dynhash_remove (ctf_name_table (fp, name_kind)->ctn_writable,
+                         name);
+      ctf_str_remove_ref (fp, name, &dtd->dtd_data.ctt_name);
     }
 
   ctf_list_delete (&fp->ctf_dtdefs, dtd);
-  ctf_free (dtd);
+  free (dtd);
 }
 
 ctf_dtdef_t *
-ctf_dtd_lookup (const ctf_file_t *fp, ctf_id_t type)
-{
-  return (ctf_dtdef_t *) ctf_dynhash_lookup (fp->ctf_dthash, (void *) type);
-}
-
-static ctf_id_t
-ctf_dtd_lookup_type_by_name (ctf_file_t *fp, int kind, const char *name)
+ctf_dtd_lookup (const ctf_dict_t *fp, ctf_id_t type)
 {
-  ctf_dtdef_t *dtd;
-  char *decorated = ctf_prefixed_name (kind, name);
-
-  dtd = (ctf_dtdef_t *) ctf_dynhash_lookup (fp->ctf_dtbyname, decorated);
-  free (decorated);
-
-  if (dtd)
-    return dtd->dtd_type;
-
-  return 0;
+  return (ctf_dtdef_t *)
+    ctf_dynhash_lookup (fp->ctf_dthash, (void *) (uintptr_t) type);
 }
 
 ctf_dtdef_t *
-ctf_dynamic_type (const ctf_file_t *fp, ctf_id_t id)
+ctf_dynamic_type (const ctf_dict_t *fp, ctf_id_t id)
 {
   ctf_id_t idx;
 
+  if (!(fp->ctf_flags & LCTF_RDWR))
+    return NULL;
+
   if ((fp->ctf_flags & LCTF_CHILD) && LCTF_TYPE_ISPARENT (fp, id))
     fp = fp->ctf_parent;
 
   idx = LCTF_TYPE_TO_INDEX(fp, id);
 
-  if (((unsigned long) idx > fp->ctf_typemax) &&
-      ((unsigned long) idx < fp->ctf_dtnextid))
+  if ((unsigned long) idx <= fp->ctf_typemax)
     return ctf_dtd_lookup (fp, id);
   return NULL;
 }
 
-void
-ctf_dvd_insert (ctf_file_t *fp, ctf_dvdef_t *dvd)
+int
+ctf_dvd_insert (ctf_dict_t *fp, ctf_dvdef_t *dvd)
 {
-  ctf_dynhash_insert (fp->ctf_dvhash, dvd->dvd_name, dvd);
+  if (ctf_dynhash_insert (fp->ctf_dvhash, dvd->dvd_name, dvd) < 0)
+    {
+      ctf_set_errno (fp, ENOMEM);
+      return -1;
+    }
   ctf_list_append (&fp->ctf_dvdefs, dvd);
+  return 0;
 }
 
 void
-ctf_dvd_delete (ctf_file_t *fp, ctf_dvdef_t *dvd)
+ctf_dvd_delete (ctf_dict_t *fp, ctf_dvdef_t *dvd)
 {
   ctf_dynhash_remove (fp->ctf_dvhash, dvd->dvd_name);
-
-  fp->ctf_dtvstrlen -= strlen (dvd->dvd_name) + 1;
-  ctf_free (dvd->dvd_name);
+  free (dvd->dvd_name);
 
   ctf_list_delete (&fp->ctf_dvdefs, dvd);
-  ctf_free (dvd);
+  free (dvd);
 }
 
 ctf_dvdef_t *
-ctf_dvd_lookup (const ctf_file_t *fp, const char *name)
+ctf_dvd_lookup (const ctf_dict_t *fp, const char *name)
 {
   return (ctf_dvdef_t *) ctf_dynhash_lookup (fp->ctf_dvhash, name);
 }
 
 /* Discard all of the dynamic type definitions and variable definitions that
-   have been added to the container since the last call to ctf_update().  We
-   locate such types by scanning the dtd list and deleting elements that have
-   type IDs greater than ctf_dtoldid, which is set by ctf_update(), above, and
-   by scanning the variable list and deleting elements that have update IDs
-   equal to the current value of the last-update snapshot count (indicating that
-   they were added after the most recent call to ctf_update()).  */
+   have been added to the dict since the last call to ctf_update().  We locate
+   such types by scanning the dtd list and deleting elements that have type IDs
+   greater than ctf_dtoldid, which is set by ctf_update(), above, and by
+   scanning the variable list and deleting elements that have update IDs equal
+   to the current value of the last-update snapshot count (indicating that they
+   were added after the most recent call to ctf_update()).  */
 int
-ctf_discard (ctf_file_t *fp)
+ctf_discard (ctf_dict_t *fp)
 {
   ctf_snapshot_id_t last_update =
     { fp->ctf_dtoldid,
@@ -669,17 +375,17 @@ ctf_discard (ctf_file_t *fp)
 }
 
 ctf_snapshot_id_t
-ctf_snapshot (ctf_file_t *fp)
+ctf_snapshot (ctf_dict_t *fp)
 {
   ctf_snapshot_id_t snapid;
-  snapid.dtd_id = fp->ctf_dtnextid - 1;
+  snapid.dtd_id = fp->ctf_typemax;
   snapid.snapshot_id = fp->ctf_snapshots++;
   return snapid;
 }
 
 /* Like ctf_discard(), only discards everything after a particular ID.  */
 int
-ctf_rollback (ctf_file_t *fp, ctf_snapshot_id_t id)
+ctf_rollback (ctf_dict_t *fp, ctf_snapshot_id_t id)
 {
   ctf_dtdef_t *dtd, *ntd;
   ctf_dvdef_t *dvd, *nvd;
@@ -687,19 +393,33 @@ ctf_rollback (ctf_file_t *fp, ctf_snapshot_id_t id)
   if (!(fp->ctf_flags & LCTF_RDWR))
     return (ctf_set_errno (fp, ECTF_RDONLY));
 
-  if (fp->ctf_dtoldid > id.dtd_id)
-    return (ctf_set_errno (fp, ECTF_OVERROLLBACK));
-
   if (fp->ctf_snapshot_lu >= id.snapshot_id)
     return (ctf_set_errno (fp, ECTF_OVERROLLBACK));
 
   for (dtd = ctf_list_next (&fp->ctf_dtdefs); dtd != NULL; dtd = ntd)
     {
+      int kind;
+      const char *name;
+
       ntd = ctf_list_next (dtd);
 
       if (LCTF_TYPE_TO_INDEX (fp, dtd->dtd_type) <= id.dtd_id)
        continue;
 
+      kind = LCTF_INFO_KIND (fp, dtd->dtd_data.ctt_info);
+      if (kind == CTF_K_FORWARD)
+       kind = dtd->dtd_data.ctt_type;
+
+      if (dtd->dtd_data.ctt_name
+         && (name = ctf_strraw (fp, dtd->dtd_data.ctt_name)) != NULL
+         && LCTF_INFO_ISROOT (fp, dtd->dtd_data.ctt_info))
+       {
+         ctf_dynhash_remove (ctf_name_table (fp, kind)->ctn_writable,
+                             name);
+         ctf_str_remove_ref (fp, name, &dtd->dtd_data.ctt_name);
+       }
+
+      ctf_dynhash_remove (fp->ctf_dthash, (void *) (uintptr_t) dtd->dtd_type);
       ctf_dtd_delete (fp, dtd);
     }
 
@@ -713,7 +433,7 @@ ctf_rollback (ctf_file_t *fp, ctf_snapshot_id_t id)
       ctf_dvd_delete (fp, dvd);
     }
 
-  fp->ctf_dtnextid = id.dtd_id + 1;
+  fp->ctf_typemax = id.dtd_id;
   fp->ctf_snapshots = id.snapshot_id;
 
   if (fp->ctf_snapshots == fp->ctf_snapshot_lu)
@@ -722,13 +442,15 @@ ctf_rollback (ctf_file_t *fp, ctf_snapshot_id_t id)
   return 0;
 }
 
+/* Note: vlen is the amount of space *allocated* for the vlen.  It may well not
+   be the amount of space used (yet): the space used is declared in per-kind
+   fashion in the dtd_data's info word.  */
 static ctf_id_t
-ctf_add_generic (ctf_file_t *fp, uint32_t flag, const char *name,
-                ctf_dtdef_t **rp)
+ctf_add_generic (ctf_dict_t *fp, uint32_t flag, const char *name, int kind,
+                size_t vlen, ctf_dtdef_t **rp)
 {
   ctf_dtdef_t *dtd;
   ctf_id_t type;
-  char *s = NULL;
 
   if (flag != CTF_ADD_NONROOT && flag != CTF_ADD_ROOT)
     return (ctf_set_errno (fp, EINVAL));
@@ -736,36 +458,52 @@ ctf_add_generic (ctf_file_t *fp, uint32_t flag, const char *name,
   if (!(fp->ctf_flags & LCTF_RDWR))
     return (ctf_set_errno (fp, ECTF_RDONLY));
 
-  if (LCTF_INDEX_TO_TYPE (fp, fp->ctf_dtnextid, 1) > CTF_MAX_TYPE)
+  if (LCTF_INDEX_TO_TYPE (fp, fp->ctf_typemax, 1) >= CTF_MAX_TYPE)
     return (ctf_set_errno (fp, ECTF_FULL));
 
-  if (LCTF_INDEX_TO_TYPE (fp, fp->ctf_dtnextid, 1) == CTF_MAX_PTYPE)
+  if (LCTF_INDEX_TO_TYPE (fp, fp->ctf_typemax, 1) == (CTF_MAX_PTYPE - 1))
     return (ctf_set_errno (fp, ECTF_FULL));
 
-  if ((dtd = ctf_alloc (sizeof (ctf_dtdef_t))) == NULL)
+  /* Make sure ptrtab always grows to be big enough for all types.  */
+  if (ctf_grow_ptrtab (fp) < 0)
+      return CTF_ERR;                          /* errno is set for us. */
+
+  if ((dtd = calloc (1, sizeof (ctf_dtdef_t))) == NULL)
     return (ctf_set_errno (fp, EAGAIN));
 
-  if (name != NULL && (s = ctf_strdup (name)) == NULL)
+  dtd->dtd_vlen_alloc = vlen;
+  if (vlen > 0)
     {
-      ctf_free (dtd);
-      return (ctf_set_errno (fp, EAGAIN));
+      if ((dtd->dtd_vlen = calloc (1, vlen)) == NULL)
+       goto oom;
     }
+  else
+    dtd->dtd_vlen = NULL;
 
-  type = fp->ctf_dtnextid++;
+  type = ++fp->ctf_typemax;
   type = LCTF_INDEX_TO_TYPE (fp, type, (fp->ctf_flags & LCTF_CHILD));
 
-  memset (dtd, 0, sizeof (ctf_dtdef_t));
-  dtd->dtd_name = s;
+  dtd->dtd_data.ctt_name = ctf_str_add_pending (fp, name,
+                                               &dtd->dtd_data.ctt_name);
   dtd->dtd_type = type;
 
-  if (s != NULL)
-    fp->ctf_dtvstrlen += strlen (s) + 1;
+  if (dtd->dtd_data.ctt_name == 0 && name != NULL && name[0] != '\0')
+    goto oom;
+
+  if (ctf_dtd_insert (fp, dtd, flag, kind) < 0)
+    goto err;                                  /* errno is set for us.  */
 
-  ctf_dtd_insert (fp, dtd);
   fp->ctf_flags |= LCTF_DIRTY;
 
   *rp = dtd;
   return type;
+
+ oom:
+  ctf_set_errno (fp, EAGAIN);
+ err:
+  free (dtd->dtd_vlen);
+  free (dtd);
+  return CTF_ERR;
 }
 
 /* When encoding integer sizes, we want to convert a byte count in the range
@@ -785,57 +523,94 @@ clp2 (size_t x)
   return (x + 1);
 }
 
-static ctf_id_t
-ctf_add_encoded (ctf_file_t *fp, uint32_t flag,
+ctf_id_t
+ctf_add_encoded (ctf_dict_t *fp, uint32_t flag,
                 const char *name, const ctf_encoding_t *ep, uint32_t kind)
 {
   ctf_dtdef_t *dtd;
   ctf_id_t type;
+  uint32_t encoding;
 
   if (ep == NULL)
     return (ctf_set_errno (fp, EINVAL));
 
-  if ((type = ctf_add_generic (fp, flag, name, &dtd)) == CTF_ERR)
+  if (name == NULL || name[0] == '\0')
+    return (ctf_set_errno (fp, ECTF_NONAME));
+
+  if (!ctf_assert (fp, kind == CTF_K_INTEGER || kind == CTF_K_FLOAT))
+    return -1;                                 /* errno is set for us.  */
+
+  if ((type = ctf_add_generic (fp, flag, name, kind, sizeof (uint32_t),
+                              &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (kind, flag, 0);
-  dtd->dtd_data.ctt_size = clp2 (P2ROUNDUP (ep->cte_bits, NBBY) / NBBY);
-  dtd->dtd_u.dtu_enc = *ep;
+  dtd->dtd_data.ctt_size = clp2 (P2ROUNDUP (ep->cte_bits, CHAR_BIT)
+                                / CHAR_BIT);
+  switch (kind)
+    {
+    case CTF_K_INTEGER:
+      encoding = CTF_INT_DATA (ep->cte_format, ep->cte_offset, ep->cte_bits);
+      break;
+    case CTF_K_FLOAT:
+      encoding = CTF_FP_DATA (ep->cte_format, ep->cte_offset, ep->cte_bits);
+      break;
+    }
+  memcpy (dtd->dtd_vlen, &encoding, sizeof (encoding));
 
   return type;
 }
 
-static ctf_id_t
-ctf_add_reftype (ctf_file_t *fp, uint32_t flag, ctf_id_t ref, uint32_t kind)
+ctf_id_t
+ctf_add_reftype (ctf_dict_t *fp, uint32_t flag, ctf_id_t ref, uint32_t kind)
 {
   ctf_dtdef_t *dtd;
   ctf_id_t type;
-  ctf_file_t *tmp = fp;
+  ctf_dict_t *tmp = fp;
+  int child = fp->ctf_flags & LCTF_CHILD;
 
-  if (ref == CTF_ERR || ref < 0 || ref > CTF_MAX_TYPE)
+  if (ref == CTF_ERR || ref > CTF_MAX_TYPE)
     return (ctf_set_errno (fp, EINVAL));
 
-  if (ctf_lookup_by_id (&tmp, ref) == NULL)
+  if (ref != 0 && ctf_lookup_by_id (&tmp, ref) == NULL)
     return CTF_ERR;            /* errno is set for us.  */
 
-  if ((type = ctf_add_generic (fp, flag, NULL, &dtd)) == CTF_ERR)
+  if ((type = ctf_add_generic (fp, flag, NULL, kind, 0, &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (kind, flag, 0);
   dtd->dtd_data.ctt_type = (uint32_t) ref;
 
+  if (kind != CTF_K_POINTER)
+    return type;
+
+  /* If we are adding a pointer, update the ptrtab, pointing at this type from
+     the type it points to.  Note that ctf_typemax is at this point one higher
+     than we want to check against, because it's just been incremented for the
+     addition of this type.  The pptrtab is lazily-updated as needed, so is not
+     touched here.  */
+
+  uint32_t type_idx = LCTF_TYPE_TO_INDEX (fp, type);
+  uint32_t ref_idx = LCTF_TYPE_TO_INDEX (fp, ref);
+
+  if (LCTF_TYPE_ISCHILD (fp, ref) == child
+      && ref_idx < fp->ctf_typemax)
+    fp->ctf_ptrtab[ref_idx] = type_idx;
+
   return type;
 }
 
 ctf_id_t
-ctf_add_slice (ctf_file_t *fp, uint32_t flag, ctf_id_t ref,
+ctf_add_slice (ctf_dict_t *fp, uint32_t flag, ctf_id_t ref,
               const ctf_encoding_t *ep)
 {
   ctf_dtdef_t *dtd;
+  ctf_slice_t slice;
+  ctf_id_t resolved_ref = ref;
   ctf_id_t type;
   int kind;
   const ctf_type_t *tp;
-  ctf_file_t *tmp = fp;
+  ctf_dict_t *tmp = fp;
 
   if (ep == NULL)
     return (ctf_set_errno (fp, EINVAL));
@@ -843,80 +618,109 @@ ctf_add_slice (ctf_file_t *fp, uint32_t flag, ctf_id_t ref,
   if ((ep->cte_bits > 255) || (ep->cte_offset > 255))
     return (ctf_set_errno (fp, ECTF_SLICEOVERFLOW));
 
-  if (ref == CTF_ERR || ref < 0 || ref > CTF_MAX_TYPE)
+  if (ref == CTF_ERR || ref > CTF_MAX_TYPE)
     return (ctf_set_errno (fp, EINVAL));
 
-  if ((tp = ctf_lookup_by_id (&tmp, ref)) == NULL)
+  if (ref != 0 && ((tp = ctf_lookup_by_id (&tmp, ref)) == NULL))
     return CTF_ERR;            /* errno is set for us.  */
 
-  kind = ctf_type_kind_unsliced (tmp, ref);
+  /* Make sure we ultimately point to an integral type.  We also allow slices to
+     point to the unimplemented type, for now, because the compiler can emit
+     such slices, though they're not very much use.  */
+
+  resolved_ref = ctf_type_resolve_unsliced (tmp, ref);
+  kind = ctf_type_kind_unsliced (tmp, resolved_ref);
+
   if ((kind != CTF_K_INTEGER) && (kind != CTF_K_FLOAT) &&
-      (kind != CTF_K_ENUM))
+      (kind != CTF_K_ENUM)
+      && (ref != 0))
     return (ctf_set_errno (fp, ECTF_NOTINTFP));
 
-  if ((type = ctf_add_generic (fp, flag, NULL, &dtd)) == CTF_ERR)
+  if ((type = ctf_add_generic (fp, flag, NULL, CTF_K_SLICE,
+                              sizeof (ctf_slice_t), &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
+  memset (&slice, 0, sizeof (ctf_slice_t));
+
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_SLICE, flag, 0);
-  dtd->dtd_data.ctt_size = clp2 (P2ROUNDUP (ep->cte_bits, NBBY) / NBBY);
-  dtd->dtd_u.dtu_slice.cts_type = ref;
-  dtd->dtd_u.dtu_slice.cts_bits = ep->cte_bits;
-  dtd->dtd_u.dtu_slice.cts_offset = ep->cte_offset;
+  dtd->dtd_data.ctt_size = clp2 (P2ROUNDUP (ep->cte_bits, CHAR_BIT)
+                                / CHAR_BIT);
+  slice.cts_type = (uint32_t) ref;
+  slice.cts_bits = ep->cte_bits;
+  slice.cts_offset = ep->cte_offset;
+  memcpy (dtd->dtd_vlen, &slice, sizeof (ctf_slice_t));
 
   return type;
 }
 
 ctf_id_t
-ctf_add_integer (ctf_file_t *fp, uint32_t flag,
+ctf_add_integer (ctf_dict_t *fp, uint32_t flag,
                 const char *name, const ctf_encoding_t *ep)
 {
   return (ctf_add_encoded (fp, flag, name, ep, CTF_K_INTEGER));
 }
 
 ctf_id_t
-ctf_add_float (ctf_file_t *fp, uint32_t flag,
+ctf_add_float (ctf_dict_t *fp, uint32_t flag,
               const char *name, const ctf_encoding_t *ep)
 {
   return (ctf_add_encoded (fp, flag, name, ep, CTF_K_FLOAT));
 }
 
 ctf_id_t
-ctf_add_pointer (ctf_file_t *fp, uint32_t flag, ctf_id_t ref)
+ctf_add_pointer (ctf_dict_t *fp, uint32_t flag, ctf_id_t ref)
 {
   return (ctf_add_reftype (fp, flag, ref, CTF_K_POINTER));
 }
 
 ctf_id_t
-ctf_add_array (ctf_file_t *fp, uint32_t flag, const ctf_arinfo_t *arp)
+ctf_add_array (ctf_dict_t *fp, uint32_t flag, const ctf_arinfo_t *arp)
 {
   ctf_dtdef_t *dtd;
+  ctf_array_t cta;
   ctf_id_t type;
-  ctf_file_t *tmp = fp;
+  ctf_dict_t *tmp = fp;
 
   if (arp == NULL)
     return (ctf_set_errno (fp, EINVAL));
 
-  if (ctf_lookup_by_id (&tmp, arp->ctr_contents) == NULL)
+  if (arp->ctr_contents != 0
+      && ctf_lookup_by_id (&tmp, arp->ctr_contents) == NULL)
     return CTF_ERR;            /* errno is set for us.  */
 
   tmp = fp;
   if (ctf_lookup_by_id (&tmp, arp->ctr_index) == NULL)
     return CTF_ERR;            /* errno is set for us.  */
 
-  if ((type = ctf_add_generic (fp, flag, NULL, &dtd)) == CTF_ERR)
+  if (ctf_type_kind (fp, arp->ctr_index) == CTF_K_FORWARD)
+    {
+      ctf_err_warn (fp, 1, ECTF_INCOMPLETE,
+                   _("ctf_add_array: index type %lx is incomplete"),
+                   arp->ctr_contents);
+      return (ctf_set_errno (fp, ECTF_INCOMPLETE));
+    }
+
+  if ((type = ctf_add_generic (fp, flag, NULL, CTF_K_ARRAY,
+                              sizeof (ctf_array_t), &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
+  memset (&cta, 0, sizeof (ctf_array_t));
+
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_ARRAY, flag, 0);
   dtd->dtd_data.ctt_size = 0;
-  dtd->dtd_u.dtu_arr = *arp;
+  cta.cta_contents = (uint32_t) arp->ctr_contents;
+  cta.cta_index = (uint32_t) arp->ctr_index;
+  cta.cta_nelems = arp->ctr_nelems;
+  memcpy (dtd->dtd_vlen, &cta, sizeof (ctf_array_t));
 
   return type;
 }
 
 int
-ctf_set_array (ctf_file_t *fp, ctf_id_t type, const ctf_arinfo_t *arp)
+ctf_set_array (ctf_dict_t *fp, ctf_id_t type, const ctf_arinfo_t *arp)
 {
   ctf_dtdef_t *dtd = ctf_dtd_lookup (fp, type);
+  ctf_array_t *vlen;
 
   if (!(fp->ctf_flags & LCTF_RDWR))
     return (ctf_set_errno (fp, ECTF_RDONLY));
@@ -925,23 +729,30 @@ ctf_set_array (ctf_file_t *fp, ctf_id_t type, const ctf_arinfo_t *arp)
       || LCTF_INFO_KIND (fp, dtd->dtd_data.ctt_info) != CTF_K_ARRAY)
     return (ctf_set_errno (fp, ECTF_BADID));
 
+  vlen = (ctf_array_t *) dtd->dtd_vlen;
   fp->ctf_flags |= LCTF_DIRTY;
-  dtd->dtd_u.dtu_arr = *arp;
+  vlen->cta_contents = (uint32_t) arp->ctr_contents;
+  vlen->cta_index = (uint32_t) arp->ctr_index;
+  vlen->cta_nelems = arp->ctr_nelems;
 
   return 0;
 }
 
 ctf_id_t
-ctf_add_function (ctf_file_t *fp, uint32_t flag,
+ctf_add_function (ctf_dict_t *fp, uint32_t flag,
                  const ctf_funcinfo_t *ctc, const ctf_id_t *argv)
 {
   ctf_dtdef_t *dtd;
   ctf_id_t type;
   uint32_t vlen;
-  ctf_id_t *vdat = NULL;
-  ctf_file_t *tmp = fp;
+  uint32_t *vdat;
+  ctf_dict_t *tmp = fp;
+  size_t initial_vlen;
   size_t i;
 
+  if (!(fp->ctf_flags & LCTF_RDWR))
+    return (ctf_set_errno (fp, ECTF_RDONLY));
+
   if (ctc == NULL || (ctc->ctc_flags & ~CTF_FUNC_VARARG) != 0
       || (ctc->ctc_argc != 0 && argv == NULL))
     return (ctf_set_errno (fp, EINVAL));
@@ -950,142 +761,146 @@ ctf_add_function (ctf_file_t *fp, uint32_t flag,
   if (ctc->ctc_flags & CTF_FUNC_VARARG)
     vlen++;           /* Add trailing zero to indicate varargs (see below).  */
 
-  if (ctf_lookup_by_id (&tmp, ctc->ctc_return) == NULL)
-    return CTF_ERR;            /* errno is set for us.  */
-
-  for (i = 0; i < ctc->ctc_argc; i++)
-    {
-      tmp = fp;
-      if (ctf_lookup_by_id (&tmp, argv[i]) == NULL)
-       return CTF_ERR;         /* errno is set for us.  */
-    }
+  if (ctc->ctc_return != 0
+      && ctf_lookup_by_id (&tmp, ctc->ctc_return) == NULL)
+    return CTF_ERR;                            /* errno is set for us.  */
 
   if (vlen > CTF_MAX_VLEN)
     return (ctf_set_errno (fp, EOVERFLOW));
 
-  if (vlen != 0 && (vdat = ctf_alloc (sizeof (ctf_id_t) * vlen)) == NULL)
-    return (ctf_set_errno (fp, EAGAIN));
+  /* One word extra allocated for padding for 4-byte alignment if need be.
+     Not reflected in vlen: we don't want to copy anything into it, and
+     it's in addition to (e.g.) the trailing 0 indicating varargs.  */
+
+  initial_vlen = (sizeof (uint32_t) * (vlen + (vlen & 1)));
+  if ((type = ctf_add_generic (fp, flag, NULL, CTF_K_FUNCTION,
+                              initial_vlen, &dtd)) == CTF_ERR)
+    return CTF_ERR;                            /* errno is set for us.  */
+
+  vdat = (uint32_t *) dtd->dtd_vlen;
 
-  if ((type = ctf_add_generic (fp, flag, NULL, &dtd)) == CTF_ERR)
+  for (i = 0; i < ctc->ctc_argc; i++)
     {
-      ctf_free (vdat);
-      return CTF_ERR;             /* errno is set for us.  */
+      tmp = fp;
+      if (argv[i] != 0 && ctf_lookup_by_id (&tmp, argv[i]) == NULL)
+       return CTF_ERR;                         /* errno is set for us.  */
+      vdat[i] = (uint32_t) argv[i];
     }
 
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_FUNCTION, flag, vlen);
   dtd->dtd_data.ctt_type = (uint32_t) ctc->ctc_return;
 
-  memcpy (vdat, argv, sizeof (ctf_id_t) * ctc->ctc_argc);
   if (ctc->ctc_flags & CTF_FUNC_VARARG)
     vdat[vlen - 1] = 0;                   /* Add trailing zero to indicate varargs.  */
-  dtd->dtd_u.dtu_argv = vdat;
 
   return type;
 }
 
 ctf_id_t
-ctf_add_struct_sized (ctf_file_t *fp, uint32_t flag, const char *name,
+ctf_add_struct_sized (ctf_dict_t *fp, uint32_t flag, const char *name,
                      size_t size)
 {
-  ctf_hash_t *hp = fp->ctf_structs;
   ctf_dtdef_t *dtd;
   ctf_id_t type = 0;
+  size_t initial_vlen = sizeof (ctf_lmember_t) * INITIAL_VLEN;
 
-  /* Promote forwards to structs.  */
-
+  /* Promote root-visible forwards to structs.  */
   if (name != NULL)
-    {
-      type = ctf_hash_lookup_type (hp, fp, name);
-      if (type == 0)
-       type = ctf_dtd_lookup_type_by_name (fp, CTF_K_STRUCT, name);
-    }
+    type = ctf_lookup_by_rawname (fp, CTF_K_STRUCT, name);
 
   if (type != 0 && ctf_type_kind (fp, type) == CTF_K_FORWARD)
     dtd = ctf_dtd_lookup (fp, type);
-  else if ((type = ctf_add_generic (fp, flag, name, &dtd)) == CTF_ERR)
+  else if ((type = ctf_add_generic (fp, flag, name, CTF_K_STRUCT,
+                                   initial_vlen, &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
-  dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_STRUCT, flag, 0);
-
-  if (size > CTF_MAX_SIZE)
+  /* Forwards won't have any vlen yet.  */
+  if (dtd->dtd_vlen_alloc == 0)
     {
-      dtd->dtd_data.ctt_size = CTF_LSIZE_SENT;
-      dtd->dtd_data.ctt_lsizehi = CTF_SIZE_TO_LSIZE_HI (size);
-      dtd->dtd_data.ctt_lsizelo = CTF_SIZE_TO_LSIZE_LO (size);
+      if ((dtd->dtd_vlen = calloc (1, initial_vlen)) == NULL)
+       return (ctf_set_errno (fp, ENOMEM));
+      dtd->dtd_vlen_alloc = initial_vlen;
     }
-  else
-    dtd->dtd_data.ctt_size = (uint32_t) size;
+
+  dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_STRUCT, flag, 0);
+  dtd->dtd_data.ctt_size = CTF_LSIZE_SENT;
+  dtd->dtd_data.ctt_lsizehi = CTF_SIZE_TO_LSIZE_HI (size);
+  dtd->dtd_data.ctt_lsizelo = CTF_SIZE_TO_LSIZE_LO (size);
 
   return type;
 }
 
 ctf_id_t
-ctf_add_struct (ctf_file_t *fp, uint32_t flag, const char *name)
+ctf_add_struct (ctf_dict_t *fp, uint32_t flag, const char *name)
 {
   return (ctf_add_struct_sized (fp, flag, name, 0));
 }
 
 ctf_id_t
-ctf_add_union_sized (ctf_file_t *fp, uint32_t flag, const char *name,
+ctf_add_union_sized (ctf_dict_t *fp, uint32_t flag, const char *name,
                     size_t size)
 {
-  ctf_hash_t *hp = fp->ctf_unions;
   ctf_dtdef_t *dtd;
   ctf_id_t type = 0;
+  size_t initial_vlen = sizeof (ctf_lmember_t) * INITIAL_VLEN;
 
-  /* Promote forwards to unions.  */
+  /* Promote root-visible forwards to unions.  */
   if (name != NULL)
-    {
-      type = ctf_hash_lookup_type (hp, fp, name);
-      if (type == 0)
-       type = ctf_dtd_lookup_type_by_name (fp, CTF_K_UNION, name);
-    }
+    type = ctf_lookup_by_rawname (fp, CTF_K_UNION, name);
 
   if (type != 0 && ctf_type_kind (fp, type) == CTF_K_FORWARD)
     dtd = ctf_dtd_lookup (fp, type);
-  else if ((type = ctf_add_generic (fp, flag, name, &dtd)) == CTF_ERR)
+  else if ((type = ctf_add_generic (fp, flag, name, CTF_K_UNION,
+                                   initial_vlen, &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us */
 
-  dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_UNION, flag, 0);
-
-  if (size > CTF_MAX_SIZE)
+  /* Forwards won't have any vlen yet.  */
+  if (dtd->dtd_vlen_alloc == 0)
     {
-      dtd->dtd_data.ctt_size = CTF_LSIZE_SENT;
-      dtd->dtd_data.ctt_lsizehi = CTF_SIZE_TO_LSIZE_HI (size);
-      dtd->dtd_data.ctt_lsizelo = CTF_SIZE_TO_LSIZE_LO (size);
+      if ((dtd->dtd_vlen = calloc (1, initial_vlen)) == NULL)
+       return (ctf_set_errno (fp, ENOMEM));
+      dtd->dtd_vlen_alloc = initial_vlen;
     }
-  else
-    dtd->dtd_data.ctt_size = (uint32_t) size;
+
+  dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_UNION, flag, 0);
+  dtd->dtd_data.ctt_size = CTF_LSIZE_SENT;
+  dtd->dtd_data.ctt_lsizehi = CTF_SIZE_TO_LSIZE_HI (size);
+  dtd->dtd_data.ctt_lsizelo = CTF_SIZE_TO_LSIZE_LO (size);
 
   return type;
 }
 
 ctf_id_t
-ctf_add_union (ctf_file_t *fp, uint32_t flag, const char *name)
+ctf_add_union (ctf_dict_t *fp, uint32_t flag, const char *name)
 {
   return (ctf_add_union_sized (fp, flag, name, 0));
 }
 
 ctf_id_t
-ctf_add_enum (ctf_file_t *fp, uint32_t flag, const char *name)
+ctf_add_enum (ctf_dict_t *fp, uint32_t flag, const char *name)
 {
-  ctf_hash_t *hp = fp->ctf_enums;
   ctf_dtdef_t *dtd;
   ctf_id_t type = 0;
+  size_t initial_vlen = sizeof (ctf_enum_t) * INITIAL_VLEN;
 
-  /* Promote forwards to enums.  */
+  /* Promote root-visible forwards to enums.  */
   if (name != NULL)
-    {
-      type = ctf_hash_lookup_type (hp, fp, name);
-      if (type == 0)
-       type = ctf_dtd_lookup_type_by_name (fp, CTF_K_ENUM, name);
-    }
+    type = ctf_lookup_by_rawname (fp, CTF_K_ENUM, name);
 
   if (type != 0 && ctf_type_kind (fp, type) == CTF_K_FORWARD)
     dtd = ctf_dtd_lookup (fp, type);
-  else if ((type = ctf_add_generic (fp, flag, name, &dtd)) == CTF_ERR)
+  else if ((type = ctf_add_generic (fp, flag, name, CTF_K_ENUM,
+                                   initial_vlen, &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
+  /* Forwards won't have any vlen yet.  */
+  if (dtd->dtd_vlen_alloc == 0)
+    {
+      if ((dtd->dtd_vlen = calloc (1, initial_vlen)) == NULL)
+       return (ctf_set_errno (fp, ENOMEM));
+      dtd->dtd_vlen_alloc = initial_vlen;
+    }
+
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_ENUM, flag, 0);
   dtd->dtd_data.ctt_size = fp->ctf_dmodel->ctd_int;
 
@@ -1093,10 +908,9 @@ ctf_add_enum (ctf_file_t *fp, uint32_t flag, const char *name)
 }
 
 ctf_id_t
-ctf_add_enum_encoded (ctf_file_t *fp, uint32_t flag, const char *name,
+ctf_add_enum_encoded (ctf_dict_t *fp, uint32_t flag, const char *name,
                      const ctf_encoding_t *ep)
 {
-  ctf_hash_t *hp = fp->ctf_enums;
   ctf_id_t type = 0;
 
   /* First, create the enum if need be, using most of the same machinery as
@@ -1105,11 +919,7 @@ ctf_add_enum_encoded (ctf_file_t *fp, uint32_t flag, const char *name,
      slice, which would be a useless thing to do anyway.)  */
 
   if (name != NULL)
-    {
-      type = ctf_hash_lookup_type (hp, fp, name);
-      if (type == 0)
-       type = ctf_dtd_lookup_type_by_name (fp, CTF_K_ENUM, name);
-    }
+    type = ctf_lookup_by_rawname (fp, CTF_K_ENUM, name);
 
   if (type != 0)
     {
@@ -1126,62 +936,87 @@ ctf_add_enum_encoded (ctf_file_t *fp, uint32_t flag, const char *name,
 }
 
 ctf_id_t
-ctf_add_forward (ctf_file_t *fp, uint32_t flag, const char *name,
+ctf_add_forward (ctf_dict_t *fp, uint32_t flag, const char *name,
                 uint32_t kind)
 {
-  ctf_hash_t *hp;
   ctf_dtdef_t *dtd;
   ctf_id_t type = 0;
 
-  switch (kind)
-    {
-    case CTF_K_STRUCT:
-      hp = fp->ctf_structs;
-      break;
-    case CTF_K_UNION:
-      hp = fp->ctf_unions;
-      break;
-    case CTF_K_ENUM:
-      hp = fp->ctf_enums;
-      break;
-    default:
-      return (ctf_set_errno (fp, ECTF_NOTSUE));
-    }
+  if (!ctf_forwardable_kind (kind))
+    return (ctf_set_errno (fp, ECTF_NOTSUE));
+
+  if (name == NULL || name[0] == '\0')
+    return (ctf_set_errno (fp, ECTF_NONAME));
 
   /* If the type is already defined or exists as a forward tag, just
      return the ctf_id_t of the existing definition.  */
 
-  if (name != NULL)
+  type = ctf_lookup_by_rawname (fp, kind, name);
+
+  if (type)
+    return type;
+
+  if ((type = ctf_add_generic (fp, flag, name, kind, 0, &dtd)) == CTF_ERR)
+    return CTF_ERR;            /* errno is set for us.  */
+
+  dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_FORWARD, flag, 0);
+  dtd->dtd_data.ctt_type = kind;
+
+  return type;
+}
+
+ctf_id_t
+ctf_add_unknown (ctf_dict_t *fp, uint32_t flag, const char *name)
+{
+  ctf_dtdef_t *dtd;
+  ctf_id_t type = 0;
+
+  /* If a type is already defined with this name, error (if not CTF_K_UNKNOWN)
+     or just return it.  */
+
+  if (name != NULL && name[0] != '\0' && flag == CTF_ADD_ROOT
+      && (type = ctf_lookup_by_rawname (fp, CTF_K_UNKNOWN, name)))
     {
-      if (((type = ctf_hash_lookup_type (hp, fp, name)) != 0)
-         || (type = ctf_dtd_lookup_type_by_name (fp, kind, name)) != 0)
+      if (ctf_type_kind (fp, type) == CTF_K_UNKNOWN)
        return type;
+      else
+       {
+         ctf_err_warn (fp, 1, ECTF_CONFLICT,
+                       _("ctf_add_unknown: cannot add unknown type "
+                         "named %s: type of this name already defined"),
+                       name ? name : _("(unnamed type)"));
+         return (ctf_set_errno (fp, ECTF_CONFLICT));
+       }
     }
 
-  if ((type = ctf_add_generic (fp, flag, name, &dtd)) == CTF_ERR)
+  if ((type = ctf_add_generic (fp, flag, name, CTF_K_UNKNOWN, 0, &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
-  dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_FORWARD, flag, 0);
-  dtd->dtd_data.ctt_type = kind;
+  dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_UNKNOWN, flag, 0);
+  dtd->dtd_data.ctt_type = 0;
 
   return type;
 }
 
 ctf_id_t
-ctf_add_typedef (ctf_file_t *fp, uint32_t flag, const char *name,
+ctf_add_typedef (ctf_dict_t *fp, uint32_t flag, const char *name,
                 ctf_id_t ref)
 {
   ctf_dtdef_t *dtd;
   ctf_id_t type;
-  ctf_file_t *tmp = fp;
+  ctf_dict_t *tmp = fp;
 
-  if (ref == CTF_ERR || ref < 0 || ref > CTF_MAX_TYPE)
+  if (ref == CTF_ERR || ref > CTF_MAX_TYPE)
     return (ctf_set_errno (fp, EINVAL));
 
-  if (ctf_lookup_by_id (&tmp, ref) == NULL)
+  if (name == NULL || name[0] == '\0')
+    return (ctf_set_errno (fp, ECTF_NONAME));
+
+  if (ref != 0 && ctf_lookup_by_id (&tmp, ref) == NULL)
     return CTF_ERR;            /* errno is set for us.  */
 
-  if ((type = ctf_add_generic (fp, flag, name, &dtd)) == CTF_ERR)
+  if ((type = ctf_add_generic (fp, flag, name, CTF_K_TYPEDEF, 0,
+                              &dtd)) == CTF_ERR)
     return CTF_ERR;            /* errno is set for us.  */
 
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (CTF_K_TYPEDEF, flag, 0);
@@ -1191,32 +1026,33 @@ ctf_add_typedef (ctf_file_t *fp, uint32_t flag, const char *name,
 }
 
 ctf_id_t
-ctf_add_volatile (ctf_file_t *fp, uint32_t flag, ctf_id_t ref)
+ctf_add_volatile (ctf_dict_t *fp, uint32_t flag, ctf_id_t ref)
 {
   return (ctf_add_reftype (fp, flag, ref, CTF_K_VOLATILE));
 }
 
 ctf_id_t
-ctf_add_const (ctf_file_t *fp, uint32_t flag, ctf_id_t ref)
+ctf_add_const (ctf_dict_t *fp, uint32_t flag, ctf_id_t ref)
 {
   return (ctf_add_reftype (fp, flag, ref, CTF_K_CONST));
 }
 
 ctf_id_t
-ctf_add_restrict (ctf_file_t *fp, uint32_t flag, ctf_id_t ref)
+ctf_add_restrict (ctf_dict_t *fp, uint32_t flag, ctf_id_t ref)
 {
   return (ctf_add_reftype (fp, flag, ref, CTF_K_RESTRICT));
 }
 
 int
-ctf_add_enumerator (ctf_file_t *fp, ctf_id_t enid, const char *name,
+ctf_add_enumerator (ctf_dict_t *fp, ctf_id_t enid, const char *name,
                    int value)
 {
   ctf_dtdef_t *dtd = ctf_dtd_lookup (fp, enid);
-  ctf_dmdef_t *dmd;
+  unsigned char *old_vlen;
+  ctf_enum_t *en;
+  size_t i;
 
   uint32_t kind, vlen, root;
-  char *s;
 
   if (name == NULL)
     return (ctf_set_errno (fp, EINVAL));
@@ -1237,46 +1073,50 @@ ctf_add_enumerator (ctf_file_t *fp, ctf_id_t enid, const char *name,
   if (vlen == CTF_MAX_VLEN)
     return (ctf_set_errno (fp, ECTF_DTFULL));
 
-  for (dmd = ctf_list_next (&dtd->dtd_u.dtu_members);
-       dmd != NULL; dmd = ctf_list_next (dmd))
+  old_vlen = dtd->dtd_vlen;
+  if (ctf_grow_vlen (fp, dtd, sizeof (ctf_enum_t) * (vlen + 1)) < 0)
+    return -1;                                 /* errno is set for us.  */
+  en = (ctf_enum_t *) dtd->dtd_vlen;
+
+  if (dtd->dtd_vlen != old_vlen)
     {
-      if (strcmp (dmd->dmd_name, name) == 0)
-       return (ctf_set_errno (fp, ECTF_DUPLICATE));
-    }
+      ptrdiff_t move = (signed char *) dtd->dtd_vlen - (signed char *) old_vlen;
 
-  if ((dmd = ctf_alloc (sizeof (ctf_dmdef_t))) == NULL)
-    return (ctf_set_errno (fp, EAGAIN));
+      /* Remove pending refs in the old vlen region and reapply them.  */
 
-  if ((s = ctf_strdup (name)) == NULL)
-    {
-      ctf_free (dmd);
-      return (ctf_set_errno (fp, EAGAIN));
+      for (i = 0; i < vlen; i++)
+       ctf_str_move_pending (fp, &en[i].cte_name, move);
     }
 
-  dmd->dmd_name = s;
-  dmd->dmd_type = CTF_ERR;
-  dmd->dmd_offset = 0;
-  dmd->dmd_value = value;
+  for (i = 0; i < vlen; i++)
+    if (strcmp (ctf_strptr (fp, en[i].cte_name), name) == 0)
+      return (ctf_set_errno (fp, ECTF_DUPLICATE));
+
+  en[i].cte_name = ctf_str_add_pending (fp, name, &en[i].cte_name);
+  en[i].cte_value = value;
+
+  if (en[i].cte_name == 0 && name != NULL && name[0] != '\0')
+    return -1;                                 /* errno is set for us. */
 
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (kind, root, vlen + 1);
-  ctf_list_append (&dtd->dtd_u.dtu_members, dmd);
 
-  fp->ctf_dtvstrlen += strlen (s) + 1;
   fp->ctf_flags |= LCTF_DIRTY;
 
   return 0;
 }
 
 int
-ctf_add_member_offset (ctf_file_t *fp, ctf_id_t souid, const char *name,
+ctf_add_member_offset (ctf_dict_t *fp, ctf_id_t souid, const char *name,
                       ctf_id_t type, unsigned long bit_offset)
 {
   ctf_dtdef_t *dtd = ctf_dtd_lookup (fp, souid);
-  ctf_dmdef_t *dmd;
 
   ssize_t msize, malign, ssize;
   uint32_t kind, vlen, root;
-  char *s = NULL;
+  size_t i;
+  int is_incomplete = 0;
+  unsigned char *old_vlen;
+  ctf_lmember_t *memb;
 
   if (!(fp->ctf_flags & LCTF_RDWR))
     return (ctf_set_errno (fp, ECTF_RDONLY));
@@ -1284,6 +1124,9 @@ ctf_add_member_offset (ctf_file_t *fp, ctf_id_t souid, const char *name,
   if (dtd == NULL)
     return (ctf_set_errno (fp, ECTF_BADID));
 
+  if (name != NULL && name[0] == '\0')
+    name = NULL;
+
   kind = LCTF_INFO_KIND (fp, dtd->dtd_data.ctt_info);
   root = LCTF_INFO_ISROOT (fp, dtd->dtd_data.ctt_info);
   vlen = LCTF_INFO_VLEN (fp, dtd->dtd_data.ctt_info);
@@ -1294,32 +1137,54 @@ ctf_add_member_offset (ctf_file_t *fp, ctf_id_t souid, const char *name,
   if (vlen == CTF_MAX_VLEN)
     return (ctf_set_errno (fp, ECTF_DTFULL));
 
-  if (name != NULL)
+  old_vlen = dtd->dtd_vlen;
+  if (ctf_grow_vlen (fp, dtd, sizeof (ctf_lmember_t) * (vlen + 1)) < 0)
+    return -1;                                 /* errno is set for us.  */
+  memb = (ctf_lmember_t *) dtd->dtd_vlen;
+
+  if (dtd->dtd_vlen != old_vlen)
     {
-      for (dmd = ctf_list_next (&dtd->dtd_u.dtu_members);
-          dmd != NULL; dmd = ctf_list_next (dmd))
-       {
-         if (dmd->dmd_name != NULL && strcmp (dmd->dmd_name, name) == 0)
-           return (ctf_set_errno (fp, ECTF_DUPLICATE));
-       }
-    }
+      ptrdiff_t move = (signed char *) dtd->dtd_vlen - (signed char *) old_vlen;
 
-  if ((msize = ctf_type_size (fp, type)) == CTF_ERR ||
-      (malign = ctf_type_align (fp, type)) == CTF_ERR)
-    return CTF_ERR;            /* errno is set for us.  */
+      /* Remove pending refs in the old vlen region and reapply them.  */
 
-  if ((dmd = ctf_alloc (sizeof (ctf_dmdef_t))) == NULL)
-    return (ctf_set_errno (fp, EAGAIN));
+      for (i = 0; i < vlen; i++)
+       ctf_str_move_pending (fp, &memb[i].ctlm_name, move);
+    }
+
+  if (name != NULL)
+    {
+      for (i = 0; i < vlen; i++)
+       if (strcmp (ctf_strptr (fp, memb[i].ctlm_name), name) == 0)
+         return (ctf_set_errno (fp, ECTF_DUPLICATE));
+    }
 
-  if (name != NULL && (s = ctf_strdup (name)) == NULL)
+  if ((msize = ctf_type_size (fp, type)) < 0 ||
+      (malign = ctf_type_align (fp, type)) < 0)
     {
-      ctf_free (dmd);
-      return (ctf_set_errno (fp, EAGAIN));
+      /* The unimplemented type, and any type that resolves to it, has no size
+        and no alignment: it can correspond to any number of compiler-inserted
+        types.  We allow incomplete types through since they are routinely
+        added to the ends of structures, and can even be added elsewhere in
+        structures by the deduplicator.  They are assumed to be zero-size with
+        no alignment: this is often wrong, but problems can be avoided in this
+        case by explicitly specifying the size of the structure via the _sized
+        functions.  The deduplicator always does this.  */
+
+      msize = 0;
+      malign = 0;
+      if (ctf_errno (fp) == ECTF_NONREPRESENTABLE)
+       ctf_set_errno (fp, 0);
+      else if (ctf_errno (fp) == ECTF_INCOMPLETE)
+       is_incomplete = 1;
+      else
+       return -1;              /* errno is set for us.  */
     }
 
-  dmd->dmd_name = s;
-  dmd->dmd_type = type;
-  dmd->dmd_value = -1;
+  memb[vlen].ctlm_name = ctf_str_add_pending (fp, name, &memb[vlen].ctlm_name);
+  memb[vlen].ctlm_type = type;
+  if (memb[vlen].ctlm_name == 0 && name != NULL && name[0] != '\0')
+    return -1;                 /* errno is set for us.  */
 
   if (kind == CTF_K_STRUCT && vlen != 0)
     {
@@ -1327,17 +1192,46 @@ ctf_add_member_offset (ctf_file_t *fp, ctf_id_t souid, const char *name,
        {
          /* Natural alignment.  */
 
-         ctf_dmdef_t *lmd = ctf_list_prev (&dtd->dtd_u.dtu_members);
-         ctf_id_t ltype = ctf_type_resolve (fp, lmd->dmd_type);
-         size_t off = lmd->dmd_offset;
+         ctf_id_t ltype = ctf_type_resolve (fp, memb[vlen - 1].ctlm_type);
+         size_t off = CTF_LMEM_OFFSET(&memb[vlen - 1]);
 
          ctf_encoding_t linfo;
          ssize_t lsize;
 
-         if (ctf_type_encoding (fp, ltype, &linfo) != CTF_ERR)
+         /* Propagate any error from ctf_type_resolve.  If the last member was
+            of unimplemented type, this may be -ECTF_NONREPRESENTABLE: we
+            cannot insert right after such a member without explicit offset
+            specification, because its alignment and size is not known.  */
+         if (ltype == CTF_ERR)
+           return -1;  /* errno is set for us.  */
+
+         if (is_incomplete)
+           {
+             ctf_err_warn (fp, 1, ECTF_INCOMPLETE,
+                           _("ctf_add_member_offset: cannot add member %s of "
+                             "incomplete type %lx to struct %lx without "
+                             "specifying explicit offset\n"),
+                           name ? name : _("(unnamed member)"), type, souid);
+             return (ctf_set_errno (fp, ECTF_INCOMPLETE));
+           }
+
+         if (ctf_type_encoding (fp, ltype, &linfo) == 0)
            off += linfo.cte_bits;
-         else if ((lsize = ctf_type_size (fp, ltype)) != CTF_ERR)
-           off += lsize * NBBY;
+         else if ((lsize = ctf_type_size (fp, ltype)) > 0)
+           off += lsize * CHAR_BIT;
+         else if (lsize == -1 && ctf_errno (fp) == ECTF_INCOMPLETE)
+           {
+             const char *lname = ctf_strraw (fp, memb[vlen - 1].ctlm_name);
+
+             ctf_err_warn (fp, 1, ECTF_INCOMPLETE,
+                           _("ctf_add_member_offset: cannot add member %s of "
+                             "type %lx to struct %lx without specifying "
+                             "explicit offset after member %s of type %lx, "
+                             "which is an incomplete type\n"),
+                           name ? name : _("(unnamed member)"), type, souid,
+                           lname ? lname : _("(unnamed member)"), ltype);
+             return -1;                        /* errno is set for us.  */
+           }
 
          /* Round up the offset of the end of the last member to
             the next byte boundary, convert 'off' to bytes, and
@@ -1348,48 +1242,41 @@ ctf_add_member_offset (ctf_file_t *fp, ctf_id_t souid, const char *name,
             packing if the new member is a bit-field, but we're
             the "compiler" and ANSI says we can do as we choose.  */
 
-         off = roundup (off, NBBY) / NBBY;
+         off = roundup (off, CHAR_BIT) / CHAR_BIT;
          off = roundup (off, MAX (malign, 1));
-         dmd->dmd_offset = off * NBBY;
+         memb[vlen].ctlm_offsethi = CTF_OFFSET_TO_LMEMHI (off * CHAR_BIT);
+         memb[vlen].ctlm_offsetlo = CTF_OFFSET_TO_LMEMLO (off * CHAR_BIT);
          ssize = off + msize;
        }
       else
        {
          /* Specified offset in bits.  */
 
-         dmd->dmd_offset = bit_offset;
+         memb[vlen].ctlm_offsethi = CTF_OFFSET_TO_LMEMHI (bit_offset);
+         memb[vlen].ctlm_offsetlo = CTF_OFFSET_TO_LMEMLO (bit_offset);
          ssize = ctf_get_ctt_size (fp, &dtd->dtd_data, NULL, NULL);
-         ssize = MAX (ssize, (bit_offset / NBBY) + msize);
+         ssize = MAX (ssize, ((signed) bit_offset / CHAR_BIT) + msize);
        }
     }
   else
     {
-      dmd->dmd_offset = 0;
+      memb[vlen].ctlm_offsethi = 0;
+      memb[vlen].ctlm_offsetlo = 0;
       ssize = ctf_get_ctt_size (fp, &dtd->dtd_data, NULL, NULL);
       ssize = MAX (ssize, msize);
     }
 
-  if (ssize > CTF_MAX_SIZE)
-    {
-      dtd->dtd_data.ctt_size = CTF_LSIZE_SENT;
-      dtd->dtd_data.ctt_lsizehi = CTF_SIZE_TO_LSIZE_HI (ssize);
-      dtd->dtd_data.ctt_lsizelo = CTF_SIZE_TO_LSIZE_LO (ssize);
-    }
-  else
-    dtd->dtd_data.ctt_size = (uint32_t) ssize;
-
+  dtd->dtd_data.ctt_size = CTF_LSIZE_SENT;
+  dtd->dtd_data.ctt_lsizehi = CTF_SIZE_TO_LSIZE_HI (ssize);
+  dtd->dtd_data.ctt_lsizelo = CTF_SIZE_TO_LSIZE_LO (ssize);
   dtd->dtd_data.ctt_info = CTF_TYPE_INFO (kind, root, vlen + 1);
-  ctf_list_append (&dtd->dtd_u.dtu_members, dmd);
-
-  if (s != NULL)
-    fp->ctf_dtvstrlen += strlen (s) + 1;
 
   fp->ctf_flags |= LCTF_DIRTY;
   return 0;
 }
 
 int
-ctf_add_member_encoded (ctf_file_t *fp, ctf_id_t souid, const char *name,
+ctf_add_member_encoded (ctf_dict_t *fp, ctf_id_t souid, const char *name,
                        ctf_id_t type, unsigned long bit_offset,
                        const ctf_encoding_t encoding)
 {
@@ -1401,23 +1288,23 @@ ctf_add_member_encoded (ctf_file_t *fp, ctf_id_t souid, const char *name,
     return (ctf_set_errno (fp, ECTF_NOTINTFP));
 
   if ((type = ctf_add_slice (fp, CTF_ADD_NONROOT, otype, &encoding)) == CTF_ERR)
-    return CTF_ERR;            /* errno is set for us.  */
+    return -1;                 /* errno is set for us.  */
 
   return ctf_add_member_offset (fp, souid, name, type, bit_offset);
 }
 
 int
-ctf_add_member (ctf_file_t *fp, ctf_id_t souid, const char *name,
+ctf_add_member (ctf_dict_t *fp, ctf_id_t souid, const char *name,
                ctf_id_t type)
 {
   return ctf_add_member_offset (fp, souid, name, type, (unsigned long) - 1);
 }
 
 int
-ctf_add_variable (ctf_file_t *fp, const char *name, ctf_id_t ref)
+ctf_add_variable (ctf_dict_t *fp, const char *name, ctf_id_t ref)
 {
   ctf_dvdef_t *dvd;
-  ctf_file_t *tmp = fp;
+  ctf_dict_t *tmp = fp;
 
   if (!(fp->ctf_flags & LCTF_RDWR))
     return (ctf_set_errno (fp, ECTF_RDONLY));
@@ -1426,122 +1313,682 @@ ctf_add_variable (ctf_file_t *fp, const char *name, ctf_id_t ref)
     return (ctf_set_errno (fp, ECTF_DUPLICATE));
 
   if (ctf_lookup_by_id (&tmp, ref) == NULL)
-    return CTF_ERR;            /* errno is set for us.  */
+    return -1;                 /* errno is set for us.  */
 
-  if ((dvd = ctf_alloc (sizeof (ctf_dvdef_t))) == NULL)
+  /* Make sure this type is representable.  */
+  if ((ctf_type_resolve (fp, ref) == CTF_ERR)
+      && (ctf_errno (fp) == ECTF_NONREPRESENTABLE))
+    return -1;
+
+  if ((dvd = malloc (sizeof (ctf_dvdef_t))) == NULL)
     return (ctf_set_errno (fp, EAGAIN));
 
-  if (name != NULL && (dvd->dvd_name = ctf_strdup (name)) == NULL)
+  if (name != NULL && (dvd->dvd_name = strdup (name)) == NULL)
     {
-      ctf_free (dvd);
+      free (dvd);
       return (ctf_set_errno (fp, EAGAIN));
     }
   dvd->dvd_type = ref;
   dvd->dvd_snapshots = fp->ctf_snapshots;
 
-  ctf_dvd_insert (fp, dvd);
+  if (ctf_dvd_insert (fp, dvd) < 0)
+    {
+      free (dvd->dvd_name);
+      free (dvd);
+      return -1;                       /* errno is set for us.  */
+    }
 
-  fp->ctf_dtvstrlen += strlen (name) + 1;
   fp->ctf_flags |= LCTF_DIRTY;
   return 0;
 }
 
-/* Write the compressed CTF data stream to the specified gzFile descriptor.
-   This is useful for saving the results of dynamic CTF containers.  */
 int
-ctf_gzwrite (ctf_file_t *fp, gzFile fd)
+ctf_add_funcobjt_sym (ctf_dict_t *fp, int is_function, const char *name, ctf_id_t id)
 {
-  const unsigned char *buf = fp->ctf_base;
-  ssize_t resid = fp->ctf_size;
-  ssize_t len;
+  ctf_dict_t *tmp = fp;
+  char *dupname;
+  ctf_dynhash_t *h = is_function ? fp->ctf_funchash : fp->ctf_objthash;
+
+  if (!(fp->ctf_flags & LCTF_RDWR))
+    return (ctf_set_errno (fp, ECTF_RDONLY));
+
+  if (ctf_dynhash_lookup (fp->ctf_objthash, name) != NULL ||
+      ctf_dynhash_lookup (fp->ctf_funchash, name) != NULL)
+    return (ctf_set_errno (fp, ECTF_DUPLICATE));
+
+  if (ctf_lookup_by_id (&tmp, id) == NULL)
+    return -1;                                  /* errno is set for us.  */
 
-  while (resid != 0)
+  if (is_function && ctf_type_kind (fp, id) != CTF_K_FUNCTION)
+    return (ctf_set_errno (fp, ECTF_NOTFUNC));
+
+  if ((dupname = strdup (name)) == NULL)
+    return (ctf_set_errno (fp, ENOMEM));
+
+  if (ctf_dynhash_insert (h, dupname, (void *) (uintptr_t) id) < 0)
     {
-      if ((len = gzwrite (fd, buf, resid)) <= 0)
-       return (ctf_set_errno (fp, errno));
-      resid -= len;
-      buf += len;
+      free (dupname);
+      return (ctf_set_errno (fp, ENOMEM));
     }
-
   return 0;
 }
 
-/* Compress the specified CTF data stream and write it to the specified file
-   descriptor.  */
 int
-ctf_compress_write (ctf_file_t *fp, int fd)
+ctf_add_objt_sym (ctf_dict_t *fp, const char *name, ctf_id_t id)
+{
+  return (ctf_add_funcobjt_sym (fp, 0, name, id));
+}
+
+int
+ctf_add_func_sym (ctf_dict_t *fp, const char *name, ctf_id_t id)
+{
+  return (ctf_add_funcobjt_sym (fp, 1, name, id));
+}
+
+typedef struct ctf_bundle
+{
+  ctf_dict_t *ctb_dict;                /* CTF dict handle.  */
+  ctf_id_t ctb_type;           /* CTF type identifier.  */
+  ctf_dtdef_t *ctb_dtd;                /* CTF dynamic type definition (if any).  */
+} ctf_bundle_t;
+
+static int
+enumcmp (const char *name, int value, void *arg)
+{
+  ctf_bundle_t *ctb = arg;
+  int bvalue;
+
+  if (ctf_enum_value (ctb->ctb_dict, ctb->ctb_type, name, &bvalue) < 0)
+    {
+      ctf_err_warn (ctb->ctb_dict, 0, 0,
+                   _("conflict due to enum %s iteration error"), name);
+      return 1;
+    }
+  if (value != bvalue)
+    {
+      ctf_err_warn (ctb->ctb_dict, 1, ECTF_CONFLICT,
+                   _("conflict due to enum value change: %i versus %i"),
+                   value, bvalue);
+      return 1;
+    }
+  return 0;
+}
+
+static int
+enumadd (const char *name, int value, void *arg)
+{
+  ctf_bundle_t *ctb = arg;
+
+  return (ctf_add_enumerator (ctb->ctb_dict, ctb->ctb_type,
+                             name, value) < 0);
+}
+
+static int
+membcmp (const char *name, ctf_id_t type _libctf_unused_, unsigned long offset,
+        void *arg)
+{
+  ctf_bundle_t *ctb = arg;
+  ctf_membinfo_t ctm;
+
+  /* Don't check nameless members (e.g. anonymous structs/unions) against each
+     other.  */
+  if (name[0] == 0)
+    return 0;
+
+  if (ctf_member_info (ctb->ctb_dict, ctb->ctb_type, name, &ctm) < 0)
+    {
+      ctf_err_warn (ctb->ctb_dict, 0, 0,
+                   _("conflict due to struct member %s iteration error"),
+                   name);
+      return 1;
+    }
+  if (ctm.ctm_offset != offset)
+    {
+      ctf_err_warn (ctb->ctb_dict, 1, ECTF_CONFLICT,
+                   _("conflict due to struct member %s offset change: "
+                     "%lx versus %lx"),
+                   name, ctm.ctm_offset, offset);
+      return 1;
+    }
+  return 0;
+}
+
+/* Record the correspondence between a source and ctf_add_type()-added
+   destination type: both types are translated into parent type IDs if need be,
+   so they relate to the actual dictionary they are in.  Outside controlled
+   circumstances (like linking) it is probably not useful to do more than
+   compare these pointers, since there is nothing stopping the user closing the
+   source dict whenever they want to.
+
+   Our OOM handling here is just to not do anything, because this is called deep
+   enough in the call stack that doing anything useful is painfully difficult:
+   the worst consequence if we do OOM is a bit of type duplication anyway.  */
+
+static void
+ctf_add_type_mapping (ctf_dict_t *src_fp, ctf_id_t src_type,
+                     ctf_dict_t *dst_fp, ctf_id_t dst_type)
+{
+  if (LCTF_TYPE_ISPARENT (src_fp, src_type) && src_fp->ctf_parent)
+    src_fp = src_fp->ctf_parent;
+
+  src_type = LCTF_TYPE_TO_INDEX(src_fp, src_type);
+
+  if (LCTF_TYPE_ISPARENT (dst_fp, dst_type) && dst_fp->ctf_parent)
+    dst_fp = dst_fp->ctf_parent;
+
+  dst_type = LCTF_TYPE_TO_INDEX(dst_fp, dst_type);
+
+  if (dst_fp->ctf_link_type_mapping == NULL)
+    {
+      ctf_hash_fun f = ctf_hash_type_key;
+      ctf_hash_eq_fun e = ctf_hash_eq_type_key;
+
+      if ((dst_fp->ctf_link_type_mapping = ctf_dynhash_create (f, e, free,
+                                                              NULL)) == NULL)
+       return;
+    }
+
+  ctf_link_type_key_t *key;
+  key = calloc (1, sizeof (struct ctf_link_type_key));
+  if (!key)
+    return;
+
+  key->cltk_fp = src_fp;
+  key->cltk_idx = src_type;
+
+  /* No OOM checking needed, because if this doesn't work the worst we'll do is
+     add a few more duplicate types (which will probably run out of memory
+     anyway).  */
+  ctf_dynhash_insert (dst_fp->ctf_link_type_mapping, key,
+                     (void *) (uintptr_t) dst_type);
+}
+
+/* Look up a type mapping: return 0 if none.  The DST_FP is modified to point to
+   the parent if need be.  The ID returned is from the dst_fp's perspective.  */
+static ctf_id_t
+ctf_type_mapping (ctf_dict_t *src_fp, ctf_id_t src_type, ctf_dict_t **dst_fp)
 {
-  unsigned char *buf;
-  unsigned char *bp;
-  ctf_header_t h;
-  ctf_header_t *hp = &h;
-  ssize_t header_len = sizeof (ctf_header_t);
-  ssize_t compress_len;
-  size_t max_compress_len = compressBound (fp->ctf_size - header_len);
-  ssize_t len;
-  int rc;
-  int err = 0;
-
-  memcpy (hp, fp->ctf_base, header_len);
-  hp->cth_flags |= CTF_F_COMPRESS;
-
-  if ((buf = ctf_data_alloc (max_compress_len)) == NULL)
-    return (ctf_set_errno (fp, ECTF_ZALLOC));
-
-  compress_len = max_compress_len;
-  if ((rc = compress (buf, (uLongf *) & compress_len,
-                     fp->ctf_base + header_len,
-                     fp->ctf_size - header_len)) != Z_OK)
+  ctf_link_type_key_t key;
+  ctf_dict_t *target_fp = *dst_fp;
+  ctf_id_t dst_type = 0;
+
+  if (LCTF_TYPE_ISPARENT (src_fp, src_type) && src_fp->ctf_parent)
+    src_fp = src_fp->ctf_parent;
+
+  src_type = LCTF_TYPE_TO_INDEX(src_fp, src_type);
+  key.cltk_fp = src_fp;
+  key.cltk_idx = src_type;
+
+  if (target_fp->ctf_link_type_mapping)
+    dst_type = (uintptr_t) ctf_dynhash_lookup (target_fp->ctf_link_type_mapping,
+                                              &key);
+
+  if (dst_type != 0)
+    {
+      dst_type = LCTF_INDEX_TO_TYPE (target_fp, dst_type,
+                                    target_fp->ctf_parent != NULL);
+      *dst_fp = target_fp;
+      return dst_type;
+    }
+
+  if (target_fp->ctf_parent)
+    target_fp = target_fp->ctf_parent;
+  else
+    return 0;
+
+  if (target_fp->ctf_link_type_mapping)
+    dst_type = (uintptr_t) ctf_dynhash_lookup (target_fp->ctf_link_type_mapping,
+                                              &key);
+
+  if (dst_type)
+    dst_type = LCTF_INDEX_TO_TYPE (target_fp, dst_type,
+                                  target_fp->ctf_parent != NULL);
+
+  *dst_fp = target_fp;
+  return dst_type;
+}
+
+/* The ctf_add_type routine is used to copy a type from a source CTF dictionary
+   to a dynamic destination dictionary.  This routine operates recursively by
+   following the source type's links and embedded member types.  If the
+   destination dict already contains a named type which has the same attributes,
+   then we succeed and return this type but no changes occur.  */
+static ctf_id_t
+ctf_add_type_internal (ctf_dict_t *dst_fp, ctf_dict_t *src_fp, ctf_id_t src_type,
+                      ctf_dict_t *proc_tracking_fp)
+{
+  ctf_id_t dst_type = CTF_ERR;
+  uint32_t dst_kind = CTF_K_UNKNOWN;
+  ctf_dict_t *tmp_fp = dst_fp;
+  ctf_id_t tmp;
+
+  const char *name;
+  uint32_t kind, forward_kind, flag, vlen;
+
+  const ctf_type_t *src_tp, *dst_tp;
+  ctf_bundle_t src, dst;
+  ctf_encoding_t src_en, dst_en;
+  ctf_arinfo_t src_ar, dst_ar;
+
+  ctf_funcinfo_t ctc;
+
+  ctf_id_t orig_src_type = src_type;
+
+  if (!(dst_fp->ctf_flags & LCTF_RDWR))
+    return (ctf_set_errno (dst_fp, ECTF_RDONLY));
+
+  if ((src_tp = ctf_lookup_by_id (&src_fp, src_type)) == NULL)
+    return (ctf_set_errno (dst_fp, ctf_errno (src_fp)));
+
+  if ((ctf_type_resolve (src_fp, src_type) == CTF_ERR)
+      && (ctf_errno (src_fp) == ECTF_NONREPRESENTABLE))
+    return (ctf_set_errno (dst_fp, ECTF_NONREPRESENTABLE));
+
+  name = ctf_strptr (src_fp, src_tp->ctt_name);
+  kind = LCTF_INFO_KIND (src_fp, src_tp->ctt_info);
+  flag = LCTF_INFO_ISROOT (src_fp, src_tp->ctt_info);
+  vlen = LCTF_INFO_VLEN (src_fp, src_tp->ctt_info);
+
+  /* If this is a type we are currently in the middle of adding, hand it
+     straight back.  (This lets us handle self-referential structures without
+     considering forwards and empty structures the same as their completed
+     forms.)  */
+
+  tmp = ctf_type_mapping (src_fp, src_type, &tmp_fp);
+
+  if (tmp != 0)
+    {
+      if (ctf_dynhash_lookup (proc_tracking_fp->ctf_add_processing,
+                             (void *) (uintptr_t) src_type))
+       return tmp;
+
+      /* If this type has already been added from this dictionary, and is the
+        same kind and (if a struct or union) has the same number of members,
+        hand it straight back.  */
+
+      if (ctf_type_kind_unsliced (tmp_fp, tmp) == (int) kind)
+       {
+         if (kind == CTF_K_STRUCT || kind == CTF_K_UNION
+             || kind == CTF_K_ENUM)
+           {
+             if ((dst_tp = ctf_lookup_by_id (&tmp_fp, dst_type)) != NULL)
+               if (vlen == LCTF_INFO_VLEN (tmp_fp, dst_tp->ctt_info))
+                 return tmp;
+           }
+         else
+           return tmp;
+       }
+    }
+
+  forward_kind = kind;
+  if (kind == CTF_K_FORWARD)
+    forward_kind = src_tp->ctt_type;
+
+  /* If the source type has a name and is a root type (visible at the top-level
+     scope), lookup the name in the destination dictionary and verify that it is
+     of the same kind before we do anything else.  */
+
+  if ((flag & CTF_ADD_ROOT) && name[0] != '\0'
+      && (tmp = ctf_lookup_by_rawname (dst_fp, forward_kind, name)) != 0)
     {
-      ctf_dprintf ("zlib deflate err: %s\n", zError (rc));
-      err = ctf_set_errno (fp, ECTF_COMPRESS);
-      goto ret;
+      dst_type = tmp;
+      dst_kind = ctf_type_kind_unsliced (dst_fp, dst_type);
     }
 
-  while (header_len > 0)
+  /* If an identically named dst_type exists, fail with ECTF_CONFLICT
+     unless dst_type is a forward declaration and src_type is a struct,
+     union, or enum (i.e. the definition of the previous forward decl).
+
+     We also allow addition in the opposite order (addition of a forward when a
+     struct, union, or enum already exists), which is a NOP and returns the
+     already-present struct, union, or enum.  */
+
+  if (dst_type != CTF_ERR && dst_kind != kind)
     {
-      if ((len = write (fd, hp, header_len)) < 0)
+      if (kind == CTF_K_FORWARD
+         && (dst_kind == CTF_K_ENUM || dst_kind == CTF_K_STRUCT
+             || dst_kind == CTF_K_UNION))
        {
-         err = ctf_set_errno (fp, errno);
-         goto ret;
+         ctf_add_type_mapping (src_fp, src_type, dst_fp, dst_type);
+         return dst_type;
+       }
+
+      if (dst_kind != CTF_K_FORWARD
+         || (kind != CTF_K_ENUM && kind != CTF_K_STRUCT
+             && kind != CTF_K_UNION))
+       {
+         ctf_err_warn (dst_fp, 1, ECTF_CONFLICT,
+                       _("ctf_add_type: conflict for type %s: "
+                         "kinds differ, new: %i; old (ID %lx): %i"),
+                       name, kind, dst_type, dst_kind);
+         return (ctf_set_errno (dst_fp, ECTF_CONFLICT));
        }
-      header_len -= len;
-      hp += len;
     }
 
-  bp = buf;
-  while (compress_len > 0)
+  /* We take special action for an integer, float, or slice since it is
+     described not only by its name but also its encoding.  For integers,
+     bit-fields exploit this degeneracy.  */
+
+  if (kind == CTF_K_INTEGER || kind == CTF_K_FLOAT || kind == CTF_K_SLICE)
     {
-      if ((len = write (fd, bp, compress_len)) < 0)
+      if (ctf_type_encoding (src_fp, src_type, &src_en) != 0)
+       return (ctf_set_errno (dst_fp, ctf_errno (src_fp)));
+
+      if (dst_type != CTF_ERR)
        {
-         err = ctf_set_errno (fp, errno);
-         goto ret;
+         ctf_dict_t *fp = dst_fp;
+
+         if ((dst_tp = ctf_lookup_by_id (&fp, dst_type)) == NULL)
+           return CTF_ERR;
+
+         if (ctf_type_encoding (dst_fp, dst_type, &dst_en) != 0)
+           return CTF_ERR;                     /* errno set for us.  */
+
+         if (LCTF_INFO_ISROOT (fp, dst_tp->ctt_info) & CTF_ADD_ROOT)
+           {
+             /* The type that we found in the hash is also root-visible.  If
+                the two types match then use the existing one; otherwise,
+                declare a conflict.  Note: slices are not certain to match
+                even if there is no conflict: we must check the contained type
+                too.  */
+
+             if (memcmp (&src_en, &dst_en, sizeof (ctf_encoding_t)) == 0)
+               {
+                 if (kind != CTF_K_SLICE)
+                   {
+                     ctf_add_type_mapping (src_fp, src_type, dst_fp, dst_type);
+                     return dst_type;
+                   }
+               }
+             else
+                 {
+                   return (ctf_set_errno (dst_fp, ECTF_CONFLICT));
+                 }
+           }
+         else
+           {
+             /* We found a non-root-visible type in the hash.  If its encoding
+                is the same, we can reuse it, unless it is a slice.  */
+
+             if (memcmp (&src_en, &dst_en, sizeof (ctf_encoding_t)) == 0)
+               {
+                 if (kind != CTF_K_SLICE)
+                   {
+                     ctf_add_type_mapping (src_fp, src_type, dst_fp, dst_type);
+                     return dst_type;
+                   }
+               }
+           }
        }
-      compress_len -= len;
-      bp += len;
     }
 
-ret:
-  ctf_data_free (buf, max_compress_len);
-  return err;
-}
+  src.ctb_dict = src_fp;
+  src.ctb_type = src_type;
+  src.ctb_dtd = NULL;
 
-/* Write the uncompressed CTF data stream to the specified file descriptor.
-   This is useful for saving the results of dynamic CTF containers.  */
-int
-ctf_write (ctf_file_t *fp, int fd)
-{
-  const unsigned char *buf = fp->ctf_base;
-  ssize_t resid = fp->ctf_size;
-  ssize_t len;
+  dst.ctb_dict = dst_fp;
+  dst.ctb_type = dst_type;
+  dst.ctb_dtd = NULL;
+
+  /* Now perform kind-specific processing.  If dst_type is CTF_ERR, then we add
+     a new type with the same properties as src_type to dst_fp.  If dst_type is
+     not CTF_ERR, then we verify that dst_type has the same attributes as
+     src_type.  We recurse for embedded references.  Before we start, we note
+     that we are processing this type, to prevent infinite recursion: we do not
+     re-process any type that appears in this list.  The list is emptied
+     wholesale at the end of processing everything in this recursive stack.  */
 
-  while (resid != 0)
+  if (ctf_dynhash_insert (proc_tracking_fp->ctf_add_processing,
+                         (void *) (uintptr_t) src_type, (void *) 1) < 0)
+    return ctf_set_errno (dst_fp, ENOMEM);
+
+  switch (kind)
     {
-      if ((len = write (fd, buf, resid)) < 0)
-       return (ctf_set_errno (fp, errno));
-      resid -= len;
-      buf += len;
+    case CTF_K_INTEGER:
+      /*  If we found a match we will have either returned it or declared a
+         conflict.  */
+      dst_type = ctf_add_integer (dst_fp, flag, name, &src_en);
+      break;
+
+    case CTF_K_FLOAT:
+      /* If we found a match we will have either returned it or declared a
+       conflict.  */
+      dst_type = ctf_add_float (dst_fp, flag, name, &src_en);
+      break;
+
+    case CTF_K_SLICE:
+      /* We have checked for conflicting encodings: now try to add the
+        contained type.  */
+      src_type = ctf_type_reference (src_fp, src_type);
+      src_type = ctf_add_type_internal (dst_fp, src_fp, src_type,
+                                       proc_tracking_fp);
+
+      if (src_type == CTF_ERR)
+       return CTF_ERR;                         /* errno is set for us.  */
+
+      dst_type = ctf_add_slice (dst_fp, flag, src_type, &src_en);
+      break;
+
+    case CTF_K_POINTER:
+    case CTF_K_VOLATILE:
+    case CTF_K_CONST:
+    case CTF_K_RESTRICT:
+      src_type = ctf_type_reference (src_fp, src_type);
+      src_type = ctf_add_type_internal (dst_fp, src_fp, src_type,
+                                       proc_tracking_fp);
+
+      if (src_type == CTF_ERR)
+       return CTF_ERR;                         /* errno is set for us.  */
+
+      dst_type = ctf_add_reftype (dst_fp, flag, src_type, kind);
+      break;
+
+    case CTF_K_ARRAY:
+      if (ctf_array_info (src_fp, src_type, &src_ar) != 0)
+       return (ctf_set_errno (dst_fp, ctf_errno (src_fp)));
+
+      src_ar.ctr_contents =
+       ctf_add_type_internal (dst_fp, src_fp, src_ar.ctr_contents,
+                              proc_tracking_fp);
+      src_ar.ctr_index = ctf_add_type_internal (dst_fp, src_fp,
+                                               src_ar.ctr_index,
+                                               proc_tracking_fp);
+      src_ar.ctr_nelems = src_ar.ctr_nelems;
+
+      if (src_ar.ctr_contents == CTF_ERR || src_ar.ctr_index == CTF_ERR)
+       return CTF_ERR;                         /* errno is set for us.  */
+
+      if (dst_type != CTF_ERR)
+       {
+         if (ctf_array_info (dst_fp, dst_type, &dst_ar) != 0)
+           return CTF_ERR;                     /* errno is set for us.  */
+
+         if (memcmp (&src_ar, &dst_ar, sizeof (ctf_arinfo_t)))
+           {
+             ctf_err_warn (dst_fp, 1, ECTF_CONFLICT,
+                           _("conflict for type %s against ID %lx: array info "
+                             "differs, old %lx/%lx/%x; new: %lx/%lx/%x"),
+                           name, dst_type, src_ar.ctr_contents,
+                           src_ar.ctr_index, src_ar.ctr_nelems,
+                           dst_ar.ctr_contents, dst_ar.ctr_index,
+                           dst_ar.ctr_nelems);
+             return (ctf_set_errno (dst_fp, ECTF_CONFLICT));
+           }
+       }
+      else
+       dst_type = ctf_add_array (dst_fp, flag, &src_ar);
+      break;
+
+    case CTF_K_FUNCTION:
+      ctc.ctc_return = ctf_add_type_internal (dst_fp, src_fp,
+                                             src_tp->ctt_type,
+                                             proc_tracking_fp);
+      ctc.ctc_argc = 0;
+      ctc.ctc_flags = 0;
+
+      if (ctc.ctc_return == CTF_ERR)
+       return CTF_ERR;                         /* errno is set for us.  */
+
+      dst_type = ctf_add_function (dst_fp, flag, &ctc, NULL);
+      break;
+
+    case CTF_K_STRUCT:
+    case CTF_K_UNION:
+      {
+       ctf_next_t *i = NULL;
+       ssize_t offset;
+       const char *membname;
+       ctf_id_t src_membtype;
+
+       /* Technically to match a struct or union we need to check both
+          ways (src members vs. dst, dst members vs. src) but we make
+          this more optimal by only checking src vs. dst and comparing
+          the total size of the structure (which we must do anyway)
+          which covers the possibility of dst members not in src.
+          This optimization can be defeated for unions, but is so
+          pathological as to render it irrelevant for our purposes.  */
+
+       if (dst_type != CTF_ERR && kind != CTF_K_FORWARD
+           && dst_kind != CTF_K_FORWARD)
+         {
+           if (ctf_type_size (src_fp, src_type) !=
+               ctf_type_size (dst_fp, dst_type))
+             {
+               ctf_err_warn (dst_fp, 1, ECTF_CONFLICT,
+                             _("conflict for type %s against ID %lx: union "
+                               "size differs, old %li, new %li"), name,
+                             dst_type, (long) ctf_type_size (src_fp, src_type),
+                             (long) ctf_type_size (dst_fp, dst_type));
+               return (ctf_set_errno (dst_fp, ECTF_CONFLICT));
+             }
+
+           if (ctf_member_iter (src_fp, src_type, membcmp, &dst))
+             {
+               ctf_err_warn (dst_fp, 1, ECTF_CONFLICT,
+                             _("conflict for type %s against ID %lx: members "
+                               "differ, see above"), name, dst_type);
+               return (ctf_set_errno (dst_fp, ECTF_CONFLICT));
+             }
+
+           break;
+         }
+
+       dst_type = ctf_add_struct_sized (dst_fp, flag, name,
+                                        ctf_type_size (src_fp, src_type));
+       if (dst_type == CTF_ERR)
+         return CTF_ERR;                       /* errno is set for us.  */
+
+       /* Pre-emptively add this struct to the type mapping so that
+          structures that refer to themselves work.  */
+       ctf_add_type_mapping (src_fp, src_type, dst_fp, dst_type);
+
+       while ((offset = ctf_member_next (src_fp, src_type, &i, &membname,
+                                         &src_membtype, 0)) >= 0)
+         {
+           ctf_dict_t *dst = dst_fp;
+           ctf_id_t dst_membtype = ctf_type_mapping (src_fp, src_membtype, &dst);
+
+           if (dst_membtype == 0)
+             {
+               dst_membtype = ctf_add_type_internal (dst_fp, src_fp,
+                                                     src_membtype,
+                                                     proc_tracking_fp);
+               if (dst_membtype == CTF_ERR)
+                 {
+                   if (ctf_errno (dst_fp) != ECTF_NONREPRESENTABLE)
+                     {
+                       ctf_next_destroy (i);
+                       break;
+                     }
+                 }
+             }
+
+           if (ctf_add_member_offset (dst_fp, dst_type, membname,
+                                      dst_membtype, offset) < 0)
+             {
+               ctf_next_destroy (i);
+               break;
+             }
+         }
+       if (ctf_errno (src_fp) != ECTF_NEXT_END)
+         return CTF_ERR;                       /* errno is set for us.  */
+       break;
+      }
+
+    case CTF_K_ENUM:
+      if (dst_type != CTF_ERR && kind != CTF_K_FORWARD
+         && dst_kind != CTF_K_FORWARD)
+       {
+         if (ctf_enum_iter (src_fp, src_type, enumcmp, &dst)
+             || ctf_enum_iter (dst_fp, dst_type, enumcmp, &src))
+           {
+             ctf_err_warn (dst_fp, 1, ECTF_CONFLICT,
+                           _("conflict for enum %s against ID %lx: members "
+                             "differ, see above"), name, dst_type);
+             return (ctf_set_errno (dst_fp, ECTF_CONFLICT));
+           }
+       }
+      else
+       {
+         dst_type = ctf_add_enum (dst_fp, flag, name);
+         if ((dst.ctb_type = dst_type) == CTF_ERR
+             || ctf_enum_iter (src_fp, src_type, enumadd, &dst))
+           return CTF_ERR;                     /* errno is set for us */
+       }
+      break;
+
+    case CTF_K_FORWARD:
+      if (dst_type == CTF_ERR)
+         dst_type = ctf_add_forward (dst_fp, flag, name, forward_kind);
+      break;
+
+    case CTF_K_TYPEDEF:
+      src_type = ctf_type_reference (src_fp, src_type);
+      src_type = ctf_add_type_internal (dst_fp, src_fp, src_type,
+                                       proc_tracking_fp);
+
+      if (src_type == CTF_ERR)
+       return CTF_ERR;                         /* errno is set for us.  */
+
+      /* If dst_type is not CTF_ERR at this point, we should check if
+        ctf_type_reference(dst_fp, dst_type) != src_type and if so fail with
+        ECTF_CONFLICT.  However, this causes problems with bitness typedefs
+        that vary based on things like if 32-bit then pid_t is int otherwise
+        long.  We therefore omit this check and assume that if the identically
+        named typedef already exists in dst_fp, it is correct or
+        equivalent.  */
+
+      if (dst_type == CTF_ERR)
+         dst_type = ctf_add_typedef (dst_fp, flag, name, src_type);
+
+      break;
+
+    default:
+      return (ctf_set_errno (dst_fp, ECTF_CORRUPT));
     }
 
-  return 0;
+  if (dst_type != CTF_ERR)
+    ctf_add_type_mapping (src_fp, orig_src_type, dst_fp, dst_type);
+  return dst_type;
+}
+
+ctf_id_t
+ctf_add_type (ctf_dict_t *dst_fp, ctf_dict_t *src_fp, ctf_id_t src_type)
+{
+  ctf_id_t id;
+
+  if (!src_fp->ctf_add_processing)
+    src_fp->ctf_add_processing = ctf_dynhash_create (ctf_hash_integer,
+                                                    ctf_hash_eq_integer,
+                                                    NULL, NULL);
+
+  /* We store the hash on the source, because it contains only source type IDs:
+     but callers will invariably expect errors to appear on the dest.  */
+  if (!src_fp->ctf_add_processing)
+    return (ctf_set_errno (dst_fp, ENOMEM));
+
+  id = ctf_add_type_internal (dst_fp, src_fp, src_type, src_fp);
+  ctf_dynhash_empty (src_fp->ctf_add_processing);
+
+  return id;
 }