]> git.ipfire.org Git - thirdparty/gcc.git/blobdiff - gcc/regcprop.c
PR fortran/95090 - ICE: identifier overflow
[thirdparty/gcc.git] / gcc / regcprop.c
index 46d0695898dc03550ed2c5d838584ee38ba5c7e1..d2a01130fe14ca9a7c2de17ab2ccf5c4fc52065d 100644 (file)
@@ -1,5 +1,5 @@
 /* Copy propagation on hard registers for the GNU compiler.
-   Copyright (C) 2000-2015 Free Software Foundation, Inc.
+   Copyright (C) 2000-2020 Free Software Foundation, Inc.
 
    This file is part of GCC.
 
 #include "backend.h"
 #include "rtl.h"
 #include "df.h"
+#include "memmodel.h"
 #include "tm_p.h"
 #include "insn-config.h"
 #include "regs.h"
-#include "addresses.h"
-#include "reload.h"
+#include "emit-rtl.h"
 #include "recog.h"
-#include "flags.h"
 #include "diagnostic-core.h"
+#include "addresses.h"
 #include "tree-pass.h"
 #include "rtl-iter.h"
-#include "emit-rtl.h"
+#include "cfgrtl.h"
+#include "target.h"
+#include "function-abi.h"
 
 /* The following code does forward propagation of hard register copies.
    The object is to eliminate as many dependencies as possible, so that
@@ -51,21 +53,6 @@ struct queued_debug_insn_change
   rtx_insn *insn;
   rtx *loc;
   rtx new_rtx;
-
-  /* Pool allocation new operator.  */
-  inline void *operator new (size_t)
-  {
-    return pool.allocate ();
-  }
-
-  /* Delete operator utilizing pool allocation.  */
-  inline void operator delete (void *ptr)
-  {
-    pool.remove ((queued_debug_insn_change *) ptr);
-  }
-
-  /* Memory allocation pool.  */
-  static pool_allocator<queued_debug_insn_change> pool;
 };
 
 /* For each register, we have a list of registers that contain the same
@@ -89,8 +76,8 @@ struct value_data
   unsigned int n_debug_insn_changes;
 };
 
-pool_allocator<queued_debug_insn_change> queued_debug_insn_change::pool
-  ("debug insn changes pool", 256);
+static object_allocator<queued_debug_insn_change> queued_debug_insn_change_pool
+  ("debug insn changes pool");
 
 static bool skip_debug_insn_p;
 
@@ -115,9 +102,7 @@ static bool replace_oldest_value_addr (rtx *, enum reg_class,
 static bool replace_oldest_value_mem (rtx, rtx_insn *, struct value_data *);
 static bool copyprop_hardreg_forward_1 (basic_block, struct value_data *);
 extern void debug_value_data (struct value_data *);
-#ifdef ENABLE_CHECKING
 static void validate_value_data (struct value_data *);
-#endif
 
 /* Free all queued updates for DEBUG_INSNs that change some reg to
    register REGNO.  */
@@ -130,7 +115,7 @@ free_debug_insn_changes (struct value_data *vd, unsigned int regno)
     {
       next = cur->next;
       --vd->n_debug_insn_changes;
-      delete cur;
+      queued_debug_insn_change_pool.remove (cur);
     }
   vd->e[regno].debug_insn_changes = NULL;
 }
@@ -165,9 +150,8 @@ kill_value_one_regno (unsigned int regno, struct value_data *vd)
   if (vd->e[regno].debug_insn_changes)
     free_debug_insn_changes (vd, regno);
 
-#ifdef ENABLE_CHECKING
-  validate_value_data (vd);
-#endif
+  if (flag_checking)
+    validate_value_data (vd);
 }
 
 /* Kill the value in register REGNO for NREGS, and any other registers
@@ -193,7 +177,7 @@ kill_value_regno (unsigned int regno, unsigned int nregs,
       unsigned int i, n;
       if (vd->e[j].mode == VOIDmode)
        continue;
-      n = hard_regno_nregs[j][vd->e[j].mode];
+      n = hard_regno_nregs (j, vd->e[j].mode);
       if (j + n > regno)
        for (i = 0; i < n; ++i)
          kill_value_one_regno (j + i, vd);
@@ -226,7 +210,7 @@ set_value_regno (unsigned int regno, machine_mode mode,
 
   vd->e[regno].mode = mode;
 
-  nregs = hard_regno_nregs[regno][mode];
+  nregs = hard_regno_nregs (regno, mode);
   if (nregs > vd->max_value_regs)
     vd->max_value_regs = nregs;
 }
@@ -254,6 +238,7 @@ static void
 kill_clobbered_value (rtx x, const_rtx set, void *data)
 {
   struct value_data *const vd = (struct value_data *) data;
+
   if (GET_CODE (set) == CLOBBER)
     kill_value (x, vd);
 }
@@ -274,6 +259,7 @@ kill_set_value (rtx x, const_rtx set, void *data)
   struct kill_set_value_data *ksvd = (struct kill_set_value_data *) data;
   if (rtx_equal_p (x, ksvd->ignore_set_reg))
     return;
+
   if (GET_CODE (set) != CLOBBER)
     {
       kill_value (x, ksvd->vd);
@@ -352,7 +338,7 @@ copy_value (rtx dest, rtx src, struct value_data *vd)
      we must not do the same for the high part.
      Note we can still get low parts for the same mode combination through
      a two-step copy involving differently sized hard regs.
-     Assume hard regs fr* are 32 bits bits each, while r* are 64 bits each:
+     Assume hard regs fr* are 32 bits each, while r* are 64 bits each:
      (set (reg:DI r0) (reg:DI fr0))
      (set (reg:SI fr2) (reg:SI r0))
      loads the low part of (reg:DI fr0) - i.e. fr1 - into fr2, while:
@@ -361,15 +347,15 @@ copy_value (rtx dest, rtx src, struct value_data *vd)
 
      We can't properly represent the latter case in our tables, so don't
      record anything then.  */
-  else if (sn < (unsigned int) hard_regno_nregs[sr][vd->e[sr].mode]
-          && (GET_MODE_SIZE (vd->e[sr].mode) > UNITS_PER_WORD
-              ? WORDS_BIG_ENDIAN : BYTES_BIG_ENDIAN))
+  else if (sn < hard_regno_nregs (sr, vd->e[sr].mode)
+          && maybe_ne (subreg_lowpart_offset (GET_MODE (dest),
+                                              vd->e[sr].mode), 0U))
     return;
 
   /* If SRC had been assigned a mode narrower than the copy, we can't
      link DEST into the chain, because not all of the pieces of the
      copy came from oldest_regno.  */
-  else if (sn > (unsigned int) hard_regno_nregs[sr][vd->e[sr].mode])
+  else if (sn > hard_regno_nregs (sr, vd->e[sr].mode))
     return;
 
   /* Link DR at the end of the value chain used by SR.  */
@@ -380,9 +366,8 @@ copy_value (rtx dest, rtx src, struct value_data *vd)
     continue;
   vd->e[i].next_regno = dr;
 
-#ifdef ENABLE_CHECKING
-  validate_value_data (vd);
-#endif
+  if (flag_checking)
+    validate_value_data (vd);
 }
 
 /* Return true if a mode change from ORIG to NEW is allowed for REGNO.  */
@@ -391,14 +376,10 @@ static bool
 mode_change_ok (machine_mode orig_mode, machine_mode new_mode,
                unsigned int regno ATTRIBUTE_UNUSED)
 {
-  if (GET_MODE_SIZE (orig_mode) < GET_MODE_SIZE (new_mode))
+  if (partial_subreg_p (orig_mode, new_mode))
     return false;
 
-#ifdef CANNOT_CHANGE_MODE_CLASS
-  return !REG_CANNOT_CHANGE_MODE_P (regno, orig_mode, new_mode);
-#endif
-
-  return true;
+  return REG_CAN_CHANGE_MODE_P (regno, orig_mode, new_mode);
 }
 
 /* Register REGNO was originally set in ORIG_MODE.  It - or a copy of it -
@@ -411,27 +392,33 @@ maybe_mode_change (machine_mode orig_mode, machine_mode copy_mode,
                   machine_mode new_mode, unsigned int regno,
                   unsigned int copy_regno ATTRIBUTE_UNUSED)
 {
-  if (GET_MODE_SIZE (copy_mode) < GET_MODE_SIZE (orig_mode)
-      && GET_MODE_SIZE (copy_mode) < GET_MODE_SIZE (new_mode))
+  if (partial_subreg_p (copy_mode, orig_mode)
+      && partial_subreg_p (copy_mode, new_mode))
+    return NULL_RTX;
+
+  /* Avoid creating multiple copies of the stack pointer.  Some ports
+     assume there is one and only one stack pointer.
+
+     It's unclear if we need to do the same for other special registers.  */
+  if (regno == STACK_POINTER_REGNUM)
     return NULL_RTX;
 
   if (orig_mode == new_mode)
     return gen_raw_REG (new_mode, regno);
   else if (mode_change_ok (orig_mode, new_mode, regno))
     {
-      int copy_nregs = hard_regno_nregs[copy_regno][copy_mode];
-      int use_nregs = hard_regno_nregs[copy_regno][new_mode];
-      int copy_offset
-       = GET_MODE_SIZE (copy_mode) / copy_nregs * (copy_nregs - use_nregs);
-      int offset
-       = GET_MODE_SIZE (orig_mode) - GET_MODE_SIZE (new_mode) - copy_offset;
-      int byteoffset = offset % UNITS_PER_WORD;
-      int wordoffset = offset - byteoffset;
-
-      offset = ((WORDS_BIG_ENDIAN ? wordoffset : 0)
-               + (BYTES_BIG_ENDIAN ? byteoffset : 0));
+      int copy_nregs = hard_regno_nregs (copy_regno, copy_mode);
+      int use_nregs = hard_regno_nregs (copy_regno, new_mode);
+      poly_uint64 bytes_per_reg;
+      if (!can_div_trunc_p (GET_MODE_SIZE (copy_mode),
+                           copy_nregs, &bytes_per_reg))
+       return NULL_RTX;
+      poly_uint64 copy_offset = bytes_per_reg * (copy_nregs - use_nregs);
+      poly_uint64 offset
+       = subreg_size_lowpart_offset (GET_MODE_SIZE (new_mode) + copy_offset,
+                                     GET_MODE_SIZE (orig_mode));
       regno += subreg_regno_offset (regno, orig_mode, offset, new_mode);
-      if (HARD_REGNO_MODE_OK (regno, new_mode))
+      if (targetm.hard_regno_mode_ok (regno, new_mode))
        return gen_raw_REG (new_mode, regno);
     }
   return NULL_RTX;
@@ -448,6 +435,8 @@ find_oldest_value_reg (enum reg_class cl, rtx reg, struct value_data *vd)
   machine_mode mode = GET_MODE (reg);
   unsigned int i;
 
+  gcc_assert (regno < FIRST_PSEUDO_REGISTER);
+
   /* If we are accessing REG in some mode other that what we set it in,
      make sure that the replacement is valid.  In particular, consider
        (set (reg:DI r11) (...))
@@ -455,12 +444,9 @@ find_oldest_value_reg (enum reg_class cl, rtx reg, struct value_data *vd)
        (set (reg:SI r10) (...))
        (set (...) (reg:DI r9))
      Replacing r9 with r11 is invalid.  */
-  if (mode != vd->e[regno].mode)
-    {
-      if (hard_regno_nregs[regno][mode]
-         > hard_regno_nregs[regno][vd->e[regno].mode])
-       return NULL_RTX;
-    }
+  if (mode != vd->e[regno].mode
+      && REG_NREGS (reg) > hard_regno_nregs (regno, vd->e[regno].mode))
+    return NULL_RTX;
 
   for (i = vd->e[regno].oldest_regno; i != regno; i = vd->e[i].next_regno)
     {
@@ -501,7 +487,7 @@ replace_oldest_value_reg (rtx *loc, enum reg_class cl, rtx_insn *insn,
            fprintf (dump_file, "debug_insn %u: queued replacing reg %u with %u\n",
                     INSN_UID (insn), REGNO (*loc), REGNO (new_rtx));
 
-         change = new queued_debug_insn_change;
+         change = queued_debug_insn_change_pool.allocate ();
          change->next = vd->e[REGNO (new_rtx)].debug_insn_changes;
          change->insn = insn;
          change->loc = loc;
@@ -739,19 +725,7 @@ cprop_find_used_regs (rtx *loc, void *data)
 static void
 kill_clobbered_values (rtx_insn *insn, struct value_data *vd)
 {
-  note_stores (PATTERN (insn), kill_clobbered_value, vd);
-
-  if (CALL_P (insn))
-    {
-      rtx exp;
-
-      for (exp = CALL_INSN_FUNCTION_USAGE (insn); exp; exp = XEXP (exp, 1))
-       {
-         rtx x = XEXP (exp, 0);
-         if (GET_CODE (x) == CLOBBER)
-           kill_value (SET_DEST (x), vd);
-       }
-    }
+  note_stores (insn, kill_clobbered_value, vd);
 }
 
 /* Perform the forward copy propagation on basic block BB.  */
@@ -760,21 +734,21 @@ static bool
 copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
 {
   bool anything_changed = false;
-  rtx_insn *insn;
+  rtx_insn *insn, *next;
 
-  for (insn = BB_HEAD (bb); ; insn = NEXT_INSN (insn))
+  for (insn = BB_HEAD (bb); ; insn = next)
     {
       int n_ops, i, predicated;
       bool is_asm, any_replacements;
       rtx set;
       rtx link;
-      bool replaced[MAX_RECOG_OPERANDS];
       bool changed = false;
       struct kill_set_value_data ksvd;
 
+      next = NEXT_INSN (insn);
       if (!NONDEBUG_INSN_P (insn))
        {
-         if (DEBUG_INSN_P (insn))
+         if (DEBUG_BIND_INSN_P (insn))
            {
              rtx loc = INSN_VAR_LOCATION_LOC (insn);
              if (!VAR_LOC_UNKNOWN_P (loc))
@@ -790,6 +764,41 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
        }
 
       set = single_set (insn);
+
+      /* Detect noop sets and remove them before processing side effects.  */
+      if (set && REG_P (SET_DEST (set)) && REG_P (SET_SRC (set)))
+       {
+         unsigned int regno = REGNO (SET_SRC (set));
+         rtx r1 = find_oldest_value_reg (REGNO_REG_CLASS (regno),
+                                         SET_DEST (set), vd);
+         rtx r2 = find_oldest_value_reg (REGNO_REG_CLASS (regno),
+                                         SET_SRC (set), vd);
+         if (rtx_equal_p (r1 ? r1 : SET_DEST (set), r2 ? r2 : SET_SRC (set)))
+           {
+             bool last = insn == BB_END (bb);
+             delete_insn (insn);
+             if (last)
+               break;
+             continue;
+           }
+       }
+
+      /* Detect obviously dead sets (via REG_UNUSED notes) and remove them.  */
+      if (set
+         && !RTX_FRAME_RELATED_P (insn)
+         && !may_trap_p (set)
+         && find_reg_note (insn, REG_UNUSED, SET_DEST (set))
+         && !side_effects_p (SET_SRC (set))
+         && !side_effects_p (SET_DEST (set)))
+       {
+         bool last = insn == BB_END (bb);
+         delete_insn (insn);
+         if (last)
+           break;
+         continue;
+       }
+        
+
       extract_constrain_insn (insn);
       preprocess_constraints (insn);
       const operand_alternative *op_alt = which_op_alt ();
@@ -846,6 +855,12 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
                  && reg_overlap_mentioned_p (XEXP (link, 0), SET_SRC (set)))
                set = NULL;
            }
+
+         /* We need to keep CFI info correct, and the same on all paths,
+            so we cannot normally replace the registers REG_CFA_REGISTER
+            refers to.  Bail.  */
+         if (REG_NOTE_KIND (link) == REG_CFA_REGISTER)
+           goto did_replacement;
        }
 
       /* Special-case plain move instructions, since we may well
@@ -862,16 +877,15 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
             set it in, make sure that the replacement is valid.  */
          if (mode != vd->e[regno].mode)
            {
-             if (hard_regno_nregs[regno][mode]
-                 > hard_regno_nregs[regno][vd->e[regno].mode])
+             if (REG_NREGS (src)
+                 > hard_regno_nregs (regno, vd->e[regno].mode))
                goto no_move_special_case;
 
              /* And likewise, if we are narrowing on big endian the transformation
                 is also invalid.  */
-             if (hard_regno_nregs[regno][mode]
-                 < hard_regno_nregs[regno][vd->e[regno].mode]
-                 && (GET_MODE_SIZE (vd->e[regno].mode) > UNITS_PER_WORD
-                     ? WORDS_BIG_ENDIAN : BYTES_BIG_ENDIAN))
+             if (REG_NREGS (src) < hard_regno_nregs (regno, vd->e[regno].mode)
+                 && maybe_ne (subreg_lowpart_offset (mode,
+                                                     vd->e[regno].mode), 0U))
                goto no_move_special_case;
            }
 
@@ -879,7 +893,9 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
             register in the same class.  */
          if (REG_P (SET_DEST (set)))
            {
-             new_rtx = find_oldest_value_reg (REGNO_REG_CLASS (regno), src, vd);
+             new_rtx = find_oldest_value_reg (REGNO_REG_CLASS (regno),
+                                              src, vd);
+
              if (new_rtx && validate_change (insn, &SET_SRC (set), new_rtx, 0))
                {
                  if (dump_file)
@@ -930,7 +946,7 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
         eldest live copy that's in an appropriate register class.  */
       for (i = 0; i < n_ops; i++)
        {
-         replaced[i] = false;
+         bool replaced = false;
 
          /* Don't scan match_operand here, since we've no reg class
             information to pass down.  Any operands that we could
@@ -947,26 +963,26 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
          if (recog_data.operand_type[i] == OP_IN)
            {
              if (op_alt[i].is_address)
-               replaced[i]
+               replaced
                  = replace_oldest_value_addr (recog_data.operand_loc[i],
                                               alternative_class (op_alt, i),
                                               VOIDmode, ADDR_SPACE_GENERIC,
                                               insn, vd);
              else if (REG_P (recog_data.operand[i]))
-               replaced[i]
+               replaced
                  = replace_oldest_value_reg (recog_data.operand_loc[i],
                                              alternative_class (op_alt, i),
                                              insn, vd);
              else if (MEM_P (recog_data.operand[i]))
-               replaced[i] = replace_oldest_value_mem (recog_data.operand[i],
-                                                       insn, vd);
+               replaced = replace_oldest_value_mem (recog_data.operand[i],
+                                                    insn, vd);
            }
          else if (MEM_P (recog_data.operand[i]))
-           replaced[i] = replace_oldest_value_mem (recog_data.operand[i],
-                                                   insn, vd);
+           replaced = replace_oldest_value_mem (recog_data.operand[i],
+                                                insn, vd);
 
          /* If we performed any replacement, update match_dups.  */
-         if (replaced[i])
+         if (replaced)
            {
              int j;
              rtx new_rtx;
@@ -985,13 +1001,6 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
        {
          if (! apply_change_group ())
            {
-             for (i = 0; i < n_ops; i++)
-               if (replaced[i])
-                 {
-                   rtx old = *recog_data.operand_loc[i];
-                   recog_data.operand[i] = old;
-                 }
-
              if (dump_file)
                fprintf (dump_file,
                         "insn %u: reg replacements not verified\n",
@@ -1010,6 +1019,7 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
             DEBUG_INSNs can be applied.  */
          if (vd->n_debug_insn_changes)
            note_uses (&PATTERN (insn), cprop_find_used_regs, vd);
+         df_insn_rescan (insn);
        }
 
       ksvd.vd = vd;
@@ -1022,7 +1032,6 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
          unsigned int set_nregs = 0;
          unsigned int regno;
          rtx exp;
-         HARD_REG_SET regs_invalidated_by_this_call;
 
          for (exp = CALL_INSN_FUNCTION_USAGE (insn); exp; exp = XEXP (exp, 1))
            {
@@ -1040,19 +1049,17 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
                }
            }
 
-         get_call_reg_set_usage (insn,
-                                 &regs_invalidated_by_this_call,
-                                 regs_invalidated_by_call);
+         function_abi callee_abi = insn_callee_abi (insn);
          for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-           if ((TEST_HARD_REG_BIT (regs_invalidated_by_this_call, regno)
-                || HARD_REGNO_CALL_PART_CLOBBERED (regno, vd->e[regno].mode))
+           if (vd->e[regno].mode != VOIDmode
+               && callee_abi.clobbers_reg_p (vd->e[regno].mode, regno)
                && (regno < set_regno || regno >= set_regno + set_nregs))
              kill_value_regno (regno, 1, vd);
 
          /* If SET was seen in CALL_INSN_FUNCTION_USAGE, and SET_SRC
-            of the SET isn't in regs_invalidated_by_call hard reg set,
-            but instead among CLOBBERs on the CALL_INSN, we could wrongly
-            assume the value in it is still live.  */
+            of the SET isn't clobbered by CALLEE_ABI, but instead among
+            CLOBBERs on the CALL_INSN, we could wrongly assume the
+            value in it is still live.  */
          if (ksvd.ignore_set_reg)
            kill_clobbered_values (insn, vd);
        }
@@ -1063,14 +1070,34 @@ copyprop_hardreg_forward_1 (basic_block bb, struct value_data *vd)
       bool noop_p = (copy_p
                     && rtx_equal_p (SET_DEST (set), SET_SRC (set)));
 
+      /* If a noop move is using narrower mode than we have recorded,
+        we need to either remove the noop move, or kill_set_value.  */
+      if (noop_p
+         && partial_subreg_p (GET_MODE (SET_DEST (set)),
+                              vd->e[REGNO (SET_DEST (set))].mode))
+       {
+         if (noop_move_p (insn))
+           {
+             bool last = insn == BB_END (bb);
+             delete_insn (insn);
+             if (last)
+               break;
+           }
+         else
+           noop_p = false;
+       }
+
       if (!noop_p)
        {
          /* Notice stores.  */
-         note_stores (PATTERN (insn), kill_set_value, &ksvd);
+         note_stores (insn, kill_set_value, &ksvd);
 
          /* Notice copies.  */
          if (copy_p)
-           copy_value (SET_DEST (set), SET_SRC (set), vd);
+           {
+             df_insn_rescan (insn);
+             copy_value (SET_DEST (set), SET_SRC (set), vd);
+           }
        }
 
       if (insn == BB_END (bb))
@@ -1156,7 +1183,6 @@ copyprop_hardreg_forward_bb_without_debug_insn (basic_block bb)
   skip_debug_insn_p = false;
 }
 
-#ifdef ENABLE_CHECKING
 static void
 validate_value_data (struct value_data *vd)
 {
@@ -1171,8 +1197,8 @@ validate_value_data (struct value_data *vd)
        if (vd->e[i].mode == VOIDmode)
          {
            if (vd->e[i].next_regno != INVALID_REGNUM)
-             internal_error ("validate_value_data: [%u] Bad next_regno for empty chain (%u)",
-                             i, vd->e[i].next_regno);
+             internal_error ("%qs: [%u] bad %<next_regno%> for empty chain (%u)",
+                             __func__, i, vd->e[i].next_regno);
            continue;
          }
 
@@ -1183,11 +1209,11 @@ validate_value_data (struct value_data *vd)
             j = vd->e[j].next_regno)
          {
            if (TEST_HARD_REG_BIT (set, j))
-             internal_error ("validate_value_data: Loop in regno chain (%u)",
-                             j);
+             internal_error ("%qs: loop in %<next_regno%> chain (%u)",
+                             __func__, j);
            if (vd->e[j].oldest_regno != i)
-             internal_error ("validate_value_data: [%u] Bad oldest_regno (%u)",
-                             j, vd->e[j].oldest_regno);
+             internal_error ("%qs: [%u] bad %<oldest_regno%> (%u)",
+                             __func__, j, vd->e[j].oldest_regno);
 
            SET_HARD_REG_BIT (set, j);
          }
@@ -1198,11 +1224,12 @@ validate_value_data (struct value_data *vd)
        && (vd->e[i].mode != VOIDmode
            || vd->e[i].oldest_regno != i
            || vd->e[i].next_regno != INVALID_REGNUM))
-      internal_error ("validate_value_data: [%u] Non-empty reg in chain (%s %u %i)",
-                     i, GET_MODE_NAME (vd->e[i].mode), vd->e[i].oldest_regno,
+      internal_error ("%qs: [%u] non-empty register in chain (%s %u %i)",
+                     __func__, i,
+                     GET_MODE_NAME (vd->e[i].mode), vd->e[i].oldest_regno,
                      vd->e[i].next_regno);
 }
-#endif
+
 \f
 namespace {
 
@@ -1236,82 +1263,142 @@ public:
 
 }; // class pass_cprop_hardreg
 
+static bool
+cprop_hardreg_bb (basic_block bb, struct value_data *all_vd, sbitmap visited)
+{
+  bitmap_set_bit (visited, bb->index);
+
+  /* If a block has a single predecessor, that we've already
+     processed, begin with the value data that was live at
+     the end of the predecessor block.  */
+  /* ??? Ought to use more intelligent queuing of blocks.  */
+  if (single_pred_p (bb)
+      && bitmap_bit_p (visited, single_pred (bb)->index)
+      && ! (single_pred_edge (bb)->flags & (EDGE_ABNORMAL_CALL | EDGE_EH)))
+    {
+      all_vd[bb->index] = all_vd[single_pred (bb)->index];
+      if (all_vd[bb->index].n_debug_insn_changes)
+       {
+         unsigned int regno;
+
+         for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+           {
+             if (all_vd[bb->index].e[regno].debug_insn_changes)
+               {
+                 struct queued_debug_insn_change *cur;
+                 for (cur = all_vd[bb->index].e[regno].debug_insn_changes;
+                      cur; cur = cur->next)
+                   --all_vd[bb->index].n_debug_insn_changes;
+                 all_vd[bb->index].e[regno].debug_insn_changes = NULL;
+                 if (all_vd[bb->index].n_debug_insn_changes == 0)
+                   break;
+               }
+           }
+       }
+    }
+  else
+    init_value_data (all_vd + bb->index);
+
+  return copyprop_hardreg_forward_1 (bb, all_vd + bb->index);
+}
+
+static void
+cprop_hardreg_debug (function *fun, struct value_data *all_vd)
+{
+  basic_block bb;
+
+  FOR_EACH_BB_FN (bb, fun)
+    if (all_vd[bb->index].n_debug_insn_changes)
+      {
+       unsigned int regno;
+       bitmap live;
+
+       live = df_get_live_out (bb);
+       for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
+         if (all_vd[bb->index].e[regno].debug_insn_changes)
+           {
+             if (REGNO_REG_SET_P (live, regno))
+               apply_debug_insn_changes (all_vd + bb->index, regno);
+
+             struct queued_debug_insn_change *cur;
+             for (cur = all_vd[bb->index].e[regno].debug_insn_changes;
+                  cur; cur = cur->next)
+               --all_vd[bb->index].n_debug_insn_changes;
+             all_vd[bb->index].e[regno].debug_insn_changes = NULL;
+             if (all_vd[bb->index].n_debug_insn_changes == 0)
+               break;
+           }
+      }
+
+  queued_debug_insn_change_pool.release ();
+}
+
 unsigned int
 pass_cprop_hardreg::execute (function *fun)
 {
   struct value_data *all_vd;
   basic_block bb;
-  sbitmap visited;
-  bool analyze_called = false;
 
   all_vd = XNEWVEC (struct value_data, last_basic_block_for_fn (fun));
 
-  visited = sbitmap_alloc (last_basic_block_for_fn (fun));
+  auto_sbitmap visited (last_basic_block_for_fn (fun));
   bitmap_clear (visited);
 
+  auto_vec<int> worklist;
+  bool any_debug_changes = false;
+
+  /* We need accurate notes.  Earlier passes such as if-conversion may
+     leave notes in an inconsistent state.  */
+  df_note_add_problem ();
+  df_analyze ();
+
+  /* It is tempting to set DF_LR_RUN_DCE, but DCE may choose to delete
+     an insn and this pass would not have visibility into the removal.
+     This pass would then potentially use the source of that
+     INSN for propagation purposes, generating invalid code.
+
+     So we just ask for updated notes and handle trivial deletions
+     within this pass where we can update this passes internal
+     data structures appropriately.  */
+  df_set_flags (DF_DEFER_INSN_RESCAN);
+
   FOR_EACH_BB_FN (bb, fun)
     {
-      bitmap_set_bit (visited, bb->index);
-
-      /* If a block has a single predecessor, that we've already
-        processed, begin with the value data that was live at
-        the end of the predecessor block.  */
-      /* ??? Ought to use more intelligent queuing of blocks.  */
-      if (single_pred_p (bb)
-         && bitmap_bit_p (visited, single_pred (bb)->index)
-         && ! (single_pred_edge (bb)->flags & (EDGE_ABNORMAL_CALL | EDGE_EH)))
-       {
-         all_vd[bb->index] = all_vd[single_pred (bb)->index];
-         if (all_vd[bb->index].n_debug_insn_changes)
-           {
-             unsigned int regno;
+      if (cprop_hardreg_bb (bb, all_vd, visited))
+       worklist.safe_push (bb->index);
+      if (all_vd[bb->index].n_debug_insn_changes)
+       any_debug_changes = true;
+    }
 
-             for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-               {
-                 if (all_vd[bb->index].e[regno].debug_insn_changes)
-                   {
-                     all_vd[bb->index].e[regno].debug_insn_changes = NULL;
-                     if (--all_vd[bb->index].n_debug_insn_changes == 0)
-                       break;
-                   }
-               }
-           }
-       }
-      else
-       init_value_data (all_vd + bb->index);
+  /* We must call df_analyze here unconditionally to ensure that the
+     REG_UNUSED and REG_DEAD notes are consistent with and without -g.  */
+  df_analyze ();
 
-      copyprop_hardreg_forward_1 (bb, all_vd + bb->index);
-    }
+  if (MAY_HAVE_DEBUG_BIND_INSNS && any_debug_changes)
+    cprop_hardreg_debug (fun, all_vd);
 
-  if (MAY_HAVE_DEBUG_INSNS)
+  /* Second pass if we've changed anything, only for the bbs where we have
+     changed anything though.  */
+  if (!worklist.is_empty ())
     {
-      FOR_EACH_BB_FN (bb, fun)
-       if (bitmap_bit_p (visited, bb->index)
-           && all_vd[bb->index].n_debug_insn_changes)
-         {
-           unsigned int regno;
-           bitmap live;
+      unsigned int i;
+      int index;
 
-           if (!analyze_called)
-             {
-               df_analyze ();
-               analyze_called = true;
-             }
-           live = df_get_live_out (bb);
-           for (regno = 0; regno < FIRST_PSEUDO_REGISTER; regno++)
-             if (all_vd[bb->index].e[regno].debug_insn_changes)
-               {
-                 if (REGNO_REG_SET_P (live, regno))
-                   apply_debug_insn_changes (all_vd + bb->index, regno);
-                 if (all_vd[bb->index].n_debug_insn_changes == 0)
-                   break;
-               }
-         }
+      any_debug_changes = false;
+      bitmap_clear (visited);
+      FOR_EACH_VEC_ELT (worklist, i, index)
+       {
+         bb = BASIC_BLOCK_FOR_FN (fun, index);
+         cprop_hardreg_bb (bb, all_vd, visited);
+         if (all_vd[bb->index].n_debug_insn_changes)
+           any_debug_changes = true;
+       }
 
-      queued_debug_insn_change::pool.release ();
+      df_analyze ();
+      if (MAY_HAVE_DEBUG_BIND_INSNS && any_debug_changes)
+       cprop_hardreg_debug (fun, all_vd);
     }
 
-  sbitmap_free (visited);
   free (all_vd);
   return 0;
 }