]> git.ipfire.org Git - thirdparty/gcc.git/commitdiff
tree-optimization/114192 - scalar reduction kept live with early break vect
authorRichard Biener <rguenther@suse.de>
Mon, 4 Mar 2024 08:46:13 +0000 (09:46 +0100)
committerRichard Biener <rguenther@suse.de>
Mon, 4 Mar 2024 10:44:53 +0000 (11:44 +0100)
The following fixes a missing replacement of the reduction value
used in the epilog, causing the scalar reduction to be kept live
across the early break exit path.

PR tree-optimization/114192
* tree-vect-loop.cc (vect_create_epilog_for_reduction): Use the
appropriate def for the live out stmt in case of an alternate
exit.

gcc/tree-vect-loop.cc

index 35f1f8c7d4245135ace7ffff40ff9be548919587..761cdc6757075698e5f421e95612f82521347cfd 100644 (file)
@@ -6066,20 +6066,32 @@ vect_create_epilog_for_reduction (loop_vec_info loop_vinfo,
 
   stmt_vec_info single_live_out_stmt[] = { stmt_info };
   array_slice<const stmt_vec_info> live_out_stmts = single_live_out_stmt;
-  if (slp_reduc)
-    /* All statements produce live-out values.  */
-    live_out_stmts = SLP_TREE_SCALAR_STMTS (slp_node);
-  else if (slp_node)
-    {
-      /* The last statement in the reduction chain produces the live-out
-        value.  Note SLP optimization can shuffle scalar stmts to
-        optimize permutations so we have to search for the last stmt.  */
-      for (k = 0; k < group_size; ++k)
-       if (!REDUC_GROUP_NEXT_ELEMENT (SLP_TREE_SCALAR_STMTS (slp_node)[k]))
-         {
-           single_live_out_stmt[0] = SLP_TREE_SCALAR_STMTS (slp_node)[k];
-           break;
-         }
+  if (LOOP_VINFO_EARLY_BREAKS (loop_vinfo)
+      && loop_exit != LOOP_VINFO_IV_EXIT (loop_vinfo)
+      /* ???  We should fend this off earlier.  For conversions we create
+        multiple epilogues, one dead.  */
+      && stmt_info == reduc_info->reduc_def)
+    {
+      gcc_assert (!slp_node);
+      single_live_out_stmt[0] = reduc_info;
+    }
+  else
+    {
+      if (slp_reduc)
+       /* All statements produce live-out values.  */
+       live_out_stmts = SLP_TREE_SCALAR_STMTS (slp_node);
+      else if (slp_node)
+       {
+         /* The last statement in the reduction chain produces the live-out
+            value.  Note SLP optimization can shuffle scalar stmts to
+            optimize permutations so we have to search for the last stmt.  */
+         for (k = 0; k < group_size; ++k)
+           if (!REDUC_GROUP_NEXT_ELEMENT (SLP_TREE_SCALAR_STMTS (slp_node)[k]))
+             {
+               single_live_out_stmt[0] = SLP_TREE_SCALAR_STMTS (slp_node)[k];
+               break;
+             }
+       }
     }
 
   unsigned vec_num;