]> git.ipfire.org Git - thirdparty/gcc.git/commitdiff
__builtin_prefetch fixes [PR117608]
authorJakub Jelinek <jakub@redhat.com>
Fri, 29 Nov 2024 09:17:07 +0000 (10:17 +0100)
committerJakub Jelinek <jakub@gcc.gnu.org>
Fri, 29 Nov 2024 09:18:32 +0000 (10:18 +0100)
The r15-4833-ge9ab41b79933 patch had among tons of config/i386
specific changes also important change to the generic code, allowing
also 2 as valid value of the second argument of __builtin_prefetch:
-  /* Argument 1 must be either zero or one.  */
-  if (INTVAL (op1) != 0 && INTVAL (op1) != 1)
+  /* Argument 1 must be 0, 1 or 2.  */
+  if (INTVAL (op1) < 0 || INTVAL (op1) > 2)

But the patch failed to document that change in __builtin_prefetch
documentation, and more importantly didn't adjust any of the other
backends to deal with it (my understanding is the expected behavior
is that 2 will be silently handled as 0 unless backends have some
more specific way).  Some of the backends would ICE on it, in some
cases gcc_assert failures/gcc_unreachable, in other cases crash later
(e.g. accessing arrays with that value as index and due to accessing
garbage after the array crashing at final.cc time), others treated 2
silently as 0, others treated 2 silently as 1.

And even in the i386 backend there were bugs which caused ICEs.
The patch added some if (write == 0) and write 2 handling into
a (badly indented, maybe that is the reason, if (write == 1) body),
rather than into the else side, so it would be always false.

The new *prefetch_rst2 define_insn only accepts parameters 2 1
(i.e. read-shared with moderate degree of locality), so in order
not to ICE the patch uses it only for __builtin_prefetch (ptr, 2, 1);
or __builtin_ia32_prefetch (ptr, 2, 1, 0); and not for other values
of the parameter.  If that isn't what we want and we want it to be used
also for all or some of __builtin_prefetch (ptr, 2, {0,2,3}); and
corresponding __builtin_ia32_prefetch, maybe the define_insn could match
other values.
And there was another problem that -mno-mmx -mno-sse -mmovrs compilation
would ICE on most of the prefetches, so I had to add the FAIL; cases.

2024-11-29  Jakub Jelinek  <jakub@redhat.com>

PR target/117608
* doc/extend.texi (__builtin_prefetch): Document that second
argument may be also 2 and its meaning.
* config/i386/i386.md (prefetch): Remove unreachable code.
Clear write set operands[1] to const0_rtx if !TARGET_MOVRS or
of locality is not 1.  Formatting fixes.
* config/i386/i386-expand.cc (ix86_expand_builtin): Use IN_RANGE.
Call gen_prefetch even for TARGET_MOVRS.
* config/alpha/alpha.md (prefetch): Treat read_or_write 2 like 0.
* config/mips/mips.md (prefetch): Likewise.
* config/arc/arc.md (prefetch_1, prefetch_2, prefetch_3): Likewise.
* config/riscv/riscv.md (prefetch): Likewise.
* config/loongarch/loongarch.md (prefetch): Likewise.
* config/sparc/sparc.md (prefetch): Likewise.  Use IN_RANGE.
* config/ia64/ia64.md (prefetch): Likewise.
* config/pa/pa.md (prefetch): Likewise.
* config/aarch64/aarch64.md (prefetch): Likewise.
* config/rs6000/rs6000.md (prefetch): Likewise.

* gcc.dg/builtin-prefetch-1.c (good): Add tests with second argument
2.
* gcc.target/i386/pr117608-1.c: New test.
* gcc.target/i386/pr117608-2.c: New test.

16 files changed:
gcc/config/aarch64/aarch64.md
gcc/config/alpha/alpha.md
gcc/config/arc/arc.md
gcc/config/i386/i386-expand.cc
gcc/config/i386/i386.md
gcc/config/ia64/ia64.md
gcc/config/loongarch/loongarch.md
gcc/config/mips/mips.md
gcc/config/pa/pa.md
gcc/config/riscv/riscv.md
gcc/config/rs6000/rs6000.md
gcc/config/sparc/sparc.md
gcc/doc/extend.texi
gcc/testsuite/gcc.dg/builtin-prefetch-1.c
gcc/testsuite/gcc.target/i386/pr117608-1.c [new file with mode: 0644]
gcc/testsuite/gcc.target/i386/pr117608-2.c [new file with mode: 0644]

index 711e9adc757540b25724a06b16dc34490a653d5e..87ba18620ada5c3b2b3b15343f6bb8736501cc78 100644 (file)
        the address into a DImode MEM so that aarch64_print_operand knows
        how to print it.  */
     operands[0] = gen_rtx_MEM (DImode, operands[0]);
-    return pftype[INTVAL(operands[1])][locality];
+    return pftype[INTVAL (operands[1]) & 1][locality];
   }
   [(set_attr "type" "load_4")]
 )
index e57a9d31e01353a439968e924834e24b5d799952..22ea4db057c397fee31cda90076182f823e120b3 100644 (file)
     }
   };
 
-  bool write = INTVAL (operands[1]) != 0;
+  bool write = (INTVAL (operands[1]) & 1) != 0;
   bool lru = INTVAL (operands[2]) != 0;
 
   return alt[write][lru];
index 9004b6085a2376de5e51a3b25ef5ae97e8648de4..1fb7cf5f71de52c68e1008ad0837c93539effe02 100644 (file)
@@ -5439,9 +5439,9 @@ archs4x, archs4xd"
             (match_operand:SI 2 "const_int_operand" "n"))]
   "TARGET_HS"
   {
-   if (INTVAL (operands[1]))
+    if ((INTVAL (operands[1]) & 1) != 0)
       return "prefetchw [%0]";
-   else
+    else
       return "prefetch [%0]";
   }
   [(set_attr "type" "load")
@@ -5454,9 +5454,9 @@ archs4x, archs4xd"
             (match_operand:SI 3 "const_int_operand" "n,n,n"))]
   "TARGET_HS"
   {
-   if (INTVAL (operands[2]))
+    if ((INTVAL (operands[2]) & 1) != 0)
       return "prefetchw\\t[%0, %1]";
-   else
+    else
       return "prefetch\\t[%0, %1]";
   }
   [(set_attr "type" "load")
@@ -5468,10 +5468,10 @@ archs4x, archs4xd"
             (match_operand:SI 2 "const_int_operand" "n"))]
   "TARGET_HS"
   {
-   operands[0] = gen_rtx_MEM (SImode, operands[0]);
-   if (INTVAL (operands[1]))
+    operands[0] = gen_rtx_MEM (SImode, operands[0]);
+    if ((INTVAL (operands[1]) & 1) != 0)
       return "prefetchw%U0\\t%0";
-   else
+    else
       return "prefetch%U0\\t%0";
    }
   [(set_attr "type" "load")
index 2eb61972504767ab05e8635f4f3b9d161d8f0c0e..6d25477841a98836a70ca40810f4a386632ed085 100644 (file)
@@ -14222,7 +14222,7 @@ ix86_expand_builtin (tree exp, rtx target, rtx subtarget,
 
        if (INTVAL (op3) == 1)
          {
-           if (INTVAL (op2) < 2 || INTVAL (op2) > 3)
+           if (!IN_RANGE (INTVAL (op2), 2, 3))
              {
                error ("invalid third argument");
                return const0_rtx;
@@ -14252,14 +14252,16 @@ ix86_expand_builtin (tree exp, rtx target, rtx subtarget,
                op0 = copy_addr_to_reg (op0);
              }
 
-           if (INTVAL (op2) < 0 || INTVAL (op2) > 3)
+           if (!IN_RANGE (INTVAL (op2), 0, 3))
              {
                warning (0, "invalid third argument to %<__builtin_ia32_prefetch%>; using zero");
                op2 = const0_rtx;
              }
 
-           if (TARGET_3DNOW || TARGET_PREFETCH_SSE
-               || TARGET_PRFCHW)
+           if (TARGET_3DNOW
+               || TARGET_PREFETCH_SSE
+               || TARGET_PRFCHW
+               || TARGET_MOVRS)
              emit_insn (gen_prefetch (op0, op1, op2));
            else if (!MEM_P (op0) && side_effects_p (op0))
              /* Don't do anything with direct references to volatile memory,
index 8eb9cb682b11b67debe4bc766c523aeb134a8bf1..ffbb10730c0b7278713cdf7e2c6de6b217409269 100644 (file)
   [(prefetch (match_operand 0 "address_operand")
             (match_operand:SI 1 "const_int_operand")
             (match_operand:SI 2 "const_int_operand"))]
-  "TARGET_3DNOW || TARGET_PREFETCH_SSE || TARGET_PRFCHW
-  || TARGET_MOVRS"
+  "TARGET_3DNOW || TARGET_PREFETCH_SSE || TARGET_PRFCHW || TARGET_MOVRS"
 {
   int write = INTVAL (operands[1]);
   int locality = INTVAL (operands[2]);
      SSE prefetch is not available (K6 machines).  Otherwise use SSE
      prefetch as it allows specifying of locality.  */
 
-      if (write == 1)
+  if (write == 1)
     {
       if (TARGET_PRFCHW)
        operands[2] = GEN_INT (3);
        operands[2] = GEN_INT (3);
       else if (TARGET_PREFETCH_SSE)
        operands[1] = const0_rtx;
-      else if (write == 0)
-       {
-         gcc_assert (TARGET_3DNOW);
-         operands[2] = GEN_INT (3);
-       }
+      else if (TARGET_3DNOW)
+       operands[2] = GEN_INT (3);
       else
        {
-         if (TARGET_MOVRS)
-           ;
-         else if (TARGET_PREFETCH_SSE)
-           operands[1] = const0_rtx;
-         else
-           {
-             gcc_assert (TARGET_3DNOW);
-             operands[1] = const0_rtx;
-              operands[2] = GEN_INT (3);
-           }
+         gcc_assert (TARGET_MOVRS);
+         FAIL;
        }
     }
   else
     {
-      if (TARGET_PREFETCH_SSE)
+      if (!TARGET_MOVRS || locality != 1)
+       {
+         operands[1] = const0_rtx;
+         write = 0;
+       }
+      if (TARGET_PREFETCH_SSE || write == 2)
        ;
+      else if (TARGET_3DNOW)
+       operands[2] = GEN_INT (3);
       else
        {
-         gcc_assert (TARGET_3DNOW);
-         operands[2] = GEN_INT (3);
+         gcc_assert (TARGET_MOVRS);
+         FAIL;
        }
     }
 })
index d485acc0ea864d2beca8a01febaaf6abc1ba1b4b..c533a9c106c61309251305ffdc0806635de7047e 100644 (file)
   int i = (INTVAL (operands[1]));
   int j = (INTVAL (operands[2]));
 
-  gcc_assert (i == 0 || i == 1);
-  gcc_assert (j >= 0 && j <= 3);
-  return alt[i][j];
+  gcc_assert (IN_RANGE (i, 0, 2));
+  gcc_assert (IN_RANGE (j, 0, 3));
+  return alt[i & 1][j];
 }
   [(set_attr "itanium_class" "lfetch")])
 \f
index bd0825002387c40c62d61df61c257091269f9330..a65cc1de2d2e268571d2191a17d67bd32263170b 100644 (file)
 {
   switch (INTVAL (operands[1]))
   {
-    case 0: return "preld\t0,%a0";
+    case 0:
+    case 2: return "preld\t0,%a0";
     case 1: return "preld\t8,%a0";
     default: gcc_unreachable ();
   }
index f147667d63a8cd3657245d86c434f1a6f6d6ebdd..dff7ded2ab28f0f599329597f4977830918028ba 100644 (file)
       else
        return "lw\t$0,%a0";
     }
+  if (operands[1] == const2_rtx)
+    operands[1] = const0_rtx;
   /* Loongson ext2 implementation pref instructions.  */
   if (TARGET_LOONGSON_EXT2)
     {
index c4441d8b91d0951b523984cdcf810c9c5d790e06..61447c0db5c59b8cde88d7602e5439a012cc92a5 100644 (file)
@@ -10354,7 +10354,7 @@ add,l %2,%3,%3\;bv,n %%r0(%3)"
       "ldd 0(%0),%%r0"
     }
   };
-  int read_or_write = INTVAL (operands[1]) == 0 ? 0 : 1;
+  int read_or_write = INTVAL (operands[1]) & 1;
   int locality = INTVAL (operands[2]) == 0 ? 0 : 1;
 
   return instr [locality][read_or_write];
index eb5cd6fbe82d073a555fc25146c82fce23c5bcad..f7a6db354af59ffa81148fd51ca12d22c7741f05 100644 (file)
 {
   switch (INTVAL (operands[1]))
   {
-    case 0: return TARGET_ZIHINTNTL ? "%L2prefetch.r\t%a0" : "prefetch.r\t%a0";
+    case 0:
+    case 2: return TARGET_ZIHINTNTL ? "%L2prefetch.r\t%a0" : "prefetch.r\t%a0";
     case 1: return TARGET_ZIHINTNTL ? "%L2prefetch.w\t%a0" : "prefetch.w\t%a0";
     default: gcc_unreachable ();
   }
index 95be36d5a72610194da4d395b386aef94519a15f..edccd7817ae1ec2e7def796bdc31616af78aac64 100644 (file)
 
   if (REG_P (operands[0]))
     {
-      if (INTVAL (operands[1]) == 0)
+      if (INTVAL (operands[1]) != 1)
         return inst_select ? "dcbt 0,%0" : "dcbt 0,%0,16";
       else
         return inst_select ? "dcbtst 0,%0" : "dcbtst 0,%0,16";
     }
   else
     {
-      if (INTVAL (operands[1]) == 0)
+      if (INTVAL (operands[1]) != 1)
         return inst_select ? "dcbt %a0" : "dcbt %a0,16";
       else
         return inst_select ? "dcbtst %a0" : "dcbtst %a0,16";
index 0de9a7b6394b0b22aff88bfe2b00261a33462230..5fd18b3ca27c612180d2e962be5ffa6c95aef564 100644 (file)
   int read_or_write = INTVAL (operands[1]);
   int locality = INTVAL (operands[2]);
 
-  gcc_assert (read_or_write == 0 || read_or_write == 1);
-  gcc_assert (locality >= 0 && locality < 4);
-  return prefetch_instr [read_or_write][locality == 0 ? 0 : 1];
+  gcc_assert (IN_RANGE (read_or_write, 0, 2));
+  gcc_assert (IN_RANGE (locality, 0, 3));
+  return prefetch_instr [read_or_write & 1][locality == 0 ? 0 : 1];
 }
   [(set_attr "type" "load")
    (set_attr "subtype" "prefetch")])
   int read_or_write = INTVAL (operands[1]);
   int locality = INTVAL (operands[2]);
 
-  gcc_assert (read_or_write == 0 || read_or_write == 1);
-  gcc_assert (locality >= 0 && locality < 4);
-  return prefetch_instr [read_or_write][locality == 0 ? 0 : 1];
+  gcc_assert (IN_RANGE (read_or_write, 0, 2));
+  gcc_assert (IN_RANGE (locality, 0, 3));
+  return prefetch_instr [read_or_write & 1][locality == 0 ? 0 : 1];
 }
   [(set_attr "type" "load")
    (set_attr "subtype" "prefetch")])
index f0f007bb746c47165fe9db43fdc0fbfa03d5d454..c55991df8f10c19d8929b1a71b12b4c78479a302 100644 (file)
@@ -15711,9 +15711,11 @@ be in the cache by the time it is accessed.
 
 The value of @var{addr} is the address of the memory to prefetch.
 There are two optional arguments, @var{rw} and @var{locality}.
-The value of @var{rw} is a compile-time constant one or zero; one
-means that the prefetch is preparing for a write to the memory address
-and zero, the default, means that the prefetch is preparing for a read.
+The value of @var{rw} is a compile-time constant zero, one or two; one
+means that the prefetch is preparing for a write to the memory address,
+two means that the prefetch is preparing for a shared read (expected to be
+read by at least one other processor before it is written if written at
+all) and zero, the default, means that the prefetch is preparing for a read.
 The value @var{locality} must be a compile-time constant integer between
 zero and three.  A value of zero means that the data has no temporal
 locality, so it need not be left in the cache after the access.  A value
index aadbf144cfe660e03600925b21466732beddce25..a24c5f7ebc6cfea2880d3ef7beb4589753e62c13 100644 (file)
@@ -23,6 +23,10 @@ good (int *p)
   __builtin_prefetch (p, 1, 1);
   __builtin_prefetch (p, 1, 2);
   __builtin_prefetch (p, 1, 3);
+  __builtin_prefetch (p, 2, 0);
+  __builtin_prefetch (p, 2, 1);
+  __builtin_prefetch (p, 2, 2);
+  __builtin_prefetch (p, 2, 3);
 }
 
 void
diff --git a/gcc/testsuite/gcc.target/i386/pr117608-1.c b/gcc/testsuite/gcc.target/i386/pr117608-1.c
new file mode 100644 (file)
index 0000000..03c1403
--- /dev/null
@@ -0,0 +1,14 @@
+/* PR target/117608 */
+/* { dg-do compile } */
+/* { dg-options "-mno-movrs" } */
+
+int i;
+
+void
+foo (void)
+{
+  __builtin_ia32_prefetch (&i, 2, 0, 0);
+  __builtin_ia32_prefetch (&i, 2, 1, 0);
+  __builtin_ia32_prefetch (&i, 2, 2, 0);
+  __builtin_ia32_prefetch (&i, 2, 3, 0);
+}
diff --git a/gcc/testsuite/gcc.target/i386/pr117608-2.c b/gcc/testsuite/gcc.target/i386/pr117608-2.c
new file mode 100644 (file)
index 0000000..7984848
--- /dev/null
@@ -0,0 +1,14 @@
+/* PR target/117608 */
+/* { dg-do compile } */
+/* { dg-options "-mno-mmx -mno-sse -mmovrs" } */
+
+int i;
+
+void
+foo (void)
+{
+  __builtin_ia32_prefetch (&i, 2, 0, 0);
+  __builtin_ia32_prefetch (&i, 2, 1, 0);
+  __builtin_ia32_prefetch (&i, 2, 2, 0);
+  __builtin_ia32_prefetch (&i, 2, 3, 0);
+}