]> git.ipfire.org Git - thirdparty/glibc.git/commit
Avoid ldbl-96 stack corruption from range reduction of pseudo-zero (bug 25487).
authorJoseph Myers <joseph@codesourcery.com>
Wed, 12 Feb 2020 23:31:56 +0000 (23:31 +0000)
committerPatsy Franklin <patsy@redhat.com>
Sun, 15 Mar 2020 21:33:26 +0000 (17:33 -0400)
commit0474cd5de60448f31d7b872805257092faa626e4
treec6efd2a8b45a393cf08fd202185892b742a45504
parente0a0770bb4221001a1138d8d3ea9da0d3dce75df
Avoid ldbl-96 stack corruption from range reduction of pseudo-zero (bug 25487).

Bug 25487 reports stack corruption in ldbl-96 sinl on a pseudo-zero
argument (an representation where all the significand bits, including
the explicit high bit, are zero, but the exponent is not zero, which
is not a valid representation for the long double type).

Although this is not a valid long double representation, existing
practice in this area (see bug 4586, originally marked invalid but
subsequently fixed) is that we still seek to avoid invalid memory
accesses as a result, in case of programs that treat arbitrary binary
data as long double representations, although the invalid
representations of the ldbl-96 format do not need to be consistently
handled the same as any particular valid representation.

This patch makes the range reduction detect pseudo-zero and unnormal
representations that would otherwise go to __kernel_rem_pio2, and
returns a NaN for them instead of continuing with the range reduction
process.  (Pseudo-zero and unnormal representations whose unbiased
exponent is less than -1 have already been safely returned from the
function before this point without going through the rest of range
reduction.)  Pseudo-zero representations would previously result in
the value passed to __kernel_rem_pio2 being all-zero, which is
definitely unsafe; unnormal representations would previously result in
a value passed whose high bit is zero, which might well be unsafe
since that is not a form of input expected by __kernel_rem_pio2.

Tested for x86_64.

(cherry picked from commit 9333498794cde1d5cca518badf79533a24114b6f)
sysdeps/ieee754/ldbl-96/Makefile
sysdeps/ieee754/ldbl-96/e_rem_pio2l.c
sysdeps/ieee754/ldbl-96/test-sinl-pseudo.c [new file with mode: 0644]