regtest arm64: fixes for arm64 clang, part 4

clang assembler being picky about unneeded annotations such as
LSL #0 but then insisting on a .0 that gas infers.

regtest arm64: fixes for arm64 clang, part 3

clang assembler refuses to accept scvtf with q regs where v regs
should be used (again the arm manual agrees).

regtest arm64: fixes for arm64 clang, part 2

More clang moans about using int where long long is expected
Also clang assembler refuses to accept opcodes like sub x21,x22,x23,sxtb
According to the arm manual it is right and it should be
sub x21,x22,w23,sxtb.
I asked on the LLVM discourse and they said they preferred to be strict
and unambiguous.

regtest arm64: fixes for arm64 clang, part 1

clang warns about using integers where long longs are expected.
Secondly a few of the tests read the executable text. clang uses
different registers than GCC which causes a diff. Hence another
expected. The tests are potentially flaky so if we see instability
we need to modify the test.

linux arm64: fix build with clang

Same issue as https://bugs.kde.org/show_bug.cgi?id=421321
but with clang.

Add new helgrind race suppression for pth_mempcpy_false_races

In glibc 2.39+ the internal __printf_buffer_write might use memmove
instead of a memcpy variant. Add an extra suppression variant using
memmove.

This makes pth_mempcpy_false_races pass again.

See also https://bugs.kde.org/show_bug.cgi?id=450962

Add support for expensive cmpgt into vbits

Add __set_vma_name suppression to drd/tests/std_thread2.supp

glibc uses a atomic var to set whether the kernel supports
PR_SET_VMA_ANON_NAME. This looks like a conflicting access to drd.
Suppress it for this testcase.

Add memcheck/tests/linux/capget.stderr.exp4 variant

Add an expect file for capget where the inheritable bits are set,
when run as root.

FreeBSD Helgrind: suppression for libstdc++ std::mutex::lock()

Don't call vg_assert inside sync_signalhandler_from_kernel

Calling vg_assert inside a core signal handler will mess up the core
backtrace. Making it even harder to find bugs in the core.

Update libiberty demangler

Update the libiberty demangler using the auxprogs/update-demangler
script to gcc git commit ca2f7c84927f85b95f0f48f82b93f1460c372db4.

This update includes:

* c++: mangle noexcept-expr [PR70790]
* c++: Fix templated convertion operator demangling
* c++: constrained hidden friends [PR109751]
* c++: mangle function template constraints
* Update copyright years.
* c++, demangle: Implement
  https://github.com/itanium-cxx-abi/cxx-abi/issues/148
  non-proposal
* libiberty: Invoke D demangler when --format=auto

regtest: Add arm64 dir to DIST_SUBDIR

New directory was missing in memcheck/tests/Makefile.am

Bug 484935 - [patch] Valgrind reports false "Conditional jump or move depends on uninitialised value" errors for aarch64 signal handlers

Patch contributed by Peter Edwards <peadar@arista.com>

Testcase modified and added to a new directory, memcheck/tests/arm64

linux regtest: merge the two prereq lines in memcheck sys-preadv2_pwritev2.vgtest

I think only the last one gets used.

regtest: fixes for old GCC versions

Seen on arm64 with GCC 4.8.2

regtest: one last change to none fdleak filter for arm64 linux

regtest: another fdleak filter in none/tests

FreeBSD DRD and Helgrind: add sem_clockwait_np wrappers

Helgrind wrapper was complicated because sem_wait calls
sem_clockwait_np.

Darwin: fix warning about unused Helgrind sem_timedwait wrapper

Bug 484480 - False positives when using sem_trywait

Solaris regtest: fix build of none socket_close

Also add to filter_fdleak

Solaris: remove syscall close POST

And move the extra stuff that it did into PRE

Darwin: add missing necp pieces

Darwin regtest: add prereq for helgrind/tests/bug322621

It needs pthread_barrier which Darwin doesn't have

Darwin: Helgrind suppressions for macOS 10.13

FreeBSD regtest: timerfd_settime has 4 args not 3

regtest: rename none/tests/arm64/memory

This directory now contains a C++ test. 'memory' is also the name
of a C++ header. The include paths include ".". All that means that
if 'memory' builds before 'bug484426' then bug484426.cpp will try to
include the binary executable file 'memory' from the same directory
and not the header somewhere under /usr/include.

Bug 484426 - aarch64: 0.5 gets rounded to 0

s390x: Update tracking of implemented insns for z16

List the instructions first introduced with z16 in s390-opcodes.csv.  Also
mention the unimplemented ones in guest_s390_toIR.c and add new extended
mnemonics to the script s390-check-opcodes.pl.  For ease of use, add
support for invoking the script without command line arguments.

s390x: Add support for NNPA facility vector instructions

Add support for the vector instructions introduced with the NNPA facility,
i.e, VCNF, VCLFNH, VCFN, VCLFNL, and VCRNF.  These instructions convert
floating-point data between the usual binary FP format (IEEE) and the
NNPA-specific format.  Implement them with dirty helpers.

The NNPA instruction itself will be addressed with a separate patch.

coverity: one dead code, one unread assignment and one NULL check

coverity: dead code and overflows

Overflows deliberate. Dead code probably not.

Darwin syscall: and now necp_client_action

Also from Louis Brunner and also on 10.13 at least

Darwin: add syswrap for necp_open

From Louis Brunner. It's marked for 10.15 in his repo but I get
--50575-- WARNING: unhandled amd64-darwin syscall: unix:501
on 10.13

Darwin DRD: suppressions for macOS 10.13

Dawrin regtest: mostly more filtering

Changed str_tester to always call memcmp. Apple clang 10 seems
to evaluate some of these at compile time, and gets it wrong.
The runtime gets it right.

Darwin regtest: add suppression for zone memalign

Darwin: merge some fixes for macOS up to 10.13

From https://github.com/LouisBrunner/valgrind-macos
Thanks, Louis Brunner

Before
== 742 tests, 312 stderr failures, 93 stdout failures, 0 stderrB failures, 0 stdoutB failures, 4 post failures ==

After
== 748 tests, 293 stderr failures, 71 stdout failures, 0 stderrB failures, 0 stdoutB failures, 4 post failures ==

regtest: filter line numbers from memcheck tests that count suppressions

Now only one suppression file needed per test - no need for 32bit
versions. Need to use the same tag for each suppression variant though.

Darwin regtest: fix build of memcheck rh2257546_128 and rh2257546_256

No malloc.h

Bug 474160 - If errors-for-leak-kinds is specified, exit-on-first-error should only exit on one of the listed errors.

It's possible for the user to specify in the memcheck that some errors
should not cause an exit with the error-exitcode value.  For those
errors which would not cause an error exitcode, do not count them for
the purposes of exiting after the first error.

Bug 484002 - Add suppression for invalid read in glibc's __wcpncpy_avx2() via wcsxfrm()

This needed a redirect, not a suppression.

FreeBSD regtest: make bug483786 test a bit safer

The uninit struct timespec can have large values so set it to 0
and use VALGRIND_MAKE_MEM_UNDEFINED to trigger the error.

FreeBSD regtest: add a test for interrupted clock_nanosleep

Also add missing files for bug483786

Bug 483786 -- Incorrect parameter indexing in FreeBSD clock_nanosleep syscall wrapper

FreeBSD regtest: change scalar so it runs OK in vgtest and a shell

regtest: broaden one expected and one test suppression file

For linux arm.

regtest: use in 'if' in memcheck/tests/manuel1

clang tends to use cmov and csel instructions with the result
that the undefinedness propagates into the printf with a variable
number of errors.

Add rh2257546_* to .gitignore

regtest: add creat64 to debuginfo sdleak filters

All tests in none for pass for me on F39 amd64 with debuginfo
installed.

resgtest: close inherited file desctiptors in none file_dclose and socket_close

regtest: change rh2257546_256 prereq

Need to check for machine cpu capabilities. configure will build
avx and avx2 as long as the assembler supports them.

Handle gcc __builtin_strcmp using 128/256 bit vectors with sse4.1, avx/avx2

* amd64 front end: redo the translation into IR for PTEST, so as to
  use only IROps which we know Memcheck can do exact instrumentation
  for.  Handling for both the 128- and 256-bit cases is has been
  changed.

* ir_opt.c: add some constant folding rules to support the above.  In
  particular, for the case `ptest %reg, %reg` (the same reg twice), we
  want rflags.C to be set to a defined-1 even if %reg is completely
  undefined.  Doing that requires folding `x and not(x)` to zero when
  x has type V128 or V256.

* memcheck/tests/amd64/rh2257546_{128,256}.c: new test cases

https://bugzilla.redhat.com/show_bug.cgi?id=2257546

Adjust filter_fdleak for glibc debuginfo

With glibc debuginfo installed we might see syscal-template.S or
close.c replace that with "in ...libc...".

Make sure socket file is created in socket_close testcase

If the socket file already existed the path name wouldn't be recorded.
Explicitly unlink it before opening and binding the socket.  Adjust
none/tests/socket_close.stderr.exp for new path name and line numbers.

fdleaks: remove a VG(printf)

This was causing a few regtest failures for me

regtest: un-inline fdleak close_inherited

I don't understand why but clang on FreeBSD arm64 seemed to
optimize away the 'stat' check. That caused failures due
to incorrect duplicate close errors.

FreeBSD DRD: remove pthread_create suppression

This is far too general. If a suppression is needed it needs to be much
more specific.

FreeBSD syscall: improve closefrom to make it similar to cloase_range

Was missing ML_(record_fd_close) calls for the fds.

Update gitignore for fdleak tests

FreeBSD regtest: update filters for fdleak tests

s390x: Fix definedness of syscall return value register

The memcheck test case for the close_range syscall showed that Valgrind on
s390x doesn't correctly set the definedness of the return value register
after having invoked a system call.  Fix this.

With --track-fds=yes warn when file descriptor is closed a second time

We moved the record_fd_close call from POST to PRE sys_close handler,
because the POST handler is only called on success. Even if the close
syscall fails the file descriptor is still really closed/invalid.
In the PRE handler the file descriptor is about to be closed, but hasn't
been yet so we can capture also the description.

This patch add new field fd_closed to OpenFd structure to record if
the file descriptor was already closed.

We now capture a backtrace when closing file descriptors to be able to
print it in a case of a double close.  Always add '<' brackets '>' around
"unbound" in the description for consistency.

getsockdetails now takes and returns a buffer describing the socket
because we want to record it, not just print it.

Note that close_range is handled similar to closing each descriptor
individually. But the case when the close_range is called with an
infinite end (~0U) is treated special. Add a new record_fd_close_range
function which handles close_range with an infinite end so double
close by close_range isn't an error because we don't want to loop
over such a wide range.

Add a new test cases:
 - none/tests/socket_close.vgtest
   - tests double closing a socket
 - none/tests/double_close_range.vgtest
   - uses close_range to double close the file descriptors
 - none/tests/file_dclose.vgtest
   - double closing regular file with regular close syscall

https://bugs.kde.org/show_bug.cgi?id=471222

Co-Authored-By: Mark Wielaard <mark@klomp.org>

FreeBSD: fixed file mappings revisited

Revert to using the ELF fixed file flag, but keep the first
mapping so that it gets recorded to keep parse_procselfmaps
and ML_(read_elf_object) happy with what they see.

FreeBSD regtest: make get_set_context platform independent with a filter

Don't want to keep adding expecteds

Regtest: add a prereq to check that close_range built

FreeBSD syscall: fix PRE_MEM_READ for utrace

Regtest: fix a warning with older gcc with memcheck memalign_args

I guess that newer GCC extensions include more stuff.

Move close_range in .gitignore

Move close_range test from memcheck/tests/freebsd to memcheck/tests

The close_range call is also available under linux and we already
have an appropriate configure call to test it. The only difference
is how the syscall arguments are called.

FreeBSD syscall: fixes for semctl

On FreeBSD, the libc semctl function takes a union semun argument
for commands that take 4 arguments. It then gets that argument
via va_args and takes a pointer to it. That's what gets passed
to the sysctl - a pointer to union semun.

Previously we were handling the 4th argument as if it were
directly a union semun. This seems to have worked OK for years,
possibly due to luck concerning the way that va_args works
and/or the fact that the union is basically a union of
pointers. Recently I've been working on arm64 and there it
most definitely does not work.

FreeBSD and macOS: change detection of when carry flag is being set

FreeBSD and macOS syscalls both have two return registers and
use the carry flag for the status. So syscall for client
needs to set the carry flag in the VexGuestArchState. That's
a bit much to do all in asm so we call VEX funtions.

But that doesn't play well with interrupts. There are labels
in ML_(do_syscall_for_client_WRK) so that we can work out
what to do if we get interrupted there. But there are no asm
labels in the VEX functions. Getting the address of the start
of the extern function is easy. There's no way in C to get
the length, and getting the address for the static helpers
is also messy.

I did bodge a solution whereby I put a dummy function in the
source file and scientifically crossed my fingers and hoped
that the compiler would lay out the object file in the same
way. And it did, at least for amd64 FreeBSD amd64 Darwin and
x86 FreeBSD (I don't have easy access to Darwin with working
x86).

Still, it's UB.

I recently tried the same thing for arm64 FreeBSD. And there
the functions are all over the shop in the object file.

So, time to do something a bit cleaner. I've removed all of
the hacky dummy functions and put a flag in the guest vex
state. For both amd64 and x86 there were spare padding
UInts that I've used. Arm64 won't be so lucky when I get there,
no spare padding words.

FreeBSD regtest: add wildcards to none/tests/freebsd diffs

Comment: explain why v.info location no longer detects stack guard pages on FreeBSD

Workaround: sysctl security.bsd.stack_guard_page=0

FreeBSD regtest: fix value of CLOSE_RANGE_CLOEXEC in close_range test

Spotted by Mark Wielaard, thanks.

FreeBSD regtest: add a test with sanity lvel 3 and threads

FreeBSD regtest: filter sanity level >= 3 warnings about transparent stack mmaps

Add Unlicense to coregrind/m_debuginfo/tinfl.c

The tinfl.c file comes from the public domain miniz project.
Upstream added an explicit Public Domain declaration using
the Unlicense. No other changes were made, so all our valgrind
specific changes still apply. This doesn't really change the
license as used for our derived version, which is distributed
under GPLv2+. But it adds some history and a legal statement
that is more clear than just saying "public domain".

This is the upstream commit:

commit e8dfb6599a2294584571ad4806dc4e300323858c
Author: Rich Geldreich <richgel99@gmail.com>
Date:   Sat May 28 22:15:49 2011 +0000

    added unlicense.org statement

FreeBSD: experimental fix for --sanity-level=3 and above

Previously this failed due to split mmap mappings for MAP_STACK.
This change tries to piece together such stack mappings. This
mainly affects multithreaded apps when they create their thread
stacks.

FreeBSD: clean up guest stack creation code

At one time I thought of using sysctls to get the same stack
max size and growth size as the OS uses. But that won't work
for x86 on amd64. So I've just cleaned the code a bit and
added more comments explaining what is going on.

linux arm64: fix a couple of clang warnings about word length

arm64 regtest: add regtest leftovers to gitignore

linux regtest: helgrind bar_bad expected for ppc64le

linux regtest: update helgrind bar_bad

FreeBSD: another load of changes for FreeBSD 15

One more default suppession.

The new libsys.so was causing problems, and it needs to be
loaded before libthr.so in order to be able to get the tid
for the main thread on startup.

The bar_bad testcase for both helgrind and drd was giving a lot of
trouble (inclusing an assert in DRD_(barrier_pre_wait) ). The
sleeps in the testcase were not assuring the expected order.
So I changed the sleeps to 1ms nanosleeps in loops. That's a
bit more realistic and it also gives much more chances to the
scheduler to context switch.

I'll update the Linux expected shortly.

FreeBSD: updates for FreeBSD 15 libsys

FreeBSD 15 has moved all libc functions that are just syscall
wrappers into libsys. That changes quite a few callstacks, so
I've added a load of filtering to make it look like the old
libc callstacks.

I'm also seeing new conflicts in _umtx_op_err for both DRD
and Helgrind that needed supressing.

FreeBSD regtest: disable SYS_sbrk for FreeBSD

This syscall has been obsoleted.

FreeBSD: set client stack perms from ExeInfo

Was hard coded RWX, will now use PT_GNU_STACK from the elf
program headers, if present.

FreeBSD: changes for building with GCC

Use MARK_STACK_NO_EXEC (it's a null macro on non-linux platforms).
GCC complains if it's not used.

parse_procselfmaps yet again.

The hack that I added in 6fdd59afb5e473b30e7ad1fbadcf9a397253fed4
only works for clang/ld.lld. This change makes it also work with
GCC/ld.bfd. Still a hack though.

Bug 369723 - __builtin_longjmp not supported in clang/llvm on Android arm64 target

Made the functions out-of-line, more like other platforms.

debug messages: make VG_(sigframe_destroy) consistent

Probably functions changed names but not the debug messages.

FreeBSD: add -v -v tracing for usrstackbase and usrstacklim

Solaris: add a Helgrind suppression

For a C++ lock guard

Darwin: various fixes

Fix building a couple of regtests.
bmi.c - Apple clang puts a funky underscore before symbols which you
have to add explicitly in asm.
mmap_o_direct.c - there is no O_DIRECT on macOS
syswrap - make csrctl messages a bit more userland-y rather than
kernel-y

musl regtest: fix crash in helgrind getaddrinfo

musl doesn't like it if you pass in NULL to freeaddrinfo.

musl: updates to suppressions and drd pthread detection script

Mostly for DRD.

linux arm DRD: add an expected for tc19_shadowmem

Probably because rpi 3 and later run an aarch64 kernel but arm32
userland this testcase gives results very similar to the 64bit
expected.

linux arm regtest: update memcheck partiallydefinedeq

On my rpi 5 this only gives 2 errors, like s390.
Haven't dug into the asm.

Bug 466762 - Add redirs for C23 free_sized() and free_aligned_sized()

No testcase for the moment - I still need to link with a non-system
to be able to test