Bug 484480 - False positives when using sem_trywait

Solaris regtest: fix build of none socket_close

Also add to filter_fdleak

Solaris: remove syscall close POST

And move the extra stuff that it did into PRE

Darwin: add missing necp pieces

Darwin regtest: add prereq for helgrind/tests/bug322621

It needs pthread_barrier which Darwin doesn't have

Darwin: Helgrind suppressions for macOS 10.13

FreeBSD regtest: timerfd_settime has 4 args not 3

regtest: rename none/tests/arm64/memory

This directory now contains a C++ test. 'memory' is also the name
of a C++ header. The include paths include ".". All that means that
if 'memory' builds before 'bug484426' then bug484426.cpp will try to
include the binary executable file 'memory' from the same directory
and not the header somewhere under /usr/include.

Bug 484426 - aarch64: 0.5 gets rounded to 0

s390x: Update tracking of implemented insns for z16

List the instructions first introduced with z16 in s390-opcodes.csv.  Also
mention the unimplemented ones in guest_s390_toIR.c and add new extended
mnemonics to the script s390-check-opcodes.pl.  For ease of use, add
support for invoking the script without command line arguments.

s390x: Add support for NNPA facility vector instructions

Add support for the vector instructions introduced with the NNPA facility,
i.e, VCNF, VCLFNH, VCFN, VCLFNL, and VCRNF.  These instructions convert
floating-point data between the usual binary FP format (IEEE) and the
NNPA-specific format.  Implement them with dirty helpers.

The NNPA instruction itself will be addressed with a separate patch.

coverity: one dead code, one unread assignment and one NULL check

coverity: dead code and overflows

Overflows deliberate. Dead code probably not.

Darwin syscall: and now necp_client_action

Also from Louis Brunner and also on 10.13 at least

Darwin: add syswrap for necp_open

From Louis Brunner. It's marked for 10.15 in his repo but I get
--50575-- WARNING: unhandled amd64-darwin syscall: unix:501
on 10.13

Darwin DRD: suppressions for macOS 10.13

Dawrin regtest: mostly more filtering

Changed str_tester to always call memcmp. Apple clang 10 seems
to evaluate some of these at compile time, and gets it wrong.
The runtime gets it right.

Darwin regtest: add suppression for zone memalign

Darwin: merge some fixes for macOS up to 10.13

From https://github.com/LouisBrunner/valgrind-macos
Thanks, Louis Brunner

Before
== 742 tests, 312 stderr failures, 93 stdout failures, 0 stderrB failures, 0 stdoutB failures, 4 post failures ==

After
== 748 tests, 293 stderr failures, 71 stdout failures, 0 stderrB failures, 0 stdoutB failures, 4 post failures ==

regtest: filter line numbers from memcheck tests that count suppressions

Now only one suppression file needed per test - no need for 32bit
versions. Need to use the same tag for each suppression variant though.

Darwin regtest: fix build of memcheck rh2257546_128 and rh2257546_256

No malloc.h

Bug 474160 - If errors-for-leak-kinds is specified, exit-on-first-error should only exit on one of the listed errors.

It's possible for the user to specify in the memcheck that some errors
should not cause an exit with the error-exitcode value.  For those
errors which would not cause an error exitcode, do not count them for
the purposes of exiting after the first error.

Bug 484002 - Add suppression for invalid read in glibc's __wcpncpy_avx2() via wcsxfrm()

This needed a redirect, not a suppression.

FreeBSD regtest: make bug483786 test a bit safer

The uninit struct timespec can have large values so set it to 0
and use VALGRIND_MAKE_MEM_UNDEFINED to trigger the error.

FreeBSD regtest: add a test for interrupted clock_nanosleep

Also add missing files for bug483786

Bug 483786 -- Incorrect parameter indexing in FreeBSD clock_nanosleep syscall wrapper

FreeBSD regtest: change scalar so it runs OK in vgtest and a shell

regtest: broaden one expected and one test suppression file

For linux arm.

regtest: use in 'if' in memcheck/tests/manuel1

clang tends to use cmov and csel instructions with the result
that the undefinedness propagates into the printf with a variable
number of errors.

Add rh2257546_* to .gitignore

regtest: add creat64 to debuginfo sdleak filters

All tests in none for pass for me on F39 amd64 with debuginfo
installed.

resgtest: close inherited file desctiptors in none file_dclose and socket_close

regtest: change rh2257546_256 prereq

Need to check for machine cpu capabilities. configure will build
avx and avx2 as long as the assembler supports them.

Handle gcc __builtin_strcmp using 128/256 bit vectors with sse4.1, avx/avx2

* amd64 front end: redo the translation into IR for PTEST, so as to
  use only IROps which we know Memcheck can do exact instrumentation
  for.  Handling for both the 128- and 256-bit cases is has been
  changed.

* ir_opt.c: add some constant folding rules to support the above.  In
  particular, for the case `ptest %reg, %reg` (the same reg twice), we
  want rflags.C to be set to a defined-1 even if %reg is completely
  undefined.  Doing that requires folding `x and not(x)` to zero when
  x has type V128 or V256.

* memcheck/tests/amd64/rh2257546_{128,256}.c: new test cases

https://bugzilla.redhat.com/show_bug.cgi?id=2257546

Adjust filter_fdleak for glibc debuginfo

With glibc debuginfo installed we might see syscal-template.S or
close.c replace that with "in ...libc...".

Make sure socket file is created in socket_close testcase

If the socket file already existed the path name wouldn't be recorded.
Explicitly unlink it before opening and binding the socket.  Adjust
none/tests/socket_close.stderr.exp for new path name and line numbers.

fdleaks: remove a VG(printf)

This was causing a few regtest failures for me

regtest: un-inline fdleak close_inherited

I don't understand why but clang on FreeBSD arm64 seemed to
optimize away the 'stat' check. That caused failures due
to incorrect duplicate close errors.

FreeBSD DRD: remove pthread_create suppression

This is far too general. If a suppression is needed it needs to be much
more specific.

FreeBSD syscall: improve closefrom to make it similar to cloase_range

Was missing ML_(record_fd_close) calls for the fds.

Update gitignore for fdleak tests

FreeBSD regtest: update filters for fdleak tests

s390x: Fix definedness of syscall return value register

The memcheck test case for the close_range syscall showed that Valgrind on
s390x doesn't correctly set the definedness of the return value register
after having invoked a system call.  Fix this.

With --track-fds=yes warn when file descriptor is closed a second time

We moved the record_fd_close call from POST to PRE sys_close handler,
because the POST handler is only called on success. Even if the close
syscall fails the file descriptor is still really closed/invalid.
In the PRE handler the file descriptor is about to be closed, but hasn't
been yet so we can capture also the description.

This patch add new field fd_closed to OpenFd structure to record if
the file descriptor was already closed.

We now capture a backtrace when closing file descriptors to be able to
print it in a case of a double close.  Always add '<' brackets '>' around
"unbound" in the description for consistency.

getsockdetails now takes and returns a buffer describing the socket
because we want to record it, not just print it.

Note that close_range is handled similar to closing each descriptor
individually. But the case when the close_range is called with an
infinite end (~0U) is treated special. Add a new record_fd_close_range
function which handles close_range with an infinite end so double
close by close_range isn't an error because we don't want to loop
over such a wide range.

Add a new test cases:
 - none/tests/socket_close.vgtest
   - tests double closing a socket
 - none/tests/double_close_range.vgtest
   - uses close_range to double close the file descriptors
 - none/tests/file_dclose.vgtest
   - double closing regular file with regular close syscall

https://bugs.kde.org/show_bug.cgi?id=471222

Co-Authored-By: Mark Wielaard <mark@klomp.org>

FreeBSD: fixed file mappings revisited

Revert to using the ELF fixed file flag, but keep the first
mapping so that it gets recorded to keep parse_procselfmaps
and ML_(read_elf_object) happy with what they see.

FreeBSD regtest: make get_set_context platform independent with a filter

Don't want to keep adding expecteds

Regtest: add a prereq to check that close_range built

FreeBSD syscall: fix PRE_MEM_READ for utrace

Regtest: fix a warning with older gcc with memcheck memalign_args

I guess that newer GCC extensions include more stuff.

Move close_range in .gitignore

Move close_range test from memcheck/tests/freebsd to memcheck/tests

The close_range call is also available under linux and we already
have an appropriate configure call to test it. The only difference
is how the syscall arguments are called.

FreeBSD syscall: fixes for semctl

On FreeBSD, the libc semctl function takes a union semun argument
for commands that take 4 arguments. It then gets that argument
via va_args and takes a pointer to it. That's what gets passed
to the sysctl - a pointer to union semun.

Previously we were handling the 4th argument as if it were
directly a union semun. This seems to have worked OK for years,
possibly due to luck concerning the way that va_args works
and/or the fact that the union is basically a union of
pointers. Recently I've been working on arm64 and there it
most definitely does not work.

FreeBSD and macOS: change detection of when carry flag is being set

FreeBSD and macOS syscalls both have two return registers and
use the carry flag for the status. So syscall for client
needs to set the carry flag in the VexGuestArchState. That's
a bit much to do all in asm so we call VEX funtions.

But that doesn't play well with interrupts. There are labels
in ML_(do_syscall_for_client_WRK) so that we can work out
what to do if we get interrupted there. But there are no asm
labels in the VEX functions. Getting the address of the start
of the extern function is easy. There's no way in C to get
the length, and getting the address for the static helpers
is also messy.

I did bodge a solution whereby I put a dummy function in the
source file and scientifically crossed my fingers and hoped
that the compiler would lay out the object file in the same
way. And it did, at least for amd64 FreeBSD amd64 Darwin and
x86 FreeBSD (I don't have easy access to Darwin with working
x86).

Still, it's UB.

I recently tried the same thing for arm64 FreeBSD. And there
the functions are all over the shop in the object file.

So, time to do something a bit cleaner. I've removed all of
the hacky dummy functions and put a flag in the guest vex
state. For both amd64 and x86 there were spare padding
UInts that I've used. Arm64 won't be so lucky when I get there,
no spare padding words.

FreeBSD regtest: add wildcards to none/tests/freebsd diffs

Comment: explain why v.info location no longer detects stack guard pages on FreeBSD

Workaround: sysctl security.bsd.stack_guard_page=0

FreeBSD regtest: fix value of CLOSE_RANGE_CLOEXEC in close_range test

Spotted by Mark Wielaard, thanks.

FreeBSD regtest: add a test with sanity lvel 3 and threads

FreeBSD regtest: filter sanity level >= 3 warnings about transparent stack mmaps

Add Unlicense to coregrind/m_debuginfo/tinfl.c

The tinfl.c file comes from the public domain miniz project.
Upstream added an explicit Public Domain declaration using
the Unlicense. No other changes were made, so all our valgrind
specific changes still apply. This doesn't really change the
license as used for our derived version, which is distributed
under GPLv2+. But it adds some history and a legal statement
that is more clear than just saying "public domain".

This is the upstream commit:

commit e8dfb6599a2294584571ad4806dc4e300323858c
Author: Rich Geldreich <richgel99@gmail.com>
Date:   Sat May 28 22:15:49 2011 +0000

    added unlicense.org statement

FreeBSD: experimental fix for --sanity-level=3 and above

Previously this failed due to split mmap mappings for MAP_STACK.
This change tries to piece together such stack mappings. This
mainly affects multithreaded apps when they create their thread
stacks.

FreeBSD: clean up guest stack creation code

At one time I thought of using sysctls to get the same stack
max size and growth size as the OS uses. But that won't work
for x86 on amd64. So I've just cleaned the code a bit and
added more comments explaining what is going on.

linux arm64: fix a couple of clang warnings about word length

arm64 regtest: add regtest leftovers to gitignore

linux regtest: helgrind bar_bad expected for ppc64le

linux regtest: update helgrind bar_bad

FreeBSD: another load of changes for FreeBSD 15

One more default suppession.

The new libsys.so was causing problems, and it needs to be
loaded before libthr.so in order to be able to get the tid
for the main thread on startup.

The bar_bad testcase for both helgrind and drd was giving a lot of
trouble (inclusing an assert in DRD_(barrier_pre_wait) ). The
sleeps in the testcase were not assuring the expected order.
So I changed the sleeps to 1ms nanosleeps in loops. That's a
bit more realistic and it also gives much more chances to the
scheduler to context switch.

I'll update the Linux expected shortly.

FreeBSD: updates for FreeBSD 15 libsys

FreeBSD 15 has moved all libc functions that are just syscall
wrappers into libsys. That changes quite a few callstacks, so
I've added a load of filtering to make it look like the old
libc callstacks.

I'm also seeing new conflicts in _umtx_op_err for both DRD
and Helgrind that needed supressing.

FreeBSD regtest: disable SYS_sbrk for FreeBSD

This syscall has been obsoleted.

FreeBSD: set client stack perms from ExeInfo

Was hard coded RWX, will now use PT_GNU_STACK from the elf
program headers, if present.

FreeBSD: changes for building with GCC

Use MARK_STACK_NO_EXEC (it's a null macro on non-linux platforms).
GCC complains if it's not used.

parse_procselfmaps yet again.

The hack that I added in 6fdd59afb5e473b30e7ad1fbadcf9a397253fed4
only works for clang/ld.lld. This change makes it also work with
GCC/ld.bfd. Still a hack though.

Bug 369723 - __builtin_longjmp not supported in clang/llvm on Android arm64 target

Made the functions out-of-line, more like other platforms.

debug messages: make VG_(sigframe_destroy) consistent

Probably functions changed names but not the debug messages.

FreeBSD: add -v -v tracing for usrstackbase and usrstacklim

Solaris: add a Helgrind suppression

For a C++ lock guard

Darwin: various fixes

Fix building a couple of regtests.
bmi.c - Apple clang puts a funky underscore before symbols which you
have to add explicitly in asm.
mmap_o_direct.c - there is no O_DIRECT on macOS
syswrap - make csrctl messages a bit more userland-y rather than
kernel-y

musl regtest: fix crash in helgrind getaddrinfo

musl doesn't like it if you pass in NULL to freeaddrinfo.

musl: updates to suppressions and drd pthread detection script

Mostly for DRD.

linux arm DRD: add an expected for tc19_shadowmem

Probably because rpi 3 and later run an aarch64 kernel but arm32
userland this testcase gives results very similar to the 64bit
expected.

linux arm regtest: update memcheck partiallydefinedeq

On my rpi 5 this only gives 2 errors, like s390.
Haven't dug into the asm.

Bug 466762 - Add redirs for C23 free_sized() and free_aligned_sized()

No testcase for the moment - I still need to link with a non-system
to be able to test

debug options: add more description for sanity-level

And make usage more consistent. There was a mix of > and >=, now
it is all >=.

linux arm regtest: add an expected for origin5-bz2

Ninth one for this test.

linux arm regtest: leak_cpp_interior try again

Hope it isn't nondetermiistic.

linux arm regtest: add an expected for leak_cpp_interior

For this code

  ptr2 = new MyClass[0]; // "interior but exterior ptr".
  // ptr2 points after the chunk, is wrongly considered by memcheck as definitely leaked.

there's a possible leak rather than a definite one.
I tried adding the clobber macro but that didn't change anything.
So I'm still not too sure why memcheck is finding the pointer for
this.

linux arm regtest: fix memcheck leak-segv-jmp

The hand rolled asm syscall to mprotect was failing.
At least it now passes on my rpi.

lnux helgrind: broaden suppression in libnss_mdns4

linux arm regtest: fix test and stdout expected

The three diffs that I noticed earlier were really due to typos
in the testcase. They should have been using d0 d1 d2 d3 but
instead were using d0 d1 d2 d4.

Update README_PACKAGERS

Give another example of why stripping the binaries is a bad idea.

FreeBSD: add suppressions for reachable memory in libthr.so

Fix gdbserver tests failing due to 'warning: ' prefix in syscall-template.S line

At least on debina 12.5, with GDB 13.1 and GDB 14.1, 2 gdbserver tests
fails due to a 'warning: ' word appearing in from of a line
giving the syscall-template.S filename.

Fix this by allowing an optional 'warning: ' regexp at the beginning of the line.

Tested on debian 12.5, with GDB 12.1/13.1/14.1 and 15.0.50.20240211-git

FreeBSD regtest: improve memcheck filtering for varinfo5

Now only one real difference between clang and GCC.

FreeBSD regtest: updates for memcheck varinfo5

Two things:
Improvement in reading debuginfo for variables.
clang16 doing tail call optimization, so add -fno-optimize-sibling-calls

Bug 471036 - Add test for rorx with rip-relative address

Bug 471036 - Print more context for amd64 disasm rip mismatch

Bug 471036 - disInstr_AMD64: disInstr miscalculated next %rip on RORX imm8, m32/64, r32/6

Patch contributed by redoste@redoste.xyz

NEWS: add bug 481131

x86 regtest: fix clobber lists in generated asm statements

Must add result registers also, or else code like this is generated:

      asm(
         "fsave %3\n"
         "movl %2, %%eax\n"
         "cdq\n"
         "movl %%edx, %0\n"
         "movl %%eax, %1\n"
         "frstor %3\n"
         "cld\n"
         : "=m" (result0), "=m" (result1)
         : "m" (preset0), "m" (state[0])
         : "eax"
      );

This crashes on my machine because gcc places some pointer in %%edx.

manpage: a few changes for realloc size zero and give FreeBSD a few mentions

command line help: move --realloc-zero-bytes-frees

It should be in the section on tools that replace malloc.

linux arm regtest: update neon64 expected

I get the same output from both Valgrind and running the test
natively.