Filter away "main" differences in filter_fdleak

Stack traces showing where fds were created show some differences in
the "main" function, different line numbers, or (in binary) or (below
main). Since the precise location of the original call in the main
function isn't the goal of these tests just filer them all out and
replace them with a simple "main".

filter out in /absolute/path in drd/tests stderr filter

This filters out a line like:
by 0x........: ??? (in /home/mjw/valgrind/helgrind/tests/tc04_free_lock)
and replaces it with
by 0x........: ???

Add new .exp-32 files to memcheck/tests/Makefile.am EXTRA_DIST

32 bit new_delete_mismatch_size and sized_aligned_new_delete_misaligned .exp

Add 32 bit variants of the memcheck/tests/new_delete_mismatch_size_supp,
memcheck/tests/sized_aligned_new_delete_misaligned{2,3}_supp .exp files.

FreeBSD suppression: puts reachable

FreeBSD suppressions: yet more reachables

FreeBSD suppression: reachable for setlocale

Normally I have LANG=en_GB.UTF-8 and LC_ALL=C but if I switch to
C.UTF-8 for everything (which is the default for a fresh install)
then setlocale comes into the picture with a reachable allocation
on exit.

FreeBSD suppression: add a suppression for __swbuf seen on arm64

Still no libc freeres.

Set version to 3.23.0-RC1

Update emitted Copyright years to include 2024

Also adjust test exp and filters.

core errors suppression support

Add two new functions core_get_extra_suppression_info and
core_get_error_name as alternatives for tool suppression callbacks.
These functions are used in gen_suppression.

Instead of a tool name, a core error component name is "CoreError".

Two new suppression kinds FdBadCloseSupp and FdNotClosedSupp
were added. Corresponding to the FdBadClose and FdNotClosed
error kinds.

core_error_matches_suppression matches these suppression kinds
with error kinds.

core_get_extra_suppression_info and core_print_extra_suppression_use
are noops for core errors.

is_suppressible_error, supp_matches_error, load_one_suppressions_file
and show_used_suppressions have been adjusted to work with core
error kinds.

A new function VG_(found_or_suppressed_errs) helps to not output
an empty error summary if only core errors are requested, but no
errors were detected.

VG_(clo_track_fds) has been moved from pub_core_options.h to
pub_tool_options.h. And VG_(needs_core_errors) now takes a Bool
that can be set to false in the tool post_clo_init handler. This
is used in the none tool to request core errors, but disable all
reporting if no option has been given that enables such errors.

This make sure only the none/tests/fdleak_ipv4.stderr.exp needs
adjustment. For all other tests the output is exactly as before.

https://bugs.kde.org/show_bug.cgi?id=485778

Fix const signedness issue in VG_(show_open_fds)

The colon variable should be a const HChar.

Improve file descriptor xml output, add fd and path elements

Add needs_xml_output to none tool so it can also output xml when
--track-fds enabled.

Use xml protocolversion 5 when clo_track_fds is enabled

Split OpenFD pathname and description. Add description when a file
descriptor is closed so it can be used in a future error. On error
print <fd> element and (if known) a <path> element.

Add docs/internals/xml-output-protocol5.txt.

https://bugs.kde.org/show_bug.cgi?id=328563

Co-Authored-By: Mark Wielaard <mark@klomp.org>

Add core errors and use them to implement file descriptor tracker

All the tool error callbacks now have a core error equivalent.
core errors are negative (while tool errors are positive).
There are two new ones for tracking issues with file descriptors.
FdBadClose (-2) and FdNotClosed (-3).

Add following core error functions with delegates to file descriptor
specific functions (implemented in syswrap-generic):

- core_eq_Error (fd_eq_Error)
  Compares core errors to detect duplicates
- core_before_pp_Error (fd_before_pp_Error)
  Currently prints nothing for known core errors and
  exists with FATAL for unknown core errors
- core_pp_Error (fd_pp_Error)
  For FdBadClose prints the backtraces for the file descriptor was
  opened, where it was originally closed and where it was closed again.
  For FdNotClosed prints where the file descriptor was opened.
- core_update_extra (fd_update_extra)
  Returns the size of the BadCloseExtra or FdNotClosedExtra struct
  which data needs to be saved (the fd number, pathname/description
  and previous backtraces).

We now accept the error (ExeContext) where to be NULL.
This is necessary for reporting not closed file descriptors when
the descriptor is inherited from the parent (so wasn't actually
created and doesn't have a 'where' in the current process code).

All the testcases still pass since the (stderr) output is the
same. But now they count as "real" errors. And so --error-exitcode
does now also work for file descriptor errors or leaks.

https://bugs.kde.org/show_bug.cgi?id=362680

Co-authored-by: Alexandra Hájková <ahajkova@redhat.com>

Add FreeBSD arm64 to README list of platforms

Don't include pub_tool_tooliface.h in priv_types_n_macros.h

post-regtest-checks complains:
*** File coregrind/m_extension/priv_types_n_macros.h must not include pub_tool_tooliface.h

Which isn't really necessary anyway since priv_types_n_macros.h
already includes pub_core_tooliface.h.

Add pub_core_extension.h to coregrind/Makefile.am noinst_HEADERS

Add extension concept and exploit it for s390x `PRNO'

z/Architecture specifies various "complex" machine instructions whose
register and memory effects cannot be expressed with Valgrind's current
mechanisms.

One example is the PPNO instruction -- "perform pseudorandom number
operation", whose main purpose is to generate a chunk of pseudorandom
data.  When doing so, it reads and writes a so-called "parameter block"
while also writing the variable-sized pseudorandom data itself.  These
memory effects cannot be adequately represented by the IRDirty concept.

Instead of using dirty helpers, a different approach is to treat such
instructions similar to syscalls, adding a new IRJumpKind for this
purpose.

This patch provides an implementation of this approach and an illustration
of its use at the example of PPNO (or its newer instantiation "PRNO").

s390x: Re-implement `vpdi' without intermediate updates

The vpdi instruction is implemented incorrectly for the case where the
result vector coincides with one of the input operands, because it
performs an intermediate update.  An example where this produces wrong
results is for

vpdi    %v3,%v3,%v3,4

where the instruction is used to swap the two halves of %v3.

Fix this by avoiding the intermediate update and using Iop_64HLtoV128
instead.

Bug 481874 - Add arm64 support for FreeBSD

non-linux regtest: update cmdline expecteds

Add Bug 481676 to NEWS

Forgot I'd opened a bugzi for the problem.

Add @configure_input@ to all filer files generated by configure

This will add a comment at the top of each filter file saying:

 filter_file.  Generated from filter_file.in by configure.

Missing edit of filter_gdb.in

.exp files were updated to correspond to GDB 15,
filter_gdb being responsible to transform old GDB output to newly
expected output.

Sadly, I edited filter_gdb instead of filter_gdb.in

Tests should succeed again with older GDB.

add_hardwired_spec for ld-linux-x86-64.so.2 strcmp

glibc built with -march=x86-64-v3 does not work due to ld.so strcmp

https://bugs.kde.org/show_bug.cgi?id=485487

nightly/bin/nightly: Use grep -E instead of egrep

Ensure gdbserver tests work with a recent git version of GDB

Tested with GDB 12, 13, 14 and 15.0.50.20240414

ensure error output of vgdb relay mode is shown to the GDB user

With GDB14.1, when there is more than one valgrind process, 'target remote | vgdb' shows:
  (gdb) tar rem | vgdb
  Remote debugging using | vgdb
  no --pid= arg given and multiple valgrind pids found:
  use --pid=913621 for ./Inst/bin/valgrind --vgdb-stop-at=startup ./gdbserver_tests/sleepers
  use --pid=913622 for ./Inst/bin/valgrind --vgdb-stop-at=startup ./gdbserver_tests/sleepers
  Remote communication error.  Target disconnected: Connection reset by peer.
  (gdb)

With GDB 15.0.50.20240414-git, we obtain:
  (gdb) tar rem | vgdb
  Remote debugging using | vgdb
  Remote communication error.  Target disconnected: error while reading: Connection reset by peer.
  (gdb)

This looks like a race condition:

When vgdb exits due to several pid or due to any other error (e.g. an argument
error), GDB gets a SIGPIPE and closes the pipe to/from vgdb.  To avoid losing
the error messages In such cases, have vgdb wait for the first packet from GDB
before exiting.

With this change, the early errors of vgdb are shown to the user.

Tested on debian, with GDB 12, 13, 15 and 15.0.50.20240414-git.

Bug 485148 - vfmadd213ss instruction is instrumented incorrectly (the remaining part of the register is cleared instead of kept unmodified)

Initial version contributed by Bruno Lathuilière <bruno.lathuiliere@edf.fr>
Initial test contributed by Petr <kobalicek.petr@gmail.com>

FreeBSD syscall: aio_error fails with EINVAL if the aiocb pointer is not accessible.

Avoid format '%u' expect unsigned int warning

FreeBSD regtest: fix for scalar sigaltstack

I was lazy and using pointers to the same struct for the new and old
data (which isn't allowed, the new is 'restrict'). The current gets
copied to the old first so under Valgrind it worked. In the kernel
there are separate structs (which get copied in and copied out) and
it doesn't work.

Maybe we should consider changing VG_(do_sys_sigaltstack) to have at
least one local copy in order to behave like the kernel.

Allow to see more details about suppressed errors.

Extend --show-error-list=no|yes with all to allow to look also the
list of suppressed errors and see which supp entry is suppressing it.
Add an option also_suppressed in the monitor command 'c.vinfo all_errors'
to similarly be able to show the suppressed errors.

Small fix in check_makefile_consistency: avoid it considers emacs ~ files.

FreeBSD regtest: setcontext only reads the context

Illumos: also has wcpncpy

regtest arm64: add a test for frinta and frintn

Round ties above 0 (frinta) and to even (frintn). Both only scalar.
Vector not yet implemented.

Update NEWS for bug476025

amd64: Implement VFMADD213 for Iop_MAddF32 and Iop_MAddF64

Speed up F32 and F64 FMA on amd64. Add priv/host_amd64_maddf.c
implementing h_amd64_calc_MAddF32_fma4 and h_amd64_calc_MAddF64_fma4
to be used instead of the generic variants h_generic_calc_MAddF32
and h_generic_calc_MAddF64 when host has VEX_HWCAPS_AMD64_FMA4.
Add fma3 and fma4 detection m_machine.c (machine_get_hwcaps).

This patch also fixes the memcheck/tests/vcpu_fnfns and
none/tests/amd64/fma testcases when run on a x86-64-v3 system.

Patch contributed by Grazvydas Ignotas <notasas@gmail.com> and
Bruno Lathuilière <bruno.lathuiliere@edf.fr>

https://bugs.kde.org/show_bug.cgi?id=481127
https://bugs.kde.org/show_bug.cgi?id=463463
https://bugs.kde.org/show_bug.cgi?id=463458

Add gethostbyname2_r to glibc-2.X-helgrind.supp.in

This fixes helgrind/tests/getaddrinfo with glibc-2.28 which might
use gethostbyname2_r.

regtest arm64: fixes for arm64 clang, part 5

last one for now
clang assembler not accepting sqrdmlah v0.4h, v1.4h, v2.4h[0]
It wants sqrdmlah v0.4h, v1.4h, v2.h[0]

regtest arm64: fixes for arm64 clang, part 4

clang assembler being picky about unneeded annotations such as
LSL #0 but then insisting on a .0 that gas infers.

regtest arm64: fixes for arm64 clang, part 3

clang assembler refuses to accept scvtf with q regs where v regs
should be used (again the arm manual agrees).

regtest arm64: fixes for arm64 clang, part 2

More clang moans about using int where long long is expected
Also clang assembler refuses to accept opcodes like sub x21,x22,x23,sxtb
According to the arm manual it is right and it should be
sub x21,x22,w23,sxtb.
I asked on the LLVM discourse and they said they preferred to be strict
and unambiguous.

regtest arm64: fixes for arm64 clang, part 1

clang warns about using integers where long longs are expected.
Secondly a few of the tests read the executable text. clang uses
different registers than GCC which causes a diff. Hence another
expected. The tests are potentially flaky so if we see instability
we need to modify the test.

linux arm64: fix build with clang

Same issue as https://bugs.kde.org/show_bug.cgi?id=421321
but with clang.

Add new helgrind race suppression for pth_mempcpy_false_races

In glibc 2.39+ the internal __printf_buffer_write might use memmove
instead of a memcpy variant. Add an extra suppression variant using
memmove.

This makes pth_mempcpy_false_races pass again.

See also https://bugs.kde.org/show_bug.cgi?id=450962

Add support for expensive cmpgt into vbits

Add __set_vma_name suppression to drd/tests/std_thread2.supp

glibc uses a atomic var to set whether the kernel supports
PR_SET_VMA_ANON_NAME. This looks like a conflicting access to drd.
Suppress it for this testcase.

Add memcheck/tests/linux/capget.stderr.exp4 variant

Add an expect file for capget where the inheritable bits are set,
when run as root.

FreeBSD Helgrind: suppression for libstdc++ std::mutex::lock()

Don't call vg_assert inside sync_signalhandler_from_kernel

Calling vg_assert inside a core signal handler will mess up the core
backtrace. Making it even harder to find bugs in the core.

Update libiberty demangler

Update the libiberty demangler using the auxprogs/update-demangler
script to gcc git commit ca2f7c84927f85b95f0f48f82b93f1460c372db4.

This update includes:

* c++: mangle noexcept-expr [PR70790]
* c++: Fix templated convertion operator demangling
* c++: constrained hidden friends [PR109751]
* c++: mangle function template constraints
* Update copyright years.
* c++, demangle: Implement
  https://github.com/itanium-cxx-abi/cxx-abi/issues/148
  non-proposal
* libiberty: Invoke D demangler when --format=auto

regtest: Add arm64 dir to DIST_SUBDIR

New directory was missing in memcheck/tests/Makefile.am

Bug 484935 - [patch] Valgrind reports false "Conditional jump or move depends on uninitialised value" errors for aarch64 signal handlers

Patch contributed by Peter Edwards <peadar@arista.com>

Testcase modified and added to a new directory, memcheck/tests/arm64

linux regtest: merge the two prereq lines in memcheck sys-preadv2_pwritev2.vgtest

I think only the last one gets used.

regtest: fixes for old GCC versions

Seen on arm64 with GCC 4.8.2

regtest: one last change to none fdleak filter for arm64 linux

regtest: another fdleak filter in none/tests

FreeBSD DRD and Helgrind: add sem_clockwait_np wrappers

Helgrind wrapper was complicated because sem_wait calls
sem_clockwait_np.

Darwin: fix warning about unused Helgrind sem_timedwait wrapper

Bug 484480 - False positives when using sem_trywait

Solaris regtest: fix build of none socket_close

Also add to filter_fdleak

Solaris: remove syscall close POST

And move the extra stuff that it did into PRE

Darwin: add missing necp pieces

Darwin regtest: add prereq for helgrind/tests/bug322621

It needs pthread_barrier which Darwin doesn't have

Darwin: Helgrind suppressions for macOS 10.13

FreeBSD regtest: timerfd_settime has 4 args not 3

regtest: rename none/tests/arm64/memory

This directory now contains a C++ test. 'memory' is also the name
of a C++ header. The include paths include ".". All that means that
if 'memory' builds before 'bug484426' then bug484426.cpp will try to
include the binary executable file 'memory' from the same directory
and not the header somewhere under /usr/include.

Bug 484426 - aarch64: 0.5 gets rounded to 0

s390x: Update tracking of implemented insns for z16

List the instructions first introduced with z16 in s390-opcodes.csv.  Also
mention the unimplemented ones in guest_s390_toIR.c and add new extended
mnemonics to the script s390-check-opcodes.pl.  For ease of use, add
support for invoking the script without command line arguments.

s390x: Add support for NNPA facility vector instructions

Add support for the vector instructions introduced with the NNPA facility,
i.e, VCNF, VCLFNH, VCFN, VCLFNL, and VCRNF.  These instructions convert
floating-point data between the usual binary FP format (IEEE) and the
NNPA-specific format.  Implement them with dirty helpers.

The NNPA instruction itself will be addressed with a separate patch.

coverity: one dead code, one unread assignment and one NULL check

coverity: dead code and overflows

Overflows deliberate. Dead code probably not.

Darwin syscall: and now necp_client_action

Also from Louis Brunner and also on 10.13 at least

Darwin: add syswrap for necp_open

From Louis Brunner. It's marked for 10.15 in his repo but I get
--50575-- WARNING: unhandled amd64-darwin syscall: unix:501
on 10.13

Darwin DRD: suppressions for macOS 10.13

Dawrin regtest: mostly more filtering

Changed str_tester to always call memcmp. Apple clang 10 seems
to evaluate some of these at compile time, and gets it wrong.
The runtime gets it right.

Darwin regtest: add suppression for zone memalign

Darwin: merge some fixes for macOS up to 10.13

From https://github.com/LouisBrunner/valgrind-macos
Thanks, Louis Brunner

Before
== 742 tests, 312 stderr failures, 93 stdout failures, 0 stderrB failures, 0 stdoutB failures, 4 post failures ==

After
== 748 tests, 293 stderr failures, 71 stdout failures, 0 stderrB failures, 0 stdoutB failures, 4 post failures ==

regtest: filter line numbers from memcheck tests that count suppressions

Now only one suppression file needed per test - no need for 32bit
versions. Need to use the same tag for each suppression variant though.

Darwin regtest: fix build of memcheck rh2257546_128 and rh2257546_256

No malloc.h

Bug 474160 - If errors-for-leak-kinds is specified, exit-on-first-error should only exit on one of the listed errors.

It's possible for the user to specify in the memcheck that some errors
should not cause an exit with the error-exitcode value.  For those
errors which would not cause an error exitcode, do not count them for
the purposes of exiting after the first error.

Bug 484002 - Add suppression for invalid read in glibc's __wcpncpy_avx2() via wcsxfrm()

This needed a redirect, not a suppression.

FreeBSD regtest: make bug483786 test a bit safer

The uninit struct timespec can have large values so set it to 0
and use VALGRIND_MAKE_MEM_UNDEFINED to trigger the error.

FreeBSD regtest: add a test for interrupted clock_nanosleep

Also add missing files for bug483786

Bug 483786 -- Incorrect parameter indexing in FreeBSD clock_nanosleep syscall wrapper

FreeBSD regtest: change scalar so it runs OK in vgtest and a shell

regtest: broaden one expected and one test suppression file

For linux arm.

regtest: use in 'if' in memcheck/tests/manuel1

clang tends to use cmov and csel instructions with the result
that the undefinedness propagates into the printf with a variable
number of errors.

Add rh2257546_* to .gitignore

regtest: add creat64 to debuginfo sdleak filters

All tests in none for pass for me on F39 amd64 with debuginfo
installed.

resgtest: close inherited file desctiptors in none file_dclose and socket_close

regtest: change rh2257546_256 prereq

Need to check for machine cpu capabilities. configure will build
avx and avx2 as long as the assembler supports them.

Handle gcc __builtin_strcmp using 128/256 bit vectors with sse4.1, avx/avx2

* amd64 front end: redo the translation into IR for PTEST, so as to
  use only IROps which we know Memcheck can do exact instrumentation
  for.  Handling for both the 128- and 256-bit cases is has been
  changed.

* ir_opt.c: add some constant folding rules to support the above.  In
  particular, for the case `ptest %reg, %reg` (the same reg twice), we
  want rflags.C to be set to a defined-1 even if %reg is completely
  undefined.  Doing that requires folding `x and not(x)` to zero when
  x has type V128 or V256.

* memcheck/tests/amd64/rh2257546_{128,256}.c: new test cases

https://bugzilla.redhat.com/show_bug.cgi?id=2257546

Adjust filter_fdleak for glibc debuginfo

With glibc debuginfo installed we might see syscal-template.S or
close.c replace that with "in ...libc...".

Make sure socket file is created in socket_close testcase

If the socket file already existed the path name wouldn't be recorded.
Explicitly unlink it before opening and binding the socket.  Adjust
none/tests/socket_close.stderr.exp for new path name and line numbers.

fdleaks: remove a VG(printf)

This was causing a few regtest failures for me

regtest: un-inline fdleak close_inherited

I don't understand why but clang on FreeBSD arm64 seemed to
optimize away the 'stat' check. That caused failures due
to incorrect duplicate close errors.

FreeBSD DRD: remove pthread_create suppression

This is far too general. If a suppression is needed it needs to be much
more specific.

FreeBSD syscall: improve closefrom to make it similar to cloase_range

Was missing ML_(record_fd_close) calls for the fds.