Add Bug 447989 to NEWS

Add support for Armv8.2 SHA-512 instructions

Fixes https://bugs.kde.org/show_bug.cgi?id=447989

Extract common arm64 SIMD helpers into a single header

This was copy-pasted between two files and, with the number of
extensions in aarch64, will likely need to be in many more. As the
header file defines a bunch of static, mutable state, some functions
needed to be moved to a separate .c file, to avoid weird behaviors from
C's textual inclusion model.

This also required refreshing fp_and_simd's expected output. The
fp_and_simd and fp_and_simd_v82 copies of randV128 produced slightly
different output because fp_and_simd_v82 also checked for valid f16s.
Deduplicating the code means we now apply that across the board.

NB: The fp_and_simd expected output was synthesized from what valgrind
thought the correct output was, *not* running the executable directly.
Valgrind does not seem to actually match a real Arm machine. This
divergence already existed before this commit. The divergence is in the
fmla, fcvtxn, and fcvtxn2 instructions. Looking at the corresponding
code in guest_arm64_toIR.c, I see various comments discussion how they
don't quite round correctly, so I'm guessing this is a known bug. For
now, as before this commit, I've generated the test expectations based
on the bug.

README_DEVELOPERS: better to generate stdout expecteds directly from test exes

README_DEVELOPERS: describe how to write regression tests.

s390x: Support the deflate-conversion facility (DFLTCC)

So far the DFLTCC (deflate conversion call) instruction is not supported
by Valgrind.  Similar to PRNO and NNPA, it is a "complex" instruction
whose memory effects cannot be adequately expressed with a dirty helper.

Add support for the DFLTCC instruction using the new "extension" mechanism
and reflect this accordingly in the supported facilities and HWCAPs.

s390x: Minor fixes in extension-s390x.c

Some tracker names for registers are not consistent with the naming
scheme.  Also, there is a dead assignment to orig_addr2 and orig_len2.
Fix both.

Avoid use of guest_IP_AT_SYSCALL in handle_extension()

The guest state field guest_IP_AT_SYSCALL is referenced in
handle_extension(), even though it may not be defined by all
architectures.  Avoid its use altogether.

Fix uninitialized `err' in handle_extension()

In handle_extension(), in the case of a second return from SCHEDSETJMP the
variable `err' would be used uninitialized.  Fix this by avoiding any
access to `err' in this case.

Bug 276780 - An instruction in fftw (Fast Fourier Transform) is unhandled by valgrind: vex x86->IR: unhandled instruction bytes: 0x66 0xF 0x3A 0x22

aarch64: small fix for mrs id_aa64pfr0_el1

The flag for half-precision is 0x1 not 0x11. Probably harmless and gets caught
by the default. Add a comment for the bottom 6 nibbles.

README_DEVELOPERS: Replace b vgPlain_do_exec with b vgPlain_do_exec_inner

When building with --enable-lto vgPlain_do_exec is optimized out.
So replace the breakpoint example with vgPlain_do_exec_inner and
add a note that this is just an example and internal symbol names
might change or get optimized out.

aarch64 regtest: add test for dc cva? op codes

And also system registers for feature tests.

aarch64: fix data cache opcode warning

Wrong logic used in patch.

aarch64 dc zva: fix size calculation

Cache block size is in words not bytes.

Fix build failure on arm/mips/ppc

arm64_cache_block_size is, as the name implies, arm64 only.

Bug 377966 - arm64 unhandled instruction dc zva

With contributions from
Louis Brunner https://github.com/LouisBrunner/valgrind-macos

Bug 412377 - SIGILL on cache flushes on arm64

Patch contributed by
Adam Borowski <kilobyte@angband.pl>

arm64 front end: add support for 'dc cvac', 'dc cvap', handling it the same as 'dc cvau'.

patch modified to process DBP component of ID_AA64ISAR1_EL1

Signed-off-by: Kevin Zhao <kevin.zhao@linaro.org>

Bug 392146 - fix bad refactor in previous commit

Bug 392146 - aarch64: unhandled instruction 0xD5380001 (MRS rT, midr_el1)

mips: skip using shared syscall numbers for mips32

mips does not use shared syscall numbers, so we can not use
vki-scnums-shared-linux.h.

This partially fixes KDE #444781.

Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>
Signed-off-by: Aleksandar Rikalo <arikalo@gmail.com>

aarch64 frinta and frinta vector instructions

The initial fix for Bug 484426 only corrected frinta and frintn
scalar instructions. This adds support for the vector variants.

FreeBSD sanity check: enable dev/ino and offset checking.

Works OK on ZFS, with the usual exeption of the RW segment of
the tool itself that has a funky mapping optimization.

FreeBSD regtest: various fixes for x86 FreeBSD 14.1

Most of them are related to the difference between x86 and amd64
syscall ABI.

FreeBSD: correct error when adding support for FreeBSD 14.1

FreeBSD: add support for FreeBSD 14.1

Just one extra syscall that I can see.

FreeBSD readme: updates for arm64 and ioctls

Bug 486569 - linux inotify_init syscall wrapper missing POST entry in syscall_table

Bug 486293 - memccpy false positives

FreeBSD cleanup: mostly using VKI prefix in vki-freebsd.h

FreeBSD ioctl: CAMIOCOMMAND with subcommmand XPT_DEV_MATCH

CAM is the FreeBSD disk I/O subsystem (Common Access Method).

I had picked up an implementation of this from bitbucket done
by a FreeBSD dev. It was done a long time ago, around 2013 on
Valgrind 3.8. Mercurial bitbucket is now kickbucket. There
were 2 big problems.

1.  Bit rot. The CAM ioctl is versioned and the version that I
copies was 0x15 whilst the current version is 0x2a, 6 versions
later. That meant that the ioctl wrapper wasn't even getting
called. In addition, as the versioning implies, the data structures
were also out of date.

2. Might also be bit rot but the data structures were copied with
QUEUE_MACRO_DEBUG_TRACE enabled. For that to work the whole
FreeBSD system needs to be built with it turned on. With that
macro turned on in Valgrind the data structures were offset
compared to the kernel, and nothing worked correctly.

There are still a huge number of CAM ioctls unimplemented.
"camcontrol devlist" now works wihtout generating false positives.

FreeBSD ioctl: add BIOCSETF

And a bit more header cleanup

DRD regtest: try to make drd/tests/pth_mutex_signal less flaky

Use a loop of 1ms usleeps rather than a single 1s usleep.
This is usually more releable in ensuring that there's a context switch and that signals
get handled in the order that we want.

Darwin regtest: don't visit dSYM directories with tests/vg_regtest

Due to the extra directory depth of dSYM directories the following line
    my $dashes = "-" x (50 - length $full_dir);
generates a warning on Darwin because the length of $full_dir is more than 50
("Negative repeat count does nothing"). This change makes test_one_dir return
early if the directory contains "dSYM".

FreeBSD ioctl: add SIOCGIFCONF

Also remove a load of commented out Linux stuff from vki-freebsd.h

FreeBSD ioctl: enable SIOCGIFMEDIA PCIOCGETCONF CAMIOCOMMAND ioctls and add SIOCGIFSTATUS

fd leaks: add an assert for the error extra data

Coverity claims that it could cause a NULL dereference. I don't
think it's possible. Adding an assert will at least make things
clearer if Coverity ever turns out to be right.

mc-manual.xml fix new/delete expresions -> expression

Spotted by Philippe Waroquiers

regtest warnings: use %z for printf size_t

warnings: arm64 unused function in test and missing return for FreeBSD getauxval

warnings: remove two unused variables

READMEs: add details on dependencies needed to build and run tests.

486180  - [Valgrind][MIPS] 'VexGuestArchState' has no member named 'guest_IP_AT_SYSCALL'

Update memcheck description of C++ new and delete

Lifted from valgrind-htdocs commit 73eaff0ad.

Left out the paragraph on C23 free_sized and free_sized_aligned not
being supported (they are now).

Add some website spelling fixes to xml files

Pick up some commits from valgrind-htdocs:

commit d97a1a24e

    Fix description of memory xtree.

    Was referring to function g2 which is not present in the screenshot.

    Suggested by Fabien Launay on valgrind-developers.

commit bc2801d98

Fix a few "the the" usages.

    One reported by Fabien Launay on valgrind-developers. The other
    two found with grep. There's a fourth one, but it's in a patch
    file so I've left it for now.

commit acc56391e

    Consistent spelling of visualize(r)

    Suggested by Fabien Launay on valgrind-developers

    I checked my Shorter Oxford English Dictionary, and there it is
    with a z. Good enough for me.

-> 3.23.0 final

NEWS: Add new instruction support for arm64, amd64, s390x and x86

Add various none/tests/ppc64 test binaries to .gitignore

Add valgrind-*tar.gz and bz2 to .gitignore

They are generated by make distcheck.

Use 32 bit (with space) in sized_aligned_new_delete_misaligned test supp

To be consistent with the space used in the exp-32 test file and all
other supp names.

s390x: Add support for the `NNPA' instruction

Finalize the NNPA facility support by handling the NNPA instruction
itself, using the new "extension" approach.  Also reflect NNPA facility
support in HWCAP and in the STFLE bits.

Set version to 3.23.0-RC2

glibc-2.X-helgrind.supp.in: Also recognize variants on gethostbyname2_r

FreeBSD syscall: add wrapper for kcmp

For FreeBSD 15.0-CURRENT. Will need to add for 14.1 when it is out.
Mostly the same as the Linux kcmp syscall (small differences in the
supported types).

Add prereqs for tests using python 3.9+

Adds a script tests/python_test.sh that checks whether there is a python3
binary and that it supports python version 3.9 or higher. Use this script
in the various cachegrind/tests annotate vgtests as prereq.

FreeBSD syswrap: wrong length for __sysctlbyname(name)

Copied and pasted from syscall where name is a pointer to array of ints
so the size has a '*sizeof(int)'. -byname name is a char* so should not
have the *4 factor.

From
https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=278566

Add new bar_bad exp files to drd/tests/Makefile.am (EXTRA_DIST).

Add another drd/tests/bar_bad exp variant.

An uninitialized barrier might not be recognized as a barrier at all.

s390x: Improve operand names in trackers for PRNO

The operand names in the trackers called in the implementation of the PRNO
extension do not indicate the extension being handled.  Change this by
adding the name PRNO to all these names.

Add dl_new_hash suppression to drd/tests/std_thread2.supp

_dl_lookup_symbol_x is already suppressed and normally _dl_new_hash
seems inlined, but on some systems it isn't.

VG_(show_open_fds) Only emit empty line when not creating xml output

The "empty" line containing '== pid == ' would corrupt the xml output
with --track-fds=yes.

Filter away "main" differences in filter_fdleak

Stack traces showing where fds were created show some differences in
the "main" function, different line numbers, or (in binary) or (below
main). Since the precise location of the original call in the main
function isn't the goal of these tests just filer them all out and
replace them with a simple "main".

filter out in /absolute/path in drd/tests stderr filter

This filters out a line like:
by 0x........: ??? (in /home/mjw/valgrind/helgrind/tests/tc04_free_lock)
and replaces it with
by 0x........: ???

Add new .exp-32 files to memcheck/tests/Makefile.am EXTRA_DIST

32 bit new_delete_mismatch_size and sized_aligned_new_delete_misaligned .exp

Add 32 bit variants of the memcheck/tests/new_delete_mismatch_size_supp,
memcheck/tests/sized_aligned_new_delete_misaligned{2,3}_supp .exp files.

FreeBSD suppression: puts reachable

FreeBSD suppressions: yet more reachables

FreeBSD suppression: reachable for setlocale

Normally I have LANG=en_GB.UTF-8 and LC_ALL=C but if I switch to
C.UTF-8 for everything (which is the default for a fresh install)
then setlocale comes into the picture with a reachable allocation
on exit.

FreeBSD suppression: add a suppression for __swbuf seen on arm64

Still no libc freeres.

Set version to 3.23.0-RC1

Update emitted Copyright years to include 2024

Also adjust test exp and filters.

core errors suppression support

Add two new functions core_get_extra_suppression_info and
core_get_error_name as alternatives for tool suppression callbacks.
These functions are used in gen_suppression.

Instead of a tool name, a core error component name is "CoreError".

Two new suppression kinds FdBadCloseSupp and FdNotClosedSupp
were added. Corresponding to the FdBadClose and FdNotClosed
error kinds.

core_error_matches_suppression matches these suppression kinds
with error kinds.

core_get_extra_suppression_info and core_print_extra_suppression_use
are noops for core errors.

is_suppressible_error, supp_matches_error, load_one_suppressions_file
and show_used_suppressions have been adjusted to work with core
error kinds.

A new function VG_(found_or_suppressed_errs) helps to not output
an empty error summary if only core errors are requested, but no
errors were detected.

VG_(clo_track_fds) has been moved from pub_core_options.h to
pub_tool_options.h. And VG_(needs_core_errors) now takes a Bool
that can be set to false in the tool post_clo_init handler. This
is used in the none tool to request core errors, but disable all
reporting if no option has been given that enables such errors.

This make sure only the none/tests/fdleak_ipv4.stderr.exp needs
adjustment. For all other tests the output is exactly as before.

https://bugs.kde.org/show_bug.cgi?id=485778

Fix const signedness issue in VG_(show_open_fds)

The colon variable should be a const HChar.

Improve file descriptor xml output, add fd and path elements

Add needs_xml_output to none tool so it can also output xml when
--track-fds enabled.

Use xml protocolversion 5 when clo_track_fds is enabled

Split OpenFD pathname and description. Add description when a file
descriptor is closed so it can be used in a future error. On error
print <fd> element and (if known) a <path> element.

Add docs/internals/xml-output-protocol5.txt.

https://bugs.kde.org/show_bug.cgi?id=328563

Co-Authored-By: Mark Wielaard <mark@klomp.org>

Add core errors and use them to implement file descriptor tracker

All the tool error callbacks now have a core error equivalent.
core errors are negative (while tool errors are positive).
There are two new ones for tracking issues with file descriptors.
FdBadClose (-2) and FdNotClosed (-3).

Add following core error functions with delegates to file descriptor
specific functions (implemented in syswrap-generic):

- core_eq_Error (fd_eq_Error)
  Compares core errors to detect duplicates
- core_before_pp_Error (fd_before_pp_Error)
  Currently prints nothing for known core errors and
  exists with FATAL for unknown core errors
- core_pp_Error (fd_pp_Error)
  For FdBadClose prints the backtraces for the file descriptor was
  opened, where it was originally closed and where it was closed again.
  For FdNotClosed prints where the file descriptor was opened.
- core_update_extra (fd_update_extra)
  Returns the size of the BadCloseExtra or FdNotClosedExtra struct
  which data needs to be saved (the fd number, pathname/description
  and previous backtraces).

We now accept the error (ExeContext) where to be NULL.
This is necessary for reporting not closed file descriptors when
the descriptor is inherited from the parent (so wasn't actually
created and doesn't have a 'where' in the current process code).

All the testcases still pass since the (stderr) output is the
same. But now they count as "real" errors. And so --error-exitcode
does now also work for file descriptor errors or leaks.

https://bugs.kde.org/show_bug.cgi?id=362680

Co-authored-by: Alexandra Hájková <ahajkova@redhat.com>

Add FreeBSD arm64 to README list of platforms

Don't include pub_tool_tooliface.h in priv_types_n_macros.h

post-regtest-checks complains:
*** File coregrind/m_extension/priv_types_n_macros.h must not include pub_tool_tooliface.h

Which isn't really necessary anyway since priv_types_n_macros.h
already includes pub_core_tooliface.h.

Add pub_core_extension.h to coregrind/Makefile.am noinst_HEADERS

Add extension concept and exploit it for s390x `PRNO'

z/Architecture specifies various "complex" machine instructions whose
register and memory effects cannot be expressed with Valgrind's current
mechanisms.

One example is the PPNO instruction -- "perform pseudorandom number
operation", whose main purpose is to generate a chunk of pseudorandom
data.  When doing so, it reads and writes a so-called "parameter block"
while also writing the variable-sized pseudorandom data itself.  These
memory effects cannot be adequately represented by the IRDirty concept.

Instead of using dirty helpers, a different approach is to treat such
instructions similar to syscalls, adding a new IRJumpKind for this
purpose.

This patch provides an implementation of this approach and an illustration
of its use at the example of PPNO (or its newer instantiation "PRNO").

s390x: Re-implement `vpdi' without intermediate updates

The vpdi instruction is implemented incorrectly for the case where the
result vector coincides with one of the input operands, because it
performs an intermediate update.  An example where this produces wrong
results is for

vpdi    %v3,%v3,%v3,4

where the instruction is used to swap the two halves of %v3.

Fix this by avoiding the intermediate update and using Iop_64HLtoV128
instead.

Bug 481874 - Add arm64 support for FreeBSD

non-linux regtest: update cmdline expecteds

Add Bug 481676 to NEWS

Forgot I'd opened a bugzi for the problem.

Add @configure_input@ to all filer files generated by configure

This will add a comment at the top of each filter file saying:

 filter_file.  Generated from filter_file.in by configure.

Missing edit of filter_gdb.in

.exp files were updated to correspond to GDB 15,
filter_gdb being responsible to transform old GDB output to newly
expected output.

Sadly, I edited filter_gdb instead of filter_gdb.in

Tests should succeed again with older GDB.

add_hardwired_spec for ld-linux-x86-64.so.2 strcmp

glibc built with -march=x86-64-v3 does not work due to ld.so strcmp

https://bugs.kde.org/show_bug.cgi?id=485487

nightly/bin/nightly: Use grep -E instead of egrep

Ensure gdbserver tests work with a recent git version of GDB

Tested with GDB 12, 13, 14 and 15.0.50.20240414

ensure error output of vgdb relay mode is shown to the GDB user

With GDB14.1, when there is more than one valgrind process, 'target remote | vgdb' shows:
  (gdb) tar rem | vgdb
  Remote debugging using | vgdb
  no --pid= arg given and multiple valgrind pids found:
  use --pid=913621 for ./Inst/bin/valgrind --vgdb-stop-at=startup ./gdbserver_tests/sleepers
  use --pid=913622 for ./Inst/bin/valgrind --vgdb-stop-at=startup ./gdbserver_tests/sleepers
  Remote communication error.  Target disconnected: Connection reset by peer.
  (gdb)

With GDB 15.0.50.20240414-git, we obtain:
  (gdb) tar rem | vgdb
  Remote debugging using | vgdb
  Remote communication error.  Target disconnected: error while reading: Connection reset by peer.
  (gdb)

This looks like a race condition:

When vgdb exits due to several pid or due to any other error (e.g. an argument
error), GDB gets a SIGPIPE and closes the pipe to/from vgdb.  To avoid losing
the error messages In such cases, have vgdb wait for the first packet from GDB
before exiting.

With this change, the early errors of vgdb are shown to the user.

Tested on debian, with GDB 12, 13, 15 and 15.0.50.20240414-git.

Bug 485148 - vfmadd213ss instruction is instrumented incorrectly (the remaining part of the register is cleared instead of kept unmodified)

Initial version contributed by Bruno Lathuilière <bruno.lathuiliere@edf.fr>
Initial test contributed by Petr <kobalicek.petr@gmail.com>

FreeBSD syscall: aio_error fails with EINVAL if the aiocb pointer is not accessible.

Avoid format '%u' expect unsigned int warning

FreeBSD regtest: fix for scalar sigaltstack

I was lazy and using pointers to the same struct for the new and old
data (which isn't allowed, the new is 'restrict'). The current gets
copied to the old first so under Valgrind it worked. In the kernel
there are separate structs (which get copied in and copied out) and
it doesn't work.

Maybe we should consider changing VG_(do_sys_sigaltstack) to have at
least one local copy in order to behave like the kernel.

Allow to see more details about suppressed errors.

Extend --show-error-list=no|yes with all to allow to look also the
list of suppressed errors and see which supp entry is suppressing it.
Add an option also_suppressed in the monitor command 'c.vinfo all_errors'
to similarly be able to show the suppressed errors.

Small fix in check_makefile_consistency: avoid it considers emacs ~ files.

FreeBSD regtest: setcontext only reads the context

Illumos: also has wcpncpy

regtest arm64: add a test for frinta and frintn

Round ties above 0 (frinta) and to even (frintn). Both only scalar.
Vector not yet implemented.

Update NEWS for bug476025

amd64: Implement VFMADD213 for Iop_MAddF32 and Iop_MAddF64

Speed up F32 and F64 FMA on amd64. Add priv/host_amd64_maddf.c
implementing h_amd64_calc_MAddF32_fma4 and h_amd64_calc_MAddF64_fma4
to be used instead of the generic variants h_generic_calc_MAddF32
and h_generic_calc_MAddF64 when host has VEX_HWCAPS_AMD64_FMA4.
Add fma3 and fma4 detection m_machine.c (machine_get_hwcaps).

This patch also fixes the memcheck/tests/vcpu_fnfns and
none/tests/amd64/fma testcases when run on a x86-64-v3 system.

Patch contributed by Grazvydas Ignotas <notasas@gmail.com> and
Bruno Lathuilière <bruno.lathuiliere@edf.fr>

https://bugs.kde.org/show_bug.cgi?id=481127
https://bugs.kde.org/show_bug.cgi?id=463463
https://bugs.kde.org/show_bug.cgi?id=463458