Merge pull request #32709 from bluca/machined_ssh

machined: add GetMachineSSHInfo method and varlink interface to register machines

Merge pull request #32708 from DaanDeMeyer/fix-race

Fix race conditions in tests

hwdb: Add a Logitech MX Master 3S (connected via Bolt Receiver)

The mouse technically has settable DPI between 200 and 8000, with a step of
50, but 1000 DPI is the default setting.
And if someone customizes the mouse DPI setting they can make a custom hwdb
rule too.

Merge pull request #32705 from YHNdnzj/hibernate-error

hibernate-util: differentiate some errors from the generic ENOSPC; systemctl: adjust the fallback behavior for sleep operations

Merge pull request #32710 from YHNdnzj/debug-generator-cleanup

debug-generator: several cleanups

Merge pull request #32234 from poettering/dlopen-name-elf-note

Expose dlopen() dependencies in an ELF section, and add spec for it

Use the correct name of CEL

It's Canonical Event Format, not Common

machined: add varlink interface for registering machines

This commit adds the new varlink interface io.systemd.Machine at
/run/systemd/machine/io.systemd.Machine with a single method Register

It supports all combinations of RegisterMachine[WithSSH,WithNetwork] all
under the same method.

debug-generator: clean up logging and such for units passed from creds

debug-generator: don't eat up error if we can't write drop-in

While at it, prepend the drop-in text with
our usual "Automatically generated by ...".

debug-generator: drop unneeded empty_to_root

debug-generator: use RET_GATHER where appropriate

debug-generator: enclose function call in if statement when retval
is not used

TEST-04-JOURNAL: Sleep more in delegated cgroup filtering script

We already changed logs-filtering.service to sleep 2 seconds before
exiting to combat flakyness, let's do the same for the delegated
cgroup filtering payload.

Fixes #32696 (hopefully)

TEST-81-GENERATORS: Do a lazy unmounts

Otherwise we might fail if PID 1 is currently accessing these files.

Fixes #32692 (hopefully)

ssh-generator: fix pointer cast type

tree-wide: add dlopen ELF notes to all dlopen() deps of ours

Use 'recommended' priority for the default compression library, to
indicate that it should be prioritized over the other ones, as it
will be used to compress journals/core files.
Also use 'recommended' for kmod, as systems will likely fail to boot
if it's missing from the initrd.
Use 'suggested' for everything else.

There is one dlopen'ed TPM library that has the name generated
at runtime (depending on the driver), so that cannot be added, as it
needs to be known at build time.
Also when we support multiple ABI versions list them all, as for the
same reason we cannot know which one will be used at build time.

$ dlopen-notes.py build/libsystemd.so.0.39.0 build/src/shared/libsystemd-shared-256.so
libarchive.so.13 suggested
libbpf.so.0 suggested
libbpf.so.1 suggested
libcryptsetup.so.12 suggested
libdw.so.1 suggested
libelf.so.1 suggested
libfido2.so.1 suggested
libgcrypt.so.20 suggested
libidn2.so.0 suggested
libip4tc.so.2 suggested
libkmod.so.2 recommended
liblz4.so.1 suggested
liblzma.so.5 suggested
libp11-kit.so.0 suggested
libpcre2-8.so.0 suggested
libpwquality.so.1 suggested
libqrencode.so.3 suggested
libqrencode.so.4 suggested
libtss2-esys.so.0 suggested
libtss2-mu.so.0 suggested
libtss2-rc.so.0 suggested
libzstd.so.1 recommended

Co-authored-by: Luca Boccassi <bluca@debian.org>

dlfcn: add macro for exporting dlopen() module names in ELF sections

This allows code to declare "weak" dlopen() style deps via an ELF
section following the just added specification.

The idea is that any user of dlopen() will place ELF_NOTE_DLOPEN(…)
somewhere close which will synthesize the note.

Tools such as rpm/dpkg package builders as well as initrd generators
(such as dracut) can then automatically pick up these weak deps of
suggested dependencies for their purposes.

Co-authored-by: Luca Boccassi <bluca@debian.org>

docs: add specification for ELF dlopen metadata

Tool to parse it and to use it for Debian packaging available at
https://github.com/systemd/package-notes

Add 3 levels of priority like Debian does, but using terminology
from RPM as it seems more apt.
We will very likely never use 'required', as we use this functionality
for optional features, but it is worth having it in the spec nonetheless
as we want it to be generalized.

tmpfiles: Don't fail if file does not exist in item_do()

If the file was removed by some other program, we should just go
to the next one without failing. item_do() is only used for recursive
globs instead of fixed paths so skipping on missing files makes sense
(unlike if the path was fixed where we should probably fail).

Fixes #32691 (hopefully)

TEST-74-AUX-UTILS: Make more robust

Let's run mkfs on the file we create instead of the loop device and
let's use udevadm wait --settle to wait for udev to settle before
doing anything with the loop device

Fixes #32680 (hopefully)

machined: add GetMachineSSHInfo method

Also adds three properties:
- VsockCid: the VSOCK CID of the VM
- SshAddress: the address of the VM in a format SSH can connect to
- SshPrivateKeyPath: the path to the SSH private key to use to connect
  to the VM.

GetMachineSSHInfo is essentially a convenience method to query both the
SshAddress and SshPrivateKeyPath properties at once.

machined: split manager linking out of machine_new into machine_link

machined: expose machine_freep in machine.h

shared/json: add json_dispatch_absolute_path

TEST-07-PID1: Fix race in aux-scope subtest

Currently test-aux-scope.service can get killed by the test before
it's had a chance to setup its signal handler. Make it Type=notify
to fix the race.

Fixes #32670 (hopefully)

man/run0: remove the --user example for --machine=

run0's --user= option is different from other tools,
and the whole point of run0 is to connect to the system
manager. So the example is spurious.

preset-all: continue on errors, report more errors

Firstly, if we encounter an error when iterating over the directory, gather
the error but continue. This is unlikely to happen, but if it happens, then
it doesn't seem very useful to break the preset processing at a random
point. If we can't process a unit — too bad, but since we already might
have processed some units earlier, we might as well try to process the
remaining ones.

Secondly, add missing error codes for units that are in a bad state to the
exclusion list. Those, we report them in the changes list, but consider the
whole operation a success. (-ETXTBSY and -ENOLINK were missing.)

Thirdly, add a message generator for -ENOLINK.

Fixes https://github.com/systemd/systemd/issues/21224.

systemctl: do not fall back to StartUnit automatically for sleep operations

In the majority of cases, this is caused by
sleep_supported() returning error. Hence it's
very likely that it would fail again, so
the fallback is not really useful. Instead,
honor the --force option for these verbs.

hibernate-util,logind: also differentiate the case of misconfigured resume

hibernate-util,logind: emit a clear error if the specified resume dev is missing

Currently, SLEEP_NOT_ENOUGH_SWAP_SPACE (ENOSPC) is returned
on all sorts of error conditions. But one important case
that's worth differentiating from that is when the resume device
is manually specified yet missing.

Closes #32644

Merge pull request #32684 from YHNdnzj/pr-followups

Follow-ups for recently merged PRs

Merge pull request #32681 from DaanDeMeyer/skipped-no-journal

test: Don't keep journals for skipped tests

test: Mark TEST-21-DFUZZER as slow and skip it by default

The test is not really useful without sanitizers, so let's mark it
as slow and not run it by default in CI.

test: Add infra to mark integration tests as slow

Some integration tests take much more time than others, let's add
a test param that can be used to configure this and integrate it
with the slow-tests meson option.

ci: Print a helpful link to download and view a failed test's journal

repart: correct timespec_store usage too

basic/mkdir: use timespec_store instead of _nsec for mkdir_p_root_full

Follow-up for 34c3d574742e867ef97e79509e4051a82f1b7d9b

O_RDONLY is dropped when O_DIRECTORY is specified, since
it's unnecessary and even arguably confusing here, as
the dir is modified.

core/service: use switch for service_enter_start

Plus, add an assertion to ensure we're actually
using the start timestamp for the correct pid.

core/execute: re-break function declaration of exec_spawn

Also rearrange some variable definitions. Note that
DECIMAL_STR_MAX() contains the size of NUL byte,
so +1 is dropped.

core/unit: use FOREACH_STRING where appropriate

Follow-up for 61628287bd6d5115d96a4bdbd70964efd7a5940e

ci: Optimize pull request labeler

We keep running into rate limits, so let's optimize the number of
requests we do in the pull request labeler to hopefully fix that.

test: Don't keep journals for skipped tests

Let's make sure we don't save journals for tests that were skipped.

Merge pull request #32683 from dtardon/fix-error-vars

More mismatched error variables

mkosi: Update centos submodule to latest

clean-ipc: pass the right error variable

udev-rules: pass the right error variable

homework-quota: pass the right error variable

homework-blob: pass the right error variable

homework-fscrypt: pass the right error variable

homed-manager: pass the right error variable

test-bpf-foreign-programs: pass the right error variable

test-bpf-restrict-fs: pass the right error variable

test-socket-bind: pass the right error variable

nspawn: pass the right error variable

userns-restrict: pass the right error variable

cgroup-show: pass the right error variable

manager: pass the right error variable

resolved-dns-stream: pass the right error variable

exec-invoke: pass the right error variable

main: pass the right error variable

bless-boot: pass the right error variable

journal-remote-main: pass the right error variable

discover-image: pass the right error variable

build(deps): bump pkg/debian from `50b20e2` to `7cc898c`

Bumps pkg/debian from `50b20e2` to `7cc898c`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

mkosi: Switch to fedora 40

Enable updates-testing and use the most recent mirror to make sure
we get util-linux 2.40.1 which contains a crucial fix to make sure
the serial terminal in virtual machines works properly.

cryptsetup: make type-specific checks for PKCS#11 private keys

Merge pull request #32677 from keszybz/wording-fixes

Wording fixes

docs: minor improvements to CREDENTIALS.md

This commit fixes two instances of a miscount. As the number is not important in either case, and seemingly subject to changes, it was removed entirely.

Another sentence was reworded to improve readability.

Merge pull request #32635 from poettering/cryptenroll-no-pcrlock-conflict

cryptenroll: don't try to use pcrlock in combination with signed PCR policy if both are available, because we don't actually support that right now

manager: resolve verb/noun mixup in log message

The word is used in "%s requested" so it should be a noun.

repart: respect `SOURCE_DATE_EPOCH` on `mkdir_p_root`

This let's systemd-repart respect the `SOURCE_DATE_EPOCH` environment
variable when creating directories in the local tree through `CopyFiles`
or `MakeDirectories`.

To do this, we pass a timestamp `ts` to `mkdir_p_root`, which it will
use to fix up `mtime` and `atime` of the directory it creates as
well as the `mtime` of the directory it creates the other directory *in*,
as the `mtime` of the latter is modified when creating a directory in it.

For the same reason, it also needs to fixup the `mtime` of the upper
directory when copying a file into it through `CopyFiles`.

If `SOURCE_DATE_EPOCH`, times are left as is. (`UTIME_OMIT`)

Merge pull request #32673 from DaanDeMeyer/mkosi

Various mkosi fixes

man: reword text and fix tense in description of sd_event_source_set_io_fd

Follow-up for 2fa480592d4f4334881361c5558f563e5ea4c9c3.

hwdb: ieee1394-unit-function: add Tascam IF-FW/DM mkII

Jörg M. Sigle contriutes configuration ROM image for Tascam IF-FW/DM mkII,
which includes a quirk that the values of model fields in both root and
unit directory entries are different. In device attributes, it appears
that the value of model attribute in unit device is different from the one
in node device.

This commit adds hwdb entry for the model.

doc: mention that units can be masked via credentials

ci: Disable RuntimeBuildSources=

We build with debuginfo, so there's no point to starting virtiofsd
to mount the sources and build directory into the VM, so let's
disable that.

mkosi: Install dhcp-server on OpenSUSE

Required for systemd-networkd-tests.py.

meson: Fix formatting

mkosi: Install python3-psutil

Required to run systemd-networkd-tests.py. Already a dependency of
systemd-tests on Fedora so we don't add it there as it'll be pulled
in via the prepare script.

mkosi: Install radvd

Required for networkd integration tests.

tpm2-util: tweak JSON condition check

As for the other fields let's check if the actual variable we serialize
is set before serializing it.

This shouldn't make any difference, since the pubkey and the PCR mask
should always be set together or neither, but I think it's easier to
grok this way, and makes the function nicely "dumb": it serializes what
is specified, without trying to be smart by suppressng specified fields.

cryptenroll: determine TPM enrollment parmaeters only if we actually do TPM enrollments

Otherwise we'll do work (and possibly generate fatal errors) where we
really shouldn't.

cryptenroll: do not combine pcrlock and signed PCR policies in TPM mode

We currently do not support pcrlock policies and signed PCR policies in
combination. Hence, when we auto-discover both, let's disable signed PCR
policies if pcrlock is available too (simple because that covers more
ground).

Fixes: #32565

Merge pull request #32664 from DaanDeMeyer/no-build

mkosi: Skip build if NO_BUILD is set

mkosi: Configure coredump to store coredumps in the journal.

Makes it easier to debug coredumps that happen in CI as we can retrieve
them via the journal.

mkosi: Add missing SPDX line

mkosi: Only look for services in /usr and /etc

mkosi: Skip build if NO_BUILD is set

This allows running the integration tests against the distro's packaged
version of systemd.

Merge pull request #32606 from DaanDeMeyer/mkosi

 mkosi: Enable more integration tests

systemd-boot: Allow key enroll in AuditMode

Since AuditMode automatically switches SetupMode on, it should be
authorized to enroll SecureBoot keys.

Signed-off-by: Nicolas Bouchinet <nicolas.bouchinet@ssi.gouv.fr>

mkosi: Enable more integration tests

ci: Reduce the number of integration tests we run concurrently

Since there's a bunch of CPU hungry systemd-journal-remote processes
running on the host to received the forwarded logs, by running as many
test as the VM has cores we overload the available resources. Let's leave
use the number of cores - 1 to reduce resource contention.

test: Default to linux qemu firmware

Direct kernel boot results in much faster boot times so let's use
it by default.

We disable it for tests that need to reboot because +-50% of the
time, doing a reboot when using direct kernel boot causes qemu to
hang on reboot. Until we figure that out, let's use UEFI for the
tests that need to reboot.

TEST-46-HOMED: Skip barely fits test on ext4

For some reason this fails on ext4 with "No space left on device".
Until we figure out why, let's skip the test on ext4 (which is reported
as ext2/ext3 by stat).

TEST-46-HOMED: Only run resize tests on btrfs

Other filesystems do not support online shrinking.

TEST-53-ISSUE-16347: Add rtc configuration for qemu

TEST-55-OOMD: Configure init.scope credential in mkosi image

TEST-55-OOMD: Skip on opensuse

opensuse does not have the stress tool packaged.

TEST-55-OOMD: swapoff before adding new swapfile

When running test images built with read-only /usr
a swap partition is likely so needs to be turned off first.