Merge pull request #32710 from YHNdnzj/debug-generator-cleanup

debug-generator: several cleanups

Merge pull request #32234 from poettering/dlopen-name-elf-note

Expose dlopen() dependencies in an ELF section, and add spec for it

Use the correct name of CEL

It's Canonical Event Format, not Common

debug-generator: clean up logging and such for units passed from creds

debug-generator: don't eat up error if we can't write drop-in

While at it, prepend the drop-in text with
our usual "Automatically generated by ...".

debug-generator: drop unneeded empty_to_root

debug-generator: use RET_GATHER where appropriate

debug-generator: enclose function call in if statement when retval
is not used

ssh-generator: fix pointer cast type

tree-wide: add dlopen ELF notes to all dlopen() deps of ours

Use 'recommended' priority for the default compression library, to
indicate that it should be prioritized over the other ones, as it
will be used to compress journals/core files.
Also use 'recommended' for kmod, as systems will likely fail to boot
if it's missing from the initrd.
Use 'suggested' for everything else.

There is one dlopen'ed TPM library that has the name generated
at runtime (depending on the driver), so that cannot be added, as it
needs to be known at build time.
Also when we support multiple ABI versions list them all, as for the
same reason we cannot know which one will be used at build time.

$ dlopen-notes.py build/libsystemd.so.0.39.0 build/src/shared/libsystemd-shared-256.so
libarchive.so.13 suggested
libbpf.so.0 suggested
libbpf.so.1 suggested
libcryptsetup.so.12 suggested
libdw.so.1 suggested
libelf.so.1 suggested
libfido2.so.1 suggested
libgcrypt.so.20 suggested
libidn2.so.0 suggested
libip4tc.so.2 suggested
libkmod.so.2 recommended
liblz4.so.1 suggested
liblzma.so.5 suggested
libp11-kit.so.0 suggested
libpcre2-8.so.0 suggested
libpwquality.so.1 suggested
libqrencode.so.3 suggested
libqrencode.so.4 suggested
libtss2-esys.so.0 suggested
libtss2-mu.so.0 suggested
libtss2-rc.so.0 suggested
libzstd.so.1 recommended

Co-authored-by: Luca Boccassi <bluca@debian.org>

dlfcn: add macro for exporting dlopen() module names in ELF sections

This allows code to declare "weak" dlopen() style deps via an ELF
section following the just added specification.

The idea is that any user of dlopen() will place ELF_NOTE_DLOPEN(…)
somewhere close which will synthesize the note.

Tools such as rpm/dpkg package builders as well as initrd generators
(such as dracut) can then automatically pick up these weak deps of
suggested dependencies for their purposes.

Co-authored-by: Luca Boccassi <bluca@debian.org>

docs: add specification for ELF dlopen metadata

Tool to parse it and to use it for Debian packaging available at
https://github.com/systemd/package-notes

Add 3 levels of priority like Debian does, but using terminology
from RPM as it seems more apt.
We will very likely never use 'required', as we use this functionality
for optional features, but it is worth having it in the spec nonetheless
as we want it to be generalized.

man/run0: remove the --user example for --machine=

run0's --user= option is different from other tools,
and the whole point of run0 is to connect to the system
manager. So the example is spurious.

preset-all: continue on errors, report more errors

Firstly, if we encounter an error when iterating over the directory, gather
the error but continue. This is unlikely to happen, but if it happens, then
it doesn't seem very useful to break the preset processing at a random
point. If we can't process a unit — too bad, but since we already might
have processed some units earlier, we might as well try to process the
remaining ones.

Secondly, add missing error codes for units that are in a bad state to the
exclusion list. Those, we report them in the changes list, but consider the
whole operation a success. (-ETXTBSY and -ENOLINK were missing.)

Thirdly, add a message generator for -ENOLINK.

Fixes https://github.com/systemd/systemd/issues/21224.

Merge pull request #32684 from YHNdnzj/pr-followups

Follow-ups for recently merged PRs

Merge pull request #32681 from DaanDeMeyer/skipped-no-journal

test: Don't keep journals for skipped tests

test: Mark TEST-21-DFUZZER as slow and skip it by default

The test is not really useful without sanitizers, so let's mark it
as slow and not run it by default in CI.

test: Add infra to mark integration tests as slow

Some integration tests take much more time than others, let's add
a test param that can be used to configure this and integrate it
with the slow-tests meson option.

ci: Print a helpful link to download and view a failed test's journal

repart: correct timespec_store usage too

basic/mkdir: use timespec_store instead of _nsec for mkdir_p_root_full

Follow-up for 34c3d574742e867ef97e79509e4051a82f1b7d9b

O_RDONLY is dropped when O_DIRECTORY is specified, since
it's unnecessary and even arguably confusing here, as
the dir is modified.

core/service: use switch for service_enter_start

Plus, add an assertion to ensure we're actually
using the start timestamp for the correct pid.

core/execute: re-break function declaration of exec_spawn

Also rearrange some variable definitions. Note that
DECIMAL_STR_MAX() contains the size of NUL byte,
so +1 is dropped.

core/unit: use FOREACH_STRING where appropriate

Follow-up for 61628287bd6d5115d96a4bdbd70964efd7a5940e

ci: Optimize pull request labeler

We keep running into rate limits, so let's optimize the number of
requests we do in the pull request labeler to hopefully fix that.

test: Don't keep journals for skipped tests

Let's make sure we don't save journals for tests that were skipped.

Merge pull request #32683 from dtardon/fix-error-vars

More mismatched error variables

mkosi: Update centos submodule to latest

clean-ipc: pass the right error variable

udev-rules: pass the right error variable

homework-quota: pass the right error variable

homework-blob: pass the right error variable

homework-fscrypt: pass the right error variable

homed-manager: pass the right error variable

test-bpf-foreign-programs: pass the right error variable

test-bpf-restrict-fs: pass the right error variable

test-socket-bind: pass the right error variable

nspawn: pass the right error variable

userns-restrict: pass the right error variable

cgroup-show: pass the right error variable

manager: pass the right error variable

resolved-dns-stream: pass the right error variable

exec-invoke: pass the right error variable

main: pass the right error variable

bless-boot: pass the right error variable

journal-remote-main: pass the right error variable

discover-image: pass the right error variable

build(deps): bump pkg/debian from `50b20e2` to `7cc898c`

Bumps pkg/debian from `50b20e2` to `7cc898c`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

mkosi: Switch to fedora 40

Enable updates-testing and use the most recent mirror to make sure
we get util-linux 2.40.1 which contains a crucial fix to make sure
the serial terminal in virtual machines works properly.

cryptsetup: make type-specific checks for PKCS#11 private keys

Merge pull request #32677 from keszybz/wording-fixes

Wording fixes

docs: minor improvements to CREDENTIALS.md

This commit fixes two instances of a miscount. As the number is not important in either case, and seemingly subject to changes, it was removed entirely.

Another sentence was reworded to improve readability.

Merge pull request #32635 from poettering/cryptenroll-no-pcrlock-conflict

cryptenroll: don't try to use pcrlock in combination with signed PCR policy if both are available, because we don't actually support that right now

manager: resolve verb/noun mixup in log message

The word is used in "%s requested" so it should be a noun.

repart: respect `SOURCE_DATE_EPOCH` on `mkdir_p_root`

This let's systemd-repart respect the `SOURCE_DATE_EPOCH` environment
variable when creating directories in the local tree through `CopyFiles`
or `MakeDirectories`.

To do this, we pass a timestamp `ts` to `mkdir_p_root`, which it will
use to fix up `mtime` and `atime` of the directory it creates as
well as the `mtime` of the directory it creates the other directory *in*,
as the `mtime` of the latter is modified when creating a directory in it.

For the same reason, it also needs to fixup the `mtime` of the upper
directory when copying a file into it through `CopyFiles`.

If `SOURCE_DATE_EPOCH`, times are left as is. (`UTIME_OMIT`)

Merge pull request #32673 from DaanDeMeyer/mkosi

Various mkosi fixes

man: reword text and fix tense in description of sd_event_source_set_io_fd

Follow-up for 2fa480592d4f4334881361c5558f563e5ea4c9c3.

hwdb: ieee1394-unit-function: add Tascam IF-FW/DM mkII

Jörg M. Sigle contriutes configuration ROM image for Tascam IF-FW/DM mkII,
which includes a quirk that the values of model fields in both root and
unit directory entries are different. In device attributes, it appears
that the value of model attribute in unit device is different from the one
in node device.

This commit adds hwdb entry for the model.

doc: mention that units can be masked via credentials

ci: Disable RuntimeBuildSources=

We build with debuginfo, so there's no point to starting virtiofsd
to mount the sources and build directory into the VM, so let's
disable that.

mkosi: Install dhcp-server on OpenSUSE

Required for systemd-networkd-tests.py.

meson: Fix formatting

mkosi: Install python3-psutil

Required to run systemd-networkd-tests.py. Already a dependency of
systemd-tests on Fedora so we don't add it there as it'll be pulled
in via the prepare script.

mkosi: Install radvd

Required for networkd integration tests.

tpm2-util: tweak JSON condition check

As for the other fields let's check if the actual variable we serialize
is set before serializing it.

This shouldn't make any difference, since the pubkey and the PCR mask
should always be set together or neither, but I think it's easier to
grok this way, and makes the function nicely "dumb": it serializes what
is specified, without trying to be smart by suppressng specified fields.

cryptenroll: determine TPM enrollment parmaeters only if we actually do TPM enrollments

Otherwise we'll do work (and possibly generate fatal errors) where we
really shouldn't.

cryptenroll: do not combine pcrlock and signed PCR policies in TPM mode

We currently do not support pcrlock policies and signed PCR policies in
combination. Hence, when we auto-discover both, let's disable signed PCR
policies if pcrlock is available too (simple because that covers more
ground).

Fixes: #32565

Merge pull request #32664 from DaanDeMeyer/no-build

mkosi: Skip build if NO_BUILD is set

mkosi: Configure coredump to store coredumps in the journal.

Makes it easier to debug coredumps that happen in CI as we can retrieve
them via the journal.

mkosi: Add missing SPDX line

mkosi: Only look for services in /usr and /etc

mkosi: Skip build if NO_BUILD is set

This allows running the integration tests against the distro's packaged
version of systemd.

Merge pull request #32606 from DaanDeMeyer/mkosi

 mkosi: Enable more integration tests

systemd-boot: Allow key enroll in AuditMode

Since AuditMode automatically switches SetupMode on, it should be
authorized to enroll SecureBoot keys.

Signed-off-by: Nicolas Bouchinet <nicolas.bouchinet@ssi.gouv.fr>

mkosi: Enable more integration tests

ci: Reduce the number of integration tests we run concurrently

Since there's a bunch of CPU hungry systemd-journal-remote processes
running on the host to received the forwarded logs, by running as many
test as the VM has cores we overload the available resources. Let's leave
use the number of cores - 1 to reduce resource contention.

test: Default to linux qemu firmware

Direct kernel boot results in much faster boot times so let's use
it by default.

We disable it for tests that need to reboot because +-50% of the
time, doing a reboot when using direct kernel boot causes qemu to
hang on reboot. Until we figure that out, let's use UEFI for the
tests that need to reboot.

TEST-46-HOMED: Skip barely fits test on ext4

For some reason this fails on ext4 with "No space left on device".
Until we figure out why, let's skip the test on ext4 (which is reported
as ext2/ext3 by stat).

TEST-46-HOMED: Only run resize tests on btrfs

Other filesystems do not support online shrinking.

TEST-53-ISSUE-16347: Add rtc configuration for qemu

TEST-55-OOMD: Configure init.scope credential in mkosi image

TEST-55-OOMD: Skip on opensuse

opensuse does not have the stress tool packaged.

TEST-55-OOMD: swapoff before adding new swapfile

When running test images built with read-only /usr
a swap partition is likely so needs to be turned off first.

TEST-04-JOURNAL: Skip bsod test if systemd-bsod is not installed

systemd is built without qrencode support on CentOS which means
systemd-bsod will not be installed. Let's skip the test if that's
the case.

TEST-04-JOURNAL: Run with persistent journal

This test depends on having the journal in /var/log/journal.

TEST-04-JOURNAL: Make more robust

Avoid hitting https://github.com/systemd/systemd/issues/2913 by adding
some more sleeps. This is required to make the test pass when executed
with mkosi on my machine.

TEST-07-PID1: Schedule exit on successful execution

The test unit has RemainAfterExit=yes so let's schedule our own
shutdown from the test itself once we finish running.

TEST-07-PID1: Test access to allocated loop instead of loop0

loop0 and 1 can be used by systemd-repart and vanish
but we can guarantee that $LODEV was allocated and is available.

TEST-07-PID1: Lower TriggerLimitIntervalSec= unconditionally

It shouldn't hurt to do this when KVM is enabled or we're not collecting
coverage so let's just always lower the trigger limit interval.

TEST-07-PID1: Move mount units to test dir

To load the units it is sufficient to add them to the units directory
and it's a step towards not needing any customisations for this test.

TEST-70-TPM2: Call udevadm wait after attaching disk image

Otherwise /dev/loop0p1 might not exist when calling
systemd-cryptsetup attach.

TEST-70-TPM2: Add dependency on tpm2.target

Let's make sure the TPM is available before running the test as the
test makes use of it.

TEST-74-AUX-UTILS: Use persistent journal

This test depends on having the journal in /var/log/journal.

TEST-74-AUX-UTILS: Drop usage of loop module

This module is builtin on ubuntu causing the test to fail. Let's
use just dummy instead. I tried replacing it with scsi_debug but
that caused issues with modprobe complaining it could not remove
scsi_debug because it was in use.

TEST-74-AUX-UTILS: Skip run0 test if pam snippet is not installed

TEST-74-AUX-UTILS: Make sure at least two locales exist

TEST-74-AUX-UTILS: Support running on UEFI systems

build(deps): bump pkg/debian from `f550017` to `50b20e2`

Bumps pkg/debian from `f550017` to `50b20e2`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

TEST-74-AUX-UTILS: Support systems with pre-existing modules config

TEST-74-AUX-UTILS: Support credential-provided root SSH public key

When root authorized keys are provided by mkosi they are not
newline-terminated so appending a public key to the file results
in a corrupt key, so just to be safe we add an empty line.