Merge pull request #32606 from DaanDeMeyer/mkosi

 mkosi: Enable more integration tests

systemd-boot: Allow key enroll in AuditMode

Since AuditMode automatically switches SetupMode on, it should be
authorized to enroll SecureBoot keys.

Signed-off-by: Nicolas Bouchinet <nicolas.bouchinet@ssi.gouv.fr>

mkosi: Enable more integration tests

ci: Reduce the number of integration tests we run concurrently

Since there's a bunch of CPU hungry systemd-journal-remote processes
running on the host to received the forwarded logs, by running as many
test as the VM has cores we overload the available resources. Let's leave
use the number of cores - 1 to reduce resource contention.

test: Default to linux qemu firmware

Direct kernel boot results in much faster boot times so let's use
it by default.

We disable it for tests that need to reboot because +-50% of the
time, doing a reboot when using direct kernel boot causes qemu to
hang on reboot. Until we figure that out, let's use UEFI for the
tests that need to reboot.

TEST-46-HOMED: Skip barely fits test on ext4

For some reason this fails on ext4 with "No space left on device".
Until we figure out why, let's skip the test on ext4 (which is reported
as ext2/ext3 by stat).

TEST-46-HOMED: Only run resize tests on btrfs

Other filesystems do not support online shrinking.

TEST-53-ISSUE-16347: Add rtc configuration for qemu

TEST-55-OOMD: Configure init.scope credential in mkosi image

TEST-55-OOMD: Skip on opensuse

opensuse does not have the stress tool packaged.

TEST-55-OOMD: swapoff before adding new swapfile

When running test images built with read-only /usr
a swap partition is likely so needs to be turned off first.

TEST-04-JOURNAL: Skip bsod test if systemd-bsod is not installed

systemd is built without qrencode support on CentOS which means
systemd-bsod will not be installed. Let's skip the test if that's
the case.

TEST-04-JOURNAL: Run with persistent journal

This test depends on having the journal in /var/log/journal.

TEST-04-JOURNAL: Make more robust

Avoid hitting https://github.com/systemd/systemd/issues/2913 by adding
some more sleeps. This is required to make the test pass when executed
with mkosi on my machine.

TEST-07-PID1: Schedule exit on successful execution

The test unit has RemainAfterExit=yes so let's schedule our own
shutdown from the test itself once we finish running.

TEST-07-PID1: Test access to allocated loop instead of loop0

loop0 and 1 can be used by systemd-repart and vanish
but we can guarantee that $LODEV was allocated and is available.

TEST-07-PID1: Lower TriggerLimitIntervalSec= unconditionally

It shouldn't hurt to do this when KVM is enabled or we're not collecting
coverage so let's just always lower the trigger limit interval.

TEST-07-PID1: Move mount units to test dir

To load the units it is sufficient to add them to the units directory
and it's a step towards not needing any customisations for this test.

TEST-70-TPM2: Call udevadm wait after attaching disk image

Otherwise /dev/loop0p1 might not exist when calling
systemd-cryptsetup attach.

TEST-70-TPM2: Add dependency on tpm2.target

Let's make sure the TPM is available before running the test as the
test makes use of it.

TEST-74-AUX-UTILS: Use persistent journal

This test depends on having the journal in /var/log/journal.

TEST-74-AUX-UTILS: Drop usage of loop module

This module is builtin on ubuntu causing the test to fail. Let's
use just dummy instead. I tried replacing it with scsi_debug but
that caused issues with modprobe complaining it could not remove
scsi_debug because it was in use.

TEST-74-AUX-UTILS: Skip run0 test if pam snippet is not installed

TEST-74-AUX-UTILS: Make sure at least two locales exist

TEST-74-AUX-UTILS: Support running on UEFI systems

build(deps): bump pkg/debian from `f550017` to `50b20e2`

Bumps pkg/debian from `f550017` to `50b20e2`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

TEST-74-AUX-UTILS: Support systems with pre-existing modules config

TEST-74-AUX-UTILS: Support credential-provided root SSH public key

When root authorized keys are provided by mkosi they are not
newline-terminated so appending a public key to the file results
in a corrupt key, so just to be safe we add an empty line.

TEST-75-RESOLVED: Ignore resource record ifindex field

Depending on host configuration this may or may not be included (e.g.
on mkosi we get a result without an ifindex field). Let's strip it from
the resolved reply to avoid failing the test.

TEST-75-RESOLVED: Add missing sleep after knotc reload

We already have this workaround for knotc reload a little further
in the test, let's apply it to our first invocation of knotc reload
as well.

TEST-75-RESOLVED: Restart systemd-networkd

systemd-networkd might already be running, let's make sure we restart
it if it is already running.

TEST-75-RESOLVED: Move knot configuration to /usr/lib/systemd/tests/testdata

This allows the logic to install the configuration to be done inside
the test itself which allows it to be shared with mkosi.

TEST-21-DFUZZER: Give higher priority

This test takes a long time to run. Let's make sure it is started
first to avoid it being the only test running for a long time at the
end.

TEST-21-DFUZZER: Bump timeout to 1h

TEST-21-DFUZZER: Skip test if dfuzzer is not installed

test: Fix udev storage test name

test: Add missing TEST-69-SHUTDOWN to list

test: Remove flaky test comments

These two tests don't seem to fail in CI, so let's remove the comments
about flakyness.

test: Always shutdown on test success in mkosi

When we want to get an interactive shell in a test that fails because
of a race condition, we might need to run the test a few times with
--repeat before it fails. However, currently, when -i is used, the VM
needs to be shut down manually each time before the next run can start.

Let's always shut down the VM if the test succeeds so that --repeat can
be used with -i to run the test until it fails and then get an interactive
shell in the VM.

test: Use MESON_TEST_ITERATION if available

This allows running the same test multiple times concurrently with
meson's --repeat option. Proposed upstream but not yet merged:
https://github.com/mesonbuild/meson/pull/13177.

test: Pass through test matching environment variables to the mkosi VM

test: Only set environment variable if integration tests are enabled.

If we set it to '0' if integration tests are not enabled then we can't
enable them from the command line since environment from meson takes
priority over environment variables from the command line.

We also rename the related variables to avoid conflicts with the
existing integration_tests variable.

mkosi: Add dependency to system image on minimal-base

The output is included as an extra tree so it should be a dependency,
even if it is pulled in transitively via minimal-0 and minimal-1
already.

mkosi: Install dbus policy required by TEST-23-UNIT-FILE

Co-authored-by: Richard Maw <richard.maw@codethink.co.uk>

mkosi: Remove /etc/default/keyboard if it exists

Required to make TEST-73-LOCALE pass on Ubuntu.

mkosi: Make sure tmp.mount is not messed with on Debian/Ubuntu

We want /tmp to be a tmpfs so let's hack the debian packaging to
make sure that's the case until the debian packaging is fixed to
make /tmp a tmpfs for UPSTREAM=1 builds.

mkosi: Install stress

Required for TEST-55-OOMD. Not available on opensuse.

mkosi: Install veritysetup

Only missing on CentOS/Fedora/OpenSUSE as in Arch/Debian/Ubuntu it's
part of the cryptsetup package which we already install.

Required for TEST-58-REPART.

mkosi: Install dig

Required for TEST-75-RESOLVED

mkosi: Install knot

Required for TEST-75-RESOLVED

mkosi: Use /etc/nsswitch.conf from repo in mkosi image

mkosi: Disable ext4's orphan_file feature for centos images

Not supported by e2fsck from centos. We also disable building repart
from source in CI as running it from the build directory means repart
will run mkfs.ext4 from the host which doesn't know about the orphan_file
feature causing it to fail.

mkosi: Enable udev debug logging in CI

It's very useful to debug race conditions with loop devices, so let's
enable the logging now that it goes to the journal and not to the
console.

mkosi: Move sbsigntools to CentOS/Fedora shared configuration

sbsigntools was added to EPEL 9.

mkosi: Drop glibc-langpack-en from Fedora specific packages

It's already added in the CentOS/Fedora shared configuration.

mkosi: Install dfuzzer on CentOS/Fedora images

Required for TEST-21-DFUZZER.

mkosi: Insist on KVM, VSOCK and TPM by default

By default mkosi will not run VMs with these features if they're not
available, but since various stuff in systemd makes use of these, let's
fail loudly if any of these are not available by default in systemd.

Users can still override these defaults locally if they wish.

mkosi: Update to latest

test: Formatting fixes

man: Remove OSConfig project mentioning for systemd-confext

The systemd-confext use case description was mentioning an OSConfig
project which won't say much to users. Also, it's good to call out that
systemd-confext provides a reliable way to manage configuration because
in contrast to other tools it will remove all old configuration files.

hwdb: Add mapping for Xiaomi Mipad 2 bottom bezel capacitive buttons

The Xiaomi Mipad2 tablet has 3 capacitive buttons at the bottom.
These 3 buttons are handled by the touchsceen (the touchscreen extends
downwards to cover the bottom bezel).

By default these send Windows specific shortcuts which do not work
with Linux desktop environments:

Menu: LeftMeta + S
Home: LeftCtrl + Esc
Back: Backspace

Map these to menu / leftmeta (Windows key / Win 8 tablet home button key) /
back.

meson: Add missing spdx line

meson: Test installation fixes

Let's use the new follow_symlinks flag instead on newer meson to.
We also switch back to copying symlinks instead of following them
and add an exclude for 25-default.link which becomes dangling when
installed and recreate it manually instead.

meson: Set up git submodule update on post checkout as well

meson: Remove --debug from mkosi arguments

The exit status issue for which we introduced this was fixed so
let's remove --debug again to make the meson output less verbose.

core: Record ExecMainStartTimestamp before forking

Otherwise there's a chance the handover timestamp is less than the
start timestamp depending on the whims of the scheduler.

For non-forking services, we also propagate the start timestamp into
Service->main_exec_status to make sure it starts earlier than the
handoff timestamp.

Merge pull request #32588 from CodethinkLabs/mkosi-selinux

Add TEST-06-SELINUX to mkosi integration tests

man/run0: Describe environment variables set (#32622)

* man/run0: Describe environment variables set

test: replace Europe/Kiev with Europe/Kyiv

As the former is deprecated and might not be available (i.e. on Ubuntu
Noble it's only available after installing the tzdata-legacy package).

journal: Serialize __MONOTONIC_TIMESTAMP metadata field as well

Otherwise the forwarded journals won't have any monotonic timestamps.

test: Enable TEST-06-SELINUX testing with mkosi

mkosi: Disable selinux labelling and install policy in initramfs

It is necessary to install the selinux policy in the initramfs
so that userland is entered with the correct label.

SELinuxRelabel defaults to auto, which will skip if the relabelling
command is not installed and will treat failure to relabel as non-fatal.

We can't force it on because root privileges are required if the labels
don't exist on the host system and we would like to be able to
cross-build from other distributions.

Since we are already committed to relabelling on first boot
there is no value in even trying to label.

test: Integrate custom selinux relabelling unit with firstboot

test: Skip TEST-06-SELINUX early if not on fedora/centos

Other distributions may be able to install selinux
but they are not expected to use it.

The distribution is tested rather than whether selinux is enabled
because it is expected to work on CentOS and Fedora
and we want it to fail noisily.

mkosi: Fix particle profile

The sbsign and ukify part was moved into a finalize script
rather than a postinst.chroot script so was using host tools
instead of just-built.

build(deps): bump pkg/debian from `9a5adf2` to `f550017`

Bumps pkg/debian from `9a5adf2` to `f550017`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

man: improve documentation about using resource-control options

According to the documentation in systemd.resource-control(5),
resource-control options may be used in mount, scope, service,
slice, socket and swap units.
While e.g. systemd.service(5) includes that information,
documentation for some other units does not.

The most problematic example is systemd.slice(5).
Its documentation states a slice unit may only contain [Install]
and [Unit] sections, while actually it may contain also a [Slice]
section with options from systemd.resource-control(5).
units/user/app.slice is an example of a slice unit having a [Slice]
section.

test: drop --tpm2-public-key= from TEST-70

Fixes test failure

Follow-up for 03e3b2672bb6c242c445ee8c02ae7d23dbfcf87d

nspawn, vmspawn, run0: add env var for turning off background tinting

Some people are just sad, sad lost souls who don't like even the tiniest
ray of color in their life. Let's add an env var knob for allowing them
to turn the background tinting off, to drive the last bit of color from
their life so that they can stay in their grey grey life.

journal: explicitly sync namespaced journals before stopping socket units

Otherwise, if a service unit that requests LogNamespace= stopped before
systemd-journald@.service is started, logs generated by the service will be
lost, as systemd-journald@.socket is stopped and
systemd-journald@.service will never started.

To prevent the issue, let's introduce another implicit dependency to
a oneshot service that explicitly synchronizes a namespaced journal file
when the log namespace is not needed anymore.

Fixes #32604.

vmspawn,man: move the varlistentry for -D into a variablelist

This is so that systemd.directives picks up the -D argument as being
supported by vmspawn.

tree-wide: fix type confusion around parsing JSON booleans

Sometimes we store them in a tristate, sometimes in C stdbool booleans.
Sometimes we fucked up picking the right parsing function however. Fix
that.

news: refer to ForwardToSocket instead of ForwardAddress

update TODO

cryptenroll: disable loading public key if --tpm2-public-key= is empty

libfido2-util: fix a regression in the pre-flight mechanism

The recently merged PR #32295 introduced support for the credProtect
extension, but in doing so, it broke the discoverability of credentials
by setting the policy to FIDO_CRED_PROT_UV_REQUIRED for UV-less,
PIN-protected credentials. This policy would require us to pass the PIN
to the token in the pre-flight request to be able to discover it,
which defeats the purpose of pre-flight requests as they're supposed
to be non-interactive.

This commit restricts the usage of credProtect to UV credentials only.

build(deps): bump pkg/arch from `dd7aff4` to `b13e94a`

Bumps pkg/arch from `dd7aff4` to `b13e94a`.

---
updated-dependencies:
- dependency-name: pkg/arch
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

importctl: fix flag checking against wrong variable

Fixes 67c7ee11afb5ff703c3ca8e390c8360140298a0f

Merge pull request #32592 from yuwata/journal-timestamp

journal: several timestamp cleanups and improvements

Merge pull request #32609 from systemd/dependabot/github_actions/github/super-linter-6

build(deps): bump github/super-linter from 5.0.0 to 6

ci: point Super-Linter to the new upstream

Looks like since [0] the Super-Linter repo was moved to
super-linter/super-linter and github/super-linter is just a fork, so
let's update the reference accordingly.

[0] https://github.com/github/super-linter/commit/59fac7946c4891bb4867ebb4ffdb05c32fac3cf4

ci: explicitly disable multi status for Super-Linter

The multi status feature requires $GITHUB_TOKEN, and since [0] it
defaults to true. Since we don't need it, let's explicitly disable the
feature.

[0] https://github.com/super-linter/super-linter/commit/e6e6e1fa5f60e15d7e9b89248bb0809bea1c17e9

po: update Italian translation (#32621)

Merge pull request #32617 from yuwata/journal-sync

journald: wait for journal files fsync()ed on Synchronize() varlink method

core/selinux-access: use empty_to_na where appropriate

logs-show: adjust source timestamp with header timestamp

Previously, _SOURCE_REALTIME_TIMESTAMP was only used for realtime
timestamp, and _SOURCE_MONOTONIC_TIMESTAMP was for monotonic.

This make these journal field used more aggressively. If we need
realtime timestamp, but an entry has only _SOURCE_MONOTONIC_TIMESTAMP,
then now realtime timestamp is calculated based on
_SOURCE_MONOTONIC_TIMESTAMP and the header dual timestamp.
Similary, monotonic timestamp is obtained from
_SOURCE_REALTIME_TIMESTAMP and the header dual timestamp.

This should change shown timestamps not so much in most cases, but may
be improve the situation such as #32492.

logs-show: make output_timestamp_realtime() only take realtime timestamp

No functional change, just refactoring and preparation for later
commits.

sd-journal: verify monotonic timestamp before assigning result

Previously, ret_boot_id was assigned even when the function failed due
to an invalid monotonic timestamp stored for a journal entry.

journal: use STRLEN() and xsprintf()

No functional change, just refactoring.

journald-audit: set _SOURCE_REALTIME_TIMESTAMP= field in server_dispatch_message()

No functional change, just refactoring.