TEST-04-JOURNAL: Run with persistent journal

This test depends on having the journal in /var/log/journal.

TEST-04-JOURNAL: Make more robust

Avoid hitting https://github.com/systemd/systemd/issues/2913 by adding
some more sleeps. This is required to make the test pass when executed
with mkosi on my machine.

TEST-07-PID1: Schedule exit on successful execution

The test unit has RemainAfterExit=yes so let's schedule our own
shutdown from the test itself once we finish running.

TEST-07-PID1: Test access to allocated loop instead of loop0

loop0 and 1 can be used by systemd-repart and vanish
but we can guarantee that $LODEV was allocated and is available.

TEST-07-PID1: Lower TriggerLimitIntervalSec= unconditionally

It shouldn't hurt to do this when KVM is enabled or we're not collecting
coverage so let's just always lower the trigger limit interval.

TEST-07-PID1: Move mount units to test dir

To load the units it is sufficient to add them to the units directory
and it's a step towards not needing any customisations for this test.

TEST-70-TPM2: Call udevadm wait after attaching disk image

Otherwise /dev/loop0p1 might not exist when calling
systemd-cryptsetup attach.

TEST-70-TPM2: Add dependency on tpm2.target

Let's make sure the TPM is available before running the test as the
test makes use of it.

TEST-74-AUX-UTILS: Use persistent journal

This test depends on having the journal in /var/log/journal.

TEST-74-AUX-UTILS: Drop usage of loop module

This module is builtin on ubuntu causing the test to fail. Let's
use just dummy instead. I tried replacing it with scsi_debug but
that caused issues with modprobe complaining it could not remove
scsi_debug because it was in use.

TEST-74-AUX-UTILS: Skip run0 test if pam snippet is not installed

TEST-74-AUX-UTILS: Make sure at least two locales exist

TEST-74-AUX-UTILS: Support running on UEFI systems

TEST-74-AUX-UTILS: Support systems with pre-existing modules config

TEST-74-AUX-UTILS: Support credential-provided root SSH public key

When root authorized keys are provided by mkosi they are not
newline-terminated so appending a public key to the file results
in a corrupt key, so just to be safe we add an empty line.

TEST-75-RESOLVED: Ignore resource record ifindex field

Depending on host configuration this may or may not be included (e.g.
on mkosi we get a result without an ifindex field). Let's strip it from
the resolved reply to avoid failing the test.

TEST-75-RESOLVED: Add missing sleep after knotc reload

We already have this workaround for knotc reload a little further
in the test, let's apply it to our first invocation of knotc reload
as well.

TEST-75-RESOLVED: Restart systemd-networkd

systemd-networkd might already be running, let's make sure we restart
it if it is already running.

TEST-75-RESOLVED: Move knot configuration to /usr/lib/systemd/tests/testdata

This allows the logic to install the configuration to be done inside
the test itself which allows it to be shared with mkosi.

TEST-21-DFUZZER: Give higher priority

This test takes a long time to run. Let's make sure it is started
first to avoid it being the only test running for a long time at the
end.

TEST-21-DFUZZER: Bump timeout to 1h

TEST-21-DFUZZER: Skip test if dfuzzer is not installed

test: Fix udev storage test name

test: Add missing TEST-69-SHUTDOWN to list

test: Remove flaky test comments

These two tests don't seem to fail in CI, so let's remove the comments
about flakyness.

test: Always shutdown on test success in mkosi

When we want to get an interactive shell in a test that fails because
of a race condition, we might need to run the test a few times with
--repeat before it fails. However, currently, when -i is used, the VM
needs to be shut down manually each time before the next run can start.

Let's always shut down the VM if the test succeeds so that --repeat can
be used with -i to run the test until it fails and then get an interactive
shell in the VM.

test: Use MESON_TEST_ITERATION if available

This allows running the same test multiple times concurrently with
meson's --repeat option. Proposed upstream but not yet merged:
https://github.com/mesonbuild/meson/pull/13177.

test: Pass through test matching environment variables to the mkosi VM

test: Only set environment variable if integration tests are enabled.

If we set it to '0' if integration tests are not enabled then we can't
enable them from the command line since environment from meson takes
priority over environment variables from the command line.

We also rename the related variables to avoid conflicts with the
existing integration_tests variable.

mkosi: Add dependency to system image on minimal-base

The output is included as an extra tree so it should be a dependency,
even if it is pulled in transitively via minimal-0 and minimal-1
already.

mkosi: Install dbus policy required by TEST-23-UNIT-FILE

Co-authored-by: Richard Maw <richard.maw@codethink.co.uk>

mkosi: Remove /etc/default/keyboard if it exists

Required to make TEST-73-LOCALE pass on Ubuntu.

mkosi: Make sure tmp.mount is not messed with on Debian/Ubuntu

We want /tmp to be a tmpfs so let's hack the debian packaging to
make sure that's the case until the debian packaging is fixed to
make /tmp a tmpfs for UPSTREAM=1 builds.

mkosi: Install stress

Required for TEST-55-OOMD. Not available on opensuse.

mkosi: Install veritysetup

Only missing on CentOS/Fedora/OpenSUSE as in Arch/Debian/Ubuntu it's
part of the cryptsetup package which we already install.

Required for TEST-58-REPART.

mkosi: Install dig

Required for TEST-75-RESOLVED

mkosi: Install knot

Required for TEST-75-RESOLVED

mkosi: Use /etc/nsswitch.conf from repo in mkosi image

mkosi: Disable ext4's orphan_file feature for centos images

Not supported by e2fsck from centos. We also disable building repart
from source in CI as running it from the build directory means repart
will run mkfs.ext4 from the host which doesn't know about the orphan_file
feature causing it to fail.

mkosi: Enable udev debug logging in CI

It's very useful to debug race conditions with loop devices, so let's
enable the logging now that it goes to the journal and not to the
console.

mkosi: Move sbsigntools to CentOS/Fedora shared configuration

sbsigntools was added to EPEL 9.

mkosi: Drop glibc-langpack-en from Fedora specific packages

It's already added in the CentOS/Fedora shared configuration.

mkosi: Install dfuzzer on CentOS/Fedora images

Required for TEST-21-DFUZZER.

mkosi: Insist on KVM, VSOCK and TPM by default

By default mkosi will not run VMs with these features if they're not
available, but since various stuff in systemd makes use of these, let's
fail loudly if any of these are not available by default in systemd.

Users can still override these defaults locally if they wish.

mkosi: Update to latest

test: Formatting fixes

meson: Add missing spdx line

meson: Test installation fixes

Let's use the new follow_symlinks flag instead on newer meson to.
We also switch back to copying symlinks instead of following them
and add an exclude for 25-default.link which becomes dangling when
installed and recreate it manually instead.

meson: Set up git submodule update on post checkout as well

meson: Remove --debug from mkosi arguments

The exit status issue for which we introduced this was fixed so
let's remove --debug again to make the meson output less verbose.

Merge pull request #32588 from CodethinkLabs/mkosi-selinux

Add TEST-06-SELINUX to mkosi integration tests

man/run0: Describe environment variables set (#32622)

* man/run0: Describe environment variables set

test: replace Europe/Kiev with Europe/Kyiv

As the former is deprecated and might not be available (i.e. on Ubuntu
Noble it's only available after installing the tzdata-legacy package).

journal: Serialize __MONOTONIC_TIMESTAMP metadata field as well

Otherwise the forwarded journals won't have any monotonic timestamps.

test: Enable TEST-06-SELINUX testing with mkosi

mkosi: Disable selinux labelling and install policy in initramfs

It is necessary to install the selinux policy in the initramfs
so that userland is entered with the correct label.

SELinuxRelabel defaults to auto, which will skip if the relabelling
command is not installed and will treat failure to relabel as non-fatal.

We can't force it on because root privileges are required if the labels
don't exist on the host system and we would like to be able to
cross-build from other distributions.

Since we are already committed to relabelling on first boot
there is no value in even trying to label.

test: Integrate custom selinux relabelling unit with firstboot

test: Skip TEST-06-SELINUX early if not on fedora/centos

Other distributions may be able to install selinux
but they are not expected to use it.

The distribution is tested rather than whether selinux is enabled
because it is expected to work on CentOS and Fedora
and we want it to fail noisily.

mkosi: Fix particle profile

The sbsign and ukify part was moved into a finalize script
rather than a postinst.chroot script so was using host tools
instead of just-built.

build(deps): bump pkg/debian from `9a5adf2` to `f550017`

Bumps pkg/debian from `9a5adf2` to `f550017`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

man: improve documentation about using resource-control options

According to the documentation in systemd.resource-control(5),
resource-control options may be used in mount, scope, service,
slice, socket and swap units.
While e.g. systemd.service(5) includes that information,
documentation for some other units does not.

The most problematic example is systemd.slice(5).
Its documentation states a slice unit may only contain [Install]
and [Unit] sections, while actually it may contain also a [Slice]
section with options from systemd.resource-control(5).
units/user/app.slice is an example of a slice unit having a [Slice]
section.

test: drop --tpm2-public-key= from TEST-70

Fixes test failure

Follow-up for 03e3b2672bb6c242c445ee8c02ae7d23dbfcf87d

nspawn, vmspawn, run0: add env var for turning off background tinting

Some people are just sad, sad lost souls who don't like even the tiniest
ray of color in their life. Let's add an env var knob for allowing them
to turn the background tinting off, to drive the last bit of color from
their life so that they can stay in their grey grey life.

journal: explicitly sync namespaced journals before stopping socket units

Otherwise, if a service unit that requests LogNamespace= stopped before
systemd-journald@.service is started, logs generated by the service will be
lost, as systemd-journald@.socket is stopped and
systemd-journald@.service will never started.

To prevent the issue, let's introduce another implicit dependency to
a oneshot service that explicitly synchronizes a namespaced journal file
when the log namespace is not needed anymore.

Fixes #32604.

vmspawn,man: move the varlistentry for -D into a variablelist

This is so that systemd.directives picks up the -D argument as being
supported by vmspawn.

tree-wide: fix type confusion around parsing JSON booleans

Sometimes we store them in a tristate, sometimes in C stdbool booleans.
Sometimes we fucked up picking the right parsing function however. Fix
that.

news: refer to ForwardToSocket instead of ForwardAddress

update TODO

cryptenroll: disable loading public key if --tpm2-public-key= is empty

libfido2-util: fix a regression in the pre-flight mechanism

The recently merged PR #32295 introduced support for the credProtect
extension, but in doing so, it broke the discoverability of credentials
by setting the policy to FIDO_CRED_PROT_UV_REQUIRED for UV-less,
PIN-protected credentials. This policy would require us to pass the PIN
to the token in the pre-flight request to be able to discover it,
which defeats the purpose of pre-flight requests as they're supposed
to be non-interactive.

This commit restricts the usage of credProtect to UV credentials only.

build(deps): bump pkg/arch from `dd7aff4` to `b13e94a`

Bumps pkg/arch from `dd7aff4` to `b13e94a`.

---
updated-dependencies:
- dependency-name: pkg/arch
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

importctl: fix flag checking against wrong variable

Fixes 67c7ee11afb5ff703c3ca8e390c8360140298a0f

Merge pull request #32592 from yuwata/journal-timestamp

journal: several timestamp cleanups and improvements

Merge pull request #32609 from systemd/dependabot/github_actions/github/super-linter-6

build(deps): bump github/super-linter from 5.0.0 to 6

ci: point Super-Linter to the new upstream

Looks like since [0] the Super-Linter repo was moved to
super-linter/super-linter and github/super-linter is just a fork, so
let's update the reference accordingly.

[0] https://github.com/github/super-linter/commit/59fac7946c4891bb4867ebb4ffdb05c32fac3cf4

ci: explicitly disable multi status for Super-Linter

The multi status feature requires $GITHUB_TOKEN, and since [0] it
defaults to true. Since we don't need it, let's explicitly disable the
feature.

[0] https://github.com/super-linter/super-linter/commit/e6e6e1fa5f60e15d7e9b89248bb0809bea1c17e9

po: update Italian translation (#32621)

Merge pull request #32617 from yuwata/journal-sync

journald: wait for journal files fsync()ed on Synchronize() varlink method

core/selinux-access: use empty_to_na where appropriate

logs-show: adjust source timestamp with header timestamp

Previously, _SOURCE_REALTIME_TIMESTAMP was only used for realtime
timestamp, and _SOURCE_MONOTONIC_TIMESTAMP was for monotonic.

This make these journal field used more aggressively. If we need
realtime timestamp, but an entry has only _SOURCE_MONOTONIC_TIMESTAMP,
then now realtime timestamp is calculated based on
_SOURCE_MONOTONIC_TIMESTAMP and the header dual timestamp.
Similary, monotonic timestamp is obtained from
_SOURCE_REALTIME_TIMESTAMP and the header dual timestamp.

This should change shown timestamps not so much in most cases, but may
be improve the situation such as #32492.

logs-show: make output_timestamp_realtime() only take realtime timestamp

No functional change, just refactoring and preparation for later
commits.

sd-journal: verify monotonic timestamp before assigning result

Previously, ret_boot_id was assigned even when the function failed due
to an invalid monotonic timestamp stored for a journal entry.

journal: use STRLEN() and xsprintf()

No functional change, just refactoring.

journald-audit: set _SOURCE_REALTIME_TIMESTAMP= field in server_dispatch_message()

No functional change, just refactoring.

hwdb: Add mapping for Samsung GalaxyBook - 550X (#32616)

- Kernel: linux-6.8.8-arch
- systemd: 255.5-3-arch
- Laptop: Samsung GalaxyBook - NP550XDA-KF1BR

This is the solution to a problem with the Samsung GalaxyBook in which some Media keys,
when pressed and released, get stuck as if they are hold.

Merge pull request #32595 from bluca/old_docs

Remove outdated documents

journald: wait for journal files fsync()ed on Synchronize() varlink method

Otherwise, we may not be able to read newer journal entries even after
'journalctl --sync' is called.

Closing #32539.

journald: make several functions static

resolved: validate authentic insecure delegation to CNAME

If the parent zone uses a non-opt-out method that provides authenticated
negative DS replies, we still can't expect signatures from the child
zone. sd-resolved was using the authenticated status of the DS reply to
require signatures for CNAMEs, even though it had already proved that no
signature exists.

Fixes: 47690634f157 ("resolved: don't request the SOA for every dns label")

resolved: probe for dnssec support in allow-downgrade mode

Previously, sd-resolved unnecessarily requested SOA records for each dns
label in the query, even though they are not needed for the chain of
trust. Since 47690634f157, only the necessary records are queried when
validating.

This is actually a problem in allow-downgrade mode, since we will no
longer attempt a query for a record that we know is signed a priori, and
will therefore never update our belief about the state of dnssec support
in the recursive resolver.

Rectify this by reintroducing a query for the root zone SOA in the
allow-downgrade case, specifically to test that the resolver attaches
the RRSIGs which we know must exist.

Fixes: 47690634f157 ("resolved: don't request the SOA for every dns label")

Merge pull request #32613 from arthurzam/bash-v256

More shell-completions work

shell-completion: add bash completion for systemd-vmspawn

Signed-off-by: Arthur Zamarin <arthurzam@gentoo.org>

shell-completion: add missing args to zsh resolvectl

Signed-off-by: Arthur Zamarin <arthurzam@gentoo.org>

shell-completion: add missing args to bash resolvectl

Signed-off-by: Arthur Zamarin <arthurzam@gentoo.org>

shell-completion: add missing args to bash systemd-analyze

Signed-off-by: Arthur Zamarin <arthurzam@gentoo.org>

reboot-util: Add some basic validation on reboot arguments

Let's only accept valid ASCII and put a size limit on reboot arguments.

Merge pull request #32611 from DaanDeMeyer/qdisc

network/tc: Avoid concurrent set modification in tclass_drop()/qdisc_drop()

network/tc: Avoid concurrent set modification in tclass_drop()/qdisc_drop()

With the current algorithm, we can end up removing entries from the
qdisc/tclass sets while having multiple open iterators over the sets at
various positions which leads to assertion failures in the hashmap logic
as it's only safe to remove the "current" entry.

To avoid the problem, let's split up marking and dropping of tclasses
and qdiscs. First, we recursively iterate tclasses/qdiscs and mark all
that need to be removed. Next, we iterate once over tclasses and qdiscs
and remove all marked entries.

Fixes 632d321050f58fe1b5bed7cfe769d212377c0301

test-network: Make source directory optional

test: Follow symlinks when copying with rsync

We have e.g. 25-default.link in test-network/ which becomes a broken
symlink when installed so let's not copy the symlinks but follow them
instead so they don't become broken.