tests: Build with --incremental=strict

Let's require cached images to be present before running the
integration tests. This makes sure the tests only need to build the
output that they're testing and it also opens up the road for running
tests in parallel in the future.

Remove package manager from cache manifest

We don't always have the tools tree available yet when generating the
cache manifest which can lead to cache manifest mismatches depending on
whether the tools tree is available or not. Since the package manager field
depends on whether the tools tree is available or not (dnf or dnf5, dnf or zypper),
let's remove it from the cache manifest.

ci: Don't build tools tree as root

Build incremental by default

Use host model cpu

mkosi currently calls qemu with `-cpu max`. This enables all features
supported by the accelerator, which could be less than the ones
supported by the host.

Switch to the default `-cpu host` and keep max only when using binary
translation.

Rework crypto-policies handling slightly

Let's bind mount from the tools tree if it provides crypto policies
and only write our own for rpm-sequoia if the tools tree doesn't provide
its own crypto policies.

Don't do proxy mounts in relaxed sandbox

These aren't required in a relaxed sandbox.

docs: Add note about SandboxTrees= to SkeletonTrees=

sandbox: Spit out some info when initial unshare gets EPERM

To try and minimise the pain of this issue
(https://github.com/systemd/mkosi/issues/3265), dump some info that might help
users resolve it.

I had a quick look around expecting to find a document from Red Hat discussing
this topic much like the Ubuntu one I've linked here, but I didn't find it.
Hopefully if it exists someone else can add it later.

I'm doing this via a direct write to stderr because of the comment at the top of
sandbox.py saying to avoid imports. If this is highly undesirable it looks like
log.log_notice would  be the right choice here (then you don't need the
annoying ANSI codes).

mkosi-initrd: remove dpkg in newer ubuntu/debian releases

mkosi-initrd: also take input from /etc/kernel/cmdline

Other kernel-install plugins (for Type 1) already take /etc/kernel/cmdline
into account when generating the local cmdline entry, so do the same
in mkosi-initrd for the UKI

fedora: Bump default release to 41

arch: Bump initrd size

Fixes CI.

Only validate keys and certificates that are configured

Otherwise we'll fail later on if they are not configured and are
required so let's only validate them if they actually are configured.

man: cover both systemd-dissect and portablectl in FAQ

man: add an FAQ entry about PORTABLE_PREFIXES=

Define virt as default QEMU machine for riscv64

The documentation says:
> It is the recommended board type if you simply want to run a guest
> such as Linux and do not care about reproducing the idiosyncrasies and
> limitations of a particular bit of real-world hardware.
https://qemu.readthedocs.io/en/v9.1.0/system/riscv/virt.html

Bump github/codeql-action from 3.27.0 to 3.27.5

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.27.0 to 3.27.5.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/662472033e021d55d94146f66f6058822b0b39fd...f09c1c0a94de965c15400f5634aa42fac8fb8f88)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3254 from behrmann/minordistributionsfixes

Minor distribution fixes

debian: use pretty name in error message

This way the error message works better for downstreams.

use Distribution.is_apt_distribution in detect_distribution

Only run systemd-keyutil if secure boot key and cert exist

sandbox: Bind mount on top of symlink if possible

Instead of mounting on top of the resolved symlink, let's just mount
directly on top of the symlink if we can.

Fixes #3247

action: Fix symlink creation

doc: make ToolsTreeDistribution default match easier to understand

Merge pull request #3243 from DaanDeMeyer/fix

Fix Partition split_path calculation

Improve error message formatting a bit

Only remove initrd cache entries

Fixes #3237

Add strict incremental check for default initrd

action: Install to $HOME/.local/bin as well

Skip tools checks for build step if output format is none

If we're only running things up until the build scripts we're not
going to be running any of the tools we check for so skip the checks
in that case.

Fix unified kernel image profiles check

Turns out we already had this check, so remove the extra one we added
and fix the existing one.

Fix Partition split_path calculation

Now that we use workdir() in make_image(), we have to change the
Partition initializer to remove the path added by workdir() again
to get the proper path on the host.

Fixes #3242.

Improve maybe_compress() formatting

Don't resolve deps if we're reusing previous config

We ignore subimages if we're reusing the previous config so let's
make sure we ignore subimages as well after running configure scripts
if we're reusing previous config.

Fixes #3238

Revert "Remove tools argument from finaiize_default_initrd()"

This reverts commit 75a22e52602f18f887a0bac82eaf84e5983941c1.

Make sure ukify is recent enough to build UKI profiles

Merge pull request #3233 from DaanDeMeyer/initrd

Various default initrd fixes

Remove tools argument from finaiize_default_initrd()

Not required anymore since the tools tree isn't part of the cache
manifest anymore.

Rework default initrd cleanup

Currently we only remove the default initrd image cache if the
main image cache is out-of-date and not if the initrd cache is
out-of-date.

Let's fix the problem by calling run_clean() separately on the default
initrd.

Fixes #3231

Fix metadata removal

Remove --force from default initrd command line

We don't use the resulting Args instance so no point in passing
--force.

mkosi-initrd: Install btrfs-progs

Even if fsck.btrfs doesn't do anything particularly useful, given we
install the fs tools of all the other filesystems, let's install btrfs-progs
as well. This is also useful when using systemd-repart to create the
root filesystem on first boot.

Fix typo

nspawn: Fix uidmap for build directory

The build directory is now owned by the running user as well so we
have to apply rootidmap just like we do with all the other mounts
already.

Merge pull request #3227 from DaanDeMeyer/extra-search-paths

Use tools tree again for ssh, coredumpctl and journalctl

Drop ForwardJournal= integration for coredumpctl and journalctl verbs

Now that we have the sandbox verb, this is trivial to achieve with the
sandbox verb so let's keep the coredumpctl and journalctl verbs focused
solely on reading the journal and coredumps from the image itself and leave
inspecting the forwarded journal to mkosi sandbox.

Technically this breaks compat but I'm convinced nobody's actually using this
specific bit of integration so it shouldn't matter if we remove it.

Use tools tree again for ssh, coredumpctl and journalctl

In effect these verbs are very similar to the sandbox verb except
they run a predefined command line instead of an arbitrary one. So
let's make them behave the same as the sandbox verb when it comes to
the tools tree.

Fix CodeQL warning

mkosi-tools: Only install pkcs11-provider where available

Fixes #3224

Document where kernels go

As pointed out to me by Nils K on Matrix:

https://github.com/systemd/mkosi/blob/b2f818c6f7df0f9def7fc6eeec0de8354b67d02d/mkosi/bootloader.py#L726

Clarify shell vs boot in man page

In retrospect it seems like this should have been obvious but it
confused me. Thanks to Daan for pointing it out on Matrix. Reword to
help out people like me in the future.

mkosi-initrd: Disable split artifacts

Include machine name in virtiofsd unit name

If the same directory is shared across multiple guests, we end up
with duplicate unit names even though we need separate virtiofsd
instances. Let's fix this by including the machine name in the
virtiofsd unit name so that the unit names will be unique across
guests.

Make ConfigSetting generic

sysupdate: Make it work in combination with a tools tree

- We have to make sure systemd-sysupdate looks at the os-release
from the host even when using a tools tree.
- systemd-sysupdate can't detect the root block device when running
with a tools tree. Let's abuse /run/systemd/volatile-root to shortcut
the detection logic instead.

mkosi-initrd: Include extra modules

These are all modules that the kernel tries to load while in the
initrd on my laptop. All of these seem generic enough to include by
default.

Keep track of collection resets from CLI arguments (fixes #3208)

Previously it was only possible to completely reset but not append,
or only append but not reset to collection/list settings
via command line arguments.
Now we track if a setting has ever been set to None (i.e. reset)
during command line parsing.
This information is used during value finalization
to decide whether to merge both collections or only keep the CLI value.

Improve formatting of needs_build() a little

ci: make the output of the formatting job actionable

Rename "systemd" signtool to "systemd-sbsign" signtool

Matches the naming used by ukify.

Pass sandbox to workdir() in one more function

kmod: do not append glob to search for firmware if it is already there

Some kernel modules use globs in their firmware dependencies:

modinfo ath11k_pci
filename:       /lib/modules/6.11.7-amd64/kernel/drivers/net/wireless/ath/ath11k/ath11k_pci.ko.xz
firmware:       ath11k/WCN6855/hw2.1/*
firmware:       ath11k/WCN6855/hw2.0/*
firmware:       ath11k/QCN9074/hw1.0/*
firmware:       ath11k/QCA6390/hw2.0/*

Which means the glob uses a double "**" which breaks it, and the
firmwares are skipped. Do not add a "*" if it is already present in
the search value.

Propagate --tools-tree-certificates to initrd build

The initrd build uses a config created from a "hand-crafted" command
line passed to `parse_config()`. This command line includes the relevant
settings (i.e. those deemed relevant for build the initrd) from the
"proper" config object.

Since the --tools-tree-certificates setting wasn't added to that command
line, it defaults to true regardless of any setting configured when
invoking mkosi. When building behind a cooperate (transparent) proxy
using a self-signed certificate, the initrd build fails when trying to
download packages (unless the needed packages happened to be downloaded
as part of a previous image build).

Make sure the --tools-tree-certificates setting applies to the initrd
build also, by explicitly including it in the hand-crafted command line.
The setting can be added unconditionally because of the default value
specified in config.py.

Merge pull request #3207 from bluca/mkosi_install

Assorted fixes for mkosi-initrd and kernel-install

kernel-install: do not try to remove split artifacts

They are no longer built in the staging area

kernel-install: plumb stdin/stdout

Otherwise cannot use pin prompts

kernel-install: do not remove uki from staging area

Needed by following kernel-install hooks

kernel-install: name uki output with .efi suffix

90-uki-copy.install expects it

kernel-install: pass --kernel-image to mkosi-initrd if set

kernel-install can be called with a path to a kernel file

mkosi-initrd: add --kernel-image parameter

Will be used by kernel-install which can pass a path to a kernel file

Merge pull request #3205 from DaanDeMeyer/tools

Various tools tree fixes

Require that default tools tree exists when mkosi -t none is invoked

Let's insist on the default tools tree already existing when invoking
mkosi -t none without --force.

Also fail early if default tools tree is out of date without --force

We fail early if the tools tree does not exist and build or --force
was not specified, let's do the same if the tools tree is incremental
and the cache is out-of-date.

Remove distribution from tools tree cache name

We already made the same change for the output, let's make the same
change for the cache name as well.

Drop dead code

We don't use the returned Args object so no point in passing
--force.

Rename some opts to be more consistent

Merge pull request #3204 from bluca/mkosi_initrd_debian

mkosi-initrd fixes

Add createrepo_c to Arch Linux tools tree

archive: pass sandbox to workdir()

Otherwise callign from 50-mkosi.install will fail:

‣ Creating cpio archive /tmp/kernel-install.staging.jNm85k/microcode…
cpio: cannot change to directory `/work/tmp/tmpnlxrwb7k/initrd-microcode-root': No such file or directory
‣ "cpio --create --reproducible --renumber-inodes --null --format=newc --quiet --directory /work/tmp/tmpnlxrwb7k/initrd-microcode-root" returned non-zero exit code 2.

Mark 50-mkosi.install as executable

Allows it to be symlinked in /etc/kernel/install.d to always use latest
main from a repository

Merge pull request #3200 from DaanDeMeyer/passwd-symlink

Use passwd symlinks instead of bind mounts

Add packages required for --qemu-gui to Arch tools tree

qemu: Use advanced form of specifying display

Install pkcs11-provider and opensc in tools tree

Required for signing with openssl pkcs11 provider.

Only allow certificate files when not using systemd-sbsign

Fix condition to also check the certificate source type

Don't require sbsigntools for secure boot auto enroll unless required

If bootctl 257 or newer is installed, we don't use sbsigntools anymore
so don't require it in that case.

Add ToolsTreePackageDirectories=

Sometimes, we want to add locally built rpm packages to the default
tools tree. For example, systemd-repart depends on mkfs binaries that
might not be available on the host system, so the only way to run it
is from within the tools tree, which means we need a way to install
systemd-repart built from source within the tools tree.

Use passwd symlinks instead of bind mounts

Bind mounts don't reflect changes to the original files if they're
replaced instead of modified. Let's use symlinks instead so that
changes to the original files are always reflected.

Fixes #3189

sandbox: Make --symlink work on top of existing files and symlinks

With the new mount API, we can mount on top of existing symlinks and
files, so let's make use of that for --symlink.

sandbox; Only readlink() if the target is a symlink

Check against 257~devel instead of 257

Otherwise the new --secure-boot-auto-enroll= option isn't used with
devel and rc versions of systemd bootctl.

Add sound device when QemuGui=true

Add --debug-sandbox

This will help in debugging sandbox related issues. We run the sandbox
with strace and detach on execve() so we don't strace the command that
we're running.

Merge pull request #3196 from DaanDeMeyer/excl

sandbox: Akways use O_EXCL with O_CREAT

Detect home directories outside of /home properly

Fixes #3191

Check for apt keyring in tools tree

sandbox: Only create parent directories if dst does not exist yet

sandbox: Akways use O_EXCL with O_CREAT

In all cases we want to make sure that we're the ones creating the
file so let's specify O_EXCL.