Wait until sandbox exec()'s specified command before continuing

Let's wait in spawn() until all setup logic has completed before
continuing if a sandbox is used. When using spawn() without run(),
this helps us fail early if the setup logic fails instead of later
on if we're not checking the result of the spawn() command immediately
afterwards.

As a side effect, this also acts as a synchronization point when using
systemd-run --scope where when spawn() returns, we can be 100% sure that
the scope has been created, which is important when calling RegisterMachine
from systemd-machined which does the wrong thing if the scope for the specified
machine does not yet exist and ends up killing the parent unit (often the user
session) instead of just the virtual machine.

Move adding "--" to spawn()

Move preexec() out of spawn()

Let's make use of functools.partial() to apply the arguments so we
can pass the function to subprocess.Popen().

Don't spawn a shell in sandbox if no command is provided

We need https://github.com/systemd/systemd/issues/35000 to make this
not confusing. Currently there's zero feedback that a user is in a sandbox
shell.

Pass -cpu host when using KVM

Turns out it is not the default, so pass it explicitly when using
KVM.

Merge pull request #3291 from DaanDeMeyer/sandbox

sandbox: Make sure we use pacman keyring and crypto policies from tools tree

Run ssh and ssh-keygen as fake root

We can't always resolve the current user in the sandbox which ssh
insists on being able to do so let's become root which is always
resolvable.

Use sandbox in finalize_credentials()

sandbox: Make sure we use pacman keyring and crypto policies from tools tree

If ToolsTreeCertificates=yes, we still need to make sure we use the
crypto policies and pacman keyring from the tools tree if one is used.

Don't use ExtraSearchPaths= when building default tools tree

Since eba43f034c5c19a478249ba50fc1b97faffda75c, we always run binaries
from ExtraSearchPaths= within the tools tree if one is used. This generally
implies the binaries have to be built against the tools tree to be able to
run within it. This means that the binaries won't necessarily work when
executed on the host, which is the case when building the default tools tree.

To avoid failures when building the default tools tree and using ExtraSearchPaths=,
don't use binaries from ExtraSearchPaths= when building the default tools tree.

Lower log level of messages about cache entries not existing

Use "tools" as the cache key for the default tools tree

Currently we still use "distribution~release~architecture", which
breaks checking if the cache is out of date, since we'll always check
against the cache of the currently configured tools tree distribution,
even if we used a different tools tree distribution to build the tools
tree. Let's fix this by using the same cache key for all default tools
trees.

This shouldn't introduce any performance regression as users are not
expected to change the default tools tree distribution all the time
unlike the target image distribution.

Run binaries from ExtraSearchPaths= within tools tree

Until now, there was always the implicit assumption that any paths
configured with ExtraSearchPaths= contained binaries built against
the host's /usr. With that assumption, it made sense to execute binaries
found in these paths outside of the tools tree as otherwise you might
end up with missing or out of date libraries if these are not available
within the tools tree.

However, with the introduction of "mkosi sandbox", what I want to do
in systemd is to have contributors build systemd within the sandbox and
then use those binaries in mkosi to build the image. This means that the
build directory configured with ExtrasSearchPaths= suddenly contains
binaries built against the tools tree's /usr (if one is configured) instead
of the host's /usr.

Given this new use case, let's get rid of the logic to not use the tools
tree for binaries in ExtraSearchPaths=, instead, users of ExtraSearchPaths=
using a tools tree will have to make sure to use a tools tree that mostly
matches their host's /usr.

Make --debug-workspace work even if mkosi doesn't fail

Fixes #3283

Drop PEAddons=

Putting these inside the image isn't very useful except for the very
specific use case of being able to skip copying the addon when copying
the ESP to another disk to implement a "live" installer mode. For all
other use cases, PE addons are either supposed to be generated locally
or optionally downloaded alongside the image. For these use cases it
makes much more sense to output the addons alongside the image, but not
in it.

But if it makes more sense to output the addons alongside the image, then
it becomes unclear whether this is something that should be implemented inside
mkosi in the first place. Until we figure whether this makes sense and how
to implement it, let's remove the functionality.

Addons can still be added to the image or generated alongside it by running
ukify in a postinst script. The secure boot signing options will have to be
passed manually but this isn't an unsolvable problem.

Merge pull request #3285 from DaanDeMeyer/settings

Move more settings from [Host] to [Build]

Recommend symlinking to ~/.local/bin

When using mkosi sandbox with a tools tree, /usr is replaced which
means the symlink is gone which prevents running mkosi from within
mkosi so let's recommend ~/.local/bin instead.

Rename [Host] section to [Runtime] section

[Host] is not a very descriptive name for the settings in this section.
As all these settings affect the behavior of mkosi shell, mkosi qemu,
mkosi boot or mkosi vmspawn, let's rename the section to [Runtime]. We
make sure to still parse [Host] as well to keep backwards compat.

Move more settings from [Host] to [Build]

Let's move ExtraSearchPaths= and all the proxy settings to [Build]
as they also affect the build.

Improve summary output a bit

Let's skip a few sections for subimages as these will always be identical
to the main image anyways.

Merge pull request #3280 from DaanDeMeyer/addon

Add initrd-addon output format

Add initrd-addon output format

Similar to how we can produce sysext and confext extensions, let's also
support building initrd addons.

Improve formatting

Refactor extension image helper methods

Let's have two helper methods, is_extension_image() and
is_extension_or_portable_image(). The first is for true extensions,
that are overlayed on top of an existing system, whereas the second
one includes portable images, which are standalone and not overlayed
on top of an existing system.

man: Improve style of KernelModulesInitrd

Fix `SplitArtifacts=` to not split extra artifacts

Fixes: https://github.com/systemd/mkosi/issues/3276

Merge pull request #3275 from DaanDeMeyer/pacman-priority

pacman: Make sure repositories from dropins take priority

pacman: Make sure repositories from dropins take priority

When multiple repositories ship the same package, the repository
defined first in the pacman config file takes priority. Let's make
sure user defined repositories take priority over the ones defined
in mkosi by moving the Include= statement up a little in the config
file.

sandbox: Show better error on missing mountpoints

Currently, if a crypto mountpoint does not exist, we fail with a
PermissionError exception. Let's show a better error and guide users
to what they can do to prevent this from happening. Also fix the action
to create all the necessary mountpoints upfront.

Merge pull request #3274 from DaanDeMeyer/incremental

tests: Build with --incremental=strict

tests: Build with --incremental=strict

Let's require cached images to be present before running the
integration tests. This makes sure the tests only need to build the
output that they're testing and it also opens up the road for running
tests in parallel in the future.

Remove package manager from cache manifest

We don't always have the tools tree available yet when generating the
cache manifest which can lead to cache manifest mismatches depending on
whether the tools tree is available or not. Since the package manager field
depends on whether the tools tree is available or not (dnf or dnf5, dnf or zypper),
let's remove it from the cache manifest.

ci: Don't build tools tree as root

Build incremental by default

Use host model cpu

mkosi currently calls qemu with `-cpu max`. This enables all features
supported by the accelerator, which could be less than the ones
supported by the host.

Switch to the default `-cpu host` and keep max only when using binary
translation.

Rework crypto-policies handling slightly

Let's bind mount from the tools tree if it provides crypto policies
and only write our own for rpm-sequoia if the tools tree doesn't provide
its own crypto policies.

Don't do proxy mounts in relaxed sandbox

These aren't required in a relaxed sandbox.

docs: Add note about SandboxTrees= to SkeletonTrees=

sandbox: Spit out some info when initial unshare gets EPERM

To try and minimise the pain of this issue
(https://github.com/systemd/mkosi/issues/3265), dump some info that might help
users resolve it.

I had a quick look around expecting to find a document from Red Hat discussing
this topic much like the Ubuntu one I've linked here, but I didn't find it.
Hopefully if it exists someone else can add it later.

I'm doing this via a direct write to stderr because of the comment at the top of
sandbox.py saying to avoid imports. If this is highly undesirable it looks like
log.log_notice would  be the right choice here (then you don't need the
annoying ANSI codes).

mkosi-initrd: remove dpkg in newer ubuntu/debian releases

mkosi-initrd: also take input from /etc/kernel/cmdline

Other kernel-install plugins (for Type 1) already take /etc/kernel/cmdline
into account when generating the local cmdline entry, so do the same
in mkosi-initrd for the UKI

fedora: Bump default release to 41

arch: Bump initrd size

Fixes CI.

Only validate keys and certificates that are configured

Otherwise we'll fail later on if they are not configured and are
required so let's only validate them if they actually are configured.

man: cover both systemd-dissect and portablectl in FAQ

man: add an FAQ entry about PORTABLE_PREFIXES=

Define virt as default QEMU machine for riscv64

The documentation says:
> It is the recommended board type if you simply want to run a guest
> such as Linux and do not care about reproducing the idiosyncrasies and
> limitations of a particular bit of real-world hardware.
https://qemu.readthedocs.io/en/v9.1.0/system/riscv/virt.html

Bump github/codeql-action from 3.27.0 to 3.27.5

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.27.0 to 3.27.5.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/662472033e021d55d94146f66f6058822b0b39fd...f09c1c0a94de965c15400f5634aa42fac8fb8f88)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3254 from behrmann/minordistributionsfixes

Minor distribution fixes

debian: use pretty name in error message

This way the error message works better for downstreams.

use Distribution.is_apt_distribution in detect_distribution

Only run systemd-keyutil if secure boot key and cert exist

sandbox: Bind mount on top of symlink if possible

Instead of mounting on top of the resolved symlink, let's just mount
directly on top of the symlink if we can.

Fixes #3247

action: Fix symlink creation

doc: make ToolsTreeDistribution default match easier to understand

Merge pull request #3243 from DaanDeMeyer/fix

Fix Partition split_path calculation

Improve error message formatting a bit

Only remove initrd cache entries

Fixes #3237

Add strict incremental check for default initrd

action: Install to $HOME/.local/bin as well

Skip tools checks for build step if output format is none

If we're only running things up until the build scripts we're not
going to be running any of the tools we check for so skip the checks
in that case.

Fix unified kernel image profiles check

Turns out we already had this check, so remove the extra one we added
and fix the existing one.

Fix Partition split_path calculation

Now that we use workdir() in make_image(), we have to change the
Partition initializer to remove the path added by workdir() again
to get the proper path on the host.

Fixes #3242.

Improve maybe_compress() formatting

Don't resolve deps if we're reusing previous config

We ignore subimages if we're reusing the previous config so let's
make sure we ignore subimages as well after running configure scripts
if we're reusing previous config.

Fixes #3238

Revert "Remove tools argument from finaiize_default_initrd()"

This reverts commit 75a22e52602f18f887a0bac82eaf84e5983941c1.

Make sure ukify is recent enough to build UKI profiles

Merge pull request #3233 from DaanDeMeyer/initrd

Various default initrd fixes

Remove tools argument from finaiize_default_initrd()

Not required anymore since the tools tree isn't part of the cache
manifest anymore.

Rework default initrd cleanup

Currently we only remove the default initrd image cache if the
main image cache is out-of-date and not if the initrd cache is
out-of-date.

Let's fix the problem by calling run_clean() separately on the default
initrd.

Fixes #3231

Fix metadata removal

Remove --force from default initrd command line

We don't use the resulting Args instance so no point in passing
--force.

mkosi-initrd: Install btrfs-progs

Even if fsck.btrfs doesn't do anything particularly useful, given we
install the fs tools of all the other filesystems, let's install btrfs-progs
as well. This is also useful when using systemd-repart to create the
root filesystem on first boot.

Fix typo

nspawn: Fix uidmap for build directory

The build directory is now owned by the running user as well so we
have to apply rootidmap just like we do with all the other mounts
already.

Merge pull request #3227 from DaanDeMeyer/extra-search-paths

Use tools tree again for ssh, coredumpctl and journalctl

Drop ForwardJournal= integration for coredumpctl and journalctl verbs

Now that we have the sandbox verb, this is trivial to achieve with the
sandbox verb so let's keep the coredumpctl and journalctl verbs focused
solely on reading the journal and coredumps from the image itself and leave
inspecting the forwarded journal to mkosi sandbox.

Technically this breaks compat but I'm convinced nobody's actually using this
specific bit of integration so it shouldn't matter if we remove it.

Use tools tree again for ssh, coredumpctl and journalctl

In effect these verbs are very similar to the sandbox verb except
they run a predefined command line instead of an arbitrary one. So
let's make them behave the same as the sandbox verb when it comes to
the tools tree.

Fix CodeQL warning

mkosi-tools: Only install pkcs11-provider where available

Fixes #3224

Document where kernels go

As pointed out to me by Nils K on Matrix:

https://github.com/systemd/mkosi/blob/b2f818c6f7df0f9def7fc6eeec0de8354b67d02d/mkosi/bootloader.py#L726

Clarify shell vs boot in man page

In retrospect it seems like this should have been obvious but it
confused me. Thanks to Daan for pointing it out on Matrix. Reword to
help out people like me in the future.

mkosi-initrd: Disable split artifacts

Include machine name in virtiofsd unit name

If the same directory is shared across multiple guests, we end up
with duplicate unit names even though we need separate virtiofsd
instances. Let's fix this by including the machine name in the
virtiofsd unit name so that the unit names will be unique across
guests.

Make ConfigSetting generic

sysupdate: Make it work in combination with a tools tree

- We have to make sure systemd-sysupdate looks at the os-release
from the host even when using a tools tree.
- systemd-sysupdate can't detect the root block device when running
with a tools tree. Let's abuse /run/systemd/volatile-root to shortcut
the detection logic instead.

mkosi-initrd: Include extra modules

These are all modules that the kernel tries to load while in the
initrd on my laptop. All of these seem generic enough to include by
default.

Keep track of collection resets from CLI arguments (fixes #3208)

Previously it was only possible to completely reset but not append,
or only append but not reset to collection/list settings
via command line arguments.
Now we track if a setting has ever been set to None (i.e. reset)
during command line parsing.
This information is used during value finalization
to decide whether to merge both collections or only keep the CLI value.

Improve formatting of needs_build() a little

ci: make the output of the formatting job actionable

Rename "systemd" signtool to "systemd-sbsign" signtool

Matches the naming used by ukify.

Pass sandbox to workdir() in one more function

kmod: do not append glob to search for firmware if it is already there

Some kernel modules use globs in their firmware dependencies:

modinfo ath11k_pci
filename:       /lib/modules/6.11.7-amd64/kernel/drivers/net/wireless/ath/ath11k/ath11k_pci.ko.xz
firmware:       ath11k/WCN6855/hw2.1/*
firmware:       ath11k/WCN6855/hw2.0/*
firmware:       ath11k/QCN9074/hw1.0/*
firmware:       ath11k/QCA6390/hw2.0/*

Which means the glob uses a double "**" which breaks it, and the
firmwares are skipped. Do not add a "*" if it is already present in
the search value.

Propagate --tools-tree-certificates to initrd build

The initrd build uses a config created from a "hand-crafted" command
line passed to `parse_config()`. This command line includes the relevant
settings (i.e. those deemed relevant for build the initrd) from the
"proper" config object.

Since the --tools-tree-certificates setting wasn't added to that command
line, it defaults to true regardless of any setting configured when
invoking mkosi. When building behind a cooperate (transparent) proxy
using a self-signed certificate, the initrd build fails when trying to
download packages (unless the needed packages happened to be downloaded
as part of a previous image build).

Make sure the --tools-tree-certificates setting applies to the initrd
build also, by explicitly including it in the hand-crafted command line.
The setting can be added unconditionally because of the default value
specified in config.py.

Merge pull request #3207 from bluca/mkosi_install

Assorted fixes for mkosi-initrd and kernel-install

kernel-install: do not try to remove split artifacts

They are no longer built in the staging area

kernel-install: plumb stdin/stdout

Otherwise cannot use pin prompts

kernel-install: do not remove uki from staging area

Needed by following kernel-install hooks

kernel-install: name uki output with .efi suffix

90-uki-copy.install expects it

kernel-install: pass --kernel-image to mkosi-initrd if set

kernel-install can be called with a path to a kernel file