Beef up DNS resolution a little

Let's write a basic nsswitch.conf that makes use of libnss-resolve
and bind mount the systemd-resolved socket into the sandbox if
available.

Add missing sandbox for rmtree()

Add --console=interactive|read-only support for qemu vmm

Don't try to remove cache entries of custom distro default initrd

Keep more entries from $PATH in the sandbox

In the relaxed sandbox, we want to run executables frome everywhere
that isn't /usr. We make the implicit assumption that anything from
outside /usr doesn't depend (heavily) on what's in /usr and if it does
and a tools tree is used it should match the host sufficiently.

Update comment

Merge pull request #3314 from DaanDeMeyer/centos

Centos tools tree fixes

Install btrfs-progs in CentOS Stream EPEL tools tree

man: fix remaining mention of mkosi.pkgmngr

Make CentOS Stream 10 + EPEL tools tree work

Let's not try to install packages not available in EPEL 10.

Tools fixes

Merge pull request #3311 from DaanDeMeyer/cdrom

Make CDROM an upper case option

Rename vsock config settings

Let's use the same names used by systemd.

Make CDROM an upper case option

It's an abbrevation so let's make it upper case similar to TPM and
KVM.

build(deps): bump github/codeql-action from 3.27.5 to 3.28.0

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.27.5 to 3.28.0.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/f09c1c0a94de965c15400f5634aa42fac8fb8f88...48ab28a6f5dbc2a99bf1e0131198dd8f1df78169)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Parse profiles in subimages as well

Let's parse from mkosi.profiles in subimages as well. We'll still insist
that the profiles used are set in the main image though. To make this work
we have to remove the check to see if a profile exists or not, since it might
not exist in every mkosi.profiles/ directory that we parse. At the same time
we remove the restriction that profiles are set before we parse mkosi.conf.d/
since this isn't really useful anymore now that we parse profiles last and not
first anymore. This allows us to get rid of the concept of immutable settings.

Fixes #3307

Rename various [Runtime] options and rename mkosi qemu to mkosi vm

- Let's get rid of the "Qemu" prefix for runtime options as they apply
  both to the qemu and vmspawn verbs.
- Let's rename QemuGui= to Console= and make it take all the options
  that are accepted by vmspawn's --console= option.
- Let's rename the various runtime options to the corresponding vmspawn
  option where applicable.
- Let's rename mkosi qemu to mkosi vm as well while we're at it.

Add option to control whether to register with machined

On an ephemeral test runner it is useless churn to register the
guest, and can trigger nasty bugs like the one where machined
kills the user session. Add a config knob, enabled by default,
so that it can be disabled where it's not useful.

This also allows running nspawn where machined is not available,
as currently it just fails since the default is that it tries to
register and fails if it can't.

Drop support for pesign secure boot signtool

sbsigntools is packaged in EPEL now and in the future we're looking
to standardize solely on systemd-sbsign so let's already drop support
for pesign which was only really useful on CentOS Stream because it
didn't have sbsigntools which it does have now.

Always check tools for build at the same place

Let's only check non-build verb tools early and check build verb
tools at the same place regardless of whether the verb is build or
not to keep things more consistent.

As a side effect this allows building tools from source to do the
build in sync scripts which is done in
https://github.com/davide125/arcadeos/blob/main/mkosi.sync.

Merge pull request #3298 from DaanDeMeyer/exec

Wait until sandbox exec()'s specified command before continuing

burn: Fail if no arguments are provided

If no arguments are provided systemd-repart will operate on the
device backing the rootfs which in the case of burn we definitely
don't want to do most of the time so let's fail unless a device is
explicitly provided.

Wait until sandbox exec()'s specified command before continuing

Let's wait in spawn() until all setup logic has completed before
continuing if a sandbox is used. When using spawn() without run(),
this helps us fail early if the setup logic fails instead of later
on if we're not checking the result of the spawn() command immediately
afterwards.

As a side effect, this also acts as a synchronization point when using
systemd-run --scope where when spawn() returns, we can be 100% sure that
the scope has been created, which is important when calling RegisterMachine
from systemd-machined which does the wrong thing if the scope for the specified
machine does not yet exist and ends up killing the parent unit (often the user
session) instead of just the virtual machine.

Move adding "--" to spawn()

Move preexec() out of spawn()

Let's make use of functools.partial() to apply the arguments so we
can pass the function to subprocess.Popen().

Merge pull request #3296 from DaanDeMeyer/kmod

mkosi-initrd: Two fixes

mkosi-initrd: Match both intel_vsec.ko and intel-vsec.ko

It seems that in 6.13 it went from intel_vsec.ko to intel-vsec.ko.

mkosi-initrd: Add virtio_dma_buf kernel module

Don't spawn a shell in sandbox if no command is provided

We need https://github.com/systemd/systemd/issues/35000 to make this
not confusing. Currently there's zero feedback that a user is in a sandbox
shell.

Pass -cpu host when using KVM

Turns out it is not the default, so pass it explicitly when using
KVM.

Merge pull request #3291 from DaanDeMeyer/sandbox

sandbox: Make sure we use pacman keyring and crypto policies from tools tree

Run ssh and ssh-keygen as fake root

We can't always resolve the current user in the sandbox which ssh
insists on being able to do so let's become root which is always
resolvable.

Use sandbox in finalize_credentials()

sandbox: Make sure we use pacman keyring and crypto policies from tools tree

If ToolsTreeCertificates=yes, we still need to make sure we use the
crypto policies and pacman keyring from the tools tree if one is used.

Don't use ExtraSearchPaths= when building default tools tree

Since eba43f034c5c19a478249ba50fc1b97faffda75c, we always run binaries
from ExtraSearchPaths= within the tools tree if one is used. This generally
implies the binaries have to be built against the tools tree to be able to
run within it. This means that the binaries won't necessarily work when
executed on the host, which is the case when building the default tools tree.

To avoid failures when building the default tools tree and using ExtraSearchPaths=,
don't use binaries from ExtraSearchPaths= when building the default tools tree.

Lower log level of messages about cache entries not existing

Use "tools" as the cache key for the default tools tree

Currently we still use "distribution~release~architecture", which
breaks checking if the cache is out of date, since we'll always check
against the cache of the currently configured tools tree distribution,
even if we used a different tools tree distribution to build the tools
tree. Let's fix this by using the same cache key for all default tools
trees.

This shouldn't introduce any performance regression as users are not
expected to change the default tools tree distribution all the time
unlike the target image distribution.

Run binaries from ExtraSearchPaths= within tools tree

Until now, there was always the implicit assumption that any paths
configured with ExtraSearchPaths= contained binaries built against
the host's /usr. With that assumption, it made sense to execute binaries
found in these paths outside of the tools tree as otherwise you might
end up with missing or out of date libraries if these are not available
within the tools tree.

However, with the introduction of "mkosi sandbox", what I want to do
in systemd is to have contributors build systemd within the sandbox and
then use those binaries in mkosi to build the image. This means that the
build directory configured with ExtrasSearchPaths= suddenly contains
binaries built against the tools tree's /usr (if one is configured) instead
of the host's /usr.

Given this new use case, let's get rid of the logic to not use the tools
tree for binaries in ExtraSearchPaths=, instead, users of ExtraSearchPaths=
using a tools tree will have to make sure to use a tools tree that mostly
matches their host's /usr.

Make --debug-workspace work even if mkosi doesn't fail

Fixes #3283

Drop PEAddons=

Putting these inside the image isn't very useful except for the very
specific use case of being able to skip copying the addon when copying
the ESP to another disk to implement a "live" installer mode. For all
other use cases, PE addons are either supposed to be generated locally
or optionally downloaded alongside the image. For these use cases it
makes much more sense to output the addons alongside the image, but not
in it.

But if it makes more sense to output the addons alongside the image, then
it becomes unclear whether this is something that should be implemented inside
mkosi in the first place. Until we figure whether this makes sense and how
to implement it, let's remove the functionality.

Addons can still be added to the image or generated alongside it by running
ukify in a postinst script. The secure boot signing options will have to be
passed manually but this isn't an unsolvable problem.

Merge pull request #3285 from DaanDeMeyer/settings

Move more settings from [Host] to [Build]

Recommend symlinking to ~/.local/bin

When using mkosi sandbox with a tools tree, /usr is replaced which
means the symlink is gone which prevents running mkosi from within
mkosi so let's recommend ~/.local/bin instead.

Rename [Host] section to [Runtime] section

[Host] is not a very descriptive name for the settings in this section.
As all these settings affect the behavior of mkosi shell, mkosi qemu,
mkosi boot or mkosi vmspawn, let's rename the section to [Runtime]. We
make sure to still parse [Host] as well to keep backwards compat.

Move more settings from [Host] to [Build]

Let's move ExtraSearchPaths= and all the proxy settings to [Build]
as they also affect the build.

Improve summary output a bit

Let's skip a few sections for subimages as these will always be identical
to the main image anyways.

Merge pull request #3280 from DaanDeMeyer/addon

Add initrd-addon output format

Add initrd-addon output format

Similar to how we can produce sysext and confext extensions, let's also
support building initrd addons.

Improve formatting

Refactor extension image helper methods

Let's have two helper methods, is_extension_image() and
is_extension_or_portable_image(). The first is for true extensions,
that are overlayed on top of an existing system, whereas the second
one includes portable images, which are standalone and not overlayed
on top of an existing system.

man: Improve style of KernelModulesInitrd

Fix `SplitArtifacts=` to not split extra artifacts

Fixes: https://github.com/systemd/mkosi/issues/3276

Merge pull request #3275 from DaanDeMeyer/pacman-priority

pacman: Make sure repositories from dropins take priority

pacman: Make sure repositories from dropins take priority

When multiple repositories ship the same package, the repository
defined first in the pacman config file takes priority. Let's make
sure user defined repositories take priority over the ones defined
in mkosi by moving the Include= statement up a little in the config
file.

sandbox: Show better error on missing mountpoints

Currently, if a crypto mountpoint does not exist, we fail with a
PermissionError exception. Let's show a better error and guide users
to what they can do to prevent this from happening. Also fix the action
to create all the necessary mountpoints upfront.

Merge pull request #3274 from DaanDeMeyer/incremental

tests: Build with --incremental=strict

tests: Build with --incremental=strict

Let's require cached images to be present before running the
integration tests. This makes sure the tests only need to build the
output that they're testing and it also opens up the road for running
tests in parallel in the future.

Remove package manager from cache manifest

We don't always have the tools tree available yet when generating the
cache manifest which can lead to cache manifest mismatches depending on
whether the tools tree is available or not. Since the package manager field
depends on whether the tools tree is available or not (dnf or dnf5, dnf or zypper),
let's remove it from the cache manifest.

ci: Don't build tools tree as root

Build incremental by default

Use host model cpu

mkosi currently calls qemu with `-cpu max`. This enables all features
supported by the accelerator, which could be less than the ones
supported by the host.

Switch to the default `-cpu host` and keep max only when using binary
translation.

Rework crypto-policies handling slightly

Let's bind mount from the tools tree if it provides crypto policies
and only write our own for rpm-sequoia if the tools tree doesn't provide
its own crypto policies.

Don't do proxy mounts in relaxed sandbox

These aren't required in a relaxed sandbox.

docs: Add note about SandboxTrees= to SkeletonTrees=

sandbox: Spit out some info when initial unshare gets EPERM

To try and minimise the pain of this issue
(https://github.com/systemd/mkosi/issues/3265), dump some info that might help
users resolve it.

I had a quick look around expecting to find a document from Red Hat discussing
this topic much like the Ubuntu one I've linked here, but I didn't find it.
Hopefully if it exists someone else can add it later.

I'm doing this via a direct write to stderr because of the comment at the top of
sandbox.py saying to avoid imports. If this is highly undesirable it looks like
log.log_notice would  be the right choice here (then you don't need the
annoying ANSI codes).

mkosi-initrd: remove dpkg in newer ubuntu/debian releases

mkosi-initrd: also take input from /etc/kernel/cmdline

Other kernel-install plugins (for Type 1) already take /etc/kernel/cmdline
into account when generating the local cmdline entry, so do the same
in mkosi-initrd for the UKI

fedora: Bump default release to 41

arch: Bump initrd size

Fixes CI.

Only validate keys and certificates that are configured

Otherwise we'll fail later on if they are not configured and are
required so let's only validate them if they actually are configured.

man: cover both systemd-dissect and portablectl in FAQ

man: add an FAQ entry about PORTABLE_PREFIXES=

Define virt as default QEMU machine for riscv64

The documentation says:
> It is the recommended board type if you simply want to run a guest
> such as Linux and do not care about reproducing the idiosyncrasies and
> limitations of a particular bit of real-world hardware.
https://qemu.readthedocs.io/en/v9.1.0/system/riscv/virt.html

Bump github/codeql-action from 3.27.0 to 3.27.5

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.27.0 to 3.27.5.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/662472033e021d55d94146f66f6058822b0b39fd...f09c1c0a94de965c15400f5634aa42fac8fb8f88)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #3254 from behrmann/minordistributionsfixes

Minor distribution fixes

debian: use pretty name in error message

This way the error message works better for downstreams.

use Distribution.is_apt_distribution in detect_distribution

Only run systemd-keyutil if secure boot key and cert exist

sandbox: Bind mount on top of symlink if possible

Instead of mounting on top of the resolved symlink, let's just mount
directly on top of the symlink if we can.

Fixes #3247

action: Fix symlink creation

doc: make ToolsTreeDistribution default match easier to understand

Merge pull request #3243 from DaanDeMeyer/fix

Fix Partition split_path calculation

Improve error message formatting a bit

Only remove initrd cache entries

Fixes #3237

Add strict incremental check for default initrd

action: Install to $HOME/.local/bin as well

Skip tools checks for build step if output format is none

If we're only running things up until the build scripts we're not
going to be running any of the tools we check for so skip the checks
in that case.

Fix unified kernel image profiles check

Turns out we already had this check, so remove the extra one we added
and fix the existing one.

Fix Partition split_path calculation

Now that we use workdir() in make_image(), we have to change the
Partition initializer to remove the path added by workdir() again
to get the proper path on the host.

Fixes #3242.

Improve maybe_compress() formatting

Don't resolve deps if we're reusing previous config

We ignore subimages if we're reusing the previous config so let's
make sure we ignore subimages as well after running configure scripts
if we're reusing previous config.

Fixes #3238

Revert "Remove tools argument from finaiize_default_initrd()"

This reverts commit 75a22e52602f18f887a0bac82eaf84e5983941c1.

Make sure ukify is recent enough to build UKI profiles

Merge pull request #3233 from DaanDeMeyer/initrd

Various default initrd fixes

Remove tools argument from finaiize_default_initrd()

Not required anymore since the tools tree isn't part of the cache
manifest anymore.

Rework default initrd cleanup

Currently we only remove the default initrd image cache if the
main image cache is out-of-date and not if the initrd cache is
out-of-date.

Let's fix the problem by calling run_clean() separately on the default
initrd.

Fixes #3231

Fix metadata removal

Remove --force from default initrd command line

We don't use the resulting Args instance so no point in passing
--force.

mkosi-initrd: Install btrfs-progs

Even if fsck.btrfs doesn't do anything particularly useful, given we
install the fs tools of all the other filesystems, let's install btrfs-progs
as well. This is also useful when using systemd-repart to create the
root filesystem on first boot.

Fix typo

nspawn: Fix uidmap for build directory

The build directory is now owned by the running user as well so we
have to apply rootidmap just like we do with all the other mounts
already.