Make kernel image lookup logic more robust

Revert "Look for vmlinuz.efi as well"

The kernel install target will install vmlinuz.efi as vmlinuz,
so no need to look for vmlinuz.efi after all.

This reverts commit f3871e3e843cbe28a03175aa14dc060e0ce06897.

Look for vmlinuz.efi as well

On aarch64, vmlinuz.efi is installed instead of vmlinuz so let's
make sure we look for both.

tests: Test "none" output format as well

Let's build an image with "none" as well. There won't be any output,
but we can at least test that nothing breaks when specifying "none"
as the output format.

Also apply the "integration" marker to the entire file while we're
at it.

Minor fix: remove duplicate shim-signed package

man: fix name of option RepartOffline

Add RepartOffline= option

Instead of auto-detecting all cases where --offline=no has to be
used with systemd-repart, let's allow configuring it via an option
so that if we discover any new cases, users can easily disable
offline mode themselves.

qemu: Remove --posix-acl and add --no-announce-submounts to virtiofsd

--posix-acl causes an error from virtiofsd saying the client doesn't
support this feature. We also get a warning about announcing submounts
not being supported so let's make sure we disable both features to
avoid these warnings/errors.

Update NEWS.md

Merge pull request #2155 from DaanDeMeyer/grub

undefined

Write grub BIOS partition definition after ESP definition

The BIOS partition is ordered after the ESP so let's write their
config file in the same order for clarity.

Make sure grub fonts directory exists

Use grub's search.file module instead of hardcoding partition numbers

We can tell grub to search for the first partition containing a
/grub/grub.cfg file. This still isn't ideal, but it's better than
hardcoding partition numbers.

Move ESP grub shim configuration to prepare_grub_efi()

Merge pull request #2154 from DaanDeMeyer/kernel-install

Use kernel-install entry token if available

Install kernels to /boot

If users want to use XBOOTLDR partitions, then we have to put the
kernels in a separate location from the ESP stuff. Currently we put
everything in /efi when building the image, which means that users
don't have a way to specify that the kernels should be put in an
XBOOTLDR partition.

Let's fix this by installing kernels to /boot so that users can
populate an XBOOTLDR partition by simply using CopyFiles=/boot:/
in a repart xbootldr partition definition.

Use kernel-install entry token if available

Let's try and look for the kernel-install entry token if
kernel-install v255 or newer is available. This makes us more
compatible with package manager upgrades as we'll use the same
directory that kernel-install will look for when invoked by a
package manager.

Fix tool display in check_systemd_tool()

Return full version from systemd_tool_version()

Let's allow comparing against stable releases as well by returning
the full version.

action: Switch to systemd v255 stable branch

Let's stop tracking systemd's latest commit on main and switch to
the v255 stable branch instead.

Add QemuFirmwareVariables=

This allows configuring the path to the qemu firmware variables to
use. This allows users to configure their own variables using
https://pypi.org/project/virt-firmware/ before passing it to mkosi.

This also fixes a bug where we didn't pass the variables file to
qemu if the firmware doesn't support secure boot.

Look for /usr/lib/kernel/uki.conf as well

Merge pull request #2153 from DaanDeMeyer/min-version

Allow specifying minimum mkosi version

Allow specifying minimum mkosi version

Currently, users often get a confusing message about some property
not existing when they try to use an older version of mkosi to build
a configuration that requires a newer version. Let's improve on this
by allowing configurations to declare the minimum version required to
build the configuration.

Clean up load_config() a little

Merge pull request #2151 from DaanDeMeyer/pacman

arch: Move arch specific configuration out of setup_pacman()

tests: Use temporary mount point

Instead of creating a directory owned by root in the cwd, let's just
use a temporary directory that we remove again afterwards.

arch: Unconditionally assume initramfs package is installed

This doesn't prevent installing individual initramfs generators so
let's always set it and require users to specify mkinitcpio or dracut
if they really need one of these.

arch: Move arch specific configuration out of setup_pacman()

Let's make setup_pacman() about pacman and not about Arch.

dnf: Rename Repo to RpmRepository

mkosi-initrd: Make locale configurable

Now that we use it as the default initrd, let's make the locale
configurable so we can override it when building an image.

Merge pull request #2147 from DaanDeMeyer/gdb

Add gdb to default image

Add gdb to default image

Fix ruff error

Merge pull request #2137 from DaanDeMeyer/shim

Add support for installing shim

Merge pull request #2142 from DaanDeMeyer/tests

tests: Make more robust on distros with recent systemd

Merge pull request #2145 from DaanDeMeyer/uname

Pass uname to ukify

arch: Add debug repositories

Relax qemu check in uncaught_exception_handler()

qemu binaries can have many different names (qemu, qemu-kvm,
qemu-system-xxx, ...) so let's not log a stacktrace for any binary
that starts with "qemu".

tests: Make more robust on distros with recent systemd

Let's make use of the fact that we can communicate the exit status
from VMs on recent versions of systemd. Even when it fails to run
qemu will often exit with exit status 0 so let's make our successful
exit status 123 and check for that instead of 0.

Let's also rework how we have systemd log. Instead of using
default_standard_output, let's have journald forward all logs to the
console. While we're at, let's also add some general useful debugging
kernel command line arguments that we also use in the systemd repository.

Merge pull request #2144 from behrmann/ruffga

Use ruff in CI

Revert "mkosi: include binutils in the packages for building"

Now that we pass the kernel version explicitly to ukify, we
don't need to have binutils installed anymore as ukify only uses
readelf to autodetect the kernel version if it wasn't supplied
explicitly by the user.

This reverts commit 4953e2cb66f0713dc302d089e92894e852e5a045.

Pass uname to ukify

Let's avoid triggering ukify's autodetect logic by passing in the
kernel version ourselves.

Use mkosi-initrd to build the default initrd

Instead of maintaining a separate default initrd, let's use
mkosi-initrd for the default initrd. This provides users with a more
batteries included initrd by default and saves us from having to
maintain two separate initrd definitions.

ci: print version of used tools

ci: exchange isort and pyflakes for ruff

fix ruff warnings

Add support for installing shim

Unfortunately shim is a necessary evil that we have to support. We
add a new option that allows choosing either a signed version, an
unsigned version or none at all (the default).

We also stop redirecting /boot/efi to /efi so that /efi is our pristine
directory for populating the ESP whereas /boot is unclaimed wasteland
free for package managers to write all kinds of stuff to.

mkosi: include binutils in the packages for building

On aarch64 the dependencies are different than x86 and we don't end up
with binutils getting picked up, which means readelf isn't available for
systemd-ukify when using mkosi-kernel on aarch64.  Explicitly add
bintuils to the list of packages, this allows mkosi-kernel to work
properly on an aarch64 machine.

mkosi-initrd: Fix typo

Fixes #2138

qemu: Become root when copying for Ephemeral=

To copy the directory, we need to be root (either real or in the
user namespace), so let's do just that.

Share default image configuration between debian and ubuntu

Remove no longer necessary __init__.py from mkosi.resources

Move off of the deprecated importlib.resources API

Python 3.9 brought a new importlib.resources API and deprecated the old
one. This introduces a small shim to use the part of the APi that guarantees a
Path object, thus making our usage of this just pathlike.

Merge pull request #2131 from DaanDeMeyer/fork

Run image builds in a fork again

Handle SIGTERM like a keyboard interrupt

Let's make sure we do proper cleanup on SIGTERM as well.

Log "Interrupted by ..." when we interrupt a child process

Instead of logging the full command line with exit status, let's
just log "Interrupted" when a child process is interrupted with CTRL+C.

Improve exception handling for subprocess.run()

Instead of having subprocess.run() kill child processes on exceptions
with SIGKILL, let's have it use SIGTERM instead. Because this is not
configurable, we have to override signal.SIGKILL with signal.SIGTERM
before we call subprocess.run().

Run image builds in a fork again

This solves two problems:
- When not using a tools tree, we can run qemu outside of the user
namespace which means that we don't need to pass fds to /dev/kvm and
/dev/vhost-vsock to keep things working unprivileged
- The vmspawn verb we're about to introduce will not be able to run
properly inside a user namespace, so we need to make sure we're not
inside a user namespace after the image build.

Compared to our original implementation of this way back with exception
propagation, this time we opt to do things differently by doing all
exception handling and logging inside the fork to avoid having to
propagate exceptions. This makes the overall implementation a lot
simpler.

We can also run the other verbs outside of the user namespace as long
as we're not using a tools tree. Because we want to keep support for
using a tools tree with all verbs, we keep support for running them
inside a user namespace as well. Because we already use INVOKING_USER
everywhere, this actually turns out to require very little changes. We
only need to make sure when starting virtiofsd that we unshare the user
namespace ourselves if we're not uid mapping.

Merge pull request #2132 from DaanDeMeyer/fix-kmods

Fix kmods

Don't consider include filters when deciding whether to run depmod

The include filters only do something if there's an exclude filter,
so we don't need to run depmod if only include filters are defined.

Fix filter_kernel_modules()

Make sure we skip the include/exclude logic if no filters are defined.

Merge pull request #2128 from DaanDeMeyer/extensions

Add sysext, confext and portable support

Add sysext, confext and portable support

Wwe also write the extension-release file in case of sysexts and
confexts and make sure we skip a bunch of our automatic features
when building extension  images or enabling the Overlay= option
as in these cases many of our automatic features are undesireable.

Make sure networking works on debian

Also drop some unused stuff from the preset file.

mkosi-initrd: Fix md rules

This somehow ended up being copied wrongly from dracut so let's fix
that.

Add QemuVsockCID= option

This makes it a bit more streamlined to run multiple VMs with vsock
concurrently.

mkosi-initrd: Apply cryptsetup creds to all instances of systemd-cryptsetup@.service

This follows the suggestion made in https://github.com/systemd/systemd/pull/30309
to apply "cryptsetup.*" credentials to all instances of
systemd-cryptsetup@.service instead of only to
systemd-cryptsetup@root.service.

docs: Mention that all the sysext steps should be done in an empty dir

docs: Mention how to provide your own key and certificate

Execute user presets alongside system presets

Adds `systemctl --root "$ROOT" --global preset-all` to the **Applying presets...** build step.

Merge pull request #2124 from behrmann/pyrightfix

Fix pyright errors

Make DistributionInstaller.architecture a classmethod

This was already done in CentOS, but not in the base class.

config: name parameter for MkosiJsonEncoder.default as in base class

Merge pull request #2122 from DaanDeMeyer/sysext

docs: Add doc on generating system extensions with mkosi

docs: Add doc on generating system extensions with mkosi

Strip usr/lib/sysimage/libdnf5 when dnf5 is not installed

Merge pull request #2120 from DaanDeMeyer/initrd

mkosi-initrd: various improvements

mkosi-initrd: Port tests from old repository

This commit ports some of the tests from
https://github.com/systemd/mkosi-initrd/blob/main/.github/workflows/build-fedora.sh
over.

The LUKS test is modified to generate the LUKS root partition using
repart instead of doing it manually. For the LVM tests we're forced
to do it manually as systemd-repart doesn't support setting up LVM
(and probably never will).

We also add an initrd size test so we notice when initrds grow due
to distribution packaging changes.

Fix nspawn settings

When --machine= is used, nspawn looks for a settings file named after
the machine so we have to make sure to copy to the right location.

While we're at it, let's also stop considering the nspawn settings
an output artifact, since this means we have to build the image to
apply new settings. Instead, let's copy the settings when running
the image and remove the copied file again afterwards. This means
that new settings are applied immediately instead of only after a
rebuild.

Temporarily default to debian unstable for builtin image

Booting off virtiofs only works properly from systemd v255 onwards
when virtiofs and virtio_pci are not builtin to the kernel so let's
default to unstable for now which has systemd v255.

mkosi-initrd: Ship preset to disable services by default

Debian doesn't ship any presets so all services are enabled by default.
Let's ship our own to disable everything by default instead.

mkosi-initrd: Enable cryptsetup.* credentials for systemd-gpt-auto-generator

systemd-cryptsetup will read credentials in the "cryptsetup" namespace but
none of the generated service units import credentials from that namespace
yet. Let's add a dropin to have systemd-cryptsetup@root.service (generated
by systemd-gpt-auto-generator) load these credentials by default so that we
can use them in integration tests.

Upstream PR in systemd related to this: https://github.com/systemd/systemd/pull/30309

Suspend stdin capture if --capture=no is specified

Passthrough stdin/stdout in Image

Install less in default images initrds

Don't pass --debug when running mkosi clean

qemu: Don't synthesize root= if it's provided on the kernel command line

qemu: Use full output path everywhere

Let's make sure we use whatever the configured output format is instead
of going via the symlink we create in the output directory.

tree: Pass in use_subvolumes feature instead of MkosiConfig object

This makes the tree functions a little more generic.

mkosi-initrd: Move tests to pytest

While we're at it, also build our default images with a mkosi-initrd
produced initrd to verify that it boots.

mkosi-initrd: Add opensuse support

mkosi-initrd: Default to cleaning package manager metadata

Various package managers are pulled in as dependencies of core
system software (dpkg by dash on Debian, rpm by kmod via
suse-module-tools on opensuse) so let's default to always cleaning
package manager metadata even if the package manager is installed.

We still allow disabling it as having the package manager metadata
available is useful when debugging dependencies and why specific
packages are installed in the initrd.

mkosi-initrd: Apply centos specific config to RHEL as well

Introduce name() method for MkosiConfig

mkosi-initrd: Bring Arch and Debian up-to-date with Fedora

mkosi-initrd: Exclude more files on Arch

Let's exclude a bunch of unnecessary stuff on Arch.

Implement WithDocs= for apt

mkosi-initrd: Strip all files starting with vmlinuz

Fedora has started shipping vmlinuz-virt.efi in the kernel modules
directory so we have to make sure we strip that from the initrd as
well.

mkosi-initrd: Strip documentation from the initrd