Support booting Fedora default image on s390x

Set defaults for bootloaders

For testing purposes we might want to override these.

Add default serial tty for s390(x)

Terminate virtiofsd when shutting down

If qemu fails to start then virtiofsd won't shut down on its own
so let's explicitly send it a signal to shut down.

Support multiple [Match] sections

Instead of considering all match sections part of the same match,
let's consider each [Match] section on its own. This allows doing
multiple independent triggers, such as:

"""
[Match]
Format=|disk
Format=|directory

[Match]
Architecture=|x86-64
Architecture=|arm64
"""

Which now means to match if the format is one of disk or directory
and the architecture is one of x86-64 or arm64.

Build initrd if Bootable=auto

If building a bootable image is not explicitly disabled and we
don't split out an initrd from a UKI because the dependencies are
not installed or we're on the wrong architecture, let's still build
an initrd so that booting with qemu direct kernel boot still works.

Mount over /etc/passwd again for virtiofsd

When running unprivileged with a tools tree and runtime trees we
still have to mount over /etc/passwd to keep things working.

Fix install_tree()

Let's make sure that all the skeleton, extra and package manager
trees we get have absolute targets. That allows us to stop using
with_prefix() when installing these trees, which means we pass
target=None instead of target="/" which makes install_tree do the
right thing.

Merge pull request #2179 from DaanDeMeyer/dnf5-plugins

Install dnf5-plugins in fedora tools tree

zypper: Enable autorefresh with refresh delay of 48h

Instead of never refreshing repository metadata, let's refresh
every 48h, which is the same default that dnf uses.

Fix fedora mirror source path

Install dnf plugins in tools trees

For running dnf builddep

Merge pull request #2177 from DaanDeMeyer/ssh

Stop using the tools tree for the ssh verb

Set SYSTEMD_UPDATE_HWDB_BYPASS=1

We run systemd-hwdb ourselves, so let's set this new environment
variable to skip its execution by package managers.

Don't unmount final tools tree

Let's instead just rely on it getting unmounted by the mkosi process
exiting and its mount namespace getting deleted.

Stop using the tools tree for the ssh verb

This allows us to run ssh out of the user namespace which means we
can get rid of the passwd hack to make ssh work. ssh is widespread
enough that we can require users to install it on the host machine
instead of using the tools tree.

Use RuntimeTrees= instead of RuntimeMounts=

Merge pull request #2174 from DaanDeMeyer/aarch64

Two more aarch64 improvements

Fall back to fw_cfg if SMBIOS is not available

Set $ARCHITECTURE when running scripts

Default to ttyAMA0 when building/booting arm images

On ARM, the first serial console is generally called ttyAMA0, so let's
configure that as the console instead of ttyS0.

Merge pull request #2171 from DaanDeMeyer/kernel-install

kernel-install: Use host's package manager configuration and repos

kernel-install: Use host's package manager configuration and repos

Let's make sure we use the host's package manager configuration and
repositories in the kernel-install plugin. The initrd we produce
should be as compatible with the host as we can make it and making
sure we use the same packages that the host uses is a good step in
achieving that.

Add dereference argument to copy_tree()

Let's allow configuring whether symlinks should be followed or not.

Have WithRecommends= override package manager trees

Now that we have an explicit setting for this, let's have it override
any configuration from the package manager config file.

Let's also make sure that WithDocs= overrides package manager trees
when using zypper.

Allow building CentOS/Fedora default images for arm64 architecture

Let's introduce a little conditionalization to allow building the
CentOS/Fedora default images for arm64.

Merge pull request #2164 from DaanDeMeyer/kernel-install

mkosi-initrd: Rewrite kernel-install plugin in python and support UKIs

mkosi-initrd: Rewrite kernel-install plugin in python and support UKIs

There's really no point for the kernel-install plugin to be in bash,
so let's rewrite it in python. While we're at it, let's also support
running as a UKI generator.

Add SecureBootAutoEnroll= option

Closes https://github.com/systemd/mkosi/issues/2169

Merge pull request #2166 from DaanDeMeyer/vmlinuz

Make kernel image lookup logic more robust

docs: Mention OVMF files with MS certs enrolled

Make kernel image lookup logic more robust

Add InitrdInclude= option

Same as Include=, but for the default initrd. This is a more
generic version of InitrdPackages=.

Revert "Look for vmlinuz.efi as well"

The kernel install target will install vmlinuz.efi as vmlinuz,
so no need to look for vmlinuz.efi after all.

This reverts commit f3871e3e843cbe28a03175aa14dc060e0ce06897.

make_cpio: sort files used as cpio input

Pathlib's glob functions return files in the order used by the filesystem.
This may differ between implementations and configuration (file system, locale).
For better reproducibility, the file list should be sorted.

Simplify log_setup() a bit

Default to sys.exit() in uncaught_exception_handler()

Save kernel image and stub when building UKI/ESP images

When building a UKI image, it's not unreasonable for users to not
want to ship the large vmlinuz kernel image file inside their UKI
initrd. However, because we process remove_files() before we build
the UKI, the kernel image might already have been removed by the
time we build the UKI. To avoid this problem, let's save the UKI
(and the stub while we're at it) in the workspace directory before
we process file removals.

Let's also only process cmdline files from the rootfs when we're
building a bootable image and ignore them if we're building a UKI.

mkosi-initrd: Pass image ID to initrd build

Let's allow passing in an image ID and use no image ID by default.
Let's also allow overriding the output

Look for vmlinuz.efi as well

On aarch64, vmlinuz.efi is installed instead of vmlinuz so let's
make sure we look for both.

tests: Test "none" output format as well

Let's build an image with "none" as well. There won't be any output,
but we can at least test that nothing breaks when specifying "none"
as the output format.

Also apply the "integration" marker to the entire file while we're
at it.

Minor fix: remove duplicate shim-signed package

man: fix name of option RepartOffline

Add RepartOffline= option

Instead of auto-detecting all cases where --offline=no has to be
used with systemd-repart, let's allow configuring it via an option
so that if we discover any new cases, users can easily disable
offline mode themselves.

qemu: Remove --posix-acl and add --no-announce-submounts to virtiofsd

--posix-acl causes an error from virtiofsd saying the client doesn't
support this feature. We also get a warning about announcing submounts
not being supported so let's make sure we disable both features to
avoid these warnings/errors.

Update NEWS.md

Merge pull request #2155 from DaanDeMeyer/grub

undefined

Write grub BIOS partition definition after ESP definition

The BIOS partition is ordered after the ESP so let's write their
config file in the same order for clarity.

Make sure grub fonts directory exists

Use grub's search.file module instead of hardcoding partition numbers

We can tell grub to search for the first partition containing a
/grub/grub.cfg file. This still isn't ideal, but it's better than
hardcoding partition numbers.

Move ESP grub shim configuration to prepare_grub_efi()

Merge pull request #2154 from DaanDeMeyer/kernel-install

Use kernel-install entry token if available

Install kernels to /boot

If users want to use XBOOTLDR partitions, then we have to put the
kernels in a separate location from the ESP stuff. Currently we put
everything in /efi when building the image, which means that users
don't have a way to specify that the kernels should be put in an
XBOOTLDR partition.

Let's fix this by installing kernels to /boot so that users can
populate an XBOOTLDR partition by simply using CopyFiles=/boot:/
in a repart xbootldr partition definition.

Use kernel-install entry token if available

Let's try and look for the kernel-install entry token if
kernel-install v255 or newer is available. This makes us more
compatible with package manager upgrades as we'll use the same
directory that kernel-install will look for when invoked by a
package manager.

Fix tool display in check_systemd_tool()

Return full version from systemd_tool_version()

Let's allow comparing against stable releases as well by returning
the full version.

action: Switch to systemd v255 stable branch

Let's stop tracking systemd's latest commit on main and switch to
the v255 stable branch instead.

Add QemuFirmwareVariables=

This allows configuring the path to the qemu firmware variables to
use. This allows users to configure their own variables using
https://pypi.org/project/virt-firmware/ before passing it to mkosi.

This also fixes a bug where we didn't pass the variables file to
qemu if the firmware doesn't support secure boot.

Look for /usr/lib/kernel/uki.conf as well

Merge pull request #2153 from DaanDeMeyer/min-version

Allow specifying minimum mkosi version

Allow specifying minimum mkosi version

Currently, users often get a confusing message about some property
not existing when they try to use an older version of mkosi to build
a configuration that requires a newer version. Let's improve on this
by allowing configurations to declare the minimum version required to
build the configuration.

Clean up load_config() a little

Merge pull request #2151 from DaanDeMeyer/pacman

arch: Move arch specific configuration out of setup_pacman()

tests: Use temporary mount point

Instead of creating a directory owned by root in the cwd, let's just
use a temporary directory that we remove again afterwards.

arch: Unconditionally assume initramfs package is installed

This doesn't prevent installing individual initramfs generators so
let's always set it and require users to specify mkinitcpio or dracut
if they really need one of these.

arch: Move arch specific configuration out of setup_pacman()

Let's make setup_pacman() about pacman and not about Arch.

dnf: Rename Repo to RpmRepository

mkosi-initrd: Make locale configurable

Now that we use it as the default initrd, let's make the locale
configurable so we can override it when building an image.

Merge pull request #2147 from DaanDeMeyer/gdb

Add gdb to default image

Add gdb to default image

Fix ruff error

Merge pull request #2137 from DaanDeMeyer/shim

Add support for installing shim

Merge pull request #2142 from DaanDeMeyer/tests

tests: Make more robust on distros with recent systemd

Merge pull request #2145 from DaanDeMeyer/uname

Pass uname to ukify

arch: Add debug repositories

Relax qemu check in uncaught_exception_handler()

qemu binaries can have many different names (qemu, qemu-kvm,
qemu-system-xxx, ...) so let's not log a stacktrace for any binary
that starts with "qemu".

tests: Make more robust on distros with recent systemd

Let's make use of the fact that we can communicate the exit status
from VMs on recent versions of systemd. Even when it fails to run
qemu will often exit with exit status 0 so let's make our successful
exit status 123 and check for that instead of 0.

Let's also rework how we have systemd log. Instead of using
default_standard_output, let's have journald forward all logs to the
console. While we're at, let's also add some general useful debugging
kernel command line arguments that we also use in the systemd repository.

Merge pull request #2144 from behrmann/ruffga

Use ruff in CI

Revert "mkosi: include binutils in the packages for building"

Now that we pass the kernel version explicitly to ukify, we
don't need to have binutils installed anymore as ukify only uses
readelf to autodetect the kernel version if it wasn't supplied
explicitly by the user.

This reverts commit 4953e2cb66f0713dc302d089e92894e852e5a045.

Pass uname to ukify

Let's avoid triggering ukify's autodetect logic by passing in the
kernel version ourselves.

Use mkosi-initrd to build the default initrd

Instead of maintaining a separate default initrd, let's use
mkosi-initrd for the default initrd. This provides users with a more
batteries included initrd by default and saves us from having to
maintain two separate initrd definitions.

ci: print version of used tools

ci: exchange isort and pyflakes for ruff

fix ruff warnings

Add support for installing shim

Unfortunately shim is a necessary evil that we have to support. We
add a new option that allows choosing either a signed version, an
unsigned version or none at all (the default).

We also stop redirecting /boot/efi to /efi so that /efi is our pristine
directory for populating the ESP whereas /boot is unclaimed wasteland
free for package managers to write all kinds of stuff to.

mkosi: include binutils in the packages for building

On aarch64 the dependencies are different than x86 and we don't end up
with binutils getting picked up, which means readelf isn't available for
systemd-ukify when using mkosi-kernel on aarch64.  Explicitly add
bintuils to the list of packages, this allows mkosi-kernel to work
properly on an aarch64 machine.

mkosi-initrd: Fix typo

Fixes #2138

qemu: Become root when copying for Ephemeral=

To copy the directory, we need to be root (either real or in the
user namespace), so let's do just that.

Share default image configuration between debian and ubuntu

Remove no longer necessary __init__.py from mkosi.resources

Move off of the deprecated importlib.resources API

Python 3.9 brought a new importlib.resources API and deprecated the old
one. This introduces a small shim to use the part of the APi that guarantees a
Path object, thus making our usage of this just pathlike.

Merge pull request #2131 from DaanDeMeyer/fork

Run image builds in a fork again

Handle SIGTERM like a keyboard interrupt

Let's make sure we do proper cleanup on SIGTERM as well.

Log "Interrupted by ..." when we interrupt a child process

Instead of logging the full command line with exit status, let's
just log "Interrupted" when a child process is interrupted with CTRL+C.

Improve exception handling for subprocess.run()

Instead of having subprocess.run() kill child processes on exceptions
with SIGKILL, let's have it use SIGTERM instead. Because this is not
configurable, we have to override signal.SIGKILL with signal.SIGTERM
before we call subprocess.run().

Run image builds in a fork again

This solves two problems:
- When not using a tools tree, we can run qemu outside of the user
namespace which means that we don't need to pass fds to /dev/kvm and
/dev/vhost-vsock to keep things working unprivileged
- The vmspawn verb we're about to introduce will not be able to run
properly inside a user namespace, so we need to make sure we're not
inside a user namespace after the image build.

Compared to our original implementation of this way back with exception
propagation, this time we opt to do things differently by doing all
exception handling and logging inside the fork to avoid having to
propagate exceptions. This makes the overall implementation a lot
simpler.

We can also run the other verbs outside of the user namespace as long
as we're not using a tools tree. Because we want to keep support for
using a tools tree with all verbs, we keep support for running them
inside a user namespace as well. Because we already use INVOKING_USER
everywhere, this actually turns out to require very little changes. We
only need to make sure when starting virtiofsd that we unshare the user
namespace ourselves if we're not uid mapping.

Merge pull request #2132 from DaanDeMeyer/fix-kmods

Fix kmods

Don't consider include filters when deciding whether to run depmod

The include filters only do something if there's an exclude filter,
so we don't need to run depmod if only include filters are defined.

Fix filter_kernel_modules()

Make sure we skip the include/exclude logic if no filters are defined.

Merge pull request #2128 from DaanDeMeyer/extensions

Add sysext, confext and portable support