Process all overlays before we do any bind mounts

Otherwise, later overlays will hide earlier bind mounts.

Drop empty directories

Instead, let's declare them in the config and they'll get created
as needed.

Merge pull request #2185 from DaanDeMeyer/tools

Move default tools tree configuration to mkosi/resources/mkosi-tools

ci: Add tools trees to integration test matrix

Let's make sure our tools trees actually work as intended by
introducing a second axis to our test matrix.

ci: Drop rocky, alma and rhel-ubi

The next commit is going to add a second dimension to the test
matrix which will dramatically introduce the number of CI jobs.
Let's keep things manageable by dropping rhel-ubi, alma and rocky
which should be covered by the centos job already.

ci: Drop unused matrix.format

tests: Only log warning level and up to console by default

The debug logs are too noisy to forward them to the console by
default. Let's stick to warning and up only.

tests: Use default release from config file

Let's allow setting the default release in the mkosi.conf files
instead which is much more flexible.

tests: Use cryptsetup.passphrase for test_initrd_luks_lvm() as well

The credential now applies to all instances of systemd-crypsetup@,
so let's use it for the LUKS+LVM test as well.

mkosi-initrd: Add comment on initrd always being compressed

mkosi-initrd: Don't remove perl-base on Debian/Ubuntu

This doesn't work on older stable releases, so let's keep it in.

mkosi-initrd: Drop explicit CompressOutput=yes

This allows the compression passed by mkosi or the default compression
to be used instead. Note that the default is to compress the initrd, so
this doesn't change anything.

Log with which compression algorithm we're compressing

Fix remove packages log message

Install archlinux-keyring and makepkg in default debian/ubuntu image

Also run pacman-key --init and pacman-key --populate in a prepare
script.

Add more vsock debug logging

qemu: Always use smbios on x86

On x86, smbios is always there even if we're not booting from UEFI
so let's make sure we make use of it.

Make sure systemd-coredump is installed in default images

This isn't installed by default on Debian/Ubuntu/OpenSUSE so let's
install it manually there.

Look for shimx64.efi.signed.latest first

shimx64.efi.signed is an absolute symlink on Ubuntu to some path
in /etc so let's make sure we try shimx64.efi.signed.latest first.

Also, for safety, let's ignore any absolute symlinks while traversing
shim binaries.

opensuse: Use curl to fetch repomd.xml

urllib.request.urlopen() means we're responsible for catching all
the exceptions and showing a proper error message to the user.
Instead, let's just shell out to curl to fetch the file which can
translate any errors into user friendly error messages for us.

rpm: Disable plugins

Just like we disable all dnf plugins, let's also disable all rpm plugins.

Split out rpm.py and hook up rpm logic with zypper as well

We have a bunch of rpm related logic that's required when using
dnf and zypper so let's split out rpm.py and hook up everything in
both dnf and zypper.

Move default tools tree configuration to mkosi/resources/mkosi-tools

Our default initrd configuration already lives in
mkosi/resources/mkosi-initrd, let's do the same for our tools tree
configuration.

Move Architecture enum to config.py

All our other config enums live there as well so let's colocate
the Architecture enum with them. It also makes the next commit
easier.

Mount over various other directories as well if needed

On Opensuse the openssl certificates are stored in
/var/lib/ca-certificates so let's make sure we mount this directory
from the tools tree into the host as well.

The pacman keyring is stored in /etc/pacman.d/gnupg so we mount over
/etc/pacman.d as well if needed.

Add tools tree settings to cache manifest

All of these might affect the cached image so let's make sure
they're in the cache manifest.

Add HostArchitecture= match

tests: add pytest CLI args for distribution and release

Pass them to test functions via a fixture and the new Config subclass
of Image.

Also move pytest.ini into pyproject.toml while we're at it.

Merge pull request #2182 from DaanDeMeyer/ssh

Use mkosi.key/mkosi.crt for SSH authentication

Use mkosi.key/mkosi.crt for SSH authentication

Instead of using the user's SSH certificate and key, let's use the
X509 certificate and private key generated by 'mkosi genkey' instead.

This saves us from having to rely on ssh-agent to get the public key
or doing otherwise complicated logic to try and find the public and
private key. We also avoid always needing a separate public/private
key just for SSH by automatically converting the X509 certificate to
a SSH public key.

Mark private keys as secrets

Let's ensure that these have a strict access mode.

Only query credentials when they're needed

We might run commands that potentially need some time to complete so
let's only run them when needed.

Fix config settings ordering

Let's make sure this matches the order in the summary and MkosiConfig
class.

Merge pull request #2183 from DaanDeMeyer/s390

Support booting Fedora default image on s390x

Support booting Fedora default image on s390x

Set defaults for bootloaders

For testing purposes we might want to override these.

Add default serial tty for s390(x)

Terminate virtiofsd when shutting down

If qemu fails to start then virtiofsd won't shut down on its own
so let's explicitly send it a signal to shut down.

Support multiple [Match] sections

Instead of considering all match sections part of the same match,
let's consider each [Match] section on its own. This allows doing
multiple independent triggers, such as:

"""
[Match]
Format=|disk
Format=|directory

[Match]
Architecture=|x86-64
Architecture=|arm64
"""

Which now means to match if the format is one of disk or directory
and the architecture is one of x86-64 or arm64.

Build initrd if Bootable=auto

If building a bootable image is not explicitly disabled and we
don't split out an initrd from a UKI because the dependencies are
not installed or we're on the wrong architecture, let's still build
an initrd so that booting with qemu direct kernel boot still works.

Add support for loading environment files

Fixes #738

Only check tools for current verb

Mount over /etc/passwd again for virtiofsd

When running unprivileged with a tools tree and runtime trees we
still have to mount over /etc/passwd to keep things working.

Fix install_tree()

Let's make sure that all the skeleton, extra and package manager
trees we get have absolute targets. That allows us to stop using
with_prefix() when installing these trees, which means we pass
target=None instead of target="/" which makes install_tree do the
right thing.

Merge pull request #2179 from DaanDeMeyer/dnf5-plugins

Install dnf5-plugins in fedora tools tree

zypper: Enable autorefresh with refresh delay of 48h

Instead of never refreshing repository metadata, let's refresh
every 48h, which is the same default that dnf uses.

Fix fedora mirror source path

Install dnf plugins in tools trees

For running dnf builddep

Merge pull request #2177 from DaanDeMeyer/ssh

Stop using the tools tree for the ssh verb

Set SYSTEMD_UPDATE_HWDB_BYPASS=1

We run systemd-hwdb ourselves, so let's set this new environment
variable to skip its execution by package managers.

Don't unmount final tools tree

Let's instead just rely on it getting unmounted by the mkosi process
exiting and its mount namespace getting deleted.

Stop using the tools tree for the ssh verb

This allows us to run ssh out of the user namespace which means we
can get rid of the passwd hack to make ssh work. ssh is widespread
enough that we can require users to install it on the host machine
instead of using the tools tree.

Use RuntimeTrees= instead of RuntimeMounts=

Merge pull request #2174 from DaanDeMeyer/aarch64

Two more aarch64 improvements

Fall back to fw_cfg if SMBIOS is not available

Set $ARCHITECTURE when running scripts

Default to ttyAMA0 when building/booting arm images

On ARM, the first serial console is generally called ttyAMA0, so let's
configure that as the console instead of ttyS0.

Merge pull request #2171 from DaanDeMeyer/kernel-install

kernel-install: Use host's package manager configuration and repos

kernel-install: Use host's package manager configuration and repos

Let's make sure we use the host's package manager configuration and
repositories in the kernel-install plugin. The initrd we produce
should be as compatible with the host as we can make it and making
sure we use the same packages that the host uses is a good step in
achieving that.

Add dereference argument to copy_tree()

Let's allow configuring whether symlinks should be followed or not.

Have WithRecommends= override package manager trees

Now that we have an explicit setting for this, let's have it override
any configuration from the package manager config file.

Let's also make sure that WithDocs= overrides package manager trees
when using zypper.

Allow building CentOS/Fedora default images for arm64 architecture

Let's introduce a little conditionalization to allow building the
CentOS/Fedora default images for arm64.

Merge pull request #2164 from DaanDeMeyer/kernel-install

mkosi-initrd: Rewrite kernel-install plugin in python and support UKIs

mkosi-initrd: Rewrite kernel-install plugin in python and support UKIs

There's really no point for the kernel-install plugin to be in bash,
so let's rewrite it in python. While we're at it, let's also support
running as a UKI generator.

Add SecureBootAutoEnroll= option

Closes https://github.com/systemd/mkosi/issues/2169

Merge pull request #2166 from DaanDeMeyer/vmlinuz

Make kernel image lookup logic more robust

docs: Mention OVMF files with MS certs enrolled

Make kernel image lookup logic more robust

Add InitrdInclude= option

Same as Include=, but for the default initrd. This is a more
generic version of InitrdPackages=.

Revert "Look for vmlinuz.efi as well"

The kernel install target will install vmlinuz.efi as vmlinuz,
so no need to look for vmlinuz.efi after all.

This reverts commit f3871e3e843cbe28a03175aa14dc060e0ce06897.

make_cpio: sort files used as cpio input

Pathlib's glob functions return files in the order used by the filesystem.
This may differ between implementations and configuration (file system, locale).
For better reproducibility, the file list should be sorted.

Simplify log_setup() a bit

Default to sys.exit() in uncaught_exception_handler()

Save kernel image and stub when building UKI/ESP images

When building a UKI image, it's not unreasonable for users to not
want to ship the large vmlinuz kernel image file inside their UKI
initrd. However, because we process remove_files() before we build
the UKI, the kernel image might already have been removed by the
time we build the UKI. To avoid this problem, let's save the UKI
(and the stub while we're at it) in the workspace directory before
we process file removals.

Let's also only process cmdline files from the rootfs when we're
building a bootable image and ignore them if we're building a UKI.

mkosi-initrd: Pass image ID to initrd build

Let's allow passing in an image ID and use no image ID by default.
Let's also allow overriding the output

Look for vmlinuz.efi as well

On aarch64, vmlinuz.efi is installed instead of vmlinuz so let's
make sure we look for both.

tests: Test "none" output format as well

Let's build an image with "none" as well. There won't be any output,
but we can at least test that nothing breaks when specifying "none"
as the output format.

Also apply the "integration" marker to the entire file while we're
at it.

Minor fix: remove duplicate shim-signed package

man: fix name of option RepartOffline

Add RepartOffline= option

Instead of auto-detecting all cases where --offline=no has to be
used with systemd-repart, let's allow configuring it via an option
so that if we discover any new cases, users can easily disable
offline mode themselves.

qemu: Remove --posix-acl and add --no-announce-submounts to virtiofsd

--posix-acl causes an error from virtiofsd saying the client doesn't
support this feature. We also get a warning about announcing submounts
not being supported so let's make sure we disable both features to
avoid these warnings/errors.

Update NEWS.md

Merge pull request #2155 from DaanDeMeyer/grub

undefined

Write grub BIOS partition definition after ESP definition

The BIOS partition is ordered after the ESP so let's write their
config file in the same order for clarity.

Make sure grub fonts directory exists

Use grub's search.file module instead of hardcoding partition numbers

We can tell grub to search for the first partition containing a
/grub/grub.cfg file. This still isn't ideal, but it's better than
hardcoding partition numbers.

Move ESP grub shim configuration to prepare_grub_efi()

Merge pull request #2154 from DaanDeMeyer/kernel-install

Use kernel-install entry token if available

Install kernels to /boot

If users want to use XBOOTLDR partitions, then we have to put the
kernels in a separate location from the ESP stuff. Currently we put
everything in /efi when building the image, which means that users
don't have a way to specify that the kernels should be put in an
XBOOTLDR partition.

Let's fix this by installing kernels to /boot so that users can
populate an XBOOTLDR partition by simply using CopyFiles=/boot:/
in a repart xbootldr partition definition.

Use kernel-install entry token if available

Let's try and look for the kernel-install entry token if
kernel-install v255 or newer is available. This makes us more
compatible with package manager upgrades as we'll use the same
directory that kernel-install will look for when invoked by a
package manager.

Fix tool display in check_systemd_tool()

Return full version from systemd_tool_version()

Let's allow comparing against stable releases as well by returning
the full version.

action: Switch to systemd v255 stable branch

Let's stop tracking systemd's latest commit on main and switch to
the v255 stable branch instead.

Add QemuFirmwareVariables=

This allows configuring the path to the qemu firmware variables to
use. This allows users to configure their own variables using
https://pypi.org/project/virt-firmware/ before passing it to mkosi.

This also fixes a bug where we didn't pass the variables file to
qemu if the firmware doesn't support secure boot.

Look for /usr/lib/kernel/uki.conf as well

Merge pull request #2153 from DaanDeMeyer/min-version

Allow specifying minimum mkosi version

Allow specifying minimum mkosi version

Currently, users often get a confusing message about some property
not existing when they try to use an older version of mkosi to build
a configuration that requires a newer version. Let's improve on this
by allowing configurations to declare the minimum version required to
build the configuration.

Clean up load_config() a little

Merge pull request #2151 from DaanDeMeyer/pacman

arch: Move arch specific configuration out of setup_pacman()

tests: Use temporary mount point

Instead of creating a directory owned by root in the cwd, let's just
use a temporary directory that we remove again afterwards.