Use dnf when building foreign architectures

dnf5 does not support --forcearch yet which means it can't build
foreign architectures.

Rework architecture handling

Let's lock architectures down by making it an enum instead of a
free form string. We also introduce a bunch of mapping functions
to map the Architecture enum to qemu, distribution arches, efi
arches. We only support the architectures defined in the discoverable
partitions spec and use those architectures as the default representation.

Merge pull request #1591 from DaanDeMeyer/exception-handling

Make sure we handle any exceptions thrown in MkosiAsyncioThread()

ci: Make sure we're running qemu with a vsock

Let's add a little extra coverage by enforcing that qemu runs with
a vsock.

Make sure we handle any exceptions thrown in MkosiAsyncioThread()

Any unhandled exceptions from run() are by default just printed to
stderr. Let's make sure that these exceptions cause mkosi itself to
fail by catching them and re-raising them when the thread is joined.

Merge pull request #1583 from Cornelicorn/output-uids

Improve basename symlinks

Add --all-architectures when we run bootctl

To make sure that we install correctly even when doing cross builds

Various improvements

- Move workspace and install/cache directory handling into MkosiState
- Stop running the build as the user running mkosi, this makes things
simpler as the root user in the userns can write to directories owned
by the user running mkosi but vice versa is not possible. The build
script still can't modify the build image as we mount the build overlay
read-only.
- Create directories that need to be owned by the user running mkosi
before switching to the user namespace
- Various refactorings

debian: Fix foreign architecture builds

--force-architecture forces dpkg to install packages for other
architectures than the host architecture. --force-depends is required
because when building for arm64 it seems it can't quite figure out
all the pre-depends. For extra safety, we also set APT::Architectures
on top of APT::Architecture.

Always overwrite the basename symlink to point to the newest version

Having the symlink point to the oldest image is somewhat counterintuitive

Fix wrong uid:gid on the basename symlink

Before this would have the uid:gid of root in the uidmap space
The link is now created in the staging area first to make the change atomic,
so that the wrong uid:gid pair is never seen in the output directory

Add support for pesign to sign secure boot binaries

sbsign is not packaged on CentOS so let's add support for pesign as
well as support for pesign was recently added to ukify as well.

ukify: always sign kernel inside of uki if secure boot is enabled

This overrides the auto detection of ukify and always signs the kernel bevore embedding it in the uki (even if the kernel is already signed).
Rationale: When building Fedora 37 images, the Fedora provided kernel is signed with an expired key (id 2574709492).
I would like to add an additional signature with my own signing key to enable kexec and other features that require a correctly signed kernel image.

Co-authored-by: Otto Bittner <cobittner@posteo.net>

fix missing exist_ok for debian /usr

This would prevent having /usr in a skeleton tree

Firstboot improvements

- Merge --root-password-hashed and --root-password-file into
  --root-password. If prefixed with hashed:, we treat it as a hashed
  root password.
- When not building an initrd, also store corresponding credentials
in /usr/lib/credstore, so that the settings work even if only /usr
is shipped in the final image. We don't do this for initrds since
those generally ship with /etc populated.
- Drop setting of firstboot.hostname which isn't actually used by
systemd-firstboot

Compress centos 8 variant cpios with xz instead of zstd

The kernel for CentOS 8 and its variants doesn't ship with zstd
initrd compression support, so let's default to xz instead.

Refactor image growing

Use systemd-repart to grow disk image

Using truncate isn't entirely right, let's do this properly by letting
systemd-repart handle it.

Merge pull request #1571 from DaanDeMeyer/fixes

Fixes

rocky: Drop epel repository from bootable config

systemd-boot is provided by the base repositories now so let's drop
the epel repository config.

Make mkosi the foreground process again when child process finishes

We currently get "Job mkosi has stopped" when fetching running the
summary verb. Let's fix this by making sure we make mkosi the foreground
process again when we finish running a child process.

Make sure we page summaries only once when there's multiple presets

Return early if verb is "clean"

Otherwise we start checking the inputs of the presets which we don't
wanna do if we're just cleaning outputs

Add RepartDirectories to summary

Use slightly better dnf5 check

Instead of checking whether dnf5 exists all the time, just reuse
the first check results

Various dnf fixes

- Put the logs in a subdirectory of the workspace
- Make sure we configure the persistdir to be inside the workspace
as well. Otherwise dnf5 tries to use the system directory which fails
with a permission error
- Use the non-compat dnf5 option names instead of the compat ones

Pass firstboot settings to generated initrd as well

It generally doesn't make sense to have these differ between the
initrd and the rootfs, so let's pass these settings through to the
initrd as well.

The only setting we don't pass through is the root shell as configuring
a different root shell might mean installing extra packages which might
be undesireable in the initrd.

Only clean cache images if cache dir exists

Do not check inputs up front

They could be generated by the previous preset

Merge pull request #1563 from DaanDeMeyer/fix-needs-build

Fix needs_build()

Check inputs/outputs before removing any files.

Fix needs_build()

Don't install a boot loader if we can't find bootctl

Also fail if a bootable image is requested and we can't find bootctl.

Don't install a boot loader if no kernels are installed

If a bootable image has not been explicitly requested, don't install
a boot loader if we can't find any kernel images installed in the image.

Check for btrfs before invoking run()

check= does not handle missing binaries so let's check explicitly
before running btrfs.

Do not reuse cache if there is no manifest

This makes sure there's no need to remove the cache manually to
make sure the manifest gets generated.

Merge pull request #1557 from DaanDeMeyer/vsock

Add a feature for enabling/disabling qemu vsock usage

Add a feature for enabling/disabling qemu vsock usage

Move qemu logic into qemu.py

We also introduce a new function qemu_check_vsock_support()

Make config_kvm a proper ConfigFeature

Merge pull request #1555 from DaanDeMeyer/notify

Propagate systemd exit status from the VM

ci: Add console=ttyS0 to the kernel command line

It's the default but since we override the default we lose the
default value so add it back explicitly.

Use /efi as the ESP path when building the image

We used to use /boot because kernel-install would hardcode it but since
we don't use kernel-install anymore, let's use /efi instead. This way,
if anyone wants to install grub, they can do so in /boot and package
/boot up as an XBOOTLDR partition.

ci: Simplify checks

Instead of mounting the filesystem and checking the contents of the
failed-services file, let's just shut down the machine with a non-zero
exit status if there are failed services. This works for both nspawn
and qemu now that we have the vsock notify socket set up.

action: Allow unprivileged access to kvm, vhost-vsock and vhost-net devices

These are restricted on Debian/Ubuntu but we want to allow running
unprivileged qemu so let's loosen the permissions on these devices
to make that possible.

Fix vhost-vsock access check

Let's make sure we use exactly the same open() command that qemu
uses to check if we can access the /dev/vhost-vsock device.

Drop kernel modules add/remove debug log messages

Too noisy when there's lots of kernel modules

Propagate systemd exit status from the VM

Let's make use of the new vmm.notify_socket credential to fetch
systemd's exit status from the VM and propagate it as our own exit
status, just like already happens automatically for containers with
systemd-nspawn.

ci: Drop epel repository for alma

systemd-boot should be available in the base OS now.

action: Drop linux-modules-extra-azure again

This doesn't work since the modules don't match the running kernel
version.

Fix output check

action: Install extra azure modules package

This contains the erofs kernel module which is required for mounting
erofs filesystems in systemd-nspawn.

action: Sort package list

Fix failure when we have a build script without build packages

ubuntu: Use linux-kvm package in CI

Don't check for /usr/lib/kernel/cmdline on the host system

Fix --sign-expected-pcr

Fall out from the introduction of ConfigFeature

Only try to apply ACL to image output if it's a directory

Merge pull request #1548 from DaanDeMeyer/cache

Add some very basic cache invalidation

Make sure the initrd outputs are prefixed with the image name

This makes sure that they're cleaned up in unlink_output() together with the image.

Add some very basic cache invalidation

Let's compare the packages, build packages, repositories and the
contents of the prepare script. This doesn't cover everything but
should be sufficient to catch most changes without having to run
with "-ff".

Make sure we build initrd with same force as final image

Move save_cache() next to reuse_cache_tree()

Also rename reuse_cache_tree() to reuse_cache().

Get rid of build_stuff()

The distinction between build_stuff() and build_image() is quite
arbitrary these days. build_stuff() used to build multiple images,
and build_image() would build a single image, but that's not the
case anymore, so let's merge build_stuff() into build_image().

Get rid of init_mount_namespace()

Let's just unshare the mount namespace as well as part of
become_root(). Also stop making every mount a slave mount, since
we don't really care about host mounts propagating into our mount
namespace.

Do not cache skeleton trees

There's no point, we're either copying the files from the cache or
from the skeleton tree, so let's not duplicate those files
unnecessarily.

Get rid of for_cache argument of build_image()

It's trivial to save and reuse the cache directly in build_image(),
so let's get rid of for_cache and just do the logic directly in
build_image().

Merge pull request #1547 from DaanDeMeyer/fixes

Fixes

chmod /etc/machine-id and not the root directory

Fixes #1546

More ACL fixes

Let's make sure we actually add ACLs to directories that initally
don't exist yet.

Merge pull request #1545 from DaanDeMeyer/erofs

action: Install erofs-utils and drop zypper

action: Install erofs-utils and drop zypper

Merge pull request #1543 from DaanDeMeyer/firstboot

Adopt systemd-firstboot

Set tty size and term for /dev/console as well

When emergency.service is started, it's started connected to
/dev/console, so make sure we configure default term and tty size
for that one as well.

ACL fixes

- Toggle ACLs only if they're actually set in the first place on
inputs
- Toggle ACLs on skeleton and extra trees as well

Output size of each UKI we assemble

Make KernelModulesInclude take priority over KernelModulesExclude=

If exclude takes priority over include, it becomes hard to exclude
directories of drivers except for a few. If include takes priority
over exclude, we can do stuff like exclude "drivers/gpu/*" and
include "drivers/gpu/nvidia" to only include nvidia drivers.

The current behavior easily be reproduced by adding exclude "*"
followed by include patterns.

Add KernelModulesInclude= and KernelModulesExclude=

These are like KernelModulesInitrdInclude= and
KernelModulesInitrdExclude= but they apply to the image itself
instead of to the kernel modules initrd.

The main use case is when using mkosi as an initramfs builder and
you want to exclude kernel modules from the initramfs but it can
also be useful when distros only ship large kernel packages that
you want to trim down.

arch: Always exclude initramfs generator if we're doing a bootable image

The current condition is wrong as we'll generate an initrd ourselves
if none are provided by the user, so update the condition to not install
initramfs generators unless generating a bootable image is explicitly
disabled.

Kernel modules initramfs improvements

- Use relative paths over full absolute paths
- Put all the firmware directories into the initramfs as well (just
the dirs, not all the firmware files)
- Return sets from resolve kernel modules function
- Operate on sorted lists of the sets to improve reproduciblity
- Split out filter_kernel_modules()
- Take builtin modules into account as well
- Use name field instead of filename from modinfo output
- Stop using joinpath() in favor of parentheses

Fall back to regular copying if doing a btrfs snapshot fails

Give disk images some extra free disk space when we boot them

truncate creates the extra disk space sparse so this doesn't affect
the host's disk usage. The extra disk space will have to be partitioned
to be usable inside the image though (but this is perfect for systemd's
use case as we want to partition the free space with systemd-repart).

Introduce separate settings for configuring the verity key/certificate

These also default to mkosi.key and mkosi.crt but give the option to
use different files if required.

Fix sections for a number of settings

Let's move a bunch of settings to a section that makes more sense
for them. No functional change, just moving stuff around.

Make secure boot key and certificate required if set

If these are explicitly configured, we should make sure the paths
exist.

Make key generation generic

Let's put generated keys in mkosi.key and mkosi.crt, and remove the
secure boot nomenclature from the key generation options. This allows
us to reuse the keys for other signing operations as well.

Reduce ESP default size to 512MB

Now that we compress the Debian kernel modules initramfs, we can
reduce the default ESP size to 512MB again as it's large enough to
fit the Debian initramfs even with all kernel modules included.

Allow skipping presets with a [Match] section

If a preset's main config file has a [Match] section and it doesn't
match, do not add the preset to the list of presets.

Only check if given initrds exist if we're building a bootable image

This allows disabling the initrd build without failing the final
image build that uses it.

Write all systemd units and dropins to /usr/ instead of /etc

We want to accomodate images that only ship a /usr partition so let's
start by writing all of our dropins and units to /usr.

Adopt systemd-firstboot

We keep it simple and just adopt the same settings that firstboot
has and pass them through directly.

This commit also reworks how we reset the machine ID, random seed
and a few other files.

Kernel modules initrd improvements

- Let's compress the kernel modules initrd on Debian to at least
reduce the disk usage required for the initrd. Not required for other
distros since those compress their kernel modules already individually.
- Add option --kernel-modules-initrd to enable/disable usage of the
kernel modules initrd. Can be used to disable it if the main initrd
already contains the necessary kernel modules
- Add options --kernel-modules-initrd-include/exclude to allow
including/excluding the initrds to put in the kernel modules initrd
by regex patterns.

Merge pull request #1541 from DaanDeMeyer/subvolume

Various new features and cleanups

Drop man page from the repo

Let's just generate it on demand with pandoc when needed instead of
storing it in the repo. I initially pushed for putting in the repo
because the mkosi AUR package pulled in hundreds of Haskell dependencies
for pandoc when installing mkosi to build the manpage, but that's an
Arch issue and not something to solve in mkosi. Also, mkosi moved
from the AUR to the community repo these days so it's not an issue
on Arch anymore either.

Add Bootable= match

Introduce --use-subvolumes

Let's optionally use subvolumes to speed up copies when incremental
builds or base trees are used.

Set dnf logdir to the workspace directory

Let's not clutter the image with dnf logs.

Introduce ConfigFeature

Remove dead code

Merge pull request #1538 from DaanDeMeyer/stable

Make sure a stable path to the output path exists