ci: Add console=ttyS0 to the kernel command line

It's the default but since we override the default we lose the
default value so add it back explicitly.

ci: Simplify checks

Instead of mounting the filesystem and checking the contents of the
failed-services file, let's just shut down the machine with a non-zero
exit status if there are failed services. This works for both nspawn
and qemu now that we have the vsock notify socket set up.

action: Allow unprivileged access to kvm, vhost-vsock and vhost-net devices

These are restricted on Debian/Ubuntu but we want to allow running
unprivileged qemu so let's loosen the permissions on these devices
to make that possible.

Fix vhost-vsock access check

Let's make sure we use exactly the same open() command that qemu
uses to check if we can access the /dev/vhost-vsock device.

Drop kernel modules add/remove debug log messages

Too noisy when there's lots of kernel modules

Propagate systemd exit status from the VM

Let's make use of the new vmm.notify_socket credential to fetch
systemd's exit status from the VM and propagate it as our own exit
status, just like already happens automatically for containers with
systemd-nspawn.

ci: Drop epel repository for alma

systemd-boot should be available in the base OS now.

action: Drop linux-modules-extra-azure again

This doesn't work since the modules don't match the running kernel
version.

Fix output check

action: Install extra azure modules package

This contains the erofs kernel module which is required for mounting
erofs filesystems in systemd-nspawn.

action: Sort package list

Fix failure when we have a build script without build packages

ubuntu: Use linux-kvm package in CI

Don't check for /usr/lib/kernel/cmdline on the host system

Fix --sign-expected-pcr

Fall out from the introduction of ConfigFeature

Only try to apply ACL to image output if it's a directory

Merge pull request #1548 from DaanDeMeyer/cache

Add some very basic cache invalidation

Make sure the initrd outputs are prefixed with the image name

This makes sure that they're cleaned up in unlink_output() together with the image.

Add some very basic cache invalidation

Let's compare the packages, build packages, repositories and the
contents of the prepare script. This doesn't cover everything but
should be sufficient to catch most changes without having to run
with "-ff".

Make sure we build initrd with same force as final image

Move save_cache() next to reuse_cache_tree()

Also rename reuse_cache_tree() to reuse_cache().

Get rid of build_stuff()

The distinction between build_stuff() and build_image() is quite
arbitrary these days. build_stuff() used to build multiple images,
and build_image() would build a single image, but that's not the
case anymore, so let's merge build_stuff() into build_image().

Get rid of init_mount_namespace()

Let's just unshare the mount namespace as well as part of
become_root(). Also stop making every mount a slave mount, since
we don't really care about host mounts propagating into our mount
namespace.

Do not cache skeleton trees

There's no point, we're either copying the files from the cache or
from the skeleton tree, so let's not duplicate those files
unnecessarily.

Get rid of for_cache argument of build_image()

It's trivial to save and reuse the cache directly in build_image(),
so let's get rid of for_cache and just do the logic directly in
build_image().

Merge pull request #1547 from DaanDeMeyer/fixes

Fixes

chmod /etc/machine-id and not the root directory

Fixes #1546

More ACL fixes

Let's make sure we actually add ACLs to directories that initally
don't exist yet.

Merge pull request #1545 from DaanDeMeyer/erofs

action: Install erofs-utils and drop zypper

action: Install erofs-utils and drop zypper

Merge pull request #1543 from DaanDeMeyer/firstboot

Adopt systemd-firstboot

Set tty size and term for /dev/console as well

When emergency.service is started, it's started connected to
/dev/console, so make sure we configure default term and tty size
for that one as well.

ACL fixes

- Toggle ACLs only if they're actually set in the first place on
inputs
- Toggle ACLs on skeleton and extra trees as well

Output size of each UKI we assemble

Make KernelModulesInclude take priority over KernelModulesExclude=

If exclude takes priority over include, it becomes hard to exclude
directories of drivers except for a few. If include takes priority
over exclude, we can do stuff like exclude "drivers/gpu/*" and
include "drivers/gpu/nvidia" to only include nvidia drivers.

The current behavior easily be reproduced by adding exclude "*"
followed by include patterns.

Add KernelModulesInclude= and KernelModulesExclude=

These are like KernelModulesInitrdInclude= and
KernelModulesInitrdExclude= but they apply to the image itself
instead of to the kernel modules initrd.

The main use case is when using mkosi as an initramfs builder and
you want to exclude kernel modules from the initramfs but it can
also be useful when distros only ship large kernel packages that
you want to trim down.

arch: Always exclude initramfs generator if we're doing a bootable image

The current condition is wrong as we'll generate an initrd ourselves
if none are provided by the user, so update the condition to not install
initramfs generators unless generating a bootable image is explicitly
disabled.

Kernel modules initramfs improvements

- Use relative paths over full absolute paths
- Put all the firmware directories into the initramfs as well (just
the dirs, not all the firmware files)
- Return sets from resolve kernel modules function
- Operate on sorted lists of the sets to improve reproduciblity
- Split out filter_kernel_modules()
- Take builtin modules into account as well
- Use name field instead of filename from modinfo output
- Stop using joinpath() in favor of parentheses

Fall back to regular copying if doing a btrfs snapshot fails

Give disk images some extra free disk space when we boot them

truncate creates the extra disk space sparse so this doesn't affect
the host's disk usage. The extra disk space will have to be partitioned
to be usable inside the image though (but this is perfect for systemd's
use case as we want to partition the free space with systemd-repart).

Introduce separate settings for configuring the verity key/certificate

These also default to mkosi.key and mkosi.crt but give the option to
use different files if required.

Fix sections for a number of settings

Let's move a bunch of settings to a section that makes more sense
for them. No functional change, just moving stuff around.

Make secure boot key and certificate required if set

If these are explicitly configured, we should make sure the paths
exist.

Make key generation generic

Let's put generated keys in mkosi.key and mkosi.crt, and remove the
secure boot nomenclature from the key generation options. This allows
us to reuse the keys for other signing operations as well.

Reduce ESP default size to 512MB

Now that we compress the Debian kernel modules initramfs, we can
reduce the default ESP size to 512MB again as it's large enough to
fit the Debian initramfs even with all kernel modules included.

Allow skipping presets with a [Match] section

If a preset's main config file has a [Match] section and it doesn't
match, do not add the preset to the list of presets.

Only check if given initrds exist if we're building a bootable image

This allows disabling the initrd build without failing the final
image build that uses it.

Write all systemd units and dropins to /usr/ instead of /etc

We want to accomodate images that only ship a /usr partition so let's
start by writing all of our dropins and units to /usr.

Adopt systemd-firstboot

We keep it simple and just adopt the same settings that firstboot
has and pass them through directly.

This commit also reworks how we reset the machine ID, random seed
and a few other files.

Kernel modules initrd improvements

- Let's compress the kernel modules initrd on Debian to at least
reduce the disk usage required for the initrd. Not required for other
distros since those compress their kernel modules already individually.
- Add option --kernel-modules-initrd to enable/disable usage of the
kernel modules initrd. Can be used to disable it if the main initrd
already contains the necessary kernel modules
- Add options --kernel-modules-initrd-include/exclude to allow
including/excluding the initrds to put in the kernel modules initrd
by regex patterns.

Merge pull request #1541 from DaanDeMeyer/subvolume

Various new features and cleanups

Drop man page from the repo

Let's just generate it on demand with pandoc when needed instead of
storing it in the repo. I initially pushed for putting in the repo
because the mkosi AUR package pulled in hundreds of Haskell dependencies
for pandoc when installing mkosi to build the manpage, but that's an
Arch issue and not something to solve in mkosi. Also, mkosi moved
from the AUR to the community repo these days so it's not an issue
on Arch anymore either.

Add Bootable= match

Introduce --use-subvolumes

Let's optionally use subvolumes to speed up copies when incremental
builds or base trees are used.

Set dnf logdir to the workspace directory

Let's not clutter the image with dnf logs.

Introduce ConfigFeature

Remove dead code

Merge pull request #1538 from DaanDeMeyer/stable

Make sure a stable path to the output path exists

Rework output related logic

- Let's store the output as a "base" name without any suffixes from
which we construct all other output paths.
- Let's not allow --output to be specified as a path anymore and
always put it in the configured output directory.
- Let's return all output paths as strings instead of paths. As
strings, we'll get typing errors if we try to use these as paths
without joining them with a directory first, which can be either the
output directory or the staging directory.
- Let's always create a symlink from the "base" name to the full
output path so it can be referred to regardless of the output
format, compression or image version that's used.
- Let's make sure we compress split partitions if requested

Call unlink_output() before calling build_stuff() for prebuilt initrds

fedora: do not explicitly pull in filelists on F>=38

After the discussion in https://bugzilla.redhat.com/show_bug.cgi?id=2180842
glibc was updated to provide /sbin/ldconfig in F38 and rawhide. The
issue remains for only a few packages, and any that are frequently
installed are likely to be fixed quickly. So let's drop the work-around
for F>=38, which allows a smaller download to be made.

Follow-up for 04983128e59630c4227557573d7a69796911d5d1.

fedora: remove unused output variable

Drop fallocate() call

repart already generates sparse loopback files for us, no need to
spend time looping over the file to do it again.

Drop subvolume output format

We'll add this back eventually as a --subvolume option that applies
to all output formats.

Revert "Ensure output is compatible with systemd-sysupdate"

This reverts commit f4414bee11c97a5872a74931f8bb78995b2e98c2.

Merge pull request #1536 from DaanDeMeyer/opensuse-dnf

opensuse: Use dnf instead of zypper

opensuse: Use dnf instead of zypper

Let's reduce the number of package managers we use by using dnf to
build opensuse images.

The only caveat is that extra GPG keys are listed in repomd.xml for
the opensuse repos, so we have to download that file and parse it to
figure out the extra keys that we have to write to the repo configs.

Ensure output is compatible with systemd-sysupdate

When using `systemd-sysupdate` it is wise to use split artifacts and to
compress artifacts. These changes ensure that split artifacts are compressed
and the file paths are stored in the checksum.

Please note that `systemd-sysupdate` expects a checksum name of `SHA256SUMS`
and uses the contained file names to determine which files to download. The
compression suffix is also used to determine how to decompress files.

Additional CI checks have been added to make sure no regressions in output
format occur.

opensuse: Use kernel-kvmsmall in CI

Smaller kernel package that still has all features we need.

Make sure we download filelists when using dnf5

Some packages depend on this information to be available.

mageia: Use cauldron as the default release

Let's use the development release of mageia as the default release
to avoid it getting outdated all the time.

Allow passing multiple GPG urls

Drop gpg path locations

All of our gpg paths point to locations in rpms gpg database so they
should already be known by dnf and as such there's no point in listing
them explicitly in the config file. Let's only keep the urls in mkosi.

Make gpgurl non-optional

Update files docs

distro: debian: allow RemovePackages

When using RemovePackages= apt may refuse to remove what it considers
essential packages even when they are effectively empty meta packages or
contain only usr/share/doc/${package}/

This causes build failure like this:
Reading state information...
Package 'netcat-openbsd' is not installed, so not removed
Package 'net-tools' is not installed, so not removed
Package 'man-db' is not installed, so not removed
Package 'groff-base' is not installed, so not removed
The following packages will be REMOVED:
  cron* dmidecode* fdisk* ifupdown* init* iproute2* iputils-ping*
  isc-dhcp-client* isc-dhcp-common* kmod* libbpf0* libbsd0* libcap2-bin*
  libdns-export1110* libedit2* libelf1* libfdisk1* libisc-export1105*
  libjansson4* libmd0* libmnl0* libnftables1* libnftnl11* libxtables12*
nano*
  netbase* nftables* udev* vim-common* vim-tiny* xxd*
WARNING: The following essential packages will be removed.
This should NOT be done unless you know exactly what you are doing!
  init
0 upgraded, 0 newly installed, 31 to remove and 0 not upgraded.
E: Essential packages were removed and -y was used without
--allow-remove-essential.
‣ "apt-get purge vim-tiny vim-common nano nftables netcat-openbsd
netbase net-tools isc-dhcp-common isc-dhcp-client iputils-ping iprout
e2 udev kmod fdisk dmidecode man-db init ifupdown groff-base cron"
returned non-zero exit code 100.
Traceback (most recent call last):
File "/usr/lib/python3.9/runpy.py", line 197, in _run_module_as_main
    return _run_code(code, main_globals, None,

As we do know what we are doing to have configured these removals, tell
apt to allow it.

Merge pull request #1513 from keszybz/more-man

More man page adjustments

Merge pull request #1506 from DaanDeMeyer/profiles

Add preset support

Add preset support

Presets can be defined in mkosi.presets/. A preset is just like a
regular config file/directory, except that mkosi can build multiple
presets sequentially.

If mkosi.presets/ exists, for each preset mkosi will read the global
configuration, followed by the individual preset configuration. It
will then build each of the presets in alpha-numerical order. Later
presets can use outputs of earlier presets, specifically using the
BaseTrees= and Initrds= options.

While this has many use cases, one promising use case is to allow
building an initrd and a final image that uses that initrd within a
single invocation of mkosi.

Do prebuilt initrds by default

Let's stop running kernel-install in favor of always doing prebuilt
initrds by default. We reimplement the depmod hook of kernel-install
ourselves (required for centos stream 8).

If no initrd is provided by the user, we build a minimal one ourselves
that's sufficient to boot in a qemu VM. If the default initrd is not
sufficient, the upcoming preset support can be used to build a custom
initrd instead.

Allow specifying --bootable without an argument

Don't fail if we can't retrieve default credentials

Let's not fail if we can't run ssh-add or timedatectl to get the
SSH key or timezone.

Allow specifying empty --directory to not parse any config files

repart: Support mkfs options from configured environment

Switch back to using ttyS0 as the default serial console

virtio_console is not always a builtin kernel module on all the
distributions we support. This means that the kernel can only
start logging to it after the initramfs has been unpacked and the
virtio_console module has been loaded from it. Any message that's
logged to kmsg before that dissapears into the void which makes
debugging boot failures rather difficult.

Instead, until systemd-stub is recent enough in all supported distros
to receive extra kernel cmdline arguments via smbios, let's use a
default kernel cmdline of "console=ttyS0" so that the serial console
works by default but can still be overridden by users.

Always create /init symlink if systemd is installed

Let's always create the /init symlink if systemd is installed so that
the kernel picks it up at /init when we try to use this output as the
initramfs.

Refactor ACLs + make sure they apply to base trees

Let's refactor ACLs so that they're all applied/removed in the same
function. Let's also make sure they apply to base trees as well.

Add gzip compression support

Default to xz fast compression

Let's default to fast compression instead of better compression.

Also drop pixz support since it's superseded by xz's own multithreading
support.

Fixup rpmdb location on Debian when running zypper as well

zypper uses rpmdb under the hood, just like dnf, so it suffers from
the same rpmdb problem on Debian/Ubuntu, so let's apply the same fix.

Add missing newline

centos: Make sure glibc-all-langpacks doesn't get installed

On CentOS 8, glibc-all-langpacks is pulled in as a dependency of
filesystem. Let's make sure dnf prefers glibc-minimal-langpack by
installing it explicitly.

Fix genkey

Clean up unlinking outputs a bit

Add missing colon

Fix PathExists

We now chdir() to the current config directory so we don't have to
take the current path into account anymore.

Don't try to install build packages if we have none

Cache only files installed on top of base trees

Currently, when base trees are used in incremental mode, we cache
the base trees as well. When running from a cache copy, any changes
to the base trees are not taken into account. Let's change this and
only cache the files we add/change/delete on top of the base layers.
This makes sure that we can still use our cache even if the base layer
changes, since we won't ignore all changes made to the base layer.

Store file hash and signature in output directory

CI fixes