ci: print version of used tools

ci: exchange isort and pyflakes for ruff

fix ruff warnings

mkosi: include binutils in the packages for building

On aarch64 the dependencies are different than x86 and we don't end up
with binutils getting picked up, which means readelf isn't available for
systemd-ukify when using mkosi-kernel on aarch64.  Explicitly add
bintuils to the list of packages, this allows mkosi-kernel to work
properly on an aarch64 machine.

mkosi-initrd: Fix typo

Fixes #2138

qemu: Become root when copying for Ephemeral=

To copy the directory, we need to be root (either real or in the
user namespace), so let's do just that.

Remove no longer necessary __init__.py from mkosi.resources

Move off of the deprecated importlib.resources API

Python 3.9 brought a new importlib.resources API and deprecated the old
one. This introduces a small shim to use the part of the APi that guarantees a
Path object, thus making our usage of this just pathlike.

Merge pull request #2131 from DaanDeMeyer/fork

Run image builds in a fork again

Handle SIGTERM like a keyboard interrupt

Let's make sure we do proper cleanup on SIGTERM as well.

Log "Interrupted by ..." when we interrupt a child process

Instead of logging the full command line with exit status, let's
just log "Interrupted" when a child process is interrupted with CTRL+C.

Improve exception handling for subprocess.run()

Instead of having subprocess.run() kill child processes on exceptions
with SIGKILL, let's have it use SIGTERM instead. Because this is not
configurable, we have to override signal.SIGKILL with signal.SIGTERM
before we call subprocess.run().

Run image builds in a fork again

This solves two problems:
- When not using a tools tree, we can run qemu outside of the user
namespace which means that we don't need to pass fds to /dev/kvm and
/dev/vhost-vsock to keep things working unprivileged
- The vmspawn verb we're about to introduce will not be able to run
properly inside a user namespace, so we need to make sure we're not
inside a user namespace after the image build.

Compared to our original implementation of this way back with exception
propagation, this time we opt to do things differently by doing all
exception handling and logging inside the fork to avoid having to
propagate exceptions. This makes the overall implementation a lot
simpler.

We can also run the other verbs outside of the user namespace as long
as we're not using a tools tree. Because we want to keep support for
using a tools tree with all verbs, we keep support for running them
inside a user namespace as well. Because we already use INVOKING_USER
everywhere, this actually turns out to require very little changes. We
only need to make sure when starting virtiofsd that we unshare the user
namespace ourselves if we're not uid mapping.

Merge pull request #2132 from DaanDeMeyer/fix-kmods

Fix kmods

Don't consider include filters when deciding whether to run depmod

The include filters only do something if there's an exclude filter,
so we don't need to run depmod if only include filters are defined.

Fix filter_kernel_modules()

Make sure we skip the include/exclude logic if no filters are defined.

Merge pull request #2128 from DaanDeMeyer/extensions

Add sysext, confext and portable support

Add sysext, confext and portable support

Wwe also write the extension-release file in case of sysexts and
confexts and make sure we skip a bunch of our automatic features
when building extension  images or enabling the Overlay= option
as in these cases many of our automatic features are undesireable.

Make sure networking works on debian

Also drop some unused stuff from the preset file.

mkosi-initrd: Fix md rules

This somehow ended up being copied wrongly from dracut so let's fix
that.

Add QemuVsockCID= option

This makes it a bit more streamlined to run multiple VMs with vsock
concurrently.

mkosi-initrd: Apply cryptsetup creds to all instances of systemd-cryptsetup@.service

This follows the suggestion made in https://github.com/systemd/systemd/pull/30309
to apply "cryptsetup.*" credentials to all instances of
systemd-cryptsetup@.service instead of only to
systemd-cryptsetup@root.service.

docs: Mention that all the sysext steps should be done in an empty dir

docs: Mention how to provide your own key and certificate

Execute user presets alongside system presets

Adds `systemctl --root "$ROOT" --global preset-all` to the **Applying presets...** build step.

Merge pull request #2124 from behrmann/pyrightfix

Fix pyright errors

Make DistributionInstaller.architecture a classmethod

This was already done in CentOS, but not in the base class.

config: name parameter for MkosiJsonEncoder.default as in base class

Merge pull request #2122 from DaanDeMeyer/sysext

docs: Add doc on generating system extensions with mkosi

docs: Add doc on generating system extensions with mkosi

Strip usr/lib/sysimage/libdnf5 when dnf5 is not installed

Merge pull request #2120 from DaanDeMeyer/initrd

mkosi-initrd: various improvements

mkosi-initrd: Port tests from old repository

This commit ports some of the tests from
https://github.com/systemd/mkosi-initrd/blob/main/.github/workflows/build-fedora.sh
over.

The LUKS test is modified to generate the LUKS root partition using
repart instead of doing it manually. For the LVM tests we're forced
to do it manually as systemd-repart doesn't support setting up LVM
(and probably never will).

We also add an initrd size test so we notice when initrds grow due
to distribution packaging changes.

Fix nspawn settings

When --machine= is used, nspawn looks for a settings file named after
the machine so we have to make sure to copy to the right location.

While we're at it, let's also stop considering the nspawn settings
an output artifact, since this means we have to build the image to
apply new settings. Instead, let's copy the settings when running
the image and remove the copied file again afterwards. This means
that new settings are applied immediately instead of only after a
rebuild.

Temporarily default to debian unstable for builtin image

Booting off virtiofs only works properly from systemd v255 onwards
when virtiofs and virtio_pci are not builtin to the kernel so let's
default to unstable for now which has systemd v255.

mkosi-initrd: Ship preset to disable services by default

Debian doesn't ship any presets so all services are enabled by default.
Let's ship our own to disable everything by default instead.

mkosi-initrd: Enable cryptsetup.* credentials for systemd-gpt-auto-generator

systemd-cryptsetup will read credentials in the "cryptsetup" namespace but
none of the generated service units import credentials from that namespace
yet. Let's add a dropin to have systemd-cryptsetup@root.service (generated
by systemd-gpt-auto-generator) load these credentials by default so that we
can use them in integration tests.

Upstream PR in systemd related to this: https://github.com/systemd/systemd/pull/30309

Suspend stdin capture if --capture=no is specified

Passthrough stdin/stdout in Image

Install less in default images initrds

Don't pass --debug when running mkosi clean

qemu: Don't synthesize root= if it's provided on the kernel command line

qemu: Use full output path everywhere

Let's make sure we use whatever the configured output format is instead
of going via the symlink we create in the output directory.

tree: Pass in use_subvolumes feature instead of MkosiConfig object

This makes the tree functions a little more generic.

mkosi-initrd: Move tests to pytest

While we're at it, also build our default images with a mkosi-initrd
produced initrd to verify that it boots.

mkosi-initrd: Add opensuse support

mkosi-initrd: Default to cleaning package manager metadata

Various package managers are pulled in as dependencies of core
system software (dpkg by dash on Debian, rpm by kmod via
suse-module-tools on opensuse) so let's default to always cleaning
package manager metadata even if the package manager is installed.

We still allow disabling it as having the package manager metadata
available is useful when debugging dependencies and why specific
packages are installed in the initrd.

mkosi-initrd: Apply centos specific config to RHEL as well

Introduce name() method for MkosiConfig

mkosi-initrd: Bring Arch and Debian up-to-date with Fedora

mkosi-initrd: Exclude more files on Arch

Let's exclude a bunch of unnecessary stuff on Arch.

Implement WithDocs= for apt

mkosi-initrd: Strip all files starting with vmlinuz

Fedora has started shipping vmlinuz-virt.efi in the kernel modules
directory so we have to make sure we strip that from the initrd as
well.

mkosi-initrd: Strip documentation from the initrd

mkosi-initrd: Configure locale to C.UTF-8

This will make sure all other locale data is strippped out on rpm
based distributions.

mkosi-initrd: Remove System.map

System.map is primarily intended for debugging kernel oopses so let's
not include it in generated initrds which saves 8.4M.

initrd: again drop shadow-utils from initrd

We save 4MB, and also 300kB for libsemanage.

mkosi-initrd: Allow setting output format from CLI

It's useful to build the initrd as a directory for debugging.

Configure rpm _install_langs if locale is configured

If the _install_langs macro is defined, rpm will only install locale
data corresponding to the locales in _install_langs. If Locale= is
set and macros.lang doesn't exist already, let's configure it ourselves
with _install_langs to save on disk space.

Allow configuring rpm in package manager trees

Up until now, we've been unconditionally using the rpm configuration
from the host system. Unfortunately we can't entirely get rid of this
as rpm doesn't operate with an empty configuration and the configuration
is tightly coupled to the rpm version.

However, let's at least make sure we don't use any rpm configuration from
/etc and let's allow users to add extra rpm configuration themselves using
package manager trees.

By using $RPM_CONFIGDIR, we can configure where rpm looks for its main
configuration. We allow users to configure various rpm configuration in their
package manager trees and then copy over any missing files from the host
afterwards.

Because the /etc config directories are hardcoded in rpm, we have to resort
to mounting an empty directory on top of /etc/rpm if it exists.

Specify --no-dereference in copy_tree()

We try to follow cp -a semantics, which includes --no-dereference,
so let's make sure we specify it explicitly.

Add clobber argument for copy_tree()

Let's allow specifying that copy_tree() should not overwrite
existing files. Because of a messy backwards incompatible change
in coreutils v9.2, we're forced to use a different option depending
on the cp version.

Don't complain about compression for non-compressible output formats

mkosi-initrd: Only include core + host's loaded modules and firmware

The initramfs produced by mkosi-initrd's kernel-install plugin is only
intended to be used on the host system that's building it. Let's take
advantage of that and only include the currently loaded modules and
firmware in the initramfs to cut down the size.

For safety reasons we always include some core modules regardless of
whether they're loaded on the host or not.

Add KernelModulesIncludeHost= and KernelModulesInitrdIncludeHost=

These look at /proc/modules and add all modules in there to the list
of modules to keep. Useful when building images intended to be used on
the host system only.

This commit also optimizes filter_kernel_modules() which was previously
O(n)^2.

mkosi-initrd: Include firmware from host as well

Some modules don't work without the corresponding firmware, so make
sure we copy in the corresponding firmware from the host as well.

Merge pull request #2118 from DaanDeMeyer/tests

ci: Fix environment passthrough

ci: Bump timeout to 1h

We now run tests for all formats within the same job which needs
more time to complete so let's bump the timeout t 1h.

test: Test directory image boot in qemu if virtiofsd is available

tests: Fix Distribution creation

ci: Fix environment passthrough

When using sudo we need to make sure to pass through environment
variables.

Also run summary() as part of the boot tests to help with debugging.

Merge pull request #2117 from DaanDeMeyer/tests

Move integration tests into python

Move integration tests into python

Instead of vendor locking ourselves to Github Actions, let's move
the integration tests into python so we can run them locally and
on other CI systems.

We opt to use unittest style test cases so that we can have a
configurable base class that can be used for various integration
tests. Unfortunately, I haven't found a nice and type safe way to
make pytest fixtures configurable so we opt for unittest instead.

Note that while we use the subTest() feature of unittest, pytest
still considers test_boot() a single test because it doesn't support
this particular feature of unittest. Ideally we switch our test runner
to something else in the future which does support the subTest() feature.

We always run steps that can run unprivileged without privileges even
if we're running as root so that tests can be run locally with root
privileges without ending up with a bunch of files owned by root
afterwards.

Implement RemovePackages= for Arch

Use mkosi.local.conf for local configuration

Let's move our common configuration to mkosi.conf now that we have
mkosi.local.conf for local configuration.

Fix licensing

Add GPL2 license to the repository and fix the SPDX license identifiers
for the dracut files to GPL-2.0-only.

docs: format paths as monospace

Fix ImageId= docs

- We don't patch it into partition labels anymore
- We already patch os-release ourselves so let's not use it as an
  example of what to do with $IMAGE_ID for users.

mkosi-initrd: Copy md and dm udev rules from dracut

Until these are upstreamed into their corresponding projects, let's
carry the rules in mkosi-initrd.

Revert "ci: enable jammy-proposed-updates to get new libsolv"

libsolv has migrated to jammy-updates, so we can disable the
proposed-updates repository again.

This reverts commit 698834c7794f0100eba8ff17125cffc8f6ac8a63.

Stop using workspace cache subdirectory

We don't do this for configured cache directories anymore, so don't
do it for workspace cache directories anymore either.

Merge pull request #2084 from behrmann/reprouid

util: add a fallback username and home for INVOKING_USER

mounts: use INVOKING_USER in mount_passwd instead of hardcoding /home

util: make name and home of INVOKING_USER methods that cache their results

At test time, e.g. during reproducible builds, usernames are not guaranteed to
be resolvable, because NSS is deliberately broken. Hence, only try to resolve
either only if needed and cache the result, so it stays the same across
invocations.

This unfortunately can no longer be achieved by combining @classmethod with
@property, since the combination, which had only been allowed since Python 3.9,
was deprecated again in Python 3.11.

Fixes: #2081

Speed up empty_directory()

Let's invoke rm once instead of N times.

Set atime and mtime of scripts to zero

Otherwise, stuff like meson reconfigure will rerun every time because
we write the script again every time we run the build script.

Add useradd script

Let's automatically invoke useradd with --root when executed outside
of the image chroot.

Fixes #2089

Fix --genkey-valid-days and --genkey-common-name

Fixes #2077

Use zst as zstd file extension

Fix user provided kernel not being used

Use the main tool name in error when tool is not found

We would say that we cannnot find /usr/lib/systemd/ukify, which
is somewhat confusing, since we're looking for ukify in $PATH
first, and only for /usr/lib/systemd/ukify as a fallback.

This also avoids a second which call on the results of a which call.

Add microcode support

Let's make sure we add early CPIO initrds containing microcode when
building bootable images. To make early loading of microcode work, an
uncompressed initrd has to be prepended to the list of initrds containing
the microcode at a canonical location.

Run depmod even if Bootable=no

Bootable=no disables the kernel modules logic but users might still want
to generate a bootable image so let's run the depmod logic unconditionally.

Do not trigger bwrap's max arg limit when running modinfo

We might potentially pass a lot of modules at once to modinfo which
could trigger bwrap's max argument limit so make sure to chunk things
up to avoid hitting the limit.

autologin: use a helper method to reduce boilerplate

I kept the generated option strings exactly the same. In some cases we
put the baud before the device name or placeholder, and in other cases in
the opposite order, but maybe there's some reason for this.

The unit file is changed to use just 'aggety' instead of the full path,
and the leading whitespace is dropped. Both things should have no effect,
but make the resulting file nicer to read.

Add ability to create passwordless root account (#2093)

To create a passwordless root account one may specify `hashed:` without passing
an actual hash.

Merge pull request #2073 from behrmann/ttyama0

Ttyama0

kmod: normalise module names

The file names of modules use dashes, e.g.

    /usr/lib/modules/6.6.2-arch1-1/kernel/drivers/nvme/common/nvme-common.ko.zst

but the dependency names modinfo gives us use underscores, e.g.

    name=nvme_common

Fixes: #2092

Add Building RHEL and RHEL UBI images with mkosi to README

Fixed capitalization of `SignExpectedPcr`

Fixes: #2086