Move integration tests into python

Instead of vendor locking ourselves to Github Actions, let's move
the integration tests into python so we can run them locally and
on other CI systems.

We opt to use unittest style test cases so that we can have a
configurable base class that can be used for various integration
tests. Unfortunately, I haven't found a nice and type safe way to
make pytest fixtures configurable so we opt for unittest instead.

Note that while we use the subTest() feature of unittest, pytest
still considers test_boot() a single test because it doesn't support
this particular feature of unittest. Ideally we switch our test runner
to something else in the future which does support the subTest() feature.

We always run steps that can run unprivileged without privileges even
if we're running as root so that tests can be run locally with root
privileges without ending up with a bunch of files owned by root
afterwards.

Use mkosi.local.conf for local configuration

Let's move our common configuration to mkosi.conf now that we have
mkosi.local.conf for local configuration.

Fix licensing

Add GPL2 license to the repository and fix the SPDX license identifiers
for the dracut files to GPL-2.0-only.

docs: format paths as monospace

Fix ImageId= docs

- We don't patch it into partition labels anymore
- We already patch os-release ourselves so let's not use it as an
  example of what to do with $IMAGE_ID for users.

mkosi-initrd: Copy md and dm udev rules from dracut

Until these are upstreamed into their corresponding projects, let's
carry the rules in mkosi-initrd.

Revert "ci: enable jammy-proposed-updates to get new libsolv"

libsolv has migrated to jammy-updates, so we can disable the
proposed-updates repository again.

This reverts commit 698834c7794f0100eba8ff17125cffc8f6ac8a63.

Stop using workspace cache subdirectory

We don't do this for configured cache directories anymore, so don't
do it for workspace cache directories anymore either.

Merge pull request #2084 from behrmann/reprouid

util: add a fallback username and home for INVOKING_USER

mounts: use INVOKING_USER in mount_passwd instead of hardcoding /home

util: make name and home of INVOKING_USER methods that cache their results

At test time, e.g. during reproducible builds, usernames are not guaranteed to
be resolvable, because NSS is deliberately broken. Hence, only try to resolve
either only if needed and cache the result, so it stays the same across
invocations.

This unfortunately can no longer be achieved by combining @classmethod with
@property, since the combination, which had only been allowed since Python 3.9,
was deprecated again in Python 3.11.

Fixes: #2081

Speed up empty_directory()

Let's invoke rm once instead of N times.

Set atime and mtime of scripts to zero

Otherwise, stuff like meson reconfigure will rerun every time because
we write the script again every time we run the build script.

Add useradd script

Let's automatically invoke useradd with --root when executed outside
of the image chroot.

Fixes #2089

Fix --genkey-valid-days and --genkey-common-name

Fixes #2077

Use zst as zstd file extension

Fix user provided kernel not being used

Use the main tool name in error when tool is not found

We would say that we cannnot find /usr/lib/systemd/ukify, which
is somewhat confusing, since we're looking for ukify in $PATH
first, and only for /usr/lib/systemd/ukify as a fallback.

This also avoids a second which call on the results of a which call.

Add microcode support

Let's make sure we add early CPIO initrds containing microcode when
building bootable images. To make early loading of microcode work, an
uncompressed initrd has to be prepended to the list of initrds containing
the microcode at a canonical location.

Run depmod even if Bootable=no

Bootable=no disables the kernel modules logic but users might still want
to generate a bootable image so let's run the depmod logic unconditionally.

Do not trigger bwrap's max arg limit when running modinfo

We might potentially pass a lot of modules at once to modinfo which
could trigger bwrap's max argument limit so make sure to chunk things
up to avoid hitting the limit.

autologin: use a helper method to reduce boilerplate

I kept the generated option strings exactly the same. In some cases we
put the baud before the device name or placeholder, and in other cases in
the opposite order, but maybe there's some reason for this.

The unit file is changed to use just 'aggety' instead of the full path,
and the leading whitespace is dropped. Both things should have no effect,
but make the resulting file nicer to read.

Add ability to create passwordless root account (#2093)

To create a passwordless root account one may specify `hashed:` without passing
an actual hash.

Merge pull request #2073 from behrmann/ttyama0

Ttyama0

kmod: normalise module names

The file names of modules use dashes, e.g.

    /usr/lib/modules/6.6.2-arch1-1/kernel/drivers/nvme/common/nvme-common.ko.zst

but the dependency names modinfo gives us use underscores, e.g.

    name=nvme_common

Fixes: #2092

Add Building RHEL and RHEL UBI images with mkosi to README

Fixed capitalization of `SignExpectedPcr`

Fixes: #2086

Update default of QemuMem in mkosi.md

The default changed to 2G a while ago though the docs still referred to the old value of 1G.

kmod: remove doubled root prefix

ci: enable jammy-proposed-updates to get new libsolv

rawhide and tumbleweed now compress repodata with zstd which cannot be
handled by libsolv in jammy. Enable jammy-proposed to get new version
with the fix.

This reverts commit 4cec733f9186edec10904c30b4afd3d1c8857d9d.

fix ruff lint warnings

Merge pull request #2074 from behrmann/zstdrename

Rename Compression.zst to Compression.zstd

autologin: add dropin for ttyAMA0 on arm64

ARM64 hardware uses the PL011 driver, which exposes serial terminals as
ttyAMA0.

Fixes: #2068

config: also default config_default_compression for OutputFormat.tar

The man page suggests this to be the case

man: update section on CompressOutput

Rename Compression.zst to Compression.zstd

But also leave a fallback Compression.zst with value "zstd" as a fallback in
case anybody used that. To test this we also change the construction of
Compression instances in test_config.py to use __get_item__ instead of __new__,
since that actually supports construction via the value and is also the one
actually used in config.py

Fixes: #2072

More post-release news

Post-release NEWS updates

This moves a few things further up to make them more prominent, like the
renaming of presets and the addition of profiles and also adds a the new esp
output format and a note about resolv.conf now needing WithNetwork=true to be
mapped during script runtime.

Release 19

NEWS: mention "burn"

NEWS: add periods to sentences, order by subject

This is always a bit subjective, but I find a NEWS file much easier to read if
it's thematically organized. I think support for a new distro is important, so
put that first, then new verbs and options, then new configuration features,
and then all the other smaller changes.

mkosi: add "burn" verb 🔥🔥🔥

This simply dd's the resulting image to a block device. (Doesn't
actually dd though, uses systemd-repart --copy-from)

i.e. run "mkosi -f burn /dev/sda"

Drop compression suffix for directory output

The automatic logic would produce a name like "initrd_6.6.0.zst", even though
there is no compression.

Only mount over /etc/resolv.conf if network access is enabled

This allows users to mess with /etc/resolv.conf in postinst scripts
without having to unmount it first.

Debug log when firmware is missing

Sometimes missing firmware can cause issues in the initrd so let's
at least debug log if we can't find some firmware.

Merge pull request #2060 from DaanDeMeyer/esp-size

Set ESP output minimum size based on sector size

Set ESP output minimum size based on sector size

Based on the sector size, a minimum size is required for FAT32 to
be bootable by OVMF. Instead of wasting space by always using 512MB,
let's set the minimum size based on the given sector size.

Add proper parser for sector size

isort test_json.py

Merge pull request #2057 from DaanDeMeyer/esp

Add esp output format

Add esp output format

This is largely the same as the uki output format, but additionally
we wrap the uki in a disk image with just an ESP.

Add extension() method to OutputFormat

Use one more dict comprehension

Move unified kernel status message into build_uki()

This makes sure we get a status message when building uki outputs
as well.

Fix want_uki()

If we're building a UKI image, we always want a UKI regardless of
the other options.

Use INVOKING_USER.home to find home in the workspace logic

Make default workspace directory logic more robust

When running with sudo, $HOME won't be set, so let's rework the
logic to not rely on that.

don't fail on non-controlling ttys

Add kernel-install plugin from mkosi-initrd

Let's support kernel-install natively in mkosi. This commit moves
the kernel-install plugin from mkosi-initrd into mkosi itself with
a few adaptations:

- We look for initrd configuration in /usr/lib/mkosi-initrd and
  /etc/mkosi-initrd using "--include"
- We always include the host's kernel modules using --extra-tree
- We skip the mkosi-initrd plugin unless initrd_generator is
  explicitly set to "mkosi-initrd". This allows the mkosi package
  to be installed without also using it as the initrd generator if
  initrd_generator is not configured explicitly.

This commit also extends the default fedora image to build the mkosi
rpm if the spec sources are mounted at rpm/ using BuildSources=. We
also configure the default image to use mkosi-initrd as the initrd
generator and ukify as the uki generator, so that running kernel-install
in the booted image will build a UKI using mkosi-initrd and ukify.

Add missing raise

building rpms from source doc improvements

- Use env --chdir= instead of spawning a shell
- Document that scripts are executed in the same directory that
  mkosi is running in and get rid of all uses of $SRCDIR and
  $CHROOT_SRCDIR in favor of relative paths. We have to use $PWD
  when actually building the rpm as some macros expect the topdir
  to be an absolute path.

Fix LocalMirror= for Fedora

Use package manager specific subdirectories in the cache directory

We want to be able to set --cache-dir=/var/cache to automatically
reuse the system cache for each installed package manager, so let's
make sure we use the right subdirectories for each package manager
to make that work properly.

Add QemuDrives= option

This option allows specifying extra qemu drives to pass to qemu.
mkosi will create a file (optionally in the given directory) of
the given size and pass it to qemu via -drive, optionally with some
extra options.

Doing this in mkosi allows mkosi to automatically manage the lifetime
of the file backing the drive. We can create it as needed and remove it
when we exit.

Example usage:

```conf
[Host]
QemuDrives=btrfs:10G
           ext4:20G
QemuArgs=-device nvme,serial=btrfs,drive=btrfs
         -device nvme,serial=ext4,drive=ext4
```

summary: Fix copy pasta for KernelModulesInitrdExclude

Add BuildSourcesEphemeral= to the rpms from source doc.

rpmbuild with --build-in-place is a top offender when it comes to
writing files to the source directory, so let's suggest enabling
BuildSourcesEphemeral= in the building rpms from source doc.

Pass file descriptor to /dev/kvm to qemu on newer versions

Newer versions of qemu support passing the kvm device to use as a
file descriptor. Let's make use of this if the qemu version is
recent enough.

At the same time, also do some general cleanup of the KVM logic.

Merge pull request #2046 from DaanDeMeyer/ephemeral

Add BuildSourcesEphemeral=

Add BuildSourcesEphemeral=

Unfortunately there are use cases where it's useful to persist
changes to the source directory. A prime example is projects with
Makefile that do not provide a properly functioning `make install`.
The only way to use those with mkosi build scripts is to do an
in-tree build in the build script and then mounting the source
directory into the VM or container when booting it. For this to work
we need changes to the source directory to be persisted. To support
this use case, let's gate the ephemeral source directories behind an
option that's disabled by default (for backwards compatibitity reasons).

Don't show the same "Generating disk image" message 3x times

Let's show a custom message each time we call systemd-repart. Let's
also not call it a third time if split artifacts were not requested.

Stop logging about cleaning up overlayfs

These steps aren't exactly useful for users, so let's not log about
them.

Add --debug-workspace

Fixes #2036

Fix KernelModulesInclude=

We have to store the relative path, not the full path for the check
to work correctly.

Document that we automatically handle roothash= for verity partitions

Update NEWS

Merge pull request #2041 from DaanDeMeyer/fixes

Various fixes and improvements

Make source directories ephemeral when running scripts

Various tools like to write to the source directory, which we want
to avoid. Let's make source directories ephemeral when running scripts
so tools can write to it as much as they want but we can throw away all
those changes when we're done running scripts.

Specifically, this makes running rpmbuild as documented in
docs/building-rpm-from-source.md a lot nicer as the source directory won't be
polluted with all manner of temporary files anymore.

Stop using workspace directories in source directories

Preparation for making source directories volatile while running
scripts. Overlapping overlayfs directories cause massive mayhem so
to keep our sanity, let's make sure the workspace directory is never
a subdirectory of any source directories.

XDG doesn't provide an equivalent of /var/tmp but when running in /home
we really want the workspace to be located in /home as well so we can use
reflinks if /home is a separate partition so we opt to use XDG_CACHE_HOME
or $HOME/.cache instead.

Create volatile overlay if no upperdir is specified

Use same chroot scripts for all postinst/finalize scripts

Merge mount_volatile_overlay() into mount_build_overlay()

Let's reduce the number of mounts by merging the volatile build
overlay logic into the build overlay logic.

Fix mount_overlay() with multiple lowerdirs

Multiple lower directories are specified by delimiting with colons,
not by specifying the lowerdir= option multiple times. Also, the
lowerdirs are stacked right to left so make sure we reverse the given
list.

Fix RuntimeTrees=

We previously made the target path non-optional but this doesn't actually
work for RuntimeTrees=, where we need optional paths. So instead, let's
introduce ConfigTree to abstract the tree concept and have a class where
we can define methods on to make working with trees easier.

Add nano to default images

Use rpm to install rpms in building rpms from source doc

Let's get rid of an unnecessary indirection and just use rpm directly
to install the rpms we built in the previous step as all the dependencies
will be installed already and as such we don't need dnf.

Use right dnf5 options for plugin stuff

Let's use the non-compat dnf5 options for plugins.

Add rpm script to run rpm on the build root

We provide a dnf script, so we should also provide an rpm script.

Various fixes for building-rpms-from-source.md

- Fix quotes in rpms from source doc

These statements should not be surrounded by quotes as we don't want
them to expand to the empty string if unset.

- Use fewer subshells
- Don't use line continuations for pipes

Skip symlink when prefixing everything in staging directory

The symlink shouldn't be prefixed so make sure we skip it.

config: right strip newlines from contents read via path_read_text

This so far only affects mkosi.version and mkosi.rootpw.

Fixes: 2031

Add journalctl and coredumpctl verbs

Various followups for merged PRs

Restore subdirectory use for $BUILDDIR

Sharing of a directory for the (package) cache seems fine. The package manager
shall use subdirectories and/or unique file names, so there should be no
accidental conflict, and using the same cache directory allows the cache to be
reused when possible. OTOH, sharing of the directory for the build directory is
unlikely to be useful (since at least the configuration will usually be
different, so the build would generally mean rebuilding anything anyway), but
also the build system might not do cache invalidation strongly enough, leading
to inadvertetent sharing of build artifacts. Let's avoid the issue completely
but not sharing the build directory between different distributions releases or
architectures.

This partially reverts b17810b4b571d0acbb307a6f7cd5c6456a45e4d3.

Add doc on building rpms from source with mkosi

I use this all over the place so let's document it in one place so
I can easily find it when needed and so others can make use of it
as well.

Merge pull request #2023 from keszybz/mkosi-chroot-no-args

mkosi-chroot: just run shell if no arguments are specified

Allow overriding dnf selection with $MKOSI_DNF

dnf5 is nice, but it has some issues, for example installation of rhel9
currently fails with some error about signature. Using dnf instead works around
the problem. Allow the user to override the selection using an environment
variable (or Environment=).

(We have the tools directory, but it doesn't help here because we want to use
'dnf' instead of 'dnf5' and not a different version of 'dnf5'.)

spawn: inherit parent $PATH by default

Spawn should be able to find binaries in $PATH by default.

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

Fix incremental caching

- Make sure the distribution, release and architecture are also part
of the cache manifest
- Remove the output name from the cache key and use the distribution,
release, architecture and optionally image name instead.
- Use MkosiEncoder to serialize the cache manifest.

qemu: allow checking device availability with actually used flags

Also use an actual os.open instead of os.access, because os.access might fail
with certain flags in cases where os.open will not.

This works around the case where kernel modules after an upgrade cannot be
loaded anymore because it is no longer available for the running kernel.

Add mkosi-as-caller helper

This helper can be used to replace the following pattern which is similar to
something used in the systemd codebase:

SU="setpriv --reuid=${MKOSI_UID:-0} --regid=${MKOSI_GID:-0} --clear-groups"
$SU meson setup "$BUILDDIR/build" "$SRCDIR"
$SU meson compile -C "$BUILDDIR/build"
meson install -C "$BUILDDIR/build" --no-rebuild

With the helper this becomes:

mkosi-as-caller meson setup "$BUILDDIR/build" "$SRCDIR"
mkosi-as-caller meson compile -C "$BUILDDIR/build"
meson install -C "$BUILDDIR/build" --no-rebuild