ci: Avoid permission error by testing system installation last

action: Use /etc/os-release as cache key instead of runner.os

Default to -cpu max when running VMs using QEMU

Currently, we don't specify the -cpu option when running under the TCG
accelerator. This leads QEMU to choose a very conservative default that
doesn't emulate all the instructions that modern distros are compiled with.
To avoid such issues, let's default to having QEMU emulate as many CPU
instructions as possible to avoid illegal opcode errors when running
virtual machines.

Change --qemu-smp default from 2 to 1

When trying to a boot a centos epel VM using QEMU, it will hang during
boot if the qemu smp option is set to a number higher than 1. To avoid
this and similar issues, let's default to 1 core per VM. If users need
more they can always configure the option explicitly.

action: Compile systemd-nspawn v251 from source

ci: Update to Ubuntu 22.04 LTS

Note: The LTS image is still in beta (https://github.com/actions/virtual-environments/issues/5490).

In Jammy, we have recent versions of zypper and dnf packaged so we
don't have to build them from source anymore. Also, sq is packaged
so we don't have to build sq from source anymore either.

The setup-github-actions.sh script is renamed to setup-pacman.sh
and it's reduced to only install the dependencies necessary to
build pacman and archlinux-keyring.

All other dependencies are moved to action.yaml and the action
mkosi.default script.

Communicate the associated dir in the ESP via /etc/kernel/entry-token

/etc/kernel/entry-token is the new way introduced in systemd v251 to
identify the directory that kernel-install and bootctl should install
their stuff to. If it exists, bootctl and kernel-install will read it
and use the directory inside to install things to.

Currently, in mkosi, we generate a random machine ID during the build
and use that as the directory under the ESP to install things to. Until
all distros we support get support for /etc/kernel/entry-token, we're
limited to using the machine ID as the directory to install stuff under
in the ESP.

Since the machine ID used during the build is scrubbed from the image,
users don't a way to figure out the directory in the ESP associated
with the rootfs after the build is finished. To fix this, let's write
the machine ID to /etc/kernel/entry-token before it is scrubbed so
that users can read the file to figure out which directory in the ESP
that they should look under to find stuff associated with the
corresponding rootfs.

Fixes #686

Merge pull request #1007 from DaanDeMeyer/always-initrd

Rework initramfs generation (again)

Merge pull request #1015 from pyfisch/veritysetup

Add veritysetup.target to initrd

Add veritysetup.target to initrd

The target is needed so that usr and root partitions
can be verified and mounted early during boot.

Closes #1014

Stop installing binutils

Because we use objcopy from the host, there's no need to install
binutils in images anymore.

Rework initramfs generation (again)

Currently, when building without unified kernel images, the generated
initramfs is generated as part of running the package manager for the
first time. Because of this, none of the changes made to the rootfs
after running the package manager (build script, extra-trees, postinst
script, ...) are taken into account when generating the initramfs. Also,
when building with unified kernel images, the generated initramfs does
take all changes made to the image into account.

To solve this inconsistency, let's generate the initrd manually instead
of relying on the package manager to do it for us. With the addition
of KERNEL_INSTALL_BYPASS, we can skip initramfs generation when
kernel-install is called by a post-installation script to generate the
initramfs. Similarly, we can use the INITRD environment variable to
do the same on Debian/Ubuntu systems.

To generate the initramfs manually, we simply call kernel-install at
a later point in the image build process. Because kernel-install doesn't
actually regenerate the initramfs on Debian/Ubuntu, we call
"dpkg-reconfigure dracut" there to make sure the initramfs is regenerated
before calling kernel-install.

Finally, because we now make sure the initramfs always includes all changes
made to the image, we modify install_unified_kernel() to call objcopy
again instead of dracut as we used to do but had to revert because calling
objcopy meant the initramfs wasn't regenerated.

Rename run_pacman() to invoke_pacman()

We already have invoke_dnf() and invoke_apt() so let's have
invoke_pacman() for consistency.

Merge pull request #1012 from DaanDeMeyer/fix-ssh

machine: Add retries for ssh

Have run_ssh_cmdline() return List instead of Sequence

machine: Add retries for ssh

We've been seeing quite a bit of "connection refused" errors in CI.
These are likely happening because sshd hasn't finished starting
yet.

The proper fix for this is to add notify socket support for systemd
running qemu VMs via virtio sockets, but even if that's added, it
will be a very long time before we can rely on it.

For now, let's add a retry mechanism for SSH connections to make
our CI setup more reliable.

Refactor command running in integration tests

Let's move run_command_image() into Machine.run(), introduce
run_systemd_cmdline() to get the systemd-run command line, and
remove all arguments from run_ssh() that aren't required anymore
now.

Drop choices param from --debug option spec

Using choices prevents us from passing multiple options so let's drop
it for now.

Fixes #1006

mkosi: optimize/fix patching of root part-type uuid

The bug was that the part-type write we did would get overwritten when the
partition table was subsequently rewritten when we were adding the verity and
verity-sig paritions. We don't need to write out the part-type manually, it's
enough to store the right value in our partition list. This makes things a bit
faster too.

We know that if we calculated the verity info, we'll insert a partition soon
after and then it'll get written correctly.

‣  Generating verity hashes…
Root partition-type UUID: 25e87685-6aa9-86be-a9e3-71d020f407fe
‣  Inserting verity partition…

Fixes #997.

Merge pull request #1009 from DaanDeMeyer/arch-pacman-gpgdir-host

arch: Use gpgdir from host system

arch: Use gpgdir from host system

Instead of setting up the keyring in the image, let's reuse the
keyring from the host. If users want to use pacman in the image,
they just have to run pacman-key themselves in a postinst script
or such.

This speeds up building of images and hopefully also gets rid of
our CI issues with Arch where there's something keeping files open
in the root mount (which I expect is gpg-agent).

Fix losetup race condition with initializing partition devices

This fixes the same issue we've seen in the systemd repo where
using PARTSCAN introduces a race condition with trying to use
the partition device since the kernel initializes the partition
devices asynchronously. To avoid the issue, we initialize partition
devices manually using the BLKPG ioctl(). We also avoid the same
problem on detaching loop devices by removing partition devices
explicitly using the BLKPG ioctl().

See https://github.com/systemd/systemd/pull/22992,
https://github.com/systemd/systemd/pull/23427,
https://github.com/systemd/systemd/issues/23174 and
https://github.com/systemd/systemd/issues/17469 for more context.

Merge pull request #958 from keszybz/help-formatting

Tweaks to argparse setup to make --help output nicer

mkosi: fix typo

docs: say 'git ls-files' instead of 'git-ls-files'

The version with the hyphen hasn't been in $PATH for years, let's not
confuse our younger users.

docs: regenerate the man page

Improve wrapping of long texts in --help

The default formatter would wrap all text into a single paragraph,
which is rather hard to read in case when we have a list of options
and an explanation for each of the values. Let's add a custom formatter.

Also, never split option names or other words.

Part of output wrapped to the default 80 columns:
  --source-file-transfer-final METHOD
                        How to copy build sources to the final image:
                        'copy-all': normal file copy
                        'copy-git-cached': use git ls-files --cached, ignoring
                            any file that git itself ignores
                        'copy-git-others': use git ls-files --others, ignoring
                            any file that git itself ignores
                        'copy-git-more': use git ls-files --cached, ignoring
                            any file that git itself ignores, but include the
                            .git/ directory
                        (default: None)
  --source-resolve-symlinks [BOOL]
                        If true, symbolic links in the build sources are
                        followed and the file contents copied to the build
                        image. If false, they are left as symbolic links. Only
                        applies if --source-file-transfer-final is set to
                        'copy-all'.
                        (default: false)
  --source-resolve-symlinks-final [BOOL]
                        If true, symbolic links in the build sources are
                        followed and the file contents copied to the final
                        image. If false, they are left as symbolic links in
                        the final image. Only applies if
                        --source-file-transfer-final is set to 'copy-all'.
                        (default: false)
  --with-network [WITH_NETWORK]
                        Run build and postinst scripts with network access
                        (instead of private network)
  --settings PATH       Add in .nspawn settings file

Split out the helper to format a list of strings

This doesn't save much, but I think it's easier to read this way.

mkosi: add metavar=BOOL to boolean options

--help would print something like "--source-file-transfer-final SOURCE_FILE_TRANSFER_FINAL"
which takes a lot of space but is not very helpful. In particular it
might not be clear whether this expects some custom string or just a
yes/no boolean. Let's use "BOOL" instead to tell the user the type of
the argument, which immediately implies what values can be specified.

Similarly, say "--source-file-transfer METHOD", "--source-file-transfer-final METHOD".

Also drop metavar= when it matches the default value anyway.

mkosi: reformat option construction

Formatting is made more consistent:
- long entries are broken up
- trailing commas are used

arch: Drop locale-gen logic

C.UTF-8 is included by default in the latest glibc package update.

Merge pull request #994 from gsalvatella/fix/bmap-before-compression

mkosi: create bmap before compression

mkosi: create bmap before compression

Creation of bmap files needs to take place before any compression
happens, since bmaptool has to know where the "holes" of the image lie.
Compression removes the holes, preventing bmap from recreating the
original raw image. Move the bmap calculation step before the
compression.

Merge pull request #996 from behrmann/parsesshagentlogic

ssh: make parse_ssh_agent only handle strings

ssh: make parse_ssh_agent only handle strings

pyright complains (wrongly I think) about value being None when passed to Path
to create the socket variable. Let's work around this by eliminating Nones as
values.

Merge pull request #985 from DaanDeMeyer/pytest-graceful-build

machine: Hide subprocess stacktrace when a command fails during build

set SYSTEMD_LOG_LEVEL=debug in workspace cmd when debugging it

machine: Hide subprocess stacktrace when a command fails during build

Similar to #983 but when building the image instead of booting it.

Merge pull request #983 from DaanDeMeyer/pytest-graceful

machine: Hide pexpect stacktrace when machine fails to boot

machine: Hide pexpect stacktrace when machine fails to boot

Follow up for b799c6de4ec80a5519391a7c15ac52481b50d33f

Merge pull request #982 from DaanDeMeyer/fixes

Fixes

machine: Fail test more gracefully if the image fails to boot

machine: Pass a list of arguments to pexpect instead of a single string

Merge pull request #981 from DaanDeMeyer/fix-qemu-bios

qemu: Only enable uefi related options when we want to boot using uefi

Select qemu executable based on image architecture

mkosi: add option for adding extra qemu args

Let's add an option for adding extra options to pass to all our qemu
invocations.

Example mkosi.default:

```
[Host]
QemuArgs=-fw_cfg name=opt/io.systemd.credentials/foo,string=bar
```

qemu: Only enable uefi related options when we want to boot using uefi

mkosi: Always use the embedded default version when no release is specified

Let's not have the host system determine the image distribution release.
Instead, let's always default to the default release embedded within mkosi.
This gives more consistent results when building images for a single distro
regardless of the host distribution.

Add two more OVMF code locations

Used on Ubuntu. Should make sure we find the secure boot OVMF stuff
on Github Actions.

Fix wrong verity sigs for s390

Merge pull request #978 from behrmann/manifestsizeoptional

manifest: don't assume the size field to be valid on deb systems

manifest: don't assume the size field to be valid on deb systems

Fixes: 977

machine: Translate \r\n to \n in logfile

Output lines from pexpect sent to the logfile will always end with
"\r\n" (side-effect of working with pseudo-TTYs) . On Github Actions,
this results in blank lines in the test output. Let's add a simple
adapter that translates "\r\n" back to "\n" before actually writing
to the logfile.

Merge pull request #972 from DaanDeMeyer/remove-pacstrap-refs

Replace references to pacstrap with pacman

Replace references to pacstrap with pacman

We call pacman directly these days so let's remove all references
to pacstrap.

Allow rhel-likes to build on more than x86_64

* also add Rocky 9 key name change and the bdb/sqlite fix as well

Relates-to: #323

add a workaround for missing user= parameter in subprocess.run on python 3.8

Fixes: #967

Merge pull request #966 from DaanDeMeyer/ubuntu-jammy

Update ubuntu default version to jammy

Update ubuntu default version to jammy

Merge pull request #961 from DaanDeMeyer/fedora-36

Merge pull request #963 from behrmann/debian-ca-certs

debian: include ca-certificates for bootstrap packages

Install util-linux explicitly on Fedora

In Fedora 36, by default only util-linux-core is pulled in which
is missing /bin/login which is required by /sbin/agetty to function
properly. Let's pull it in explicitly until the bug is resolved.

Don't fail if /etc/pam.d/login doesn't exist.

debian: include ca-certificates for bootstrap packages

apt throws warnings because it cannot verify the certificates for the security
repositories we included recently. We could add this to extra-packages, but then
ca-certificates is missing when we call apt update for the first time, so add it
to the debootsrap call.

Fixes: #962

Update default fedora version to 36

Merge pull request #960 from DaanDeMeyer/fixes

Fixes

Run git operations as user running mkosi

Latest git complains when executed as root on a user owned directory.
Let's run the git operations as the user running mkosi to avoid the
error.

Always update /etc/kernel/cmdline

Allows updating the kernel cmdline without needing a full rebuild.

Merge pull request #959 from DaanDeMeyer/arch

Add nspawn version check to check_native()

From systemd-nspawn v250 onwards, it's possible to run build scripts
on non-native architectures (as long as binfmt.d is configured correctly)
so update the native check to consider that.

Add env variable to configure nspawn executable to use

Useful when working on nspawn to configure mkosi to use nspawn
from the build directory instead of system nspawn.

Ensure we use C.UTF-8 as the default locale on all distributions

debian: load skeletons after running debootstrap

Right now mkosi.skeleton cannot be used for dpkg-based distributions, since
debootstrap will not work on a non-empty target. This adds a parameter to
install_skeleton_trees to hack around this for Debian and Ubuntu, so that the
call before install_distribution is skipped and we only add skeletons before
invoking apt again after doing the initial debootstrap.

Merge pull request #957 from keszybz/py3.11-compat

py3.11: fix Enum formatting to work with python3.11-a7

Drop special __repr__ from Parseable mixin

We want to override __str__, and we also did __repr__, but there doesn't
seem to be any particular reason for this.

py3.11: fix Enum formatting to work with python3.11-a7

Something strange is happening with .__repr__() access in python3.11:

>>> mkosi.backend.ManifestFormat.mro()
[<enum 'ManifestFormat'>, <class 'mkosi.backend.Parseable'>, <enum 'Enum'>, <class 'object'>]
>>> mkosi.backend.ManifestFormat.changelog.__repr__()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib64/python3.11/enum.py", line 1194, in __repr__
    return "<%s.%s: %s>" % (self.__class__.__name__, self._name_, v_repr(self._value_))
                                                                  ^^^^^^^^^^^^^^^^^^^^
  File "/home/zbyszek/src/mkosi/mkosi/backend.py", line 95, in __repr__
    return cast(str, getattr(self, "name"))
                     ^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'str' object has no attribute 'name'

Enum somehow subverts normal lookup and makes its own __repr__ function be
used, even though Parseable is listed first in MRO. This seems to be related to
PEP 663, which was rejected, and the changes reverted for -a4 [1], but then the revert
was reverted [2].

Let's just sidestep MRO with a method redefinition:

>>> mkosi.backend.ManifestFormat.changelog.__repr__
<bound method ManifestFormat.__repr__ of changelog>
>>> mkosi.backend.ManifestFormat.changelog.__repr__()
'changelog'

This should work on all python versions. If python3.11 returns to previous
semantics before the final release, we can remove the workaround.

[1] commit acf7403f9baea3ae1119fc6b4a3298522188bf96
Author: Ethan Furman <ethan@stoneleaf.us>
Date:   Sat Jan 15 22:41:43 2022 -0800

    bpo-40066:  [Enum] update str() and format() output (GH-30582)

    Undo rejected PEP-663 changes:

    - restore `repr()` to its 3.10 status
    - restore `str()` to its 3.10 status

[2] commit 42a64c03ec5c443f2a5c2ee4284622f5d1f5326c
Author: Victor Stinner <vstinner@python.org>
Date:   Mon Jan 17 13:58:40 2022 +0100

    Revert "bpo-40066:  [Enum] update str() and format() output (GH-30582)" (GH-30632)

    This reverts commit acf7403f9baea3ae1119fc6b4a3298522188bf96.

Merge pull request #954 from behrmann/missingdocs

Add missing docs

docs: add missing genkey command summary

docs: add missing commands to synopsis

Make a relative symlink instead of an absolute one

THis should ensure, that we never link outside of the image.

Merge pull request #952 from DaanDeMeyer/locale-force-symlink

mkosi: Force /etc/default/locale to be a symlink to locale.conf

mkosi: Force /etc/default/locale to be a symlink to locale.conf

If the locales package is installed, /etc/default/locale will exist
in the filesystem already. Let's make sure we handle that properly.

Merge pull request #932 from DaanDeMeyer/debug-bootable

Various fixes

arch: Use C.UTF-8 instead of en_US.UTF-8

ubuntu/debian: Add updates/security repos to new images

Fixes #534

ubuntu/debian: Preserve runtime directory

sshd logs on CI complain about a missing runtime directory. Let's
make sure the runtime directory is preserved to avoid this error.

ci: Update dependency versions

ci: Cache dependencies build step

ci: Fix $BUILDDIR unset in setup-github-actions.sh

sudo doesn't transfer environment variables by default.

ubuntu/debian: Set up locale correctly on Debian/Ubuntu

Let's make sure we configure the locale. Also, some programs
expect /etc/default/locale to exist on Ubuntu/Debian so let's
create a symlink from there to /etc/locale.conf as well.

machine: Rework run() output capture

Let's not capture output by default. Instead, let's forward it
directly to stdout/stderr to simplify debugging. Similar to the
subprocess.run() function, let's add a capture_output argument
to allow configuring whether to capture the output.

We also remove the debug argument from Machine since logging to
stdout/stderr is now the default.

Rename test_skip_not_supported() to skip_not_supported()

pytest runs it as a test with the previous name which is not
what we want to happen.

Expect qemu tests to fail on centos_epel due to arch issue

Add --qemu-kvm option

Allows running without KVM acceleration on machines that support KVM.
Useful when trying to reproduce CI issues where KVM is not supported.

ci: Print more verbose output when running pytest

Let's have pytest output which tests succeeded and were skipped.

Drop --hostonly-initrd from test machine bootable images

Causes a few boot issues with rocky and alma bootable images so
let's remove the option as it the speed improvement shouldn't matter
too much for integration tests.

Add missing binaries to initrd

These aren't included on Ubuntu which causes an error during boot,
let's fix that by including them explicitly.

ci: Remove systemd.volatile from kernel command line

volatile doesn't work on many distros. We initially added it to
support booting GPT squashfs images but since we don't test those
in CI anymore, we can safely remove volatile from the kernel
commandline as well.

ci: Use gpt_ext4 as the bootable system format instead of gpt_btrfs

gpt_ext4 is usable everywhere unlike gpt_btrfs.

tests: Add back isinstance() check to pytest_assertrepr_compare()

Turns out that the added typing was wrong, not the isinstance()
check so add back the isinstance() check and change the type to Any
instead.