Add veritysetup.target to initrd

The target is needed so that usr and root partitions
can be verified and mounted early during boot.

Closes #1014

Merge pull request #1012 from DaanDeMeyer/fix-ssh

machine: Add retries for ssh

Have run_ssh_cmdline() return List instead of Sequence

machine: Add retries for ssh

We've been seeing quite a bit of "connection refused" errors in CI.
These are likely happening because sshd hasn't finished starting
yet.

The proper fix for this is to add notify socket support for systemd
running qemu VMs via virtio sockets, but even if that's added, it
will be a very long time before we can rely on it.

For now, let's add a retry mechanism for SSH connections to make
our CI setup more reliable.

Refactor command running in integration tests

Let's move run_command_image() into Machine.run(), introduce
run_systemd_cmdline() to get the systemd-run command line, and
remove all arguments from run_ssh() that aren't required anymore
now.

Drop choices param from --debug option spec

Using choices prevents us from passing multiple options so let's drop
it for now.

Fixes #1006

mkosi: optimize/fix patching of root part-type uuid

The bug was that the part-type write we did would get overwritten when the
partition table was subsequently rewritten when we were adding the verity and
verity-sig paritions. We don't need to write out the part-type manually, it's
enough to store the right value in our partition list. This makes things a bit
faster too.

We know that if we calculated the verity info, we'll insert a partition soon
after and then it'll get written correctly.

‣  Generating verity hashes…
Root partition-type UUID: 25e87685-6aa9-86be-a9e3-71d020f407fe
‣  Inserting verity partition…

Fixes #997.

Merge pull request #1009 from DaanDeMeyer/arch-pacman-gpgdir-host

arch: Use gpgdir from host system

arch: Use gpgdir from host system

Instead of setting up the keyring in the image, let's reuse the
keyring from the host. If users want to use pacman in the image,
they just have to run pacman-key themselves in a postinst script
or such.

This speeds up building of images and hopefully also gets rid of
our CI issues with Arch where there's something keeping files open
in the root mount (which I expect is gpg-agent).

Fix losetup race condition with initializing partition devices

This fixes the same issue we've seen in the systemd repo where
using PARTSCAN introduces a race condition with trying to use
the partition device since the kernel initializes the partition
devices asynchronously. To avoid the issue, we initialize partition
devices manually using the BLKPG ioctl(). We also avoid the same
problem on detaching loop devices by removing partition devices
explicitly using the BLKPG ioctl().

See https://github.com/systemd/systemd/pull/22992,
https://github.com/systemd/systemd/pull/23427,
https://github.com/systemd/systemd/issues/23174 and
https://github.com/systemd/systemd/issues/17469 for more context.

Merge pull request #958 from keszybz/help-formatting

Tweaks to argparse setup to make --help output nicer

mkosi: fix typo

docs: say 'git ls-files' instead of 'git-ls-files'

The version with the hyphen hasn't been in $PATH for years, let's not
confuse our younger users.

docs: regenerate the man page

Improve wrapping of long texts in --help

The default formatter would wrap all text into a single paragraph,
which is rather hard to read in case when we have a list of options
and an explanation for each of the values. Let's add a custom formatter.

Also, never split option names or other words.

Part of output wrapped to the default 80 columns:
  --source-file-transfer-final METHOD
                        How to copy build sources to the final image:
                        'copy-all': normal file copy
                        'copy-git-cached': use git ls-files --cached, ignoring
                            any file that git itself ignores
                        'copy-git-others': use git ls-files --others, ignoring
                            any file that git itself ignores
                        'copy-git-more': use git ls-files --cached, ignoring
                            any file that git itself ignores, but include the
                            .git/ directory
                        (default: None)
  --source-resolve-symlinks [BOOL]
                        If true, symbolic links in the build sources are
                        followed and the file contents copied to the build
                        image. If false, they are left as symbolic links. Only
                        applies if --source-file-transfer-final is set to
                        'copy-all'.
                        (default: false)
  --source-resolve-symlinks-final [BOOL]
                        If true, symbolic links in the build sources are
                        followed and the file contents copied to the final
                        image. If false, they are left as symbolic links in
                        the final image. Only applies if
                        --source-file-transfer-final is set to 'copy-all'.
                        (default: false)
  --with-network [WITH_NETWORK]
                        Run build and postinst scripts with network access
                        (instead of private network)
  --settings PATH       Add in .nspawn settings file

Split out the helper to format a list of strings

This doesn't save much, but I think it's easier to read this way.

mkosi: add metavar=BOOL to boolean options

--help would print something like "--source-file-transfer-final SOURCE_FILE_TRANSFER_FINAL"
which takes a lot of space but is not very helpful. In particular it
might not be clear whether this expects some custom string or just a
yes/no boolean. Let's use "BOOL" instead to tell the user the type of
the argument, which immediately implies what values can be specified.

Similarly, say "--source-file-transfer METHOD", "--source-file-transfer-final METHOD".

Also drop metavar= when it matches the default value anyway.

mkosi: reformat option construction

Formatting is made more consistent:
- long entries are broken up
- trailing commas are used

arch: Drop locale-gen logic

C.UTF-8 is included by default in the latest glibc package update.

Merge pull request #994 from gsalvatella/fix/bmap-before-compression

mkosi: create bmap before compression

mkosi: create bmap before compression

Creation of bmap files needs to take place before any compression
happens, since bmaptool has to know where the "holes" of the image lie.
Compression removes the holes, preventing bmap from recreating the
original raw image. Move the bmap calculation step before the
compression.

Merge pull request #996 from behrmann/parsesshagentlogic

ssh: make parse_ssh_agent only handle strings

ssh: make parse_ssh_agent only handle strings

pyright complains (wrongly I think) about value being None when passed to Path
to create the socket variable. Let's work around this by eliminating Nones as
values.

Merge pull request #985 from DaanDeMeyer/pytest-graceful-build

machine: Hide subprocess stacktrace when a command fails during build

set SYSTEMD_LOG_LEVEL=debug in workspace cmd when debugging it

machine: Hide subprocess stacktrace when a command fails during build

Similar to #983 but when building the image instead of booting it.

Merge pull request #983 from DaanDeMeyer/pytest-graceful

machine: Hide pexpect stacktrace when machine fails to boot

machine: Hide pexpect stacktrace when machine fails to boot

Follow up for b799c6de4ec80a5519391a7c15ac52481b50d33f

Merge pull request #982 from DaanDeMeyer/fixes

Fixes

machine: Fail test more gracefully if the image fails to boot

machine: Pass a list of arguments to pexpect instead of a single string

Merge pull request #981 from DaanDeMeyer/fix-qemu-bios

qemu: Only enable uefi related options when we want to boot using uefi

Select qemu executable based on image architecture

mkosi: add option for adding extra qemu args

Let's add an option for adding extra options to pass to all our qemu
invocations.

Example mkosi.default:

```
[Host]
QemuArgs=-fw_cfg name=opt/io.systemd.credentials/foo,string=bar
```

qemu: Only enable uefi related options when we want to boot using uefi

mkosi: Always use the embedded default version when no release is specified

Let's not have the host system determine the image distribution release.
Instead, let's always default to the default release embedded within mkosi.
This gives more consistent results when building images for a single distro
regardless of the host distribution.

Add two more OVMF code locations

Used on Ubuntu. Should make sure we find the secure boot OVMF stuff
on Github Actions.

Fix wrong verity sigs for s390

Merge pull request #978 from behrmann/manifestsizeoptional

manifest: don't assume the size field to be valid on deb systems

manifest: don't assume the size field to be valid on deb systems

Fixes: 977

machine: Translate \r\n to \n in logfile

Output lines from pexpect sent to the logfile will always end with
"\r\n" (side-effect of working with pseudo-TTYs) . On Github Actions,
this results in blank lines in the test output. Let's add a simple
adapter that translates "\r\n" back to "\n" before actually writing
to the logfile.

Merge pull request #972 from DaanDeMeyer/remove-pacstrap-refs

Replace references to pacstrap with pacman

Replace references to pacstrap with pacman

We call pacman directly these days so let's remove all references
to pacstrap.

Allow rhel-likes to build on more than x86_64

* also add Rocky 9 key name change and the bdb/sqlite fix as well

Relates-to: #323

add a workaround for missing user= parameter in subprocess.run on python 3.8

Fixes: #967

Merge pull request #966 from DaanDeMeyer/ubuntu-jammy

Update ubuntu default version to jammy

Update ubuntu default version to jammy

Merge pull request #961 from DaanDeMeyer/fedora-36

Merge pull request #963 from behrmann/debian-ca-certs

debian: include ca-certificates for bootstrap packages

Install util-linux explicitly on Fedora

In Fedora 36, by default only util-linux-core is pulled in which
is missing /bin/login which is required by /sbin/agetty to function
properly. Let's pull it in explicitly until the bug is resolved.

Don't fail if /etc/pam.d/login doesn't exist.

debian: include ca-certificates for bootstrap packages

apt throws warnings because it cannot verify the certificates for the security
repositories we included recently. We could add this to extra-packages, but then
ca-certificates is missing when we call apt update for the first time, so add it
to the debootsrap call.

Fixes: #962

Update default fedora version to 36

Merge pull request #960 from DaanDeMeyer/fixes

Fixes

Run git operations as user running mkosi

Latest git complains when executed as root on a user owned directory.
Let's run the git operations as the user running mkosi to avoid the
error.

Always update /etc/kernel/cmdline

Allows updating the kernel cmdline without needing a full rebuild.

Merge pull request #959 from DaanDeMeyer/arch

Add nspawn version check to check_native()

From systemd-nspawn v250 onwards, it's possible to run build scripts
on non-native architectures (as long as binfmt.d is configured correctly)
so update the native check to consider that.

Add env variable to configure nspawn executable to use

Useful when working on nspawn to configure mkosi to use nspawn
from the build directory instead of system nspawn.

Ensure we use C.UTF-8 as the default locale on all distributions

debian: load skeletons after running debootstrap

Right now mkosi.skeleton cannot be used for dpkg-based distributions, since
debootstrap will not work on a non-empty target. This adds a parameter to
install_skeleton_trees to hack around this for Debian and Ubuntu, so that the
call before install_distribution is skipped and we only add skeletons before
invoking apt again after doing the initial debootstrap.

Merge pull request #957 from keszybz/py3.11-compat

py3.11: fix Enum formatting to work with python3.11-a7

Drop special __repr__ from Parseable mixin

We want to override __str__, and we also did __repr__, but there doesn't
seem to be any particular reason for this.

py3.11: fix Enum formatting to work with python3.11-a7

Something strange is happening with .__repr__() access in python3.11:

>>> mkosi.backend.ManifestFormat.mro()
[<enum 'ManifestFormat'>, <class 'mkosi.backend.Parseable'>, <enum 'Enum'>, <class 'object'>]
>>> mkosi.backend.ManifestFormat.changelog.__repr__()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib64/python3.11/enum.py", line 1194, in __repr__
    return "<%s.%s: %s>" % (self.__class__.__name__, self._name_, v_repr(self._value_))
                                                                  ^^^^^^^^^^^^^^^^^^^^
  File "/home/zbyszek/src/mkosi/mkosi/backend.py", line 95, in __repr__
    return cast(str, getattr(self, "name"))
                     ^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'str' object has no attribute 'name'

Enum somehow subverts normal lookup and makes its own __repr__ function be
used, even though Parseable is listed first in MRO. This seems to be related to
PEP 663, which was rejected, and the changes reverted for -a4 [1], but then the revert
was reverted [2].

Let's just sidestep MRO with a method redefinition:

>>> mkosi.backend.ManifestFormat.changelog.__repr__
<bound method ManifestFormat.__repr__ of changelog>
>>> mkosi.backend.ManifestFormat.changelog.__repr__()
'changelog'

This should work on all python versions. If python3.11 returns to previous
semantics before the final release, we can remove the workaround.

[1] commit acf7403f9baea3ae1119fc6b4a3298522188bf96
Author: Ethan Furman <ethan@stoneleaf.us>
Date:   Sat Jan 15 22:41:43 2022 -0800

    bpo-40066:  [Enum] update str() and format() output (GH-30582)

    Undo rejected PEP-663 changes:

    - restore `repr()` to its 3.10 status
    - restore `str()` to its 3.10 status

[2] commit 42a64c03ec5c443f2a5c2ee4284622f5d1f5326c
Author: Victor Stinner <vstinner@python.org>
Date:   Mon Jan 17 13:58:40 2022 +0100

    Revert "bpo-40066:  [Enum] update str() and format() output (GH-30582)" (GH-30632)

    This reverts commit acf7403f9baea3ae1119fc6b4a3298522188bf96.

Merge pull request #954 from behrmann/missingdocs

Add missing docs

docs: add missing genkey command summary

docs: add missing commands to synopsis

Make a relative symlink instead of an absolute one

THis should ensure, that we never link outside of the image.

Merge pull request #952 from DaanDeMeyer/locale-force-symlink

mkosi: Force /etc/default/locale to be a symlink to locale.conf

mkosi: Force /etc/default/locale to be a symlink to locale.conf

If the locales package is installed, /etc/default/locale will exist
in the filesystem already. Let's make sure we handle that properly.

Merge pull request #932 from DaanDeMeyer/debug-bootable

Various fixes

arch: Use C.UTF-8 instead of en_US.UTF-8

ubuntu/debian: Add updates/security repos to new images

Fixes #534

ubuntu/debian: Preserve runtime directory

sshd logs on CI complain about a missing runtime directory. Let's
make sure the runtime directory is preserved to avoid this error.

ci: Update dependency versions

ci: Cache dependencies build step

ci: Fix $BUILDDIR unset in setup-github-actions.sh

sudo doesn't transfer environment variables by default.

ubuntu/debian: Set up locale correctly on Debian/Ubuntu

Let's make sure we configure the locale. Also, some programs
expect /etc/default/locale to exist on Ubuntu/Debian so let's
create a symlink from there to /etc/locale.conf as well.

machine: Rework run() output capture

Let's not capture output by default. Instead, let's forward it
directly to stdout/stderr to simplify debugging. Similar to the
subprocess.run() function, let's add a capture_output argument
to allow configuring whether to capture the output.

We also remove the debug argument from Machine since logging to
stdout/stderr is now the default.

Rename test_skip_not_supported() to skip_not_supported()

pytest runs it as a test with the previous name which is not
what we want to happen.

Expect qemu tests to fail on centos_epel due to arch issue

Add --qemu-kvm option

Allows running without KVM acceleration on machines that support KVM.
Useful when trying to reproduce CI issues where KVM is not supported.

ci: Print more verbose output when running pytest

Let's have pytest output which tests succeeded and were skipped.

Drop --hostonly-initrd from test machine bootable images

Causes a few boot issues with rocky and alma bootable images so
let's remove the option as it the speed improvement shouldn't matter
too much for integration tests.

Add missing binaries to initrd

These aren't included on Ubuntu which causes an error during boot,
let's fix that by including them explicitly.

ci: Remove systemd.volatile from kernel command line

volatile doesn't work on many distros. We initially added it to
support booting GPT squashfs images but since we don't test those
in CI anymore, we can safely remove volatile from the kernel
commandline as well.

ci: Use gpt_ext4 as the bootable system format instead of gpt_btrfs

gpt_ext4 is usable everywhere unlike gpt_btrfs.

tests: Add back isinstance() check to pytest_assertrepr_compare()

Turns out that the added typing was wrong, not the isinstance()
check so add back the isinstance() check and change the type to Any
instead.

machine: Duplicate pexpect serial output to stdout

Helps with debugging failing tests.

Differentiate between machine name and interface name

We only need to shorten the interface name. For machine names, we
can use the full name.

Register "integration" as a custom pytest marker

Silences pytest warning message.

Add interface name to interface not found error message

Helps with debugging

Shorten interface names to 12 characters

Off by one bug, interface names can only be 15 characters instead
of 16 characters so we need to limit the name to 12 characters
instead of 13.

Set SSH timeout to 4 minutes for integration tests

Only build test images in bootable mode when using the qemu verb

ci: Fix variable usage with sudo

The variable assignments should be part of the command passed to sudo,
otherwise they'll be ignored.

test: squelch asyncio io warning

This silences the deprecation warning

     The 'asyncio_mode' default value will change to 'strict' in
     future, please explicitly use 'asyncio_mode=strict' or
     'asyncio_mode=auto' in pytest configuration file.

The difference is whether pytest considers async tests to be
asyncio-driven even when they are not marked @pytest.mark.asyncio
with 'auto' meaning yes, consider them even when not marked, and
'strict' requiring the marking.

This doesn't really make a difference for us, since we don't have
any async tests, but it's nevertheless nice to silence the warning.

Run dracut for unified kernel images instead of objcopy

objcopy is faster but it doesn't apply any changes in installed
files when running in incremental mode which is a regression. Let's
run dracut again to fix that regression.

We can if needed add an option later to use objcopy instead of dracut
if users would want that.

Add option to run nspawn in current unit

This commit adds --nspawn-keep-unit option to add --keep-unit option to
underlying systemd-nspawn commands. This makes systemd-nspawn uses the
current unit scope and allocated ressources. This can be notably useful
when mkosi is run by a system service.

Fix bootstrapping RPM distro on Debian

The Debian rpm/dnf packages store the db in the home directory, so
the bootstrapped image has a broken rpm database.
Move it to the right place if it happens.

See: https://bugs.debian.org/1004863

Fixes https://github.com/systemd/mkosi/issues/934