mkosi: create bmap before compression

Creation of bmap files needs to take place before any compression
happens, since bmaptool has to know where the "holes" of the image lie.
Compression removes the holes, preventing bmap from recreating the
original raw image. Move the bmap calculation step before the
compression.

Merge pull request #996 from behrmann/parsesshagentlogic

ssh: make parse_ssh_agent only handle strings

ssh: make parse_ssh_agent only handle strings

pyright complains (wrongly I think) about value being None when passed to Path
to create the socket variable. Let's work around this by eliminating Nones as
values.

Merge pull request #985 from DaanDeMeyer/pytest-graceful-build

machine: Hide subprocess stacktrace when a command fails during build

set SYSTEMD_LOG_LEVEL=debug in workspace cmd when debugging it

machine: Hide subprocess stacktrace when a command fails during build

Similar to #983 but when building the image instead of booting it.

Merge pull request #983 from DaanDeMeyer/pytest-graceful

machine: Hide pexpect stacktrace when machine fails to boot

machine: Hide pexpect stacktrace when machine fails to boot

Follow up for b799c6de4ec80a5519391a7c15ac52481b50d33f

Merge pull request #982 from DaanDeMeyer/fixes

Fixes

machine: Fail test more gracefully if the image fails to boot

machine: Pass a list of arguments to pexpect instead of a single string

Merge pull request #981 from DaanDeMeyer/fix-qemu-bios

qemu: Only enable uefi related options when we want to boot using uefi

Select qemu executable based on image architecture

mkosi: add option for adding extra qemu args

Let's add an option for adding extra options to pass to all our qemu
invocations.

Example mkosi.default:

```
[Host]
QemuArgs=-fw_cfg name=opt/io.systemd.credentials/foo,string=bar
```

qemu: Only enable uefi related options when we want to boot using uefi

mkosi: Always use the embedded default version when no release is specified

Let's not have the host system determine the image distribution release.
Instead, let's always default to the default release embedded within mkosi.
This gives more consistent results when building images for a single distro
regardless of the host distribution.

Add two more OVMF code locations

Used on Ubuntu. Should make sure we find the secure boot OVMF stuff
on Github Actions.

Fix wrong verity sigs for s390

Merge pull request #978 from behrmann/manifestsizeoptional

manifest: don't assume the size field to be valid on deb systems

manifest: don't assume the size field to be valid on deb systems

Fixes: 977

machine: Translate \r\n to \n in logfile

Output lines from pexpect sent to the logfile will always end with
"\r\n" (side-effect of working with pseudo-TTYs) . On Github Actions,
this results in blank lines in the test output. Let's add a simple
adapter that translates "\r\n" back to "\n" before actually writing
to the logfile.

Merge pull request #972 from DaanDeMeyer/remove-pacstrap-refs

Replace references to pacstrap with pacman

Replace references to pacstrap with pacman

We call pacman directly these days so let's remove all references
to pacstrap.

Allow rhel-likes to build on more than x86_64

* also add Rocky 9 key name change and the bdb/sqlite fix as well

Relates-to: #323

add a workaround for missing user= parameter in subprocess.run on python 3.8

Fixes: #967

Merge pull request #966 from DaanDeMeyer/ubuntu-jammy

Update ubuntu default version to jammy

Update ubuntu default version to jammy

Merge pull request #961 from DaanDeMeyer/fedora-36

Merge pull request #963 from behrmann/debian-ca-certs

debian: include ca-certificates for bootstrap packages

Install util-linux explicitly on Fedora

In Fedora 36, by default only util-linux-core is pulled in which
is missing /bin/login which is required by /sbin/agetty to function
properly. Let's pull it in explicitly until the bug is resolved.

Don't fail if /etc/pam.d/login doesn't exist.

debian: include ca-certificates for bootstrap packages

apt throws warnings because it cannot verify the certificates for the security
repositories we included recently. We could add this to extra-packages, but then
ca-certificates is missing when we call apt update for the first time, so add it
to the debootsrap call.

Fixes: #962

Update default fedora version to 36

Merge pull request #960 from DaanDeMeyer/fixes

Fixes

Run git operations as user running mkosi

Latest git complains when executed as root on a user owned directory.
Let's run the git operations as the user running mkosi to avoid the
error.

Always update /etc/kernel/cmdline

Allows updating the kernel cmdline without needing a full rebuild.

Merge pull request #959 from DaanDeMeyer/arch

Add nspawn version check to check_native()

From systemd-nspawn v250 onwards, it's possible to run build scripts
on non-native architectures (as long as binfmt.d is configured correctly)
so update the native check to consider that.

Add env variable to configure nspawn executable to use

Useful when working on nspawn to configure mkosi to use nspawn
from the build directory instead of system nspawn.

Ensure we use C.UTF-8 as the default locale on all distributions

debian: load skeletons after running debootstrap

Right now mkosi.skeleton cannot be used for dpkg-based distributions, since
debootstrap will not work on a non-empty target. This adds a parameter to
install_skeleton_trees to hack around this for Debian and Ubuntu, so that the
call before install_distribution is skipped and we only add skeletons before
invoking apt again after doing the initial debootstrap.

Merge pull request #957 from keszybz/py3.11-compat

py3.11: fix Enum formatting to work with python3.11-a7

Drop special __repr__ from Parseable mixin

We want to override __str__, and we also did __repr__, but there doesn't
seem to be any particular reason for this.

py3.11: fix Enum formatting to work with python3.11-a7

Something strange is happening with .__repr__() access in python3.11:

>>> mkosi.backend.ManifestFormat.mro()
[<enum 'ManifestFormat'>, <class 'mkosi.backend.Parseable'>, <enum 'Enum'>, <class 'object'>]
>>> mkosi.backend.ManifestFormat.changelog.__repr__()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib64/python3.11/enum.py", line 1194, in __repr__
    return "<%s.%s: %s>" % (self.__class__.__name__, self._name_, v_repr(self._value_))
                                                                  ^^^^^^^^^^^^^^^^^^^^
  File "/home/zbyszek/src/mkosi/mkosi/backend.py", line 95, in __repr__
    return cast(str, getattr(self, "name"))
                     ^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'str' object has no attribute 'name'

Enum somehow subverts normal lookup and makes its own __repr__ function be
used, even though Parseable is listed first in MRO. This seems to be related to
PEP 663, which was rejected, and the changes reverted for -a4 [1], but then the revert
was reverted [2].

Let's just sidestep MRO with a method redefinition:

>>> mkosi.backend.ManifestFormat.changelog.__repr__
<bound method ManifestFormat.__repr__ of changelog>
>>> mkosi.backend.ManifestFormat.changelog.__repr__()
'changelog'

This should work on all python versions. If python3.11 returns to previous
semantics before the final release, we can remove the workaround.

[1] commit acf7403f9baea3ae1119fc6b4a3298522188bf96
Author: Ethan Furman <ethan@stoneleaf.us>
Date:   Sat Jan 15 22:41:43 2022 -0800

    bpo-40066:  [Enum] update str() and format() output (GH-30582)

    Undo rejected PEP-663 changes:

    - restore `repr()` to its 3.10 status
    - restore `str()` to its 3.10 status

[2] commit 42a64c03ec5c443f2a5c2ee4284622f5d1f5326c
Author: Victor Stinner <vstinner@python.org>
Date:   Mon Jan 17 13:58:40 2022 +0100

    Revert "bpo-40066:  [Enum] update str() and format() output (GH-30582)" (GH-30632)

    This reverts commit acf7403f9baea3ae1119fc6b4a3298522188bf96.

Merge pull request #954 from behrmann/missingdocs

Add missing docs

docs: add missing genkey command summary

docs: add missing commands to synopsis

Make a relative symlink instead of an absolute one

THis should ensure, that we never link outside of the image.

Merge pull request #952 from DaanDeMeyer/locale-force-symlink

mkosi: Force /etc/default/locale to be a symlink to locale.conf

mkosi: Force /etc/default/locale to be a symlink to locale.conf

If the locales package is installed, /etc/default/locale will exist
in the filesystem already. Let's make sure we handle that properly.

Merge pull request #932 from DaanDeMeyer/debug-bootable

Various fixes

arch: Use C.UTF-8 instead of en_US.UTF-8

ubuntu/debian: Add updates/security repos to new images

Fixes #534

ubuntu/debian: Preserve runtime directory

sshd logs on CI complain about a missing runtime directory. Let's
make sure the runtime directory is preserved to avoid this error.

ci: Update dependency versions

ci: Cache dependencies build step

ci: Fix $BUILDDIR unset in setup-github-actions.sh

sudo doesn't transfer environment variables by default.

ubuntu/debian: Set up locale correctly on Debian/Ubuntu

Let's make sure we configure the locale. Also, some programs
expect /etc/default/locale to exist on Ubuntu/Debian so let's
create a symlink from there to /etc/locale.conf as well.

machine: Rework run() output capture

Let's not capture output by default. Instead, let's forward it
directly to stdout/stderr to simplify debugging. Similar to the
subprocess.run() function, let's add a capture_output argument
to allow configuring whether to capture the output.

We also remove the debug argument from Machine since logging to
stdout/stderr is now the default.

Rename test_skip_not_supported() to skip_not_supported()

pytest runs it as a test with the previous name which is not
what we want to happen.

Expect qemu tests to fail on centos_epel due to arch issue

Add --qemu-kvm option

Allows running without KVM acceleration on machines that support KVM.
Useful when trying to reproduce CI issues where KVM is not supported.

ci: Print more verbose output when running pytest

Let's have pytest output which tests succeeded and were skipped.

Drop --hostonly-initrd from test machine bootable images

Causes a few boot issues with rocky and alma bootable images so
let's remove the option as it the speed improvement shouldn't matter
too much for integration tests.

Add missing binaries to initrd

These aren't included on Ubuntu which causes an error during boot,
let's fix that by including them explicitly.

ci: Remove systemd.volatile from kernel command line

volatile doesn't work on many distros. We initially added it to
support booting GPT squashfs images but since we don't test those
in CI anymore, we can safely remove volatile from the kernel
commandline as well.

ci: Use gpt_ext4 as the bootable system format instead of gpt_btrfs

gpt_ext4 is usable everywhere unlike gpt_btrfs.

tests: Add back isinstance() check to pytest_assertrepr_compare()

Turns out that the added typing was wrong, not the isinstance()
check so add back the isinstance() check and change the type to Any
instead.

machine: Duplicate pexpect serial output to stdout

Helps with debugging failing tests.

Differentiate between machine name and interface name

We only need to shorten the interface name. For machine names, we
can use the full name.

Register "integration" as a custom pytest marker

Silences pytest warning message.

Add interface name to interface not found error message

Helps with debugging

Shorten interface names to 12 characters

Off by one bug, interface names can only be 15 characters instead
of 16 characters so we need to limit the name to 12 characters
instead of 13.

Set SSH timeout to 4 minutes for integration tests

Only build test images in bootable mode when using the qemu verb

ci: Fix variable usage with sudo

The variable assignments should be part of the command passed to sudo,
otherwise they'll be ignored.

test: squelch asyncio io warning

This silences the deprecation warning

     The 'asyncio_mode' default value will change to 'strict' in
     future, please explicitly use 'asyncio_mode=strict' or
     'asyncio_mode=auto' in pytest configuration file.

The difference is whether pytest considers async tests to be
asyncio-driven even when they are not marked @pytest.mark.asyncio
with 'auto' meaning yes, consider them even when not marked, and
'strict' requiring the marking.

This doesn't really make a difference for us, since we don't have
any async tests, but it's nevertheless nice to silence the warning.

Run dracut for unified kernel images instead of objcopy

objcopy is faster but it doesn't apply any changes in installed
files when running in incremental mode which is a regression. Let's
run dracut again to fix that regression.

We can if needed add an option later to use objcopy instead of dracut
if users would want that.

Add option to run nspawn in current unit

This commit adds --nspawn-keep-unit option to add --keep-unit option to
underlying systemd-nspawn commands. This makes systemd-nspawn uses the
current unit scope and allocated ressources. This can be notably useful
when mkosi is run by a system service.

Fix bootstrapping RPM distro on Debian

The Debian rpm/dnf packages store the db in the home directory, so
the bootstrapped image has a broken rpm database.
Move it to the right place if it happens.

See: https://bugs.debian.org/1004863

Fixes https://github.com/systemd/mkosi/issues/934

Merge pull request #945 from DaanDeMeyer/dnf-vars-stream

centos: Write stream dnf variable file when a stream release is used

centos: Write stream dnf variable file when a stream release is used

CentOS Stream SIGs use the $stream variable in their repo files to
identify the current CentOS Stream version. Let's make sure we write
this file so that SIG repo files can be copied into mkosi.reposdir
as is without requiring modifications to make them work.

Example SIG repo file using $stream:
https://git.centos.org/rpms/centos-release-hyperscale/blob/c8s-sig-hyperscale/f/SOURCES/CentOS-Stream-Hyperscale.repo

Configure pacman with ParallelDownloads = 5

Let's include the new ParallelDownloads option from pacman v6 with
the same default value used by pacman itself.

Add --repository-directory option

The repository directory can contain extra repositories to be
used when installing packages. If mkosi.reposdir/ exists, it's
used as the repository directory unless it's explicitly
specified.

Only supported for rpm based distros and Arch for now. We don't
support Ubuntu/Debian atm because we can't point apt to the
extra repositories directory because apt runs inside the image
compared to dnf and pacman which run outside of the image.

Merge pull request #942 from DaanDeMeyer/cache-reuse-machine-id

Reuse machine ID when re-using a cached image

Reuse machine ID when re-using a cached image

4fb53aea9e04b931cccedf1545831e426d6ec2f7 broke incremental builds
for bootable Fedora images because when building the cached image,
the initrd is installed to "/efi/<machine-id>/...", and when doing
a cached build, a new machine ID is generated inside mkosi (but not
written to /etc/machine-id), making gen_kernel_images() unable to
find the initrd.

Let's fix the issue by re-using the machine ID from /etc/machine-id
when doing a cached build.

In the future, we can use the new entry-token feature of bootctl to
have kernel-install write to directory in /efi that's not tied to
the machine ID but until that's widely available this will have to
do.

Merge pull request #941 from DaanDeMeyer/fixes

Two small fixes

Make sure --source-file-transfer-final works without a build script

centos: Rebuild the rpm db in bdb format on older centos releases

When building centos stream 8 images from Fedora, the resulting rpmdb
in the image is written in the sqlite format. The rpm version available
in centos stream 8 only supports reading the sqlite format but not writing
to it, which effectively makes installing rpm packages in the resulting
image impossible.

As a temporary workaround, we run rpm --rebuilddb inside the image to rebuild
the db in the older bdb format. Ideally we'd use the rpm from the host for this
but rpm has removed bdb support in newer versions so this isn't possible.

Luckily, we can remove this hack once we remove support for centos stream 8
and lower.

Merge pull request #939 from behrmann/envrefactor

Make MkosiArgs.environment a dictionary

make MkosiArgs.environment a dictionary

relax accepted types for run_work_space command

Add missing environments to prepare und postinst scripts

Fixes: #937

ci: Add back shellcheck

Turns out the globbing wasn't done quite right. Fixed the globbing
so it applies to all shell scripts in the mkosi repository.

ci: Remove shellcheck step

We don't have any scripts to check anymore.

Merge pull request #923 from DaanDeMeyer/remove-dracut-uki-script

Remove dracut unified kernel image kernel-install script

Replace dracut unified kernel image kernel-install script with objcopy

When using objcopy, we can generate the initrd in the install phase
which is cached which speeds up builds of incremental images. We use
objcopy from the host system to avoid having to install binutils in
all generated images.

We also call kernel-install manually in opensuse, debian and ubuntu
builds to make sure we can find an initrd image to pass to objcopy.
By calling kernel-install, we also make sure that
--without-unified-kernel-images now works for these distros as well.

Fix unreachable code mypy typing error

Merging CI tests with MkosiMachineTest class

- Removing the usage of the file at /tests/pexpect/boot.py
- Replacing the build/boot process ownership to the mkosi/machine.py file.
- All tests will attempt to build a MkosiMachineTestCase class and run the test functions.
- We leverage the load_args() function from __init__.py in order to replace the if's from the ci.yml file.
- If a set of options is invalid, we skip such test.
- We also define a specific exception for a invalid combination of arguments to be parsed, named "MkosiNotSupportedException".
- MkosiNotSupportedException inherits MkosiException.

Remove uneeded "name=" from EPEL repo definition

setup_dnf provides name= already

Before:

CentOS-8-stream - Plus                                                                    10 kB/s | 3.0 kB     00:00
CentOS-8-stream - PowerTools                                                              19 kB/s | 4.4 kB     00:00
name=Extra Packages for Enterprise Linux 8 - x86_64                                       10 kB/s | 4.7 kB     00:00

After:

CentOS-8-stream - Plus                                                                   5.3 kB/s | 3.0 kB     00:00
CentOS-8-stream - PowerTools                                                             8.1 kB/s | 4.4 kB     00:00
Extra Packages for Enterprise Linux 8 - x86_64                                           9.4 kB/s | 4.7 kB     00:00

Signed-off-by: Justin Vreeland <vreeland.justin@gmail.com>