Beef up bundled images

Let's beef up the bundled images with all the packages from the tools
trees where applicable so that we can run easily run mkosi from these
images if needed for testing on different distributions.

action: Build newer xfsprogs

Support for handling filenames with spaces in mkfs.xfs was only
added in a recent version of xfsprogs so build it from source for
now.

Add yaml to editorconfig

yaml is usually indented with 2 spaces.

opensuse: Download packages in advance

This is how other distributions package managers do it as well, so
let's make opensuse consistent with those.

opensuse: Switch to https mirror

From the experiment, it seems like the https mirror is reliable now
so let's use it as the default.

Move CI configuration to top level

Let's make it easier to run the CI stuff locally by moving it to the
top level directory.

Merge pull request #1988 from DaanDeMeyer/fix

Use with in spawn()

Remove unnecessary line continuations

Use with in spawn()

If we yield the Popen, we yield a context manager from a context
manager, which becomes hard to follow, since we'll only enter the
outer context manager, and not the inner Popen context manager. To
make things simpler, let's enter the Popen context manager in
spawn() itself.

Fix spawn()

The finally statement needs to run after the process finishes, so
we need to make spawn a context manager.

At the same time, let's make it configurable whether the spawn()
subprocess runs in the foreground or not and let's not do it by
default.

Drop leftover gentoo config file for CI

We don't run gentoo in CI anymore, so drop the leftover config file
for it.

Reword readme

Let's reduce the amount of detail we put in the readme and list the
installation methods in order of how easy-to-use they are. Let's also
only recommend using the distribution's package if it's sufficiently
recent.

Rework qemu device support checks

Let's implement an available() method on the QemuDeviceNode enum
and move the checks from load_config() to run_qemu() so they don't
impede showing the summary or other verbs.

Let's also prefer using the file descriptor as a check whether the
feature is available in run_qemu() instead of calling the available()
method, as by the time we get to run_qemu() the available() method
might return a different result.

make_tar: do not emit extended PAX headers for atime, ctime and mtime

The use of the --xattrs flag implies PAX headers (--format=pax).
In this mode, the tar will record atime, ctime and mtime as PAX headers (in addition to the usual USTAR header).
Removing the headers makes the output reproducible.
See also: https://www.gnu.org/software/tar/manual/html_node/PAX-keywords.html

Add a FAQ entry about KVM on Debian/Ubuntu

Do not try to copy vmlinuz for non-bootable images

When building an initrd, copy_vmlinuz() would fail because there is
no vmlinuz file to copy.

Make sure shadow-utils is installed in tools trees

This provides newuidmap/newgidmap which are used by virtiofsd, so
let's make sure these are available.

Merge pull request #1978 from DaanDeMeyer/kvm

Open qemu device nodes before unsharing user namespace

Rename InvokingUser to INVOKING_USER

This is now a global constant so let's reflect that in the name.

Open qemu device nodes before unsharing user namespace

Where possible, we should open the qemu device nodes before we unshare
the user namespace as this might not be possible anymore after unsharing
the user namespace because we might lose access to the kvm group.

Currently this is only possible for /dev/vhost-vsock. I've opened
https://gitlab.com/qemu-project/qemu/-/issues/1936 to hopefully make
it work for /dev/kvm as well.

Use os.access() in qemu support checks

Extend spawn() slightly

Let's support more of the options we also support in run() and clean
up the function a bit.

Enable faulthandler module when in debug mode

This will have python dump stacktraces on SIGABRT, which is useful
for debugging hangs.

Merge pull request #1973 from DaanDeMeyer/user

Run qemu as the invoking user again

Do not require signatures for local packages

This is the default in the pacman.conf arch ships (https://gitlab.archlinux.org/archlinux/packaging/packages/pacman/-/blob/main/pacman.conf?ref_type=heads#L42)
and allows to build AUR packages in build scripts and installing them in
the final image.

Run qemu as the invoking user again

This commit also reworks InvokingUser to calculate all its members
on module import (when we haven't yet unshared the user namespace).
become_root() is also changed to modify the InvokingUser object
instead of returning the new uid, gid. Finally, we stop passing
around uid, gid everywhere and just use the InvokingUser object
directly as a singleton.

We also stop dropping privileges in mkosi itself. Instead, we prefer
running ssh, qemu and the embedded web server unprivileged. This
allows us to get rid of the logic to not unmount the last tools tree
as we will now always still have enough privileges to do so.

We also start passing file descriptors to swtpm and virtiofsd to avoid
race conditions where the socket hasn't been created yet before we
pass it to qemu or before we try to chown it.

Drop logic to add CI user to kvm group

This doesn't actually work as it doesn't seem a new session is started
for each step so the groups of the runner user are never refreshed.

Add WithRecommends=

While this can already be configured using dropins. The concept of
recommended packages seems widespread enough that we can provide an
option to enable/disable it via the configuration file.

Do not remount build root as ro in build chroot
The PR #1970 added an additional volatile overlay to the buildroot, which
currently can only be used from the host, i.e. without mkosi-chroot.
Once mkosi-chroot is run, the build overlay is readonly again.
Fixes https://github.com/systemd/mkosi/issues/1974.

Beef up GPG key handling

Let's look for GPG keys in a few more places. Let's also introduce
a function find_rpm_gpgkey() to avoid duplication.

Mount volatile overlay when running build scripts

When building multiple projects, it might be needed to make the
header files produced by an earlier build available to later builds.
Let's make this possible by not making the root directory read-only
but instead mounting a writable overlay on top of it so that all
changes made while running the build scripts are thrown away at the
end.

Run scripts with ".chroot" extension inside the image

Our current approach to running scripts inside the image is only
really applicable to shell scripts. Let's make it easier to run
scripts written in arbitrary languages inside the image by running
scripts with the ".chroot" extension inside the image.

Merge pull request #1968 from DaanDeMeyer/rhel

Add RHEL support

Use GenericVersion() for CentOS version comparisons

This allows using RHEL point releases with --release (e.g. 9.2)

Allow comparing GenericVersion() against int and str values

Add RHEL support

To make RHEL work, we have to look up the necessary certificates and
add them to the generated repo files. This requires the image build to
be done from a system with a RHEL subscription.

Enable codeready-builder by default on RHEL

We enable CRB by default on CentOS as well, so do the same for
codeready-builder on RHEL.

Get rid of config_default_mirror()

The only advantage of having it in the config object is that we can
show it in the summary. If we're fine with just showing "default"
instead, we can inline the default mirror into the installer classes,
which is important for the next commit.

We also document the default mirrors used.

Add newline between repos in generated mkosi.repo file

Pass around MkosiState in centos based distributions

We need access to the pkgmngr tree to be able to look for GPG keys
or certificates there, so let's pass around MkosiState everywhere.

Mention secure boot auto enrollment minimum systemd version

Merge pull request #1964 from DaanDeMeyer/testing

fedora: Add updates-testing repositories

fedora: Add updates-testing repositories

Add extra search paths to $PATH when booting

Merge pull request #1963 from DaanDeMeyer/check

Extend tools checks for ukify and systemd-repart

Extend tools checks for ukify and systemd-repart

Let's check for systemd-repart and systemd-nspawn as well and make
sure the versions of all are recent enough.

Also make sure we check for tools when booting the image as we don't
always build it first.

Add stringification of GenericVersion()

Release 18

Verify that two instances of MkosiConfig.default() are always equal

Update NEWS.md

Note minimum systemd version requirement for RuntimeTrees=

Fix CentOS SIG keys

Merge pull request #1953 from behrmann/pascalcase

json: move JSON keys to PascalCase

editorconfig: Add global defaults for indent_style and indent_size

json: fix typos and add missing raise

json: move JSON keys to PascalCase

Add a policy on adding new distributions

Fixes #236

Mention OutputDirectory= when parsing Output= or --output fails

Fixes #1824

Merge pull request #1955 from DaanDeMeyer/deterministic

Fail when running without configuration

Fail when running without configuration

Fixes #609

Don't leak cwd into MkosiConfig

Storing Path.cwd() in MkosiConfig makes it complicated to figure
out if a MkosiConfig instance is equal to MkosiConfig.default() as
that one executes after changing directory to a temporary directory,
so let's remove our default factories for the output and workspace
directory and add two methods on the MkosiConfig class instead that
replicate the functionality.

Add ImageId= and ImageVersion= specifiers

Also rework the specifier tests a bit.

Merge pull request #1952 from DaanDeMeyer/config

Add support for specifiers

Add support for specifiers

Let's allow referring to the value of various settings using
specifiers.

Fixes #1664

Parse setting paths before parsing main config file

Currently, paths either configure default values or append to a
list (When path_default is False, it's always a list based setting).

When paths are configuring default values, it makes more sense for
default values set in the mkosi.conf file to override path based
default values.

When appending to a list, (e.g. ExtraTrees=), it makes more sense
for the trees configured in the mkosi.conf to come after the tree
from the path (mkosi.extra).

Both these goals are achieved by parsing the path based values before
parsing the main mkosi.conf file.

Merge pull request #1951 from DaanDeMeyer/custom

Rename "none" distribution to "custom"

Stop explicitly setting distribution in tests

We now default to "custom" when we can't figure out the host
distribution instead of failing so let's stop explicitly setting
the distribution in tests.

Rename "none" distribution to "custom"

"custom" seems a better fit than "none" since there likely still
is a distribution, we just don't support it.

Merge pull request #1914 from behrmann/json

Make `MkosiArgs` and `MkosiConfig` dumpable to and loadble from JSON

config: factor out settings_lookup_by* and match_lookup from parse_config

All three (settings_lookup_by_name, settings_lookup_by_dest, and match_lookup)
only repackage global variables. Moving them outside makes them usable in other
places and only calculates them once instead of on every invocation of
parse_config.

json: produce a known error when parsing JSON

json: add alternative constructor from partial JSON for MkosiArgs and MkosiConfig

json: add alternative default constructors to MkosiArgs and MkosiConfig

These can be used to get a default MkosiArgs/MkosiConfig just have if mkosi had
been called in an empty directory with no cmdline without adding defaults to
the attributes and allowing instances of MkosiArgs/MkosiConfig to be made with
missing keys.

json: make JSON readable from dicts and files as well es strings

test: add tests for json dumping

json: make MkosiArgs and MkosiConfig loadable from json

json: make MkosiArgs and MkosiConfig JSON-dumpable

config: fix type of presets and dependencies

tuple[str] is a single element tuple, whereas tuple[str, ...] is a tuple of
arbitrary length (with only str elements)

config: don't use Sequence in MkosiConfig definition

Fix ruff warnings

- reformat overly long lines
- remove typing.Type in favour of type
- import Iterablefrom collections.abc instead of typing
- compare singletons with is
- don't use "ambiguous variable name: l"

Make sure we chdir() to directories when parsing includes

Add "none" distribution

Use local GPG keys from distribution-gpg-keys if available

Let's prefer using local keys from the distribution-gpg-keys package
if available.

Always set the ttyS0 credentials

Even when booting with GUI, we might still have a serial terminal,
so let's always set the serial terminal specific size credentials
as these don't affect the GUI terminals at all.

Only parse each path included with Include= once

Even if a path is included multiple times using Include=, let's make
sure we only parse it once.

Only add console=ttyS0 and tty sizes when QemuGui= is disabled

With console=ttyS0, we don't get any boot logs when running qemu
in GUI mode. The tty sizes don't matter either when booting in GUI
mode as Linux can figure it out itself in that scenario.

Merge pull request #1945 from behrmann/moredefaults

Add pesign to all default tools trees and apt to Arch's

Merge pull request #1944 from DaanDeMeyer/size

Add RuntimeSize= setting

tools: add apt to Arch default tools tree

tools: add pesign to Arch, Debian and OpenSUSE default tools trees

Add RuntimeSize= setting

Currently we unconditionally grow disk images to 8G before booting
them in systemd-nspawn or qemu. Let's do better here by making the
size configurable and not growing the disk images by default.

We also move format_bytes() to config.py as most other formatting
functions are located there.

Add back parse_bytes() function as config_parse_bytes()

Merge pull request #1941 from DaanDeMeyer/include

Add Include= setting

Add Include= setting

This setting allows including extra configuration from user specified
directories or files. The extra configuration is parsed immediately.

Fix formatting nit

Stop hardcoding setting names we pass to parse_ini()

Instead, derive them from the settings list.

Merge pull request #1942 from DaanDeMeyer/initrd-packages

Add InitrdPackages=

Add InitrdPackages=

We have ToolsTreePackages= already, so let's add a similar setting
for the default initrd to allow the default initrd to be used in
more scenarios.

Improve formatting a bit in finalize_tools()

Don't show default tools trees in the summary

Instead, let's show individual tools tree packages in the summary.
This makes things a bit more consistent as we don't show default
initrd presets in the summary either (and making that happen is no
trivial task so we opt to do the reverse and not show default tools
trees either).

We also add a table to the documentation showing which packages are
in the default tools tree for which distributions.