Run qemu as the invoking user again

This commit also reworks InvokingUser to calculate all its members
on module import (when we haven't yet unshared the user namespace).
become_root() is also changed to modify the InvokingUser object
instead of returning the new uid, gid. Finally, we stop passing
around uid, gid everywhere and just use the InvokingUser object
directly as a singleton.

We also stop dropping privileges in mkosi itself. Instead, we prefer
running ssh, qemu and the embedded web server unprivileged. This
allows us to get rid of the logic to not unmount the last tools tree
as we will now always still have enough privileges to do so.

We also start passing file descriptors to swtpm and virtiofsd to avoid
race conditions where the socket hasn't been created yet before we
pass it to qemu or before we try to chown it.

Drop logic to add CI user to kvm group

This doesn't actually work as it doesn't seem a new session is started
for each step so the groups of the runner user are never refreshed.

Add WithRecommends=

While this can already be configured using dropins. The concept of
recommended packages seems widespread enough that we can provide an
option to enable/disable it via the configuration file.

Do not remount build root as ro in build chroot
The PR #1970 added an additional volatile overlay to the buildroot, which
currently can only be used from the host, i.e. without mkosi-chroot.
Once mkosi-chroot is run, the build overlay is readonly again.
Fixes https://github.com/systemd/mkosi/issues/1974.

Beef up GPG key handling

Let's look for GPG keys in a few more places. Let's also introduce
a function find_rpm_gpgkey() to avoid duplication.

Mount volatile overlay when running build scripts

When building multiple projects, it might be needed to make the
header files produced by an earlier build available to later builds.
Let's make this possible by not making the root directory read-only
but instead mounting a writable overlay on top of it so that all
changes made while running the build scripts are thrown away at the
end.

Run scripts with ".chroot" extension inside the image

Our current approach to running scripts inside the image is only
really applicable to shell scripts. Let's make it easier to run
scripts written in arbitrary languages inside the image by running
scripts with the ".chroot" extension inside the image.

Merge pull request #1968 from DaanDeMeyer/rhel

Add RHEL support

Use GenericVersion() for CentOS version comparisons

This allows using RHEL point releases with --release (e.g. 9.2)

Allow comparing GenericVersion() against int and str values

Add RHEL support

To make RHEL work, we have to look up the necessary certificates and
add them to the generated repo files. This requires the image build to
be done from a system with a RHEL subscription.

Enable codeready-builder by default on RHEL

We enable CRB by default on CentOS as well, so do the same for
codeready-builder on RHEL.

Get rid of config_default_mirror()

The only advantage of having it in the config object is that we can
show it in the summary. If we're fine with just showing "default"
instead, we can inline the default mirror into the installer classes,
which is important for the next commit.

We also document the default mirrors used.

Add newline between repos in generated mkosi.repo file

Pass around MkosiState in centos based distributions

We need access to the pkgmngr tree to be able to look for GPG keys
or certificates there, so let's pass around MkosiState everywhere.

Mention secure boot auto enrollment minimum systemd version

Merge pull request #1964 from DaanDeMeyer/testing

fedora: Add updates-testing repositories

fedora: Add updates-testing repositories

Add extra search paths to $PATH when booting

Merge pull request #1963 from DaanDeMeyer/check

Extend tools checks for ukify and systemd-repart

Extend tools checks for ukify and systemd-repart

Let's check for systemd-repart and systemd-nspawn as well and make
sure the versions of all are recent enough.

Also make sure we check for tools when booting the image as we don't
always build it first.

Add stringification of GenericVersion()

Release 18

Verify that two instances of MkosiConfig.default() are always equal

Update NEWS.md

Note minimum systemd version requirement for RuntimeTrees=

Fix CentOS SIG keys

Merge pull request #1953 from behrmann/pascalcase

json: move JSON keys to PascalCase

editorconfig: Add global defaults for indent_style and indent_size

json: fix typos and add missing raise

json: move JSON keys to PascalCase

Add a policy on adding new distributions

Fixes #236

Mention OutputDirectory= when parsing Output= or --output fails

Fixes #1824

Merge pull request #1955 from DaanDeMeyer/deterministic

Fail when running without configuration

Fail when running without configuration

Fixes #609

Don't leak cwd into MkosiConfig

Storing Path.cwd() in MkosiConfig makes it complicated to figure
out if a MkosiConfig instance is equal to MkosiConfig.default() as
that one executes after changing directory to a temporary directory,
so let's remove our default factories for the output and workspace
directory and add two methods on the MkosiConfig class instead that
replicate the functionality.

Add ImageId= and ImageVersion= specifiers

Also rework the specifier tests a bit.

Merge pull request #1952 from DaanDeMeyer/config

Add support for specifiers

Add support for specifiers

Let's allow referring to the value of various settings using
specifiers.

Fixes #1664

Parse setting paths before parsing main config file

Currently, paths either configure default values or append to a
list (When path_default is False, it's always a list based setting).

When paths are configuring default values, it makes more sense for
default values set in the mkosi.conf file to override path based
default values.

When appending to a list, (e.g. ExtraTrees=), it makes more sense
for the trees configured in the mkosi.conf to come after the tree
from the path (mkosi.extra).

Both these goals are achieved by parsing the path based values before
parsing the main mkosi.conf file.

Merge pull request #1951 from DaanDeMeyer/custom

Rename "none" distribution to "custom"

Stop explicitly setting distribution in tests

We now default to "custom" when we can't figure out the host
distribution instead of failing so let's stop explicitly setting
the distribution in tests.

Rename "none" distribution to "custom"

"custom" seems a better fit than "none" since there likely still
is a distribution, we just don't support it.

Merge pull request #1914 from behrmann/json

Make `MkosiArgs` and `MkosiConfig` dumpable to and loadble from JSON

config: factor out settings_lookup_by* and match_lookup from parse_config

All three (settings_lookup_by_name, settings_lookup_by_dest, and match_lookup)
only repackage global variables. Moving them outside makes them usable in other
places and only calculates them once instead of on every invocation of
parse_config.

json: produce a known error when parsing JSON

json: add alternative constructor from partial JSON for MkosiArgs and MkosiConfig

json: add alternative default constructors to MkosiArgs and MkosiConfig

These can be used to get a default MkosiArgs/MkosiConfig just have if mkosi had
been called in an empty directory with no cmdline without adding defaults to
the attributes and allowing instances of MkosiArgs/MkosiConfig to be made with
missing keys.

json: make JSON readable from dicts and files as well es strings

test: add tests for json dumping

json: make MkosiArgs and MkosiConfig loadable from json

json: make MkosiArgs and MkosiConfig JSON-dumpable

config: fix type of presets and dependencies

tuple[str] is a single element tuple, whereas tuple[str, ...] is a tuple of
arbitrary length (with only str elements)

config: don't use Sequence in MkosiConfig definition

Fix ruff warnings

- reformat overly long lines
- remove typing.Type in favour of type
- import Iterablefrom collections.abc instead of typing
- compare singletons with is
- don't use "ambiguous variable name: l"

Make sure we chdir() to directories when parsing includes

Add "none" distribution

Use local GPG keys from distribution-gpg-keys if available

Let's prefer using local keys from the distribution-gpg-keys package
if available.

Always set the ttyS0 credentials

Even when booting with GUI, we might still have a serial terminal,
so let's always set the serial terminal specific size credentials
as these don't affect the GUI terminals at all.

Only parse each path included with Include= once

Even if a path is included multiple times using Include=, let's make
sure we only parse it once.

Only add console=ttyS0 and tty sizes when QemuGui= is disabled

With console=ttyS0, we don't get any boot logs when running qemu
in GUI mode. The tty sizes don't matter either when booting in GUI
mode as Linux can figure it out itself in that scenario.

Merge pull request #1945 from behrmann/moredefaults

Add pesign to all default tools trees and apt to Arch's

Merge pull request #1944 from DaanDeMeyer/size

Add RuntimeSize= setting

tools: add apt to Arch default tools tree

tools: add pesign to Arch, Debian and OpenSUSE default tools trees

Add RuntimeSize= setting

Currently we unconditionally grow disk images to 8G before booting
them in systemd-nspawn or qemu. Let's do better here by making the
size configurable and not growing the disk images by default.

We also move format_bytes() to config.py as most other formatting
functions are located there.

Add back parse_bytes() function as config_parse_bytes()

Merge pull request #1941 from DaanDeMeyer/include

Add Include= setting

Add Include= setting

This setting allows including extra configuration from user specified
directories or files. The extra configuration is parsed immediately.

Fix formatting nit

Stop hardcoding setting names we pass to parse_ini()

Instead, derive them from the settings list.

Merge pull request #1942 from DaanDeMeyer/initrd-packages

Add InitrdPackages=

Add InitrdPackages=

We have ToolsTreePackages= already, so let's add a similar setting
for the default initrd to allow the default initrd to be used in
more scenarios.

Improve formatting a bit in finalize_tools()

Don't show default tools trees in the summary

Instead, let's show individual tools tree packages in the summary.
This makes things a bit more consistent as we don't show default
initrd presets in the summary either (and making that happen is no
trivial task so we opt to do the reverse and not show default tools
trees either).

We also add a table to the documentation showing which packages are
in the default tools tree for which distributions.

Add apt and debian-keyring to CentOS tools tree packages

This requires epel so we introduce some machinery to specify tools
tree repositories for distributions and use it for CentOS

Make --tools-tree-packages singular

Let's mimick --package and make the long form CLI option singular.

Update help for --tools-tree-packages a bit

Don't reuse unprivileged cache when building as root

When using --incremental and first building an image unprivileged,
followed by building it as root, we can't reuse the cache as the
ownership will be wrong. So let's make sure we don't reuse the
cache when that's the case.

build/cache dir name: append architecture

The builds and caches are architecture specific, so name them accordingly

Merge pull request #1911 from keszybz/rhel-ubi

Add support for RHEL UBI

ci: add nspawn boot of rhel-ubi

Add support for RHEL UBI

The repository naming matches what is visible in the standard ubi container
image (registry.access.redhat.com/ubi8/ubi).

This is the first time that I'm doing anything more complicated wit UBIs, but I
hope this is a sensible beginning.

distributions: add .pretty_name

This makes it easier to print a message from the installer referring
to the distro by the proper name.

I looked at the home pages of the distros and took the spelling used
there. In particular Fedora is making a concious effort to use "Fedora"
for the whole project, and "Fedora Linux" for the distro. OTOH, Ubuntu
is known for not using "linux" anywhere where users could see it.

Do not explicitly instantiate exceptions

This will happen automatically. If no arguments are needed, it's
more pythonic to just specify the class and let the interpreter
create the instance.

distributions: use a generator to reduce list boilerplate

When the list of repos to return is conditionalized, we can use yield instead
of concatenating lists. Iterable[Repo] can be satisfied by both the functions
which are generators and the functions which just return a list as before.

Check early whether 'ukify' is available

It is an optional component. The user would be unhappy when we fail at the end
of a lengthy installation process. So let's check early if we would need it and
refuse to continue.
(When config.bootable == ConfigFeature.auto, we cannot to do the check before
the installation is performed, so let's opt to be strict and do the check.)

Inspired by https://bugzilla.redhat.com/show_bug.cgi?id=2240598.

Merge pull request #1939 from behrmann/scriptenv

Add more variables to the prepare script environment

man: add a table which script receives what environment variable

tooltrees: add curl to default packages

This makes it easy to download a file from a prepare script when using a
default tool tree.

distributions: rename all installers to "Installer"

We were doing "double namespacing": "centos.CentosInstaller",
"ubuntu.UbuntuInstaller", etc. Let's simplify things by dropping the second
name. This avoids the awkward issue how capitalize the names of distributions
that already have capitals in their name, e.g. CentoOS, or dashes in the name,
e.g. RHEL-UBI. The one call site where we import the right installer becomes
simpler.

In Distribution.installer(), try..except is replaced by assert. If the
installer class for a distro is missing, then it's a programming error and not
not something we should suppress.

scripts: also pass WITH_ to prepare script

scripts: sort environment variables we pass to scripts

man: add missing spaces

Use user provided initrds for grub

Let's only build a default initrd for grub if the user didn't
provide any initrds themselves.

Write IMAGE_ID and IMAGE_VERSION to /usr/lib/os-release

Add Architecture match

Add default implementations for a bunch of DistributionInstaller methods

Make it easier to add distributions by adding default implementations
for optional methods.

Fix setpgid logic

Make sure we append the setpgid command after all the options. Let's
also use -- to avoid any potential confusion about whether the following
arguments are options or not.

Merge pull request #1903 from gdiscry/scripts

Convert script settings to lists