Rename Presets to Images

Presets doesn't really have any meaning without searching up its
definition. By just using mkosi.images/, it's much clearer that the
directory contains image definitions compared to mkosi.presets/.

The old names are kept intact for backwards compatibility.

Add support for profiles

A profile is a set of configuration options that represents a known
variant of the given image. Its primary purpose is to allow grouping
known useful derivatives of the current image under a recognizable
identifier.

The difference with presets is that presets represent the individual
images that might need to be built to complete the final image, whereas
profiles change how the individual presets are built. Specifically, only
ever one profile can be selected, while it's perfectly valid to build
many presets.

We parse the specified profile after mkosi.conf but before
mkosi.conf.d to allow configuring the profile to build in mkosi.conf.

Use shorthand tmp_path everywhere in test_config

Fix config name when parsing new includes

Make sure Presets= becomes immutable after we use it

Presets= should not be modified anymore after we start parsing
presets. Let's make sure we enforce that.

Set the preset field before we parse the preset's config

In case we ever want to add a match setting for the current preset.

Make sure we finalize the default value for Presets= early

We need to finalize the default value for Presets= early as we use
its value earlier than the other config options.

Introduce is_valid_filename()

Enable WithDocs= by default

Let's include documentation by default so as to not confuse users.

Merge pull request #2001 from DaanDeMeyer/json

Add --json option

Add --json option

Let's allow using --json with summary to get a JSON dump of the
configuration.

Sort args in test_json

Drop verb and cmdline from summary

The summary is only printed when we use the summary verb which doesn't
take command line arguments, so both of these are self evident and will
always have the same value.

Merge pull request #2002 from behrmann/jsondict

Allow to jsonify MkosiArgs and MkosiConfig in composite objects

Fix ruff warnings

json: make MkosiConfig and MkosiArgs dumpable in composite structures

qemu: Be smarter when a kernel is passed in by the user

Depending on whether the user passes us a kernel that's a UKI, PE
binary or raw Linux image, we have to change our behavior. We now
do the following based on the kernel type we're about to boot:

- If we get passed in a UKI or PE kernel, we use UEFI firmware,
  otherwise we use qemu direct kernel boot
- If the kernel is a UKI and SMBIOS is available, we don't use
  -append, otherwise we do
- If we do direct kernel boot, we always synthesize a root= argument
  if needed.

Merge pull request #1998 from DaanDeMeyer/modernize

Modernize Openmandriva and Mageia

Make join_mirror() more robust and use it everywhere

Modernize mageia and openmandriva a bit

Use find_rpm_gpgkey() for Mageia and OpenMandriva

Update NEWS

Add git script to set safe.directory=* whenever git is executed

Instead of requiring every git command to be executed as the user
invoking mkosi, let's add a git script that appends
"-c safe.directory=*" to disable the git safe directory check. This
also reworks the script machinery to support scripts both inside and
outside of the chroot since the git script needs to be available in both.

Merge pull request #1995 from DaanDeMeyer/initrd

Don't store default initrd artifacts in output directory

Don't store default initrd artifacts in output directory

We don't use these for anything and the initrd can already be
accessed using the split initrd, so let's not store the default
initrd artifacts in the output directory.

Put KernelCommandLine= in the right section

Don't assume FileNotFoundError from run() is about the executable

It could also be about e.g. the working directory, so let's make sure
we log about it correctly.

openmandriva: Copy kernel image to /usr

Same as for Debian and Mageia, except we have to get rid of a symlink
as well.

openmandriva: Fix mirror

The mirrorlist is down it seems, let's use baseurl= as is done in
the mandriva repo files.

Merge pull request #1991 from DaanDeMeyer/autologin

Add shorthand for enabling --autologin

Fix missing apivfs in openmandriva

Fix mageia vmlinuz location

Same problem as Debian, so let's apply the same fix.

Add ToolsTreeMirror= setting

Complete the trio of ToolsTreeDistribution=, ToolsTreeRelease= with
ToolsTreeMirror=.

Create output symlink in staging directory

No reason to do it directly in the output directory, let's also do
this in the staging directory.

Change ownership of output files in staging directory

There might be other files in the output directory. Make sure we
only chown the files we produced by iterating over the staging
directory.

Add shorthand for enabling --autologin

I use this one really often in mkosi one liners so let's add a shorthand
for it.

Build xfsprogs with all available threads

Merge pull request #1989 from DaanDeMeyer/top

Beef up bundled images

Beef up bundled images

Let's beef up the bundled images with all the packages from the tools
trees where applicable so that we can run easily run mkosi from these
images if needed for testing on different distributions.

action: Build newer xfsprogs

Support for handling filenames with spaces in mkfs.xfs was only
added in a recent version of xfsprogs so build it from source for
now.

Add yaml to editorconfig

yaml is usually indented with 2 spaces.

opensuse: Download packages in advance

This is how other distributions package managers do it as well, so
let's make opensuse consistent with those.

opensuse: Switch to https mirror

From the experiment, it seems like the https mirror is reliable now
so let's use it as the default.

Move CI configuration to top level

Let's make it easier to run the CI stuff locally by moving it to the
top level directory.

Merge pull request #1988 from DaanDeMeyer/fix

Use with in spawn()

Remove unnecessary line continuations

Use with in spawn()

If we yield the Popen, we yield a context manager from a context
manager, which becomes hard to follow, since we'll only enter the
outer context manager, and not the inner Popen context manager. To
make things simpler, let's enter the Popen context manager in
spawn() itself.

Fix spawn()

The finally statement needs to run after the process finishes, so
we need to make spawn a context manager.

At the same time, let's make it configurable whether the spawn()
subprocess runs in the foreground or not and let's not do it by
default.

Drop leftover gentoo config file for CI

We don't run gentoo in CI anymore, so drop the leftover config file
for it.

Reword readme

Let's reduce the amount of detail we put in the readme and list the
installation methods in order of how easy-to-use they are. Let's also
only recommend using the distribution's package if it's sufficiently
recent.

Rework qemu device support checks

Let's implement an available() method on the QemuDeviceNode enum
and move the checks from load_config() to run_qemu() so they don't
impede showing the summary or other verbs.

Let's also prefer using the file descriptor as a check whether the
feature is available in run_qemu() instead of calling the available()
method, as by the time we get to run_qemu() the available() method
might return a different result.

make_tar: do not emit extended PAX headers for atime, ctime and mtime

The use of the --xattrs flag implies PAX headers (--format=pax).
In this mode, the tar will record atime, ctime and mtime as PAX headers (in addition to the usual USTAR header).
Removing the headers makes the output reproducible.
See also: https://www.gnu.org/software/tar/manual/html_node/PAX-keywords.html

Add a FAQ entry about KVM on Debian/Ubuntu

Do not try to copy vmlinuz for non-bootable images

When building an initrd, copy_vmlinuz() would fail because there is
no vmlinuz file to copy.

Make sure shadow-utils is installed in tools trees

This provides newuidmap/newgidmap which are used by virtiofsd, so
let's make sure these are available.

Merge pull request #1978 from DaanDeMeyer/kvm

Open qemu device nodes before unsharing user namespace

Rename InvokingUser to INVOKING_USER

This is now a global constant so let's reflect that in the name.

Open qemu device nodes before unsharing user namespace

Where possible, we should open the qemu device nodes before we unshare
the user namespace as this might not be possible anymore after unsharing
the user namespace because we might lose access to the kvm group.

Currently this is only possible for /dev/vhost-vsock. I've opened
https://gitlab.com/qemu-project/qemu/-/issues/1936 to hopefully make
it work for /dev/kvm as well.

Use os.access() in qemu support checks

Extend spawn() slightly

Let's support more of the options we also support in run() and clean
up the function a bit.

Enable faulthandler module when in debug mode

This will have python dump stacktraces on SIGABRT, which is useful
for debugging hangs.

Merge pull request #1973 from DaanDeMeyer/user

Run qemu as the invoking user again

Do not require signatures for local packages

This is the default in the pacman.conf arch ships (https://gitlab.archlinux.org/archlinux/packaging/packages/pacman/-/blob/main/pacman.conf?ref_type=heads#L42)
and allows to build AUR packages in build scripts and installing them in
the final image.

Run qemu as the invoking user again

This commit also reworks InvokingUser to calculate all its members
on module import (when we haven't yet unshared the user namespace).
become_root() is also changed to modify the InvokingUser object
instead of returning the new uid, gid. Finally, we stop passing
around uid, gid everywhere and just use the InvokingUser object
directly as a singleton.

We also stop dropping privileges in mkosi itself. Instead, we prefer
running ssh, qemu and the embedded web server unprivileged. This
allows us to get rid of the logic to not unmount the last tools tree
as we will now always still have enough privileges to do so.

We also start passing file descriptors to swtpm and virtiofsd to avoid
race conditions where the socket hasn't been created yet before we
pass it to qemu or before we try to chown it.

Drop logic to add CI user to kvm group

This doesn't actually work as it doesn't seem a new session is started
for each step so the groups of the runner user are never refreshed.

Add WithRecommends=

While this can already be configured using dropins. The concept of
recommended packages seems widespread enough that we can provide an
option to enable/disable it via the configuration file.

Do not remount build root as ro in build chroot
The PR #1970 added an additional volatile overlay to the buildroot, which
currently can only be used from the host, i.e. without mkosi-chroot.
Once mkosi-chroot is run, the build overlay is readonly again.
Fixes https://github.com/systemd/mkosi/issues/1974.

Beef up GPG key handling

Let's look for GPG keys in a few more places. Let's also introduce
a function find_rpm_gpgkey() to avoid duplication.

Mount volatile overlay when running build scripts

When building multiple projects, it might be needed to make the
header files produced by an earlier build available to later builds.
Let's make this possible by not making the root directory read-only
but instead mounting a writable overlay on top of it so that all
changes made while running the build scripts are thrown away at the
end.

Run scripts with ".chroot" extension inside the image

Our current approach to running scripts inside the image is only
really applicable to shell scripts. Let's make it easier to run
scripts written in arbitrary languages inside the image by running
scripts with the ".chroot" extension inside the image.

Merge pull request #1968 from DaanDeMeyer/rhel

Add RHEL support

Use GenericVersion() for CentOS version comparisons

This allows using RHEL point releases with --release (e.g. 9.2)

Allow comparing GenericVersion() against int and str values

Add RHEL support

To make RHEL work, we have to look up the necessary certificates and
add them to the generated repo files. This requires the image build to
be done from a system with a RHEL subscription.

Enable codeready-builder by default on RHEL

We enable CRB by default on CentOS as well, so do the same for
codeready-builder on RHEL.

Get rid of config_default_mirror()

The only advantage of having it in the config object is that we can
show it in the summary. If we're fine with just showing "default"
instead, we can inline the default mirror into the installer classes,
which is important for the next commit.

We also document the default mirrors used.

Add newline between repos in generated mkosi.repo file

Pass around MkosiState in centos based distributions

We need access to the pkgmngr tree to be able to look for GPG keys
or certificates there, so let's pass around MkosiState everywhere.

Mention secure boot auto enrollment minimum systemd version

Merge pull request #1964 from DaanDeMeyer/testing

fedora: Add updates-testing repositories

fedora: Add updates-testing repositories

Add extra search paths to $PATH when booting

Merge pull request #1963 from DaanDeMeyer/check

Extend tools checks for ukify and systemd-repart

Extend tools checks for ukify and systemd-repart

Let's check for systemd-repart and systemd-nspawn as well and make
sure the versions of all are recent enough.

Also make sure we check for tools when booting the image as we don't
always build it first.

Add stringification of GenericVersion()

Release 18

Verify that two instances of MkosiConfig.default() are always equal

Update NEWS.md

Note minimum systemd version requirement for RuntimeTrees=

Fix CentOS SIG keys

Merge pull request #1953 from behrmann/pascalcase

json: move JSON keys to PascalCase

editorconfig: Add global defaults for indent_style and indent_size

json: fix typos and add missing raise

json: move JSON keys to PascalCase

Add a policy on adding new distributions

Fixes #236

Mention OutputDirectory= when parsing Output= or --output fails

Fixes #1824

Merge pull request #1955 from DaanDeMeyer/deterministic

Fail when running without configuration

Fail when running without configuration

Fixes #609

Don't leak cwd into MkosiConfig

Storing Path.cwd() in MkosiConfig makes it complicated to figure
out if a MkosiConfig instance is equal to MkosiConfig.default() as
that one executes after changing directory to a temporary directory,
so let's remove our default factories for the output and workspace
directory and add two methods on the MkosiConfig class instead that
replicate the functionality.

Add ImageId= and ImageVersion= specifiers

Also rework the specifier tests a bit.