Make source directories ephemeral when running scripts

Various tools like to write to the source directory, which we want
to avoid. Let's make source directories ephemeral when running scripts
so tools can write to it as much as they want but we can throw away all
those changes when we're done running scripts.

Specifically, this makes running rpmbuild as documented in
docs/building-rpm-from-source.md a lot nicer as the source directory won't be
polluted with all manner of temporary files anymore.

Stop using workspace directories in source directories

Preparation for making source directories volatile while running
scripts. Overlapping overlayfs directories cause massive mayhem so
to keep our sanity, let's make sure the workspace directory is never
a subdirectory of any source directories.

XDG doesn't provide an equivalent of /var/tmp but when running in /home
we really want the workspace to be located in /home as well so we can use
reflinks if /home is a separate partition so we opt to use XDG_CACHE_HOME
or $HOME/.cache instead.

Create volatile overlay if no upperdir is specified

Use same chroot scripts for all postinst/finalize scripts

Merge mount_volatile_overlay() into mount_build_overlay()

Let's reduce the number of mounts by merging the volatile build
overlay logic into the build overlay logic.

Fix mount_overlay() with multiple lowerdirs

Multiple lower directories are specified by delimiting with colons,
not by specifying the lowerdir= option multiple times. Also, the
lowerdirs are stacked right to left so make sure we reverse the given
list.

Fix RuntimeTrees=

We previously made the target path non-optional but this doesn't actually
work for RuntimeTrees=, where we need optional paths. So instead, let's
introduce ConfigTree to abstract the tree concept and have a class where
we can define methods on to make working with trees easier.

Add nano to default images

Use rpm to install rpms in building rpms from source doc

Let's get rid of an unnecessary indirection and just use rpm directly
to install the rpms we built in the previous step as all the dependencies
will be installed already and as such we don't need dnf.

Use right dnf5 options for plugin stuff

Let's use the non-compat dnf5 options for plugins.

Add rpm script to run rpm on the build root

We provide a dnf script, so we should also provide an rpm script.

Various fixes for building-rpms-from-source.md

- Fix quotes in rpms from source doc

These statements should not be surrounded by quotes as we don't want
them to expand to the empty string if unset.

- Use fewer subshells
- Don't use line continuations for pipes

Skip symlink when prefixing everything in staging directory

The symlink shouldn't be prefixed so make sure we skip it.

config: right strip newlines from contents read via path_read_text

This so far only affects mkosi.version and mkosi.rootpw.

Fixes: 2031

Add journalctl and coredumpctl verbs

Various followups for merged PRs

Restore subdirectory use for $BUILDDIR

Sharing of a directory for the (package) cache seems fine. The package manager
shall use subdirectories and/or unique file names, so there should be no
accidental conflict, and using the same cache directory allows the cache to be
reused when possible. OTOH, sharing of the directory for the build directory is
unlikely to be useful (since at least the configuration will usually be
different, so the build would generally mean rebuilding anything anyway), but
also the build system might not do cache invalidation strongly enough, leading
to inadvertetent sharing of build artifacts. Let's avoid the issue completely
but not sharing the build directory between different distributions releases or
architectures.

This partially reverts b17810b4b571d0acbb307a6f7cd5c6456a45e4d3.

Add doc on building rpms from source with mkosi

I use this all over the place so let's document it in one place so
I can easily find it when needed and so others can make use of it
as well.

Merge pull request #2023 from keszybz/mkosi-chroot-no-args

mkosi-chroot: just run shell if no arguments are specified

Allow overriding dnf selection with $MKOSI_DNF

dnf5 is nice, but it has some issues, for example installation of rhel9
currently fails with some error about signature. Using dnf instead works around
the problem. Allow the user to override the selection using an environment
variable (or Environment=).

(We have the tools directory, but it doesn't help here because we want to use
'dnf' instead of 'dnf5' and not a different version of 'dnf5'.)

spawn: inherit parent $PATH by default

Spawn should be able to find binaries in $PATH by default.

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

Fix incremental caching

- Make sure the distribution, release and architecture are also part
of the cache manifest
- Remove the output name from the cache key and use the distribution,
release, architecture and optionally image name instead.
- Use MkosiEncoder to serialize the cache manifest.

qemu: allow checking device availability with actually used flags

Also use an actual os.open instead of os.access, because os.access might fail
with certain flags in cases where os.open will not.

This works around the case where kernel modules after an upgrade cannot be
loaded anymore because it is no longer available for the running kernel.

Add mkosi-as-caller helper

This helper can be used to replace the following pattern which is similar to
something used in the systemd codebase:

SU="setpriv --reuid=${MKOSI_UID:-0} --regid=${MKOSI_GID:-0} --clear-groups"
$SU meson setup "$BUILDDIR/build" "$SRCDIR"
$SU meson compile -C "$BUILDDIR/build"
meson install -C "$BUILDDIR/build" --no-rebuild

With the helper this becomes:

mkosi-as-caller meson setup "$BUILDDIR/build" "$SRCDIR"
mkosi-as-caller meson compile -C "$BUILDDIR/build"
meson install -C "$BUILDDIR/build" --no-rebuild

Fix venv name in ci.yml

ssh: add RuntimeDirectory=sshd

[  209.582912] sshd[888]: fatal: Missing privilege separation directory: /run/sshd

fedora: allow cross builds with dnf5

The `--forcearch` flag is global an can be used in dnf5 from v5.1.6 up.

Co-authored-by: Malte Poll <mp@edgeless.systems>

man: drop suggestion to use mkosi-chroot for the whole script

Put uid before gid

Rework the interface of finalize_host_scripts() to take a dictionary

We would create <chroot> in the calling function, then pass it to
finalize_host_scripts(), which would rename it during installation to "mkosi-chroot".
This is too much magic: when looking for 'mkosi-chroot' in the code, the name appears
in one place, and the definition in a completely different place. It's also hard to
extend with other commands in the future. Let's use the proper name from the
beginning and switch to a dictionary, so we can add other helpers in the future.

Reformat with statements to not use backslashes

Backslashes were required in old python versions, but thankfully they are not
anymore. Even though we used the continuation backslashes, we already had
parenthesis everywhere, so let's just drop the backslashes, and also use a
trailing comma per the usual style.

(https://github.com/python/cpython/issues/56991 says that this happened in
Python 3.10, but it also works with Python 3.9.18 here. I guess the CI will
provide the definite confirmation.)

mkosi-chroot: just run shell if no arguments are specified

chroot(1) is documented to run "$SHELL -i" as the default command. Let's do
something similar and call "sh -i". When a user is using '--debug-shell' and one
of the scripts fails, the mkosi-chroot can be used to chroot into the image.
I think this is what users expect, based on the 'chroot' in the name.

(I don't think using $SHELL makes sense. It could either be set to 'sh', or to
something from the outside, which might not even be installed in the chroot. We
call 'sh' ourselves, so we know it must be there, so let's just call that
uncoditionally.)

Don't mount our own passwd when building images

It's much more important that we use the image's /etc/passwd instead
of our own. Both inside and outside the image so that UIDs/GIDs get
resolved correctly.

Extend README instructions

Let's make sure we have complete copy-paste shell commands for
all the different installation methods. Let's also avoid confusion
and always use python3 in the example commands.

Fix table in mkosi.md

Merge pull request #2018 from DaanDeMeyer/match-build-sources

Add BuildSources= match

Add BuildSources= match

One pattern I've started using a lot when I have to build multiple
projects from source in a build script is to check if a source tree
has been mounted at some location using BuildSources= and to only
build the project if that's the case.

The problem with this is that this only allows me to skip the build,
it doesn't allow me to skip installing the necessary build and runtime
packages for that particular project.

Let's add a BuildSources= match so that everything related to the
project can be skipped if the project is not configured to be mounted
at some location using BuildSources=.

Make sure the chroot scripts dir variable is not overwritten

We used `d` for both the chroot scripts dir and the host scripts dir,
which means the host scripts dir overwrites the chroot scripts dir
variable. This isn't a problem when there's only one script, but
becomes an issue when there's multiple scripts of the same type.

Stop using subdirectories of cache and build dirs automatically

In some cases, for example mkosi-initrd running as a kernel-install
script, we want to reuse the system package cache. Currently this is
impossible as we unconditionally create a subdirectory beneath the
provided cache directory. Let's stop doing that, as users can now
explicitly configure this behavior themselves by specifying the
cache directory or build directory as follows:

```
CacheDirectory=mkosi.cache/%d~%r~%a
BuildDirectory=mkosi.builddir/%d~%r~%a
```

Additionally, make sure the default tools tree only reuses the same
cache as the preset it's used for when the distribution, release and
architecture are the same as the preset's.

Parse mkosi.local.conf before parsing any other files

Currently extra local configuration is a bit implicit, users have
to add a drop-in in mkosi.conf.d/ named 00-local.conf or so and add
that to the gitignore. This file will then unconditionally override
settings from mkosi.conf even if that's not intended.

Let's make local configuration a bit more explicit by parsing
mkosi.local.conf in a directory first before parsing anything else.
This makes local configuration easy to detect and grep for, and
makes sure that local configuration is by default overridden by
non-local configuration.

Make mkosi.repart/ append to the default value for RepartDirectories=

While for other list based settings that have a canonical path, we
generally want to append them all to the user provided values, for
RepartDirectories=, it probably makes more sense that if the user
specifies it explicitly, it overrides all the directories defined by
the project in mkosi.repart/ directories. Let's accomodate this by
having mkosi.repart/ modify the default value for RepartDirectories=
which is only used if the setting is not set explicitly.

Fail when CLI configuration is not applied to any image

Currently we silently ignore settings configured via the CLI that
are overridden by image configuration files. Let's instead fail with
a descriptive error message when this happens, indicating users that
they should use '@' in their configuration files to set the default
value for the setting if they want to allow overriding it from the
command line.

Don't use configured default value when empty string is assigned

Currently, if a setting is assigned the empty string on the CLI, any
default value configured in the config file is still used. Let's change
this and not use any configured default value when the empty string is
assigned so that default values configured in config files can be
overridden from the CLI.

Merge pull request #2012 from DaanDeMeyer/pkgmngr

Move PackageManagerTrees= to the Distribution section

action: Make logic for unprivileged KVM access more robust

- Copy static-nodes-permissions.conf to /etc before modifying so our
modifications don't get overwritten if systemd is updated.
- Add udev rules to set the permissions correctly as well

Move PackageManagerTrees= to the Distribution section

This makes more sense than the Content section, since these trees
don't actually end up in the image.

Merge pull request #2011 from DaanDeMeyer/fixes

Fixes

Set default for Bootable=

Let's not override the setting but just change the default so it
can still be changed from the CLI.

Add common config file for centos (and friends) and fedora

fedora: Drop selinux packages

This greatly increase image build time so let's not add them by
default.

Only add UEFI tools tree packages on architectures that support UEFI

These are not built for other architectures on Fedora/CentOS so let's
not try to add them there.

Pass ExtraSearchPaths= to default tools tree preset

Otherwise these won't be used.

Skip missing kernel images in gen_kernel_images()

And copy out the vmlinuz unconditionally again in copy_vmlinuz().

Fix missing build overlay

We also need a build overlay if there are prepare scripts but no
build packages, so let's replace need_build_packages() with a new
function need_build_overlay() that also checks for that.

Update NEWS

Merge pull request #2007 from DaanDeMeyer/profile

Add support for profiles

Rename Presets to Images

Presets doesn't really have any meaning without searching up its
definition. By just using mkosi.images/, it's much clearer that the
directory contains image definitions compared to mkosi.presets/.

The old names are kept intact for backwards compatibility.

Add support for profiles

A profile is a set of configuration options that represents a known
variant of the given image. Its primary purpose is to allow grouping
known useful derivatives of the current image under a recognizable
identifier.

The difference with presets is that presets represent the individual
images that might need to be built to complete the final image, whereas
profiles change how the individual presets are built. Specifically, only
ever one profile can be selected, while it's perfectly valid to build
many presets.

We parse the specified profile after mkosi.conf but before
mkosi.conf.d to allow configuring the profile to build in mkosi.conf.

Use shorthand tmp_path everywhere in test_config

Fix config name when parsing new includes

Make sure Presets= becomes immutable after we use it

Presets= should not be modified anymore after we start parsing
presets. Let's make sure we enforce that.

Set the preset field before we parse the preset's config

In case we ever want to add a match setting for the current preset.

Make sure we finalize the default value for Presets= early

We need to finalize the default value for Presets= early as we use
its value earlier than the other config options.

Introduce is_valid_filename()

Enable WithDocs= by default

Let's include documentation by default so as to not confuse users.

Merge pull request #2001 from DaanDeMeyer/json

Add --json option

Add --json option

Let's allow using --json with summary to get a JSON dump of the
configuration.

Sort args in test_json

Drop verb and cmdline from summary

The summary is only printed when we use the summary verb which doesn't
take command line arguments, so both of these are self evident and will
always have the same value.

Merge pull request #2002 from behrmann/jsondict

Allow to jsonify MkosiArgs and MkosiConfig in composite objects

Fix ruff warnings

json: make MkosiConfig and MkosiArgs dumpable in composite structures

qemu: Be smarter when a kernel is passed in by the user

Depending on whether the user passes us a kernel that's a UKI, PE
binary or raw Linux image, we have to change our behavior. We now
do the following based on the kernel type we're about to boot:

- If we get passed in a UKI or PE kernel, we use UEFI firmware,
  otherwise we use qemu direct kernel boot
- If the kernel is a UKI and SMBIOS is available, we don't use
  -append, otherwise we do
- If we do direct kernel boot, we always synthesize a root= argument
  if needed.

Merge pull request #1998 from DaanDeMeyer/modernize

Modernize Openmandriva and Mageia

Make join_mirror() more robust and use it everywhere

Modernize mageia and openmandriva a bit

Use find_rpm_gpgkey() for Mageia and OpenMandriva

Update NEWS

Add git script to set safe.directory=* whenever git is executed

Instead of requiring every git command to be executed as the user
invoking mkosi, let's add a git script that appends
"-c safe.directory=*" to disable the git safe directory check. This
also reworks the script machinery to support scripts both inside and
outside of the chroot since the git script needs to be available in both.

Merge pull request #1995 from DaanDeMeyer/initrd

Don't store default initrd artifacts in output directory

Don't store default initrd artifacts in output directory

We don't use these for anything and the initrd can already be
accessed using the split initrd, so let's not store the default
initrd artifacts in the output directory.

Put KernelCommandLine= in the right section

Don't assume FileNotFoundError from run() is about the executable

It could also be about e.g. the working directory, so let's make sure
we log about it correctly.

openmandriva: Copy kernel image to /usr

Same as for Debian and Mageia, except we have to get rid of a symlink
as well.

openmandriva: Fix mirror

The mirrorlist is down it seems, let's use baseurl= as is done in
the mandriva repo files.

Merge pull request #1991 from DaanDeMeyer/autologin

Add shorthand for enabling --autologin

Fix missing apivfs in openmandriva

Fix mageia vmlinuz location

Same problem as Debian, so let's apply the same fix.

Add ToolsTreeMirror= setting

Complete the trio of ToolsTreeDistribution=, ToolsTreeRelease= with
ToolsTreeMirror=.

Create output symlink in staging directory

No reason to do it directly in the output directory, let's also do
this in the staging directory.

Change ownership of output files in staging directory

There might be other files in the output directory. Make sure we
only chown the files we produced by iterating over the staging
directory.

Add shorthand for enabling --autologin

I use this one really often in mkosi one liners so let's add a shorthand
for it.

Build xfsprogs with all available threads

Merge pull request #1989 from DaanDeMeyer/top

Beef up bundled images

Beef up bundled images

Let's beef up the bundled images with all the packages from the tools
trees where applicable so that we can run easily run mkosi from these
images if needed for testing on different distributions.

action: Build newer xfsprogs

Support for handling filenames with spaces in mkfs.xfs was only
added in a recent version of xfsprogs so build it from source for
now.

Add yaml to editorconfig

yaml is usually indented with 2 spaces.

opensuse: Download packages in advance

This is how other distributions package managers do it as well, so
let's make opensuse consistent with those.

opensuse: Switch to https mirror

From the experiment, it seems like the https mirror is reliable now
so let's use it as the default.

Move CI configuration to top level

Let's make it easier to run the CI stuff locally by moving it to the
top level directory.