Merge pull request #2023 from keszybz/mkosi-chroot-no-args

mkosi-chroot: just run shell if no arguments are specified

Allow overriding dnf selection with $MKOSI_DNF

dnf5 is nice, but it has some issues, for example installation of rhel9
currently fails with some error about signature. Using dnf instead works around
the problem. Allow the user to override the selection using an environment
variable (or Environment=).

(We have the tools directory, but it doesn't help here because we want to use
'dnf' instead of 'dnf5' and not a different version of 'dnf5'.)

spawn: inherit parent $PATH by default

Spawn should be able to find binaries in $PATH by default.

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

Fix incremental caching

- Make sure the distribution, release and architecture are also part
of the cache manifest
- Remove the output name from the cache key and use the distribution,
release, architecture and optionally image name instead.
- Use MkosiEncoder to serialize the cache manifest.

qemu: allow checking device availability with actually used flags

Also use an actual os.open instead of os.access, because os.access might fail
with certain flags in cases where os.open will not.

This works around the case where kernel modules after an upgrade cannot be
loaded anymore because it is no longer available for the running kernel.

Add mkosi-as-caller helper

This helper can be used to replace the following pattern which is similar to
something used in the systemd codebase:

SU="setpriv --reuid=${MKOSI_UID:-0} --regid=${MKOSI_GID:-0} --clear-groups"
$SU meson setup "$BUILDDIR/build" "$SRCDIR"
$SU meson compile -C "$BUILDDIR/build"
meson install -C "$BUILDDIR/build" --no-rebuild

With the helper this becomes:

mkosi-as-caller meson setup "$BUILDDIR/build" "$SRCDIR"
mkosi-as-caller meson compile -C "$BUILDDIR/build"
meson install -C "$BUILDDIR/build" --no-rebuild

Fix venv name in ci.yml

ssh: add RuntimeDirectory=sshd

[  209.582912] sshd[888]: fatal: Missing privilege separation directory: /run/sshd

fedora: allow cross builds with dnf5

The `--forcearch` flag is global an can be used in dnf5 from v5.1.6 up.

Co-authored-by: Malte Poll <mp@edgeless.systems>

man: drop suggestion to use mkosi-chroot for the whole script

Put uid before gid

Rework the interface of finalize_host_scripts() to take a dictionary

We would create <chroot> in the calling function, then pass it to
finalize_host_scripts(), which would rename it during installation to "mkosi-chroot".
This is too much magic: when looking for 'mkosi-chroot' in the code, the name appears
in one place, and the definition in a completely different place. It's also hard to
extend with other commands in the future. Let's use the proper name from the
beginning and switch to a dictionary, so we can add other helpers in the future.

Reformat with statements to not use backslashes

Backslashes were required in old python versions, but thankfully they are not
anymore. Even though we used the continuation backslashes, we already had
parenthesis everywhere, so let's just drop the backslashes, and also use a
trailing comma per the usual style.

(https://github.com/python/cpython/issues/56991 says that this happened in
Python 3.10, but it also works with Python 3.9.18 here. I guess the CI will
provide the definite confirmation.)

mkosi-chroot: just run shell if no arguments are specified

chroot(1) is documented to run "$SHELL -i" as the default command. Let's do
something similar and call "sh -i". When a user is using '--debug-shell' and one
of the scripts fails, the mkosi-chroot can be used to chroot into the image.
I think this is what users expect, based on the 'chroot' in the name.

(I don't think using $SHELL makes sense. It could either be set to 'sh', or to
something from the outside, which might not even be installed in the chroot. We
call 'sh' ourselves, so we know it must be there, so let's just call that
uncoditionally.)

Don't mount our own passwd when building images

It's much more important that we use the image's /etc/passwd instead
of our own. Both inside and outside the image so that UIDs/GIDs get
resolved correctly.

Extend README instructions

Let's make sure we have complete copy-paste shell commands for
all the different installation methods. Let's also avoid confusion
and always use python3 in the example commands.

Fix table in mkosi.md

Merge pull request #2018 from DaanDeMeyer/match-build-sources

Add BuildSources= match

Add BuildSources= match

One pattern I've started using a lot when I have to build multiple
projects from source in a build script is to check if a source tree
has been mounted at some location using BuildSources= and to only
build the project if that's the case.

The problem with this is that this only allows me to skip the build,
it doesn't allow me to skip installing the necessary build and runtime
packages for that particular project.

Let's add a BuildSources= match so that everything related to the
project can be skipped if the project is not configured to be mounted
at some location using BuildSources=.

Make sure the chroot scripts dir variable is not overwritten

We used `d` for both the chroot scripts dir and the host scripts dir,
which means the host scripts dir overwrites the chroot scripts dir
variable. This isn't a problem when there's only one script, but
becomes an issue when there's multiple scripts of the same type.

Stop using subdirectories of cache and build dirs automatically

In some cases, for example mkosi-initrd running as a kernel-install
script, we want to reuse the system package cache. Currently this is
impossible as we unconditionally create a subdirectory beneath the
provided cache directory. Let's stop doing that, as users can now
explicitly configure this behavior themselves by specifying the
cache directory or build directory as follows:

```
CacheDirectory=mkosi.cache/%d~%r~%a
BuildDirectory=mkosi.builddir/%d~%r~%a
```

Additionally, make sure the default tools tree only reuses the same
cache as the preset it's used for when the distribution, release and
architecture are the same as the preset's.

Parse mkosi.local.conf before parsing any other files

Currently extra local configuration is a bit implicit, users have
to add a drop-in in mkosi.conf.d/ named 00-local.conf or so and add
that to the gitignore. This file will then unconditionally override
settings from mkosi.conf even if that's not intended.

Let's make local configuration a bit more explicit by parsing
mkosi.local.conf in a directory first before parsing anything else.
This makes local configuration easy to detect and grep for, and
makes sure that local configuration is by default overridden by
non-local configuration.

Make mkosi.repart/ append to the default value for RepartDirectories=

While for other list based settings that have a canonical path, we
generally want to append them all to the user provided values, for
RepartDirectories=, it probably makes more sense that if the user
specifies it explicitly, it overrides all the directories defined by
the project in mkosi.repart/ directories. Let's accomodate this by
having mkosi.repart/ modify the default value for RepartDirectories=
which is only used if the setting is not set explicitly.

Fail when CLI configuration is not applied to any image

Currently we silently ignore settings configured via the CLI that
are overridden by image configuration files. Let's instead fail with
a descriptive error message when this happens, indicating users that
they should use '@' in their configuration files to set the default
value for the setting if they want to allow overriding it from the
command line.

Don't use configured default value when empty string is assigned

Currently, if a setting is assigned the empty string on the CLI, any
default value configured in the config file is still used. Let's change
this and not use any configured default value when the empty string is
assigned so that default values configured in config files can be
overridden from the CLI.

Merge pull request #2012 from DaanDeMeyer/pkgmngr

Move PackageManagerTrees= to the Distribution section

action: Make logic for unprivileged KVM access more robust

- Copy static-nodes-permissions.conf to /etc before modifying so our
modifications don't get overwritten if systemd is updated.
- Add udev rules to set the permissions correctly as well

Move PackageManagerTrees= to the Distribution section

This makes more sense than the Content section, since these trees
don't actually end up in the image.

Merge pull request #2011 from DaanDeMeyer/fixes

Fixes

Set default for Bootable=

Let's not override the setting but just change the default so it
can still be changed from the CLI.

Add common config file for centos (and friends) and fedora

fedora: Drop selinux packages

This greatly increase image build time so let's not add them by
default.

Only add UEFI tools tree packages on architectures that support UEFI

These are not built for other architectures on Fedora/CentOS so let's
not try to add them there.

Pass ExtraSearchPaths= to default tools tree preset

Otherwise these won't be used.

Skip missing kernel images in gen_kernel_images()

And copy out the vmlinuz unconditionally again in copy_vmlinuz().

Fix missing build overlay

We also need a build overlay if there are prepare scripts but no
build packages, so let's replace need_build_packages() with a new
function need_build_overlay() that also checks for that.

Update NEWS

Merge pull request #2007 from DaanDeMeyer/profile

Add support for profiles

Rename Presets to Images

Presets doesn't really have any meaning without searching up its
definition. By just using mkosi.images/, it's much clearer that the
directory contains image definitions compared to mkosi.presets/.

The old names are kept intact for backwards compatibility.

Add support for profiles

A profile is a set of configuration options that represents a known
variant of the given image. Its primary purpose is to allow grouping
known useful derivatives of the current image under a recognizable
identifier.

The difference with presets is that presets represent the individual
images that might need to be built to complete the final image, whereas
profiles change how the individual presets are built. Specifically, only
ever one profile can be selected, while it's perfectly valid to build
many presets.

We parse the specified profile after mkosi.conf but before
mkosi.conf.d to allow configuring the profile to build in mkosi.conf.

Use shorthand tmp_path everywhere in test_config

Fix config name when parsing new includes

Make sure Presets= becomes immutable after we use it

Presets= should not be modified anymore after we start parsing
presets. Let's make sure we enforce that.

Set the preset field before we parse the preset's config

In case we ever want to add a match setting for the current preset.

Make sure we finalize the default value for Presets= early

We need to finalize the default value for Presets= early as we use
its value earlier than the other config options.

Introduce is_valid_filename()

Enable WithDocs= by default

Let's include documentation by default so as to not confuse users.

Merge pull request #2001 from DaanDeMeyer/json

Add --json option

Add --json option

Let's allow using --json with summary to get a JSON dump of the
configuration.

Sort args in test_json

Drop verb and cmdline from summary

The summary is only printed when we use the summary verb which doesn't
take command line arguments, so both of these are self evident and will
always have the same value.

Merge pull request #2002 from behrmann/jsondict

Allow to jsonify MkosiArgs and MkosiConfig in composite objects

Fix ruff warnings

json: make MkosiConfig and MkosiArgs dumpable in composite structures

qemu: Be smarter when a kernel is passed in by the user

Depending on whether the user passes us a kernel that's a UKI, PE
binary or raw Linux image, we have to change our behavior. We now
do the following based on the kernel type we're about to boot:

- If we get passed in a UKI or PE kernel, we use UEFI firmware,
  otherwise we use qemu direct kernel boot
- If the kernel is a UKI and SMBIOS is available, we don't use
  -append, otherwise we do
- If we do direct kernel boot, we always synthesize a root= argument
  if needed.

Merge pull request #1998 from DaanDeMeyer/modernize

Modernize Openmandriva and Mageia

Make join_mirror() more robust and use it everywhere

Modernize mageia and openmandriva a bit

Use find_rpm_gpgkey() for Mageia and OpenMandriva

Update NEWS

Add git script to set safe.directory=* whenever git is executed

Instead of requiring every git command to be executed as the user
invoking mkosi, let's add a git script that appends
"-c safe.directory=*" to disable the git safe directory check. This
also reworks the script machinery to support scripts both inside and
outside of the chroot since the git script needs to be available in both.

Merge pull request #1995 from DaanDeMeyer/initrd

Don't store default initrd artifacts in output directory

Don't store default initrd artifacts in output directory

We don't use these for anything and the initrd can already be
accessed using the split initrd, so let's not store the default
initrd artifacts in the output directory.

Put KernelCommandLine= in the right section

Don't assume FileNotFoundError from run() is about the executable

It could also be about e.g. the working directory, so let's make sure
we log about it correctly.

openmandriva: Copy kernel image to /usr

Same as for Debian and Mageia, except we have to get rid of a symlink
as well.

openmandriva: Fix mirror

The mirrorlist is down it seems, let's use baseurl= as is done in
the mandriva repo files.

Merge pull request #1991 from DaanDeMeyer/autologin

Add shorthand for enabling --autologin

Fix missing apivfs in openmandriva

Fix mageia vmlinuz location

Same problem as Debian, so let's apply the same fix.

Add ToolsTreeMirror= setting

Complete the trio of ToolsTreeDistribution=, ToolsTreeRelease= with
ToolsTreeMirror=.

Create output symlink in staging directory

No reason to do it directly in the output directory, let's also do
this in the staging directory.

Change ownership of output files in staging directory

There might be other files in the output directory. Make sure we
only chown the files we produced by iterating over the staging
directory.

Add shorthand for enabling --autologin

I use this one really often in mkosi one liners so let's add a shorthand
for it.

Build xfsprogs with all available threads

Merge pull request #1989 from DaanDeMeyer/top

Beef up bundled images

Beef up bundled images

Let's beef up the bundled images with all the packages from the tools
trees where applicable so that we can run easily run mkosi from these
images if needed for testing on different distributions.

action: Build newer xfsprogs

Support for handling filenames with spaces in mkfs.xfs was only
added in a recent version of xfsprogs so build it from source for
now.

Add yaml to editorconfig

yaml is usually indented with 2 spaces.

opensuse: Download packages in advance

This is how other distributions package managers do it as well, so
let's make opensuse consistent with those.

opensuse: Switch to https mirror

From the experiment, it seems like the https mirror is reliable now
so let's use it as the default.

Move CI configuration to top level

Let's make it easier to run the CI stuff locally by moving it to the
top level directory.

Merge pull request #1988 from DaanDeMeyer/fix

Use with in spawn()

Remove unnecessary line continuations

Use with in spawn()

If we yield the Popen, we yield a context manager from a context
manager, which becomes hard to follow, since we'll only enter the
outer context manager, and not the inner Popen context manager. To
make things simpler, let's enter the Popen context manager in
spawn() itself.

Fix spawn()

The finally statement needs to run after the process finishes, so
we need to make spawn a context manager.

At the same time, let's make it configurable whether the spawn()
subprocess runs in the foreground or not and let's not do it by
default.

Drop leftover gentoo config file for CI

We don't run gentoo in CI anymore, so drop the leftover config file
for it.

Reword readme

Let's reduce the amount of detail we put in the readme and list the
installation methods in order of how easy-to-use they are. Let's also
only recommend using the distribution's package if it's sufficiently
recent.

Rework qemu device support checks

Let's implement an available() method on the QemuDeviceNode enum
and move the checks from load_config() to run_qemu() so they don't
impede showing the summary or other verbs.

Let's also prefer using the file descriptor as a check whether the
feature is available in run_qemu() instead of calling the available()
method, as by the time we get to run_qemu() the available() method
might return a different result.

make_tar: do not emit extended PAX headers for atime, ctime and mtime

The use of the --xattrs flag implies PAX headers (--format=pax).
In this mode, the tar will record atime, ctime and mtime as PAX headers (in addition to the usual USTAR header).
Removing the headers makes the output reproducible.
See also: https://www.gnu.org/software/tar/manual/html_node/PAX-keywords.html

Add a FAQ entry about KVM on Debian/Ubuntu

Do not try to copy vmlinuz for non-bootable images

When building an initrd, copy_vmlinuz() would fail because there is
no vmlinuz file to copy.

Make sure shadow-utils is installed in tools trees

This provides newuidmap/newgidmap which are used by virtiofsd, so
let's make sure these are available.

Merge pull request #1978 from DaanDeMeyer/kvm

Open qemu device nodes before unsharing user namespace

Rename InvokingUser to INVOKING_USER

This is now a global constant so let's reflect that in the name.

Open qemu device nodes before unsharing user namespace

Where possible, we should open the qemu device nodes before we unshare
the user namespace as this might not be possible anymore after unsharing
the user namespace because we might lose access to the kvm group.

Currently this is only possible for /dev/vhost-vsock. I've opened
https://gitlab.com/qemu-project/qemu/-/issues/1936 to hopefully make
it work for /dev/kvm as well.

Use os.access() in qemu support checks

Extend spawn() slightly

Let's support more of the options we also support in run() and clean
up the function a bit.

Enable faulthandler module when in debug mode

This will have python dump stacktraces on SIGABRT, which is useful
for debugging hangs.

Merge pull request #1973 from DaanDeMeyer/user

Run qemu as the invoking user again