Add some extra tools tree packages to the default image

Now that we have mkosi sandbox, let's add ruff, mypy and pytest to
the tools tree so that they can be used with mkosi sandbox.

Add sandbox verb

In systemd, to run the integration tests, we need to run meson on
the host which will itself invoke mkosi to run the integration tests.
This means all the dependencies to run meson need to be installed on
the host. This doesn't just mean meson needs to be installed, but also
a compiler and various required build dependencies of systemd to allow
building tools invoked by mkosi to build the image.

To avoid having to install these dependencies on the host system, let's
introduce a sandbox verb which runs a command in the mkosi sandbox that's
also used by other verbs such as boot, qemu and shell. This then allows
extra required tools to be installed in the tools tree via ToolsTreePackages=
to allow running these commands without having to install them on the host
system.

Drop tools tree from cache manifest

The existing check is too primitive and actually causes issues when
using the new mkosi sandbox verb we'll add in the next commit so let's
drop it.

Always mount in /usr/share/factory from the host in relaxed sandbox

If we're using /etc from the host, also use /usr/share/factory from
the host to account for symlinks from /etc into /usr/share/factory.

Don't mount sandbox.py to /sandbox.py in relaxed sandbox

In a relaxed sandbox we'll never execute apivfs_script_cmd() or
chroot_script_cmd() so there's no need to mount sandbox.py in.

Add PATH entries beneath the user's home to PATH in relaxed sandbox

This handles the case where a user adds ~/.local/bin to the PATH.
Let's make sure we use that even when running with a tools tree.
This might not work for binaries that are built against libraries
from the user's host /usr but there's lots of tools that will either
be statically compiled or written in an interpreted language like
python that will still work even when we switch out /usr from underneath
them.

Ignore crypto mount if it only contains empty directories

Let's beef up the crypto mount check and check if there are only
empty directories in the mount and ignore it if that's the case.
This handles the case where e.g. on Arch installing pesign leads
to /etc/pki containing only /etc/pki/pesign as an empty directory.

Don't remove default tools tree when mkosi -ff is used

Generally when -ff is specified users won't want to remove the
default tools tree if they're using one, so let's stop doing that.
The default tools tree is still removed when mkosi -f clean is invoked.

Make default tools tree output name distribution independent

We included the distribution name when we first added this because
the tools tree distribution was different depending on which distribution
we were building. Now that we choose the tools tree distribution based on
the host distribution, this doesn't make much sense anymore, so get rid
of the distribution in the default tools tree output name and name it just
"tools" instead.

Make asyncio imports lazy

This is low hanging fruit to reduce the startup time a little.

Bump github/codeql-action from 3.26.10 to 3.27.0

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.26.10 to 3.27.0.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/e2b3eafc8d227b0241d48be5f425d47c2d750a13...662472033e021d55d94146f66f6058822b0b39fd)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump actions/checkout from 4.2.0 to 4.2.2

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.2.0 to 4.2.2.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/d632683dd7b4114ad314bca15554477dd762a938...11bd71901bbe5b1630ceea73d27597364c9af683)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Remove BuildDirectory= from PrepareScripts=

The BuildDirectory= is meant for files which are non-essential and can
be recreated during the build process of the image, so source files that
need to be acquired should be saved somewhere within the $BUILDROOT to
be cached for runs when PrepareScripts= aren't run (assuming incremental
builds).

Fix qemu gui output on aarch64

Merge pull request #3156 from DaanDeMeyer/subuid

Map current user to root in subuid user namespace

Map current user to root in subuid user namespace

By mapping the current user to root in the subuid user namespace,
we don't have to change the ownership of all the files in the directory
tree to root in the subuid uid/gid range. This means that on btrfs
filesystems, we can do a subvolume snapshot instead of an expensive
full tree recursion to copy each file individually.

Show a proper error message if /etc/subuid or /etc/subgid doesn't exist.

Merge pull request #3157 from DaanDeMeyer/engine

Improvements for signing with engines

Pass through stdin to various signing tools if an engine is used

The engine might have a pin that needs to be entered via stdin so
let's pass through stdin if that's the case so that users can enter
the pin.

Bind /run when an engine might be used instead of only /run/pcscd

It's not guaranteed that the engine will be the pkcs#11 one so let's
bind the entirety of /run in case another daemon might be used with
a socket elsewhere in /run.

Parse local drop-in configuration files

Never clean output directory when Format=none

If Format=none no outputs can be produced at all so let's make sure
we always keep the previous outputs intact when Format=none regardless
of whether -f is specified or not.

qemu: move removable_flag into device_type

Also drop the no longer needed noqa for the overly long line.

Followup for 1c3e71b1.

Use scsi-hd when QemuRemovable is enabled

Check if firmware subdirectory still exists before trying to remove it

Detected with `mkosi-initrd`:

```
Calculating required kernel modules and firmware
Traceback (most recent call last):
  File "/usr/lib/python3.11/site-packages/mkosi/run.py", line 64, in uncaught_exception_handler
    yield
  File "/usr/lib/python3.11/site-packages/mkosi/run.py", line 105, in fork_and_wait
    target(*args, **kwargs)
  File "/usr/lib/python3.11/site-packages/mkosi/__init__.py", line 4450, in run_build
    build_image(
  File "/usr/lib/python3.11/site-packages/mkosi/__init__.py", line 3668, in build_image
    run_depmod(context)
  File "/usr/lib/python3.11/site-packages/mkosi/__init__.py", line 2721, in run_depmod
    process_kernel_modules(
  File "/usr/lib/python3.11/site-packages/mkosi/kmod.py", line 248, in process_kernel_modules
    p.rmdir()
  File "/usr/lib64/python3.11/pathlib.py", line 1156, in rmdir
    os.rmdir(self)
FileNotFoundError: [Errno 2] No such file or directory: '/var/tmp/mkosi-workspace-9r8egfmc/root/usr/lib/firmware/yamaha'
```

Fixes c0d596dbee111f4730b26045a1f4d7da68a66047

Merge pull request #3146 from DaanDeMeyer/clean

Remove access to the output directory in build scripts and only run clean scripts when we clean up the output dir

opensuse: remove sysuser-shadow from initrd

SUSE-ish utility pulled by some rpm scriptlets that calls systemd-sysusers or
shadow tools to create users and groups during installation.

Remove access to the output directory in build scripts

With mkosi -t none, we can rerun the build script without cleaning
the output directory. This creates an awkward situation, as the build
script might create new outputs but is unable to remove previous ones,
which could lead to weird situations where the output directory contains
artifacts from multiple builds.

Let's tighten this up by disallowing access to the output directory in
build scripts. Users can still copy from the build script to the output
directory by doing the copy from a post-installation script which is not
invoked when we run mkosi -t none so it only runs when we've cleaned up
the output directory.

Only run clean scripts when we clean up the output directory

Clean scripts are intended to clean up the output directory, so let's
only run them when we actually decide to clean up the output directory.

Unset $CONFIG in prepare scripts

Make sure verbs run in the current working directory

Merge pull request #3142 from DaanDeMeyer/firmware

Delete empty firmware subdirectories

Delete empty firmware subdirectories

Fixes #3124

Use firmwared variable in one more place

Allow specifying OpenPGP implementation to use for signing

Fixes: https://github.com/systemd/mkosi/issues/3042

opensuse: remove which from initrd

`less` had hard requirements on `which` and `file` (so also `file-magic` and
`libmagic1`), reworked via packaging in Tumbleweed (
https://build.opensuse.org/request/show/1218137) and available since snapshot
20241025.

mkosi-initrd: honor x-initrd.attach options in crypttab

Merge pull request #3131 from NekkoDroid/no-more-split-uki

Allow more granular control on which artifacts are output

kernel-install: fix move of cpio output file

Its name is already `initrd` since 6b0dfe58f3f04264f1df5cb90b7091195913562f

Otherwise:

```
‣  /tmp/tmpgpvfc6y8/initrd.cpio.zst size is 44.9M, consumes 44.9M.
‣ Copying /tmp/tmpgpvfc6y8/initrd to /tmp/kernel-install.staging.KXnXSC/initrd
Traceback (most recent call last):
  File "/usr/lib/python3.11/site-packages/mkosi/run.py", line 64, in uncaught_exception_handler
    yield
  File "/usr/lib64/python3.11/contextlib.py", line 81, in inner
    return func(*args, **kwds)
           ^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/kernel/install.d/50-mkosi.install", line 167, in main
    shutil.move(next(context.staging_area.glob("initrd*.cpio*")), context.staging_area / "initrd")
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
StopIteration
/usr/lib/kernel/install.d/50-mkosi.install failed with exit status 1.
```

man/mkosi-initrd: fix description of --output option

Follow-up for 6b0dfe58f3f04264f1df5cb90b7091195913562f

Set qemu drive caching options for qemu drives as well

We already set these for the scratch device, let's make sure we set
them for any drives we allocate as well.

We also make sure the drive size is aligned to the page size so qemu
can use O_DIRECT.

Merge pull request #3137 from DaanDeMeyer/stuff

Various fixes

mkosi-initrd: Include virtio_blk module

Use virtio-blk-pci unless scsi-hd is really needed

https://www.qemu.org/2021/01/19/virtio-blk-scsi-configuration/
mentions that for performance critical use cases, virtio-blk should
be preferred so let's use virtio-blk unless we actually need scsi-hd.

Make qemu drives and scratch device NOCOW as well

These will face lots of random writes as well so let's make these
NOCOW as well.

Don't unconditionally enable epel for mkosi-initrd

Whether to enable epel or not should be up to the user, not hard coded
by us, so drop the config snippet that enables the epel repositories.

follow-up for 886f091a743a6ac808c20ef59e9cf7e20703376d

To enable the epel repositories for mkosi-initrd, you'd do something
like the following:

"""
[Distribution]
Distribution=centos
Release=9
Repositories=epel,epel-next

[Include]
Include=mkosi-initrd
"""

We don't currently have a way to enable the epel repositories when
using mkosi-initrd, because it always uses the exact same repositories
as the host system. However, erofs-utils can still be installed by just
including it using /usr/lib/mkosi-initrd/mkosi.conf without a match
section.

Implement default values for the simple config parser

Make SplitArtifacts= take a list of values

This allows more precision on which artifacts are actually split out of
the image and placed into the output directory. Defaults to splitting
the UKI, vmlinuz and the initrd out.

Refactor copy_{uki,vmlinuz,initrd}

A follow-up commit will introduce the ability to disable copying these
to the output directory, so refactor all the logic so that they are
contained within their respectiv functions.

opensuse: prevent zypper from pulling busybox in the initrd

zypper's internal logic selects busybox-package variants of packages that are
required via dependency and not explicitly listed to install, which also causes
busybox to be added to the initrd.

Also, remove the shadow package (the equivalent to the shadow-utils package in
Fedora).

Move copy_nspawn_settings

Fix conf with settings in Content instead of Build

Follow-up for 6912dc0ea0c7e20900a9b5d2c43343c1c782e91c

Fix mkosi-initrd conf for CentOS EPEL

Fixes #3127

Sync man and help output

Fix repart definition for ESP builds

Merge pull request #3123 from septatrix/more-fsck-in-initrd

Add erofs and fat utils to initrd

Add erofs and fat utils to initrd

These provide the respective fsck progs

Add erofs and fat utils to initrd

These provide the respective fsck progs

Add a new QemuRemovable option to allow attaching the image to qemu as removable

Add noqa for overlength line

Fix failing test

Rewrap QemuRemovable section on the man page to column 109

Add erofs and fat utils to initrd

These provide the respective fsck progs

Clarify explanation of `Verity=` option

This clarifies that the "auto" value for the verity option
only really makes sense for extension images.

Update description of `ToolsTreeDistribution=`

It was changed to default to the host distro instead of the target distro a while a ago but this was forgotten.

Merge pull request #3120 from DaanDeMeyer/fix

Log config file path where available on config file parse errors

Fix sections of various settings

Log config file path where available on config file parse errors

Check if tools tree exists before statting it in cache_manifest()

The tools tree might have been removed because it's cache was out of
date so let's make sure we check it exists in cache_manifest().

Copy SYSEXT_LEVEL from os-release to extension-release as well

Fixes #3117

Merge pull request #3115 from DaanDeMeyer/stuff

Various fixes for extension images

Add Verity= feature

This allows explicitly enabling/disabling use of verity for disk and
extension images as requested in #3113..

Run various cleanup operations without the base trees mounted

When running cleanup operations just before we finish the build and
we're building with Overlay=yes, we only want the cleanup to apply
to the overlay, not the base trees, so it makes sense to run the
final cleanup operations and the finalize scripts without the base
trees mounted.

This makes using chroot finalize scripts for overlay images impossible
but this shouldn't be a huge issue.

Package removals and selinux relabelling still run with the base trees
mounted because those operations rely on various files included in the
base trees.

docs: Mention Format=none in sysext doc

This allows disabling building of the default image as requested
in #3113.

Merge pull request #3109 from DaanDeMeyer/tests-tools

Make tools tree available in tests

config: Make recursive_paths configurable with globs

Make tools tree available in tests

For use with find_binary() to check if binaries exist in the tools
tree.

Put .profile section values in quotes if not alphanumeric

This is supposed to be sourcable by shells so make sure we use
quotes in case values with whitespace are used.

Be specific about noqa tags

Define our own config for PE addons and UKI profiles

ukify's config parser uses python's configparser module and as such
suffers from all its issues just like we used to in mkosi. Having ukify
parse the config file also means that we have to make sure any paths
configured in the profile are available in the sandbox.

Instead, let's define our own configs for the PE addons and UKI profiles
so we get to take advantage of our own config file parser and have full
knowledge of all the configured settings so we can mount extra stuff into
the sandbox if needed.

It also gets rid of the hack where we parse ukify's config file to figure
out the command line.

docs: fix broken man page link on the website

Make find_binary()'s root argument optional

Makes it a little easier to use.

Use fmt: skip instead of noqa in two places

Remove DownloadUser from provided pacman.conf

Fixes #3048

Merge pull request #3103 from DaanDeMeyer/relax

Relax read-only mounts even more

tree-wide: Use workdir() everywhere

Let's make sure we mount inputs and outputs to various tools in a
completely separate directory than the base ones that are in the
sandbox.

Make sure various directory exist when we shortcut sandbox_cmd()

Make sure swtpm is run in a scope, not swtpm_setup

Relax read-only mounts even more

Turns out having home directories as a subdirectory of /usr is a thing.
Let's relax the readonly mount requirements even more to make this use
case work as well.

Merge pull request #3102 from DaanDeMeyer/pcr

Allow signing expected PCRs independently of using secure boot

Allow signing expected PCRs independently of using secure boot

Install tpm2.0-tools in opensuse tools tree

Makes sure the tpm2.0 libraries are pulled in which is required for
syztemd-measure.

Install python3-cryptography in opensuse tools tree

Required by ukify

Merge pull request #3101 from aafeijoo-suse/use-distro-pretty-name

Print distribution pretty name on installation

Rename Profile= match to Profiles=

Matches related to settings are named after their setting so this
should be Profiles= similarly to the Repositories= match. The old
name will still work as well but we use the new one in docs.

Use openSUSE everywhere

Print distribution pretty name on installation

Move various settings to the [Build] section

These all make more sense to have in the [Build] section.

Merge pull request #3090 from DaanDeMeyer/profiles

Introduce UnifiedKernelImageProfiles=

Introduce UnifiedKernelImageProfiles=

Same concept as PEAddons=, except these are added as additional
profiles to every UKI built by mkosi.

Accompanying systemd PR: https://github.com/systemd/systemd/pull/34608

Simplify run_ukify() and related functions a little

mkosi-initrd: only set restrictive umask to create output dir if user is root

mkosi-initrd: build using a temporary directory

Fixes #3083