Require that default tools tree exists when mkosi -t none is invoked

Let's insist on the default tools tree already existing when invoking
mkosi -t none without --force.

Also fail early if default tools tree is out of date without --force

We fail early if the tools tree does not exist and build or --force
was not specified, let's do the same if the tools tree is incremental
and the cache is out-of-date.

Remove distribution from tools tree cache name

We already made the same change for the output, let's make the same
change for the cache name as well.

Drop dead code

We don't use the returned Args object so no point in passing
--force.

Rename some opts to be more consistent

Merge pull request #3204 from bluca/mkosi_initrd_debian

mkosi-initrd fixes

Add createrepo_c to Arch Linux tools tree

archive: pass sandbox to workdir()

Otherwise callign from 50-mkosi.install will fail:

‣ Creating cpio archive /tmp/kernel-install.staging.jNm85k/microcode…
cpio: cannot change to directory `/work/tmp/tmpnlxrwb7k/initrd-microcode-root': No such file or directory
‣ "cpio --create --reproducible --renumber-inodes --null --format=newc --quiet --directory /work/tmp/tmpnlxrwb7k/initrd-microcode-root" returned non-zero exit code 2.

Mark 50-mkosi.install as executable

Allows it to be symlinked in /etc/kernel/install.d to always use latest
main from a repository

Merge pull request #3200 from DaanDeMeyer/passwd-symlink

Use passwd symlinks instead of bind mounts

Add packages required for --qemu-gui to Arch tools tree

qemu: Use advanced form of specifying display

Install pkcs11-provider and opensc in tools tree

Required for signing with openssl pkcs11 provider.

Only allow certificate files when not using systemd-sbsign

Fix condition to also check the certificate source type

Don't require sbsigntools for secure boot auto enroll unless required

If bootctl 257 or newer is installed, we don't use sbsigntools anymore
so don't require it in that case.

Add ToolsTreePackageDirectories=

Sometimes, we want to add locally built rpm packages to the default
tools tree. For example, systemd-repart depends on mkfs binaries that
might not be available on the host system, so the only way to run it
is from within the tools tree, which means we need a way to install
systemd-repart built from source within the tools tree.

Use passwd symlinks instead of bind mounts

Bind mounts don't reflect changes to the original files if they're
replaced instead of modified. Let's use symlinks instead so that
changes to the original files are always reflected.

Fixes #3189

sandbox: Make --symlink work on top of existing files and symlinks

With the new mount API, we can mount on top of existing symlinks and
files, so let's make use of that for --symlink.

sandbox; Only readlink() if the target is a symlink

Check against 257~devel instead of 257

Otherwise the new --secure-boot-auto-enroll= option isn't used with
devel and rc versions of systemd bootctl.

Add sound device when QemuGui=true

Add --debug-sandbox

This will help in debugging sandbox related issues. We run the sandbox
with strace and detach on execve() so we don't strace the command that
we're running.

Merge pull request #3196 from DaanDeMeyer/excl

sandbox: Akways use O_EXCL with O_CREAT

Detect home directories outside of /home properly

Fixes #3191

Check for apt keyring in tools tree

sandbox: Only create parent directories if dst does not exist yet

sandbox: Akways use O_EXCL with O_CREAT

In all cases we want to make sure that we're the ones creating the
file so let's specify O_EXCL.

Make Check-Valid-Until=false a default flag for apt-get

Signed-off-by: Artyom Bakhtin <a@bakhtin.net>

Check that systemd-sbsign is available before using it.

Fix new mypy error

Make sure user provided cmdline is always last

Replaces #3158

Merge pull request #3182 from NekkoDroid/image-identifier

Add %I specifier for subimages

Check that BuildSources= inputs are directories

Fixes #3181

fixup: GitHub Action: Install all required mkosi dependencies

8505a5303bb0c65991faf59a45409330e0c16a92 lost the --assume-yes
--no-install-recommends. While the former seems to be implicit in the
GitHub runner environment, the latter isn't, and it seems best to leave
both in place.

Fix man page reference to --tools-tree-packages

This should be --tools-tree-package.

Expose subimage name as envvar in scripts

Add %I specifier for subimages

This expands to the name of the subimage (and an empty string for the
main image) and is the same value that is used for Dependencies=.

Fixes: #2566

Refactor resolve_deps and reorder after configure

As a configure script can modify the config in nearly any way it pleases
it is not impossible that dependencies may be resolved at runtime. So
just rerun dependency resolution after all configure scripts have done
their stuff.

GitHub Action: Install all required mkosi dependencies

Add support for systemd-sbsign and --certificate-source

Matching PR for https://github.com/systemd/systemd/pull/35021
and https://github.com/systemd/systemd/pull/35057

Don't put /usr/bin and /usr/sbin in front of extra search paths in $PATH

Currently extra search paths don't get used because we always add /usr/bin
and /usr/sbin earlier in $PATH.

Merge pull request #3166 from DaanDeMeyer/provider

Add support for openssl providers as key sources

Add support for openssl providers as key sources

Make sure we only parse [Include] and [Host] from builtin configs as well

When we're reusing the history, we were still parsing all sections
from builtin configs instead of only the [Include] and [Host] sections.

Remove sandbox verb from needs_build()

It's not a clear cut case whether the sandbox needs a build or not.
The needs_build() method was originally intended for verbs that need
a full image build but the sandbox build only needs the tools tree.
Also, the tools tree is only built if ToolsTree=default and not if
set explicitly.

More practically, we don't want the JSON history from .mkosi-private
to be used when using mkosi sandbox, and that's the only usage of
the needs_build() method, so to fix that problem let's remove the sandbox
verb from needs_build().

Merge pull request #3161 from DaanDeMeyer/enroll

Add support for bootctl secure boot auto enrollment

Add support for bootctl secure boot auto enrollment

Matching PR for https://github.com/systemd/systemd/pull/34948

Sort package list

Add libseccomp to default tools tree

Required by mkosi-sandbox

Pass configured environment to ukify

Set up a private session keyring for engine pin caching

If we're using an engine as a key source, let's set up a private
session keyring and configure systemd tooling to store pins in the
session keyring with infinite lifetime. This means systemd will only
prompt for a pin once per key and reuse the cached pin from the session
keyring from that point onwards. The session keyring is automatically
removed when mkosi exits.

Set zero owner UUID for secure boot signature databases

Makes things more reproducible compared to using a random UUID.

Merge pull request #3164 from DaanDeMeyer/sandbox

Add sandbox verb

Add some extra tools tree packages to the default image

Now that we have mkosi sandbox, let's add ruff, mypy and pytest to
the tools tree so that they can be used with mkosi sandbox.

Add sandbox verb

In systemd, to run the integration tests, we need to run meson on
the host which will itself invoke mkosi to run the integration tests.
This means all the dependencies to run meson need to be installed on
the host. This doesn't just mean meson needs to be installed, but also
a compiler and various required build dependencies of systemd to allow
building tools invoked by mkosi to build the image.

To avoid having to install these dependencies on the host system, let's
introduce a sandbox verb which runs a command in the mkosi sandbox that's
also used by other verbs such as boot, qemu and shell. This then allows
extra required tools to be installed in the tools tree via ToolsTreePackages=
to allow running these commands without having to install them on the host
system.

Drop tools tree from cache manifest

The existing check is too primitive and actually causes issues when
using the new mkosi sandbox verb we'll add in the next commit so let's
drop it.

Always mount in /usr/share/factory from the host in relaxed sandbox

If we're using /etc from the host, also use /usr/share/factory from
the host to account for symlinks from /etc into /usr/share/factory.

Don't mount sandbox.py to /sandbox.py in relaxed sandbox

In a relaxed sandbox we'll never execute apivfs_script_cmd() or
chroot_script_cmd() so there's no need to mount sandbox.py in.

Add PATH entries beneath the user's home to PATH in relaxed sandbox

This handles the case where a user adds ~/.local/bin to the PATH.
Let's make sure we use that even when running with a tools tree.
This might not work for binaries that are built against libraries
from the user's host /usr but there's lots of tools that will either
be statically compiled or written in an interpreted language like
python that will still work even when we switch out /usr from underneath
them.

Ignore crypto mount if it only contains empty directories

Let's beef up the crypto mount check and check if there are only
empty directories in the mount and ignore it if that's the case.
This handles the case where e.g. on Arch installing pesign leads
to /etc/pki containing only /etc/pki/pesign as an empty directory.

Don't remove default tools tree when mkosi -ff is used

Generally when -ff is specified users won't want to remove the
default tools tree if they're using one, so let's stop doing that.
The default tools tree is still removed when mkosi -f clean is invoked.

Make default tools tree output name distribution independent

We included the distribution name when we first added this because
the tools tree distribution was different depending on which distribution
we were building. Now that we choose the tools tree distribution based on
the host distribution, this doesn't make much sense anymore, so get rid
of the distribution in the default tools tree output name and name it just
"tools" instead.

Make asyncio imports lazy

This is low hanging fruit to reduce the startup time a little.

Bump github/codeql-action from 3.26.10 to 3.27.0

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.26.10 to 3.27.0.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/e2b3eafc8d227b0241d48be5f425d47c2d750a13...662472033e021d55d94146f66f6058822b0b39fd)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump actions/checkout from 4.2.0 to 4.2.2

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.2.0 to 4.2.2.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/d632683dd7b4114ad314bca15554477dd762a938...11bd71901bbe5b1630ceea73d27597364c9af683)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Remove BuildDirectory= from PrepareScripts=

The BuildDirectory= is meant for files which are non-essential and can
be recreated during the build process of the image, so source files that
need to be acquired should be saved somewhere within the $BUILDROOT to
be cached for runs when PrepareScripts= aren't run (assuming incremental
builds).

Fix qemu gui output on aarch64

Merge pull request #3156 from DaanDeMeyer/subuid

Map current user to root in subuid user namespace

Map current user to root in subuid user namespace

By mapping the current user to root in the subuid user namespace,
we don't have to change the ownership of all the files in the directory
tree to root in the subuid uid/gid range. This means that on btrfs
filesystems, we can do a subvolume snapshot instead of an expensive
full tree recursion to copy each file individually.

Show a proper error message if /etc/subuid or /etc/subgid doesn't exist.

Merge pull request #3157 from DaanDeMeyer/engine

Improvements for signing with engines

Pass through stdin to various signing tools if an engine is used

The engine might have a pin that needs to be entered via stdin so
let's pass through stdin if that's the case so that users can enter
the pin.

Bind /run when an engine might be used instead of only /run/pcscd

It's not guaranteed that the engine will be the pkcs#11 one so let's
bind the entirety of /run in case another daemon might be used with
a socket elsewhere in /run.

Parse local drop-in configuration files

Never clean output directory when Format=none

If Format=none no outputs can be produced at all so let's make sure
we always keep the previous outputs intact when Format=none regardless
of whether -f is specified or not.

qemu: move removable_flag into device_type

Also drop the no longer needed noqa for the overly long line.

Followup for 1c3e71b1.

Use scsi-hd when QemuRemovable is enabled

Check if firmware subdirectory still exists before trying to remove it

Detected with `mkosi-initrd`:

```
Calculating required kernel modules and firmware
Traceback (most recent call last):
  File "/usr/lib/python3.11/site-packages/mkosi/run.py", line 64, in uncaught_exception_handler
    yield
  File "/usr/lib/python3.11/site-packages/mkosi/run.py", line 105, in fork_and_wait
    target(*args, **kwargs)
  File "/usr/lib/python3.11/site-packages/mkosi/__init__.py", line 4450, in run_build
    build_image(
  File "/usr/lib/python3.11/site-packages/mkosi/__init__.py", line 3668, in build_image
    run_depmod(context)
  File "/usr/lib/python3.11/site-packages/mkosi/__init__.py", line 2721, in run_depmod
    process_kernel_modules(
  File "/usr/lib/python3.11/site-packages/mkosi/kmod.py", line 248, in process_kernel_modules
    p.rmdir()
  File "/usr/lib64/python3.11/pathlib.py", line 1156, in rmdir
    os.rmdir(self)
FileNotFoundError: [Errno 2] No such file or directory: '/var/tmp/mkosi-workspace-9r8egfmc/root/usr/lib/firmware/yamaha'
```

Fixes c0d596dbee111f4730b26045a1f4d7da68a66047

Merge pull request #3146 from DaanDeMeyer/clean

Remove access to the output directory in build scripts and only run clean scripts when we clean up the output dir

opensuse: remove sysuser-shadow from initrd

SUSE-ish utility pulled by some rpm scriptlets that calls systemd-sysusers or
shadow tools to create users and groups during installation.

Remove access to the output directory in build scripts

With mkosi -t none, we can rerun the build script without cleaning
the output directory. This creates an awkward situation, as the build
script might create new outputs but is unable to remove previous ones,
which could lead to weird situations where the output directory contains
artifacts from multiple builds.

Let's tighten this up by disallowing access to the output directory in
build scripts. Users can still copy from the build script to the output
directory by doing the copy from a post-installation script which is not
invoked when we run mkosi -t none so it only runs when we've cleaned up
the output directory.

Only run clean scripts when we clean up the output directory

Clean scripts are intended to clean up the output directory, so let's
only run them when we actually decide to clean up the output directory.

Unset $CONFIG in prepare scripts

Make sure verbs run in the current working directory

Merge pull request #3142 from DaanDeMeyer/firmware

Delete empty firmware subdirectories

Delete empty firmware subdirectories

Fixes #3124

Use firmwared variable in one more place

Allow specifying OpenPGP implementation to use for signing

Fixes: https://github.com/systemd/mkosi/issues/3042

opensuse: remove which from initrd

`less` had hard requirements on `which` and `file` (so also `file-magic` and
`libmagic1`), reworked via packaging in Tumbleweed (
https://build.opensuse.org/request/show/1218137) and available since snapshot
20241025.

mkosi-initrd: honor x-initrd.attach options in crypttab

Merge pull request #3131 from NekkoDroid/no-more-split-uki

Allow more granular control on which artifacts are output

kernel-install: fix move of cpio output file

Its name is already `initrd` since 6b0dfe58f3f04264f1df5cb90b7091195913562f

Otherwise:

```
‣  /tmp/tmpgpvfc6y8/initrd.cpio.zst size is 44.9M, consumes 44.9M.
‣ Copying /tmp/tmpgpvfc6y8/initrd to /tmp/kernel-install.staging.KXnXSC/initrd
Traceback (most recent call last):
  File "/usr/lib/python3.11/site-packages/mkosi/run.py", line 64, in uncaught_exception_handler
    yield
  File "/usr/lib64/python3.11/contextlib.py", line 81, in inner
    return func(*args, **kwds)
           ^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/kernel/install.d/50-mkosi.install", line 167, in main
    shutil.move(next(context.staging_area.glob("initrd*.cpio*")), context.staging_area / "initrd")
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
StopIteration
/usr/lib/kernel/install.d/50-mkosi.install failed with exit status 1.
```

man/mkosi-initrd: fix description of --output option

Follow-up for 6b0dfe58f3f04264f1df5cb90b7091195913562f

Set qemu drive caching options for qemu drives as well

We already set these for the scratch device, let's make sure we set
them for any drives we allocate as well.

We also make sure the drive size is aligned to the page size so qemu
can use O_DIRECT.

Merge pull request #3137 from DaanDeMeyer/stuff

Various fixes

mkosi-initrd: Include virtio_blk module

Use virtio-blk-pci unless scsi-hd is really needed

https://www.qemu.org/2021/01/19/virtio-blk-scsi-configuration/
mentions that for performance critical use cases, virtio-blk should
be preferred so let's use virtio-blk unless we actually need scsi-hd.

Make qemu drives and scratch device NOCOW as well

These will face lots of random writes as well so let's make these
NOCOW as well.

Don't unconditionally enable epel for mkosi-initrd

Whether to enable epel or not should be up to the user, not hard coded
by us, so drop the config snippet that enables the epel repositories.

follow-up for 886f091a743a6ac808c20ef59e9cf7e20703376d

To enable the epel repositories for mkosi-initrd, you'd do something
like the following:

"""
[Distribution]
Distribution=centos
Release=9
Repositories=epel,epel-next

[Include]
Include=mkosi-initrd
"""

We don't currently have a way to enable the epel repositories when
using mkosi-initrd, because it always uses the exact same repositories
as the host system. However, erofs-utils can still be installed by just
including it using /usr/lib/mkosi-initrd/mkosi.conf without a match
section.