Remove tools argument from finaiize_default_initrd()

Not required anymore since the tools tree isn't part of the cache
manifest anymore.

Rework default initrd cleanup

Currently we only remove the default initrd image cache if the
main image cache is out-of-date and not if the initrd cache is
out-of-date.

Let's fix the problem by calling run_clean() separately on the default
initrd.

Fixes #3231

Fix metadata removal

Remove --force from default initrd command line

We don't use the resulting Args instance so no point in passing
--force.

mkosi-initrd: Install btrfs-progs

Even if fsck.btrfs doesn't do anything particularly useful, given we
install the fs tools of all the other filesystems, let's install btrfs-progs
as well. This is also useful when using systemd-repart to create the
root filesystem on first boot.

Fix typo

nspawn: Fix uidmap for build directory

The build directory is now owned by the running user as well so we
have to apply rootidmap just like we do with all the other mounts
already.

Merge pull request #3227 from DaanDeMeyer/extra-search-paths

Use tools tree again for ssh, coredumpctl and journalctl

Drop ForwardJournal= integration for coredumpctl and journalctl verbs

Now that we have the sandbox verb, this is trivial to achieve with the
sandbox verb so let's keep the coredumpctl and journalctl verbs focused
solely on reading the journal and coredumps from the image itself and leave
inspecting the forwarded journal to mkosi sandbox.

Technically this breaks compat but I'm convinced nobody's actually using this
specific bit of integration so it shouldn't matter if we remove it.

Use tools tree again for ssh, coredumpctl and journalctl

In effect these verbs are very similar to the sandbox verb except
they run a predefined command line instead of an arbitrary one. So
let's make them behave the same as the sandbox verb when it comes to
the tools tree.

Fix CodeQL warning

mkosi-tools: Only install pkcs11-provider where available

Fixes #3224

Document where kernels go

As pointed out to me by Nils K on Matrix:

https://github.com/systemd/mkosi/blob/b2f818c6f7df0f9def7fc6eeec0de8354b67d02d/mkosi/bootloader.py#L726

Clarify shell vs boot in man page

In retrospect it seems like this should have been obvious but it
confused me. Thanks to Daan for pointing it out on Matrix. Reword to
help out people like me in the future.

mkosi-initrd: Disable split artifacts

Include machine name in virtiofsd unit name

If the same directory is shared across multiple guests, we end up
with duplicate unit names even though we need separate virtiofsd
instances. Let's fix this by including the machine name in the
virtiofsd unit name so that the unit names will be unique across
guests.

Make ConfigSetting generic

sysupdate: Make it work in combination with a tools tree

- We have to make sure systemd-sysupdate looks at the os-release
from the host even when using a tools tree.
- systemd-sysupdate can't detect the root block device when running
with a tools tree. Let's abuse /run/systemd/volatile-root to shortcut
the detection logic instead.

mkosi-initrd: Include extra modules

These are all modules that the kernel tries to load while in the
initrd on my laptop. All of these seem generic enough to include by
default.

Keep track of collection resets from CLI arguments (fixes #3208)

Previously it was only possible to completely reset but not append,
or only append but not reset to collection/list settings
via command line arguments.
Now we track if a setting has ever been set to None (i.e. reset)
during command line parsing.
This information is used during value finalization
to decide whether to merge both collections or only keep the CLI value.

Improve formatting of needs_build() a little

ci: make the output of the formatting job actionable

Rename "systemd" signtool to "systemd-sbsign" signtool

Matches the naming used by ukify.

Pass sandbox to workdir() in one more function

kmod: do not append glob to search for firmware if it is already there

Some kernel modules use globs in their firmware dependencies:

modinfo ath11k_pci
filename:       /lib/modules/6.11.7-amd64/kernel/drivers/net/wireless/ath/ath11k/ath11k_pci.ko.xz
firmware:       ath11k/WCN6855/hw2.1/*
firmware:       ath11k/WCN6855/hw2.0/*
firmware:       ath11k/QCN9074/hw1.0/*
firmware:       ath11k/QCA6390/hw2.0/*

Which means the glob uses a double "**" which breaks it, and the
firmwares are skipped. Do not add a "*" if it is already present in
the search value.

Propagate --tools-tree-certificates to initrd build

The initrd build uses a config created from a "hand-crafted" command
line passed to `parse_config()`. This command line includes the relevant
settings (i.e. those deemed relevant for build the initrd) from the
"proper" config object.

Since the --tools-tree-certificates setting wasn't added to that command
line, it defaults to true regardless of any setting configured when
invoking mkosi. When building behind a cooperate (transparent) proxy
using a self-signed certificate, the initrd build fails when trying to
download packages (unless the needed packages happened to be downloaded
as part of a previous image build).

Make sure the --tools-tree-certificates setting applies to the initrd
build also, by explicitly including it in the hand-crafted command line.
The setting can be added unconditionally because of the default value
specified in config.py.

Merge pull request #3207 from bluca/mkosi_install

Assorted fixes for mkosi-initrd and kernel-install

kernel-install: do not try to remove split artifacts

They are no longer built in the staging area

kernel-install: plumb stdin/stdout

Otherwise cannot use pin prompts

kernel-install: do not remove uki from staging area

Needed by following kernel-install hooks

kernel-install: name uki output with .efi suffix

90-uki-copy.install expects it

kernel-install: pass --kernel-image to mkosi-initrd if set

kernel-install can be called with a path to a kernel file

mkosi-initrd: add --kernel-image parameter

Will be used by kernel-install which can pass a path to a kernel file

Merge pull request #3205 from DaanDeMeyer/tools

Various tools tree fixes

Require that default tools tree exists when mkosi -t none is invoked

Let's insist on the default tools tree already existing when invoking
mkosi -t none without --force.

Also fail early if default tools tree is out of date without --force

We fail early if the tools tree does not exist and build or --force
was not specified, let's do the same if the tools tree is incremental
and the cache is out-of-date.

Remove distribution from tools tree cache name

We already made the same change for the output, let's make the same
change for the cache name as well.

Drop dead code

We don't use the returned Args object so no point in passing
--force.

Rename some opts to be more consistent

Merge pull request #3204 from bluca/mkosi_initrd_debian

mkosi-initrd fixes

Add createrepo_c to Arch Linux tools tree

archive: pass sandbox to workdir()

Otherwise callign from 50-mkosi.install will fail:

‣ Creating cpio archive /tmp/kernel-install.staging.jNm85k/microcode…
cpio: cannot change to directory `/work/tmp/tmpnlxrwb7k/initrd-microcode-root': No such file or directory
‣ "cpio --create --reproducible --renumber-inodes --null --format=newc --quiet --directory /work/tmp/tmpnlxrwb7k/initrd-microcode-root" returned non-zero exit code 2.

Mark 50-mkosi.install as executable

Allows it to be symlinked in /etc/kernel/install.d to always use latest
main from a repository

Merge pull request #3200 from DaanDeMeyer/passwd-symlink

Use passwd symlinks instead of bind mounts

Add packages required for --qemu-gui to Arch tools tree

qemu: Use advanced form of specifying display

Install pkcs11-provider and opensc in tools tree

Required for signing with openssl pkcs11 provider.

Only allow certificate files when not using systemd-sbsign

Fix condition to also check the certificate source type

Don't require sbsigntools for secure boot auto enroll unless required

If bootctl 257 or newer is installed, we don't use sbsigntools anymore
so don't require it in that case.

Add ToolsTreePackageDirectories=

Sometimes, we want to add locally built rpm packages to the default
tools tree. For example, systemd-repart depends on mkfs binaries that
might not be available on the host system, so the only way to run it
is from within the tools tree, which means we need a way to install
systemd-repart built from source within the tools tree.

Use passwd symlinks instead of bind mounts

Bind mounts don't reflect changes to the original files if they're
replaced instead of modified. Let's use symlinks instead so that
changes to the original files are always reflected.

Fixes #3189

sandbox: Make --symlink work on top of existing files and symlinks

With the new mount API, we can mount on top of existing symlinks and
files, so let's make use of that for --symlink.

sandbox; Only readlink() if the target is a symlink

Check against 257~devel instead of 257

Otherwise the new --secure-boot-auto-enroll= option isn't used with
devel and rc versions of systemd bootctl.

Add sound device when QemuGui=true

Add --debug-sandbox

This will help in debugging sandbox related issues. We run the sandbox
with strace and detach on execve() so we don't strace the command that
we're running.

Merge pull request #3196 from DaanDeMeyer/excl

sandbox: Akways use O_EXCL with O_CREAT

Detect home directories outside of /home properly

Fixes #3191

Check for apt keyring in tools tree

sandbox: Only create parent directories if dst does not exist yet

sandbox: Akways use O_EXCL with O_CREAT

In all cases we want to make sure that we're the ones creating the
file so let's specify O_EXCL.

Make Check-Valid-Until=false a default flag for apt-get

Signed-off-by: Artyom Bakhtin <a@bakhtin.net>

Check that systemd-sbsign is available before using it.

Fix new mypy error

Make sure user provided cmdline is always last

Replaces #3158

Merge pull request #3182 from NekkoDroid/image-identifier

Add %I specifier for subimages

Check that BuildSources= inputs are directories

Fixes #3181

fixup: GitHub Action: Install all required mkosi dependencies

8505a5303bb0c65991faf59a45409330e0c16a92 lost the --assume-yes
--no-install-recommends. While the former seems to be implicit in the
GitHub runner environment, the latter isn't, and it seems best to leave
both in place.

Fix man page reference to --tools-tree-packages

This should be --tools-tree-package.

Expose subimage name as envvar in scripts

Add %I specifier for subimages

This expands to the name of the subimage (and an empty string for the
main image) and is the same value that is used for Dependencies=.

Fixes: #2566

Refactor resolve_deps and reorder after configure

As a configure script can modify the config in nearly any way it pleases
it is not impossible that dependencies may be resolved at runtime. So
just rerun dependency resolution after all configure scripts have done
their stuff.

GitHub Action: Install all required mkosi dependencies

Add support for systemd-sbsign and --certificate-source

Matching PR for https://github.com/systemd/systemd/pull/35021
and https://github.com/systemd/systemd/pull/35057

Don't put /usr/bin and /usr/sbin in front of extra search paths in $PATH

Currently extra search paths don't get used because we always add /usr/bin
and /usr/sbin earlier in $PATH.

Merge pull request #3166 from DaanDeMeyer/provider

Add support for openssl providers as key sources

Add support for openssl providers as key sources

Make sure we only parse [Include] and [Host] from builtin configs as well

When we're reusing the history, we were still parsing all sections
from builtin configs instead of only the [Include] and [Host] sections.

Remove sandbox verb from needs_build()

It's not a clear cut case whether the sandbox needs a build or not.
The needs_build() method was originally intended for verbs that need
a full image build but the sandbox build only needs the tools tree.
Also, the tools tree is only built if ToolsTree=default and not if
set explicitly.

More practically, we don't want the JSON history from .mkosi-private
to be used when using mkosi sandbox, and that's the only usage of
the needs_build() method, so to fix that problem let's remove the sandbox
verb from needs_build().

Merge pull request #3161 from DaanDeMeyer/enroll

Add support for bootctl secure boot auto enrollment

Add support for bootctl secure boot auto enrollment

Matching PR for https://github.com/systemd/systemd/pull/34948

Sort package list

Add libseccomp to default tools tree

Required by mkosi-sandbox

Pass configured environment to ukify

Set up a private session keyring for engine pin caching

If we're using an engine as a key source, let's set up a private
session keyring and configure systemd tooling to store pins in the
session keyring with infinite lifetime. This means systemd will only
prompt for a pin once per key and reuse the cached pin from the session
keyring from that point onwards. The session keyring is automatically
removed when mkosi exits.

Set zero owner UUID for secure boot signature databases

Makes things more reproducible compared to using a random UUID.

Merge pull request #3164 from DaanDeMeyer/sandbox

Add sandbox verb

Add some extra tools tree packages to the default image

Now that we have mkosi sandbox, let's add ruff, mypy and pytest to
the tools tree so that they can be used with mkosi sandbox.

Add sandbox verb

In systemd, to run the integration tests, we need to run meson on
the host which will itself invoke mkosi to run the integration tests.
This means all the dependencies to run meson need to be installed on
the host. This doesn't just mean meson needs to be installed, but also
a compiler and various required build dependencies of systemd to allow
building tools invoked by mkosi to build the image.

To avoid having to install these dependencies on the host system, let's
introduce a sandbox verb which runs a command in the mkosi sandbox that's
also used by other verbs such as boot, qemu and shell. This then allows
extra required tools to be installed in the tools tree via ToolsTreePackages=
to allow running these commands without having to install them on the host
system.

Drop tools tree from cache manifest

The existing check is too primitive and actually causes issues when
using the new mkosi sandbox verb we'll add in the next commit so let's
drop it.

Always mount in /usr/share/factory from the host in relaxed sandbox

If we're using /etc from the host, also use /usr/share/factory from
the host to account for symlinks from /etc into /usr/share/factory.

Don't mount sandbox.py to /sandbox.py in relaxed sandbox

In a relaxed sandbox we'll never execute apivfs_script_cmd() or
chroot_script_cmd() so there's no need to mount sandbox.py in.

Add PATH entries beneath the user's home to PATH in relaxed sandbox

This handles the case where a user adds ~/.local/bin to the PATH.
Let's make sure we use that even when running with a tools tree.
This might not work for binaries that are built against libraries
from the user's host /usr but there's lots of tools that will either
be statically compiled or written in an interpreted language like
python that will still work even when we switch out /usr from underneath
them.

Ignore crypto mount if it only contains empty directories

Let's beef up the crypto mount check and check if there are only
empty directories in the mount and ignore it if that's the case.
This handles the case where e.g. on Arch installing pesign leads
to /etc/pki containing only /etc/pki/pesign as an empty directory.

Don't remove default tools tree when mkosi -ff is used

Generally when -ff is specified users won't want to remove the
default tools tree if they're using one, so let's stop doing that.
The default tools tree is still removed when mkosi -f clean is invoked.

Make default tools tree output name distribution independent

We included the distribution name when we first added this because
the tools tree distribution was different depending on which distribution
we were building. Now that we choose the tools tree distribution based on
the host distribution, this doesn't make much sense anymore, so get rid
of the distribution in the default tools tree output name and name it just
"tools" instead.

Make asyncio imports lazy

This is low hanging fruit to reduce the startup time a little.

Bump github/codeql-action from 3.26.10 to 3.27.0

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.26.10 to 3.27.0.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/e2b3eafc8d227b0241d48be5f425d47c2d750a13...662472033e021d55d94146f66f6058822b0b39fd)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump actions/checkout from 4.2.0 to 4.2.2

Bumps [actions/checkout](https://github.com/actions/checkout) from 4.2.0 to 4.2.2.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/d632683dd7b4114ad314bca15554477dd762a938...11bd71901bbe5b1630ceea73d27597364c9af683)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>