Add zypper to the tools image on Arch Linux

Suggested-by: Jörg Behrmann <behrmann@physik.fu-berlin.de>
Signed-off-by: Christian Heusel <christian@heusel.eu>

man: Document zypper being added to Arch Repos

Signed-off-by: Christian Heusel <christian@heusel.eu>

Force ssh to use bash to run the ProxyCommand

We only have bash installed in the tools tree and by default ssh
will try to use the user's shell to execute the proxy command which
might not be available so force it use bash.

Fixes #3500

Merge pull request #3499 from DaanDeMeyer/netesp

Add OutputExtension=

Allow building esp images without a UKI

Let's only add a UKI to these if the required components are installed.

Require delimiting extra options for invoked commands with '--'

This is one of the biggest footguns when using mkosi so let's break
compat and fix it. Any options that should be passed to the command
invoked by mkosi when using various verbs should be delimited from
regular options now using '--'.

Fixes #3165

kmod: run proper cmdline in modinfo

Fixes a4818d7defc816c0d00322815597524597ed7818

Merge pull request #3496 from DaanDeMeyer/sandbox

mkosi-sandbox: Implement --pack-fds

Strip --suspend from --debug-shell sandbox

run: Remove unused user/group arguments from run()

run: Simplify spawn()

Let's reduce the nesting by stopping usage of Popen() as a context
manager. It's __exit__() method doesn't handle anything important that
we don't already handle ourselves. Let's also only handle
FileNotFoundError when spawning the process but not after yielding.
Finally, get rid of the failed() nested function as it only has one
remaining caller.

mkosi-sandbox: Implement --pack-fds

This allows us to move the file descriptor packing logic from spawn()
to mkosi-sandbox. The main advantage here is that we can pass file
descriptors now without necessarily packing them together, which we now
only do for systemd-journal-remote which requires it.

Merge pull request #3494 from bluca/obs_repart

Add SplitArtifacts=roothash

mkosi-obs: split and sign dm-verity roothashes

Add SplitArtifacts=roothash

partition: do not return TBD as roothash

When a verity partition is skipped/deferred (eg: second run for ESP
partitioning) the JSON output will list the roothash as 'TBD' which
is obviously not valid, so skip it in that case

man: document SplitArtifacts=pcrs

Follow-up for 393b16cf8410c40695b776e709a4b8029c860c0c

man: Remove erroneous FD parameter

Merge pull request #3493 from DaanDeMeyer/process-group

serve: Add StorageTargetMode= feature

Make various tools more quiet

Let's reduce the noise when booting a vm with mkosi vm by silencing
the output of some tools used during setup that isn't useful.

Make VM registration work unprivileged

Since systemd 257, it's possible for unprivileged users to register
VMs with systemd-machined (gated behind polkit). So let's not require
root privileges to register virtual machines with systemd-machined, but
only do it as an unprivileged user if registration is explicitly requested
to avoid the polkit prompt.

To avoid having to detect which systemd version the system is running,
we skip errors on varlink registration for now when running unprivileged.
https://github.com/systemd/systemd/pull/36344 will allow us to detect if
the machined varlink interface can be accessed as an unprivileged user or
not.

sandbox: Replace --exec-fd with --suspend

Let's change our synchronization mechanism from a file descriptor
to use SIGSTOP instead. This is both simpler and gives us a two way
synchronization mechanism. We can wait in the parent for the initialization
to complete just like before by waiting for the process to go into the
stopped state. But we can also have the subprocess wait indefinitely
until the parent tells it to continue by sending the SIGCONT signal. We make
use of this to register the qemu VM with systemd-machined before actually
starting the qemu process itself.

serve: Add StorageTargetMode= feature

Let's make it configurable whether we run systemd-storagetm as part
of serve.

Drop foreground process logic

Let's stop messing around with process groups in favor of handling
terminal signals properly ourselves. We had to use process groups in
the past because we still used subprocess.run() which meant that by
the time we had a chance to handle KeyboardInterrupt(), the subprocess
would have already been SIGKILLed by subprocess.run(). Now that we don't
use subprocess.run() anymore, we can catch KeyboardInterrupt() at the
right time and forward it to the child process.

For the mkosi process itself, we have to modify the signal handlers
slightly to make sure we only raise the KeyboardInterrupt() exception
once, as when we're running a forked subprocess, both the parent process
and the forked subprocess will receive SIGINT if Ctrl+C is entered on the
terminal, and the parent process will forward the SIGINT to the child process,
which is already handling its own SIGINT, causing KeyboardInterrupt() to get
raised twice if we don't add an extra check to the signal handler to make sure
it only gets raised once.

mkosi: support nvme-over-tcp in the initrd + thunderbolt-net

Let's make storage target mode a thing, and support nvme-over-tcp in the
initrd, as well as thunderbolt-net.

nvme-over-tcp probably makes sense anyway for supporting the probbaly
best way to do network booting these days.

Add ToolsTreePrepareScripts=

Let's give users a way to make arbitrary modifications to the default
tools tree.

Show better error when script fails with exit code 127

Fixes #3481

Merge pull request #3377 from bluca/obs

vmspawn: Pass extra qemu arguments

Start systemd-storagetm in mkosi serve as well if available

Allows accessing a disk image over NVME-TCP instead of having to
download it completely over HTTP.

Add mkosi-obs conf and scripts for multi-stage signing

Signs both PCR digests (including multi-profile) and UKIs
themselves. Requires new ukify.

Add support for SplitArtifacts=pcrs

When building a UKI emit a JSON blob containing all the PCR
policy blobs, so that it can be signed offline. A single JSON
file is written out, even if multiple profiles are used, as
ukify can be used to reattach a single blob and will ensure
the right signature is applied to the right PE .pcrsig section
in case of multiple profiles.

Use ukify --pcr-certificate= if available

Add support for SplitArtifacts=tar

Add FirmwareInclude= and FirmwareExclude= options

Rigth now, firmware added to the image is determined as a dependency of any
added kernel modules. However, a common use case is that a user may need to
force certain firmware to be included or excluded regardless of that dependency.

doc: Add a note about dependencies for systemd-boot

Check MinimumVersion= during config parsing

We fail on unknown settings, so currently if the mkosi version is too
old, we fail during config parsing before we ever get to check if the
current version is older than the minimum version.

Let's fix this by checking the minimum version during config parsing
itself. This means it can't be overridden later on anymore with a lower
version during config parsing but I doubt this will ever happen in the
first place.

Rework verity setting handling

Let's get rid of want_verity() and do explicit checks everywhere
instead.

Replaces #3477

Merge pull request #3480 from behrmann/fspath

Use `os.fspath` in more places

docs: add CODING_STYLE.md

user: drop unneeded stringification

treewide: exchange str for os.fspath were appropriate

All objects have a __str__ method, but pathlike objects define a protocol
__fspath__, let's use that where we haven't so far.

Merge pull request #3479 from DaanDeMeyer/overlayfs

tree: Don't copy xattrs to overlayfs

Check if systemd is actually running before using run0

If we're not running systemd, we can't use run0 either, so use sudo
in that case.

tree: Don't copy xattrs to overlayfs if security.selinux is one

Trying to copy the selinux xattrs to a directory in an overlayfs
filesystem will fail with "Operation not supported". There's no way
to instruct cp to not copy or ignore failures to copy selinux xattrs
so let's instead not try to copy xattrs at all when copying to directories
in overlayfs filesystems and security.selinux is in the list of xattrs.

tree: Don't try to snapshot subvolume if destination isn't btrfs

Merge pull request #3475 from DaanDeMeyer/fedora-key

Various rpm gpg key lookup fixes

rpm: Fix root locations for GPG searching

We should always look in the tools tree for /usr/share/distribution-gpg-keys,
regardless of the value of ToolsTreeCertificates= since the setting has no
impact on which /usr/share/distribution-gpg-keys directory we end up using.

We should look in the host or tools tree for /etc/pki/rpm-gpg, based on the
value of ToolsTreeCertificates=, not in the sandbox tree, because the /etc/pki
directory from the host or tools tree will always be used and mounted over the
directory from the sandbox tree, so there's no point in looking for rpm gpg keys
in the sandbox tree at all.

fedora: Do GPG key symlink resolution in find_rpm_gpgkey()

We have to resolve the symlink within the tools tree if there is
one, so let's handle this in find_rpm_gpgkey() instead of outside.

fedora: Don't fail if we can't find N+1 key

It might not be there set, so don't fail if it isn't there.

fedora: Try to load N+1 key from distribution-gpg-keys as well

Fetching the rawhide keys from the distribution-gpg-keys github
repository faces the same problem that we have when using the locally
installed distribution-gpg-keys, the rawhide symlink might not have
been updated yet at branching time, so apply the same solution and
try to load the N+1 key as well.

Add SignExpectedPcr= setting for UKI profiles

mkosi-initrd: add option to build generic initrds

That is, add the default kernel modules defined in the mkosi-initrd
configuration instead of the loaded modules in the host.

mkosi-tools: Add qemu packages for --console=gui to Fedora

Merge pull request #3466 from DaanDeMeyer/extension-repart-definitions

Extend Verity= to support hash-only verity and deferred verity-sig

man: document mkosi-addon in builtin configs

Add "defer" setting for Verity

This defers the creation of the verity-sig partition which is useful
when doing offline signing.

 Support unsigned verity backed extension/portable images

Building an unsigned extension image with verity hashes provides data
integrity without needing a certificate on the target machine.

Note that systemd-dissect and systemd-sysext doesn't automatically
use the verity data has partition for validation. Both tools enables
validation if the user.verity.roothash xattr is set for the image.
For systemd-dissect, one can use the --root-hash option to enable the
validation.

The root hash can be obtained by concatenating the partition uuid's for
the root and the root-verity partitions.

Documentation fix

arch: Bump initrd size

Drop two unneeded calls to umask()

Both these commands write temporary files to the workspace which
are not written to the image, so no need to care about the umask.

completion: complete paths after verb for zsh

completion: complete paths after verb for bash

Drop debug message about not including firmware

Too noisy in CI, especially on Arch where we install all firmware
so let's drop it.

mkosi-initrd: Add extra kernel modules

All this stuff gets loaded by udev on my laptop, isn't huge, and
doesn't pull in any firmware, so let's add these to the list of
kernel modules.

completion: complete paths after verb for fish

build(deps): bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.4.0 to 5.5.1.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/cc6721c45a8800cc666de45493545a07a638d121...5fa026e4797665181a0f7c6fa4a73c09348ae78c)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump github/codeql-action from 3.28.0 to 3.28.8

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.28.0 to 3.28.8.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/48ab28a6f5dbc2a99bf1e0131198dd8f1df78169...dd746615b3b9d728a6a37ca2045b68ca76d4841a)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump version to 26~devel

Release 25.3

Merge pull request #3455 from labichn/universal-secure-boot

Make secure boot keys/crts/source config universal

Update docs for universal secure boot/verity/pcr creds/sources

Merge pull request #3451 from DaanDeMeyer/overlay

Fix condition when removing duplicate files from the overlay

Skip files outside of known paths for extension outputs

Use directory in user's home as output directory if possible

Otherwise, if the user's home is on a separate partition, we have to
do a very expensive copy to /var/tmp.

Fix condition when removing duplicate files from the overlay

Calculate PE section size correctly

config: add mkosi-addon

Otherwise it fails:

$ mkosi --include=mkosi-addon
‣ mkosi-addon does not exist

Merge pull request #3446 from DaanDeMeyer/have-cache

Various cache fixes

Don't call have_cache() in reuse_cache()

By the time reuse_cache() is called, we've already cleaned up old
cached images if needed, so just check if they still exist and reuse
them if they do.

Make sure previous cache entries are gone in save_cache()

Replace check_uid with a "tools" image check in have_cache()

We have access to the config object in have_cache() and this argument
is specifically intended to be used whenever we pass the default tools
tree to have_cache(), so let's just do the check based on config.image
in have_cache() itself.

Treat terminal as dumb if either stdout or stderr is not a tty

Fixes #3445

Make secure boot keys/crts/source config universal

Fix verity signature check in case keys are configured

The repart json output includes the architecture in the partiton type
string, so the same must be included when checking for a verity
signature partition.

Example repart output:
{
    "type": "usr-x86-64-verity-sig",
    "label": "image_20250127144324_verity_sig",
    "uuid": "ae4819c0-d8e8-4c11-a140-af81d63db968",
    "partno": 1,
    "file": "/home/mheb/git/os/mkosi.repart/10-usr-verity-sig.conf",
    "node": "/work/var/cache/mkosi/mkosi-workspace-igi4aky0/staging/image_20250127144324.raw2",
    "offset": 537919488,
    "old_size": 16384,
    "raw_size": 16384,
    "old_padding": 0,
    "raw_padding": 0,
    "activity": "unchanged",
    "roothash": "TBD",
    "split_path": "/work/var/cache/mkosi/mkosi-workspace-igi4aky0/staging/image_20250127144324.usr-x86-64-verity-sig.ae4819c0d8e84c11a140af81d63db968.raw"
}

mkosi-sandbox: Improve formatting of error messages

Move want_uki() check out of build_uki_profiles()

Otherwise the function is skipped in make_uki() even though it should
never be skipped in that case if there are UKI profiles defined.

mkosi-initrd: handle PermissionError when reading /etc/crypttab

Usually /etc/crypttab has 600 permissions, so display a warning to non-root
users rather than unhandling a PermissionError exception.

Merge pull request #3436 from DaanDeMeyer/tools

Tools tree improvements

mkosi-tools: Drop fish and zsh

These are a bit too exquisite to have in the default tools tree and
we don't start a shell in mkosi-sandbox by default anymore, so let's
stick to just having bash in the default tools tree.

mkosi-tools: Stop installing dnf on Azure,OpenSUSE,Fedora

Let's stop installing dnf on in tools trees of these distributions
and only install dnf5.

Simplify the documentation of installed dnf packages while we're at it.

zypper: pass --releasever option

zypper allows to use the `$releasever` variable in repo URLs (see zypper(8) man
page). When mkosi uses zypper repos from the host instead of the default ones,
this variable needs to be replaced with the host's `VERSION_ID`, otherwise repo
URLs are incomplete.

Log command line for abnormal signals

If we're not killed by SIGINT or SIGTERM, let's log the command line
as in this scenario it's very likely the process we were running crashed
with SIGABRT or SIGSEGV.

opensuse: fix package name: btrfs-progs -> btrfsprogs

This error was not visible enough because zypper can find it anyway:

```
'btrfs-progs' not found in package names. Trying capabilities.
```

Merge pull request #3429 from DaanDeMeyer/match

Check if list matches are empty if empty string is matched against

mkosi-initrd: Add two more modules

Three more generic modules that are needed in the initrd.

- mxm-wmi is a standard for switchable laptop graphics
- usb-storage is obviously for USB storage devices
- partport (https://docs.kernel.org/admin-guide/parport.html)
  seems generic enough that we should include it in the initrd.

test_config: Reduce the number of tests

Let's not run unnecessary tests that don't give any meaningful extra
coverage.

Check if list matches are empty if empty string is matched against

If we do something like

```
[Match]
Profiles=

...
```

It should succeed if the list of profiles is empty, so let's implement that.

The dpkg architecture name for loongarch64 is loong64

Because otherwise it was too loong