mkosi-obs: compress output by default

DDIs can be quite large due to the fixed-size ESP, enable
zstd compression by default to save space and bandwidth

mkosi-obs: when building DDI + UKI, update ESP after signing

If a DDI with an ESP is built, update the UKI after signing it

Add SplitArtifacts=os-release

Useful to work on metadata in post-processing scripts

Add Splash= to set the boot splash for unified kernel images

Merge pull request #3517 from DaanDeMeyer/fix

sandbox: Fix chattr()

tree: Fix maybe_make_nocow()

sandbox: Fix chattr()

Merge pull request #3516 from DaanDeMeyer/split

sysupdate: Don't use temporary directory for on demand split partitions

Instead, we can easily find out the split partitions after running repart
and just make sure to delete them again on exit.

tree: Implement file attributes logic with ioctls instead of tools

Merge pull request #3515 from DaanDeMeyer/split

sysupdate: Split partitions on demand if not done in the image build

Reduce the number of executed processes during mkosi vm a little

sysupdate: Split partitions on demand if not done in the image build

Let's not require SplitArtifacts=partitions to use the sysupdate verb.

qemu: Move nocow check into copy_tree()

Let's do this for every file we copy automatically.

Make sure we always delete workspace / "root" as a subvolume

Currently, we delete it as a subvolume if the build succeeds but not
if the build fails. Let's handle the deletion in setup_workspace() so
we delete it as a subvolume both on success and on failure.

Merge pull request #3513 from bluca/obs

Couple of OBS fixes for ParticleOS

Create split pcrs file also when going through install_uki

This happens when building ParticleOS

Follow-up for 393b16cf8410c40695b776e709a4b8029c860c0c

README: add note about new packages built on OBS

mkosi-obs: override settings to allow building on OBS

Needed to build ParticleOS. All of these settings break building
on OBS, so set defaults so that it works out of the box,
including packages mirror.

Rebuild OBS package on push to main

https://build.opensuse.org/package/show/system:systemd/mkosi

Merge pull request #3509 from DaanDeMeyer/stuff

Add BuildKey= and CacheKey= settings

Make Linux= support delayed specifiers

In mkosi-kernel, I want to add the following:

```
Linux=&b/kernel/arch/x86_64/boot/bzImage
```

So that I can run `mkosi -t none` to rebuild the kernel image and
`mkosi qemu` to boot into it. To make this work, let's add support
for a delayed specifier to Linux= that expands to the finalized
build directory.

Add BuildKey= and CacheKey= settings

Let's give users more control over how many different cache and
build subdirectories we maintain by introducing CacheKey= and
BuildKey= with support for delayed specifiers.

Fix tools keyring/metadata cache cleanup

Set config.image for the main image to 'main'

docs: Fix formatting

Inline load_args()

Move load_environment() into finalize_environment() method of Config

Let's stop showing all derived environment variables values in the
summary and let's stop passing them to the default tools and initrd
images since they'll be derived again there anyway.

Use default_factory for Checksum= default value

Move two more checks from load_config() to check_inputs()

Drop 5.11 check

We already depend on 5.12 for mount_setattr(), so let's drop this
check for 5.11 now.

initrd: Add crc module

Add back compat for OBS until a new version is deployed

See https://github.com/openSUSE/obs-build/pull/1059

docs: Various fixes

- Make sure we suffix all long CLI options with '='
- Make sure whenever we use a boolean option that we pass an argument
- Make sure we prefix with '--' whenever we pass extra arguments

Stop using nargs="?" for options

This allows us to get rid of the ambiguity when parsing the verb which
could be interpreted as the argument of the previous option by argparse.

We also have to change the argument parser plumbing to only allow specifying
short options without an argument.

Merge pull request #3504 from christian-heusel/zypper-official-arch-repos

Add zypper to the tools image on Arch Linux

Suggested-by: Jörg Behrmann <behrmann@physik.fu-berlin.de>
Signed-off-by: Christian Heusel <christian@heusel.eu>

Fix documented configuration names for --vsock and --vsock-cid

qemu: Fix Initrds= fallback

man: Document zypper being added to Arch Repos

Signed-off-by: Christian Heusel <christian@heusel.eu>

Force ssh to use bash to run the ProxyCommand

We only have bash installed in the tools tree and by default ssh
will try to use the user's shell to execute the proxy command which
might not be available so force it use bash.

Fixes #3500

Merge pull request #3499 from DaanDeMeyer/netesp

Add OutputExtension=

Allow building esp images without a UKI

Let's only add a UKI to these if the required components are installed.

Require delimiting extra options for invoked commands with '--'

This is one of the biggest footguns when using mkosi so let's break
compat and fix it. Any options that should be passed to the command
invoked by mkosi when using various verbs should be delimited from
regular options now using '--'.

Fixes #3165

kmod: run proper cmdline in modinfo

Fixes a4818d7defc816c0d00322815597524597ed7818

Merge pull request #3496 from DaanDeMeyer/sandbox

mkosi-sandbox: Implement --pack-fds

Strip --suspend from --debug-shell sandbox

run: Remove unused user/group arguments from run()

run: Simplify spawn()

Let's reduce the nesting by stopping usage of Popen() as a context
manager. It's __exit__() method doesn't handle anything important that
we don't already handle ourselves. Let's also only handle
FileNotFoundError when spawning the process but not after yielding.
Finally, get rid of the failed() nested function as it only has one
remaining caller.

mkosi-sandbox: Implement --pack-fds

This allows us to move the file descriptor packing logic from spawn()
to mkosi-sandbox. The main advantage here is that we can pass file
descriptors now without necessarily packing them together, which we now
only do for systemd-journal-remote which requires it.

Merge pull request #3494 from bluca/obs_repart

Add SplitArtifacts=roothash

mkosi-obs: split and sign dm-verity roothashes

Add SplitArtifacts=roothash

partition: do not return TBD as roothash

When a verity partition is skipped/deferred (eg: second run for ESP
partitioning) the JSON output will list the roothash as 'TBD' which
is obviously not valid, so skip it in that case

man: document SplitArtifacts=pcrs

Follow-up for 393b16cf8410c40695b776e709a4b8029c860c0c

man: Remove erroneous FD parameter

Merge pull request #3493 from DaanDeMeyer/process-group

serve: Add StorageTargetMode= feature

Make various tools more quiet

Let's reduce the noise when booting a vm with mkosi vm by silencing
the output of some tools used during setup that isn't useful.

Make VM registration work unprivileged

Since systemd 257, it's possible for unprivileged users to register
VMs with systemd-machined (gated behind polkit). So let's not require
root privileges to register virtual machines with systemd-machined, but
only do it as an unprivileged user if registration is explicitly requested
to avoid the polkit prompt.

To avoid having to detect which systemd version the system is running,
we skip errors on varlink registration for now when running unprivileged.
https://github.com/systemd/systemd/pull/36344 will allow us to detect if
the machined varlink interface can be accessed as an unprivileged user or
not.

sandbox: Replace --exec-fd with --suspend

Let's change our synchronization mechanism from a file descriptor
to use SIGSTOP instead. This is both simpler and gives us a two way
synchronization mechanism. We can wait in the parent for the initialization
to complete just like before by waiting for the process to go into the
stopped state. But we can also have the subprocess wait indefinitely
until the parent tells it to continue by sending the SIGCONT signal. We make
use of this to register the qemu VM with systemd-machined before actually
starting the qemu process itself.

serve: Add StorageTargetMode= feature

Let's make it configurable whether we run systemd-storagetm as part
of serve.

Drop foreground process logic

Let's stop messing around with process groups in favor of handling
terminal signals properly ourselves. We had to use process groups in
the past because we still used subprocess.run() which meant that by
the time we had a chance to handle KeyboardInterrupt(), the subprocess
would have already been SIGKILLed by subprocess.run(). Now that we don't
use subprocess.run() anymore, we can catch KeyboardInterrupt() at the
right time and forward it to the child process.

For the mkosi process itself, we have to modify the signal handlers
slightly to make sure we only raise the KeyboardInterrupt() exception
once, as when we're running a forked subprocess, both the parent process
and the forked subprocess will receive SIGINT if Ctrl+C is entered on the
terminal, and the parent process will forward the SIGINT to the child process,
which is already handling its own SIGINT, causing KeyboardInterrupt() to get
raised twice if we don't add an extra check to the signal handler to make sure
it only gets raised once.

mkosi: support nvme-over-tcp in the initrd + thunderbolt-net

Let's make storage target mode a thing, and support nvme-over-tcp in the
initrd, as well as thunderbolt-net.

nvme-over-tcp probably makes sense anyway for supporting the probbaly
best way to do network booting these days.

Add ToolsTreePrepareScripts=

Let's give users a way to make arbitrary modifications to the default
tools tree.

Show better error when script fails with exit code 127

Fixes #3481

Merge pull request #3377 from bluca/obs

vmspawn: Pass extra qemu arguments

Start systemd-storagetm in mkosi serve as well if available

Allows accessing a disk image over NVME-TCP instead of having to
download it completely over HTTP.

Add mkosi-obs conf and scripts for multi-stage signing

Signs both PCR digests (including multi-profile) and UKIs
themselves. Requires new ukify.

Add support for SplitArtifacts=pcrs

When building a UKI emit a JSON blob containing all the PCR
policy blobs, so that it can be signed offline. A single JSON
file is written out, even if multiple profiles are used, as
ukify can be used to reattach a single blob and will ensure
the right signature is applied to the right PE .pcrsig section
in case of multiple profiles.

Use ukify --pcr-certificate= if available

Add support for SplitArtifacts=tar

Add FirmwareInclude= and FirmwareExclude= options

Rigth now, firmware added to the image is determined as a dependency of any
added kernel modules. However, a common use case is that a user may need to
force certain firmware to be included or excluded regardless of that dependency.

doc: Add a note about dependencies for systemd-boot

Check MinimumVersion= during config parsing

We fail on unknown settings, so currently if the mkosi version is too
old, we fail during config parsing before we ever get to check if the
current version is older than the minimum version.

Let's fix this by checking the minimum version during config parsing
itself. This means it can't be overridden later on anymore with a lower
version during config parsing but I doubt this will ever happen in the
first place.

Rework verity setting handling

Let's get rid of want_verity() and do explicit checks everywhere
instead.

Replaces #3477

Merge pull request #3480 from behrmann/fspath

Use `os.fspath` in more places

docs: add CODING_STYLE.md

user: drop unneeded stringification

treewide: exchange str for os.fspath were appropriate

All objects have a __str__ method, but pathlike objects define a protocol
__fspath__, let's use that where we haven't so far.

Merge pull request #3479 from DaanDeMeyer/overlayfs

tree: Don't copy xattrs to overlayfs

Check if systemd is actually running before using run0

If we're not running systemd, we can't use run0 either, so use sudo
in that case.

tree: Don't copy xattrs to overlayfs if security.selinux is one

Trying to copy the selinux xattrs to a directory in an overlayfs
filesystem will fail with "Operation not supported". There's no way
to instruct cp to not copy or ignore failures to copy selinux xattrs
so let's instead not try to copy xattrs at all when copying to directories
in overlayfs filesystems and security.selinux is in the list of xattrs.

tree: Don't try to snapshot subvolume if destination isn't btrfs

Merge pull request #3475 from DaanDeMeyer/fedora-key

Various rpm gpg key lookup fixes

rpm: Fix root locations for GPG searching

We should always look in the tools tree for /usr/share/distribution-gpg-keys,
regardless of the value of ToolsTreeCertificates= since the setting has no
impact on which /usr/share/distribution-gpg-keys directory we end up using.

We should look in the host or tools tree for /etc/pki/rpm-gpg, based on the
value of ToolsTreeCertificates=, not in the sandbox tree, because the /etc/pki
directory from the host or tools tree will always be used and mounted over the
directory from the sandbox tree, so there's no point in looking for rpm gpg keys
in the sandbox tree at all.

fedora: Do GPG key symlink resolution in find_rpm_gpgkey()

We have to resolve the symlink within the tools tree if there is
one, so let's handle this in find_rpm_gpgkey() instead of outside.

fedora: Don't fail if we can't find N+1 key

It might not be there set, so don't fail if it isn't there.

fedora: Try to load N+1 key from distribution-gpg-keys as well

Fetching the rawhide keys from the distribution-gpg-keys github
repository faces the same problem that we have when using the locally
installed distribution-gpg-keys, the rawhide symlink might not have
been updated yet at branching time, so apply the same solution and
try to load the N+1 key as well.

Add SignExpectedPcr= setting for UKI profiles

mkosi-initrd: add option to build generic initrds

That is, add the default kernel modules defined in the mkosi-initrd
configuration instead of the loaded modules in the host.

mkosi-tools: Add qemu packages for --console=gui to Fedora

Merge pull request #3466 from DaanDeMeyer/extension-repart-definitions

Extend Verity= to support hash-only verity and deferred verity-sig

man: document mkosi-addon in builtin configs

Add "defer" setting for Verity

This defers the creation of the verity-sig partition which is useful
when doing offline signing.

 Support unsigned verity backed extension/portable images

Building an unsigned extension image with verity hashes provides data
integrity without needing a certificate on the target machine.

Note that systemd-dissect and systemd-sysext doesn't automatically
use the verity data has partition for validation. Both tools enables
validation if the user.verity.roothash xattr is set for the image.
For systemd-dissect, one can use the --root-hash option to enable the
validation.

The root hash can be obtained by concatenating the partition uuid's for
the root and the root-verity partitions.

Documentation fix

arch: Bump initrd size

Drop two unneeded calls to umask()

Both these commands write temporary files to the workspace which
are not written to the image, so no need to care about the umask.