mkosi-obs: add support for UEFI SecureBoot self enrollment

Create authvars and store them in the ESP with the project cert
used as PK/KEK/db

mkosi-obs: sign bootloaders in ESPs

If there are bootloaders in the ESP(s), sign them too. Useful to
ensure everything is signed also with the certificate in the project
where the image is built.

mkosi-obs: add support for .raw.img

Needed for netesp

mkosi-obs: create directories in ESP before calling mcopy

It does not create leading directories. Set -D s to skip when
they already exist.

mkosi-obs: also check that ESP offset is not an empty string

Can also happen, not just 'null'

Fix parse_drive()

docs: Update building-rpms-from-source.md

Merge pull request #3545 from DaanDeMeyer/suppress-sync

Specify --suppress-sync when running package managers

Package managers tend to make sure of sync() and friends to ensure
that any files they write are actually written to disk. This is
important when a package manager is used to do system package upgrades,
but is unnecessary when using package managers to build OS images. So
let's make sync() and friends a noop when we invoke package managers

Replaces #3544

sandbox: Add --suppress-sync option to suppress sync() syscalls

We'll make use of this to suppress calls to sync() when running
package managers.

mkosi-obs: use new sd-keyutil verb to attach dm-verity signature

Reduce the number of filesystems we remount noexec/nosuid/nodev when root

For mkosi-initrd, /etc might very well contain executable scripts which
we should allow to run, so let's only mount /boot and /efi nodev/nosuid/noexec.

Add --debug-sandbox option to mkosi-initrd and mkosi-addon

Use Config.finalize_environment() in Installer.finalize_environment()

Otherwise we don't get the required proxy environment variables.

initrd: add modules for fido2 and amd laptop

Needed for FIDO2 unlock and other stuff on my laptop. Adds
~200kb or so to the UKI.

Copy /etc/group into the sandbox tree instead of passwd

README: Reference EXAMPLES and mkosi documentation

Generally, examples are a great way to get started with a new tool.
Additionally, there does not appear to be formal getting started
documentation for mkosi.

Bump Fedora initrd size

Fixes CI failure because the Fedora initrd increased in size again.

mkosi-obs: fix searching for multiple files to sign

Due to quotes a single entry in the array is created by 'find', instead of one
entry per file

mkosi-obs: fix creating subfolder structure for signature cpio

The signature file will be stored in the same directory structure it was
picked from, to allow having multiple files with the same name

Clean up default tools tree package lists

- util-linux is not needed anymore since we do mounts ourselves now
- dpkg is pulled in by apt on arch and we don't list it explicitly elsewhere
- glibc-gconv-modules-extra should be pulled in by something else on opensuse by now
- python3-cryptography is only required on ubuntu, rest already has a dependency on
  it in systemd-ukify or is already on systemd v257 which doesn't need it anymore
- libarchive-tools seems like a leftover that isn't installed anywhere else

Merge pull request #3527 from DaanDeMeyer/dependencies

mkosi-tools: Split off misc, package-manager and runtime profiles

Let's make the dependencies verb a little more flexible by splitting
off various profiles in mkosi-tools, the misc, package-manager and
runtime profiles. The misc profile contains all the useful tools we
install to make sure they're available in scripts. The package manager
contains non-native package managers and related tools. The runtime
profile contains all the tools required to boot images. The regular
configuration now only includes the tools required to build native images
with mkosi.

The default tools tree still includes both the misc, package-manager and
runtime profiles by default but the list of profiles can be changed with
the new ToolsTreeProfiles= setting. The dependencies verb includes neither
profile, but we now allow passing arbitrary settings to the dependency verb
as arguments so that packages from additional profiles can be requested if
needed.

Sort dependencies before writing them to stdout

config: Fix enum parsing in enum_list_transformer()

We expect enum values, not keys, so use parentheses instead of
brackets.

config: Don't load history if --directory "" is passed

config: Fix variable typo in parse_new_includes()

p might be Path("mkosi-tools") when a default config is included.
path contains the actual path to the resolved default config.

config: Pass resources to nested parse_config() call

Add intel VMD to kernel modules

Search for underscores in `systemd-stub`

Building raw disk images of RHEL 9 x86-64 are failing with:
```
...‣ Unable to determine systemd-stub version, found '#### LoaderInfo: systemd-stub 252-46.el9_5.2 ####'
```

Changes the regex for `systemd-stub` to include underscores for RHEL95.

Merge pull request #3520 from bluca/obs

run: Wait for child process in try block in spawn()

If we only wait in finally block then any keyboard interrupt
triggered during the wait will leave the child process alive and
won't wait for it to exit. Let's make sure this doesn't happen by
waiting in the try block as well.

Drop boot counting support

Setting up boot counting for the initial UKI in an image does not
make sense as there's nothing to fall back to. The existing interface
where we pick up the number of tries from a file in /etc inside the
image was also rather bad so let's get rid of the boot counting
specifier.

ukify: check for 257.999 instead of 258~devel

We cannot do 258~devel for packages built on OBS, we use
xxx.999 instead. This can be bumped after we release 258.

mkosi-obs: compress output by default

DDIs can be quite large due to the fixed-size ESP, enable
zstd compression by default to save space and bandwidth

mkosi-obs: when building DDI + UKI, update ESP after signing

If a DDI with an ESP is built, update the UKI after signing it

Add SplitArtifacts=os-release

Useful to work on metadata in post-processing scripts

Add Splash= to set the boot splash for unified kernel images

Merge pull request #3517 from DaanDeMeyer/fix

sandbox: Fix chattr()

tree: Fix maybe_make_nocow()

sandbox: Fix chattr()

Merge pull request #3516 from DaanDeMeyer/split

sysupdate: Don't use temporary directory for on demand split partitions

Instead, we can easily find out the split partitions after running repart
and just make sure to delete them again on exit.

tree: Implement file attributes logic with ioctls instead of tools

Merge pull request #3515 from DaanDeMeyer/split

sysupdate: Split partitions on demand if not done in the image build

Reduce the number of executed processes during mkosi vm a little

sysupdate: Split partitions on demand if not done in the image build

Let's not require SplitArtifacts=partitions to use the sysupdate verb.

qemu: Move nocow check into copy_tree()

Let's do this for every file we copy automatically.

Make sure we always delete workspace / "root" as a subvolume

Currently, we delete it as a subvolume if the build succeeds but not
if the build fails. Let's handle the deletion in setup_workspace() so
we delete it as a subvolume both on success and on failure.

Merge pull request #3513 from bluca/obs

Couple of OBS fixes for ParticleOS

Create split pcrs file also when going through install_uki

This happens when building ParticleOS

Follow-up for 393b16cf8410c40695b776e709a4b8029c860c0c

README: add note about new packages built on OBS

mkosi-obs: override settings to allow building on OBS

Needed to build ParticleOS. All of these settings break building
on OBS, so set defaults so that it works out of the box,
including packages mirror.

Rebuild OBS package on push to main

https://build.opensuse.org/package/show/system:systemd/mkosi

Merge pull request #3509 from DaanDeMeyer/stuff

Add BuildKey= and CacheKey= settings

Make Linux= support delayed specifiers

In mkosi-kernel, I want to add the following:

```
Linux=&b/kernel/arch/x86_64/boot/bzImage
```

So that I can run `mkosi -t none` to rebuild the kernel image and
`mkosi qemu` to boot into it. To make this work, let's add support
for a delayed specifier to Linux= that expands to the finalized
build directory.

Add BuildKey= and CacheKey= settings

Let's give users more control over how many different cache and
build subdirectories we maintain by introducing CacheKey= and
BuildKey= with support for delayed specifiers.

Fix tools keyring/metadata cache cleanup

Set config.image for the main image to 'main'

docs: Fix formatting

Inline load_args()

Move load_environment() into finalize_environment() method of Config

Let's stop showing all derived environment variables values in the
summary and let's stop passing them to the default tools and initrd
images since they'll be derived again there anyway.

Use default_factory for Checksum= default value

Move two more checks from load_config() to check_inputs()

Drop 5.11 check

We already depend on 5.12 for mount_setattr(), so let's drop this
check for 5.11 now.

initrd: Add crc module

Add back compat for OBS until a new version is deployed

See https://github.com/openSUSE/obs-build/pull/1059

docs: Various fixes

- Make sure we suffix all long CLI options with '='
- Make sure whenever we use a boolean option that we pass an argument
- Make sure we prefix with '--' whenever we pass extra arguments

Stop using nargs="?" for options

This allows us to get rid of the ambiguity when parsing the verb which
could be interpreted as the argument of the previous option by argparse.

We also have to change the argument parser plumbing to only allow specifying
short options without an argument.

Merge pull request #3504 from christian-heusel/zypper-official-arch-repos

Add zypper to the tools image on Arch Linux

Suggested-by: Jörg Behrmann <behrmann@physik.fu-berlin.de>
Signed-off-by: Christian Heusel <christian@heusel.eu>

Fix documented configuration names for --vsock and --vsock-cid

qemu: Fix Initrds= fallback

man: Document zypper being added to Arch Repos

Signed-off-by: Christian Heusel <christian@heusel.eu>

Force ssh to use bash to run the ProxyCommand

We only have bash installed in the tools tree and by default ssh
will try to use the user's shell to execute the proxy command which
might not be available so force it use bash.

Fixes #3500

Merge pull request #3499 from DaanDeMeyer/netesp

Add OutputExtension=

Allow building esp images without a UKI

Let's only add a UKI to these if the required components are installed.

Require delimiting extra options for invoked commands with '--'

This is one of the biggest footguns when using mkosi so let's break
compat and fix it. Any options that should be passed to the command
invoked by mkosi when using various verbs should be delimited from
regular options now using '--'.

Fixes #3165

kmod: run proper cmdline in modinfo

Fixes a4818d7defc816c0d00322815597524597ed7818

Merge pull request #3496 from DaanDeMeyer/sandbox

mkosi-sandbox: Implement --pack-fds

Strip --suspend from --debug-shell sandbox

run: Remove unused user/group arguments from run()

run: Simplify spawn()

Let's reduce the nesting by stopping usage of Popen() as a context
manager. It's __exit__() method doesn't handle anything important that
we don't already handle ourselves. Let's also only handle
FileNotFoundError when spawning the process but not after yielding.
Finally, get rid of the failed() nested function as it only has one
remaining caller.

mkosi-sandbox: Implement --pack-fds

This allows us to move the file descriptor packing logic from spawn()
to mkosi-sandbox. The main advantage here is that we can pass file
descriptors now without necessarily packing them together, which we now
only do for systemd-journal-remote which requires it.

Merge pull request #3494 from bluca/obs_repart

Add SplitArtifacts=roothash

mkosi-obs: split and sign dm-verity roothashes

Add SplitArtifacts=roothash

partition: do not return TBD as roothash

When a verity partition is skipped/deferred (eg: second run for ESP
partitioning) the JSON output will list the roothash as 'TBD' which
is obviously not valid, so skip it in that case

man: document SplitArtifacts=pcrs

Follow-up for 393b16cf8410c40695b776e709a4b8029c860c0c

man: Remove erroneous FD parameter

Merge pull request #3493 from DaanDeMeyer/process-group

serve: Add StorageTargetMode= feature

Make various tools more quiet

Let's reduce the noise when booting a vm with mkosi vm by silencing
the output of some tools used during setup that isn't useful.

Make VM registration work unprivileged

Since systemd 257, it's possible for unprivileged users to register
VMs with systemd-machined (gated behind polkit). So let's not require
root privileges to register virtual machines with systemd-machined, but
only do it as an unprivileged user if registration is explicitly requested
to avoid the polkit prompt.

To avoid having to detect which systemd version the system is running,
we skip errors on varlink registration for now when running unprivileged.
https://github.com/systemd/systemd/pull/36344 will allow us to detect if
the machined varlink interface can be accessed as an unprivileged user or
not.

sandbox: Replace --exec-fd with --suspend

Let's change our synchronization mechanism from a file descriptor
to use SIGSTOP instead. This is both simpler and gives us a two way
synchronization mechanism. We can wait in the parent for the initialization
to complete just like before by waiting for the process to go into the
stopped state. But we can also have the subprocess wait indefinitely
until the parent tells it to continue by sending the SIGCONT signal. We make
use of this to register the qemu VM with systemd-machined before actually
starting the qemu process itself.

serve: Add StorageTargetMode= feature

Let's make it configurable whether we run systemd-storagetm as part
of serve.

Drop foreground process logic

Let's stop messing around with process groups in favor of handling
terminal signals properly ourselves. We had to use process groups in
the past because we still used subprocess.run() which meant that by
the time we had a chance to handle KeyboardInterrupt(), the subprocess
would have already been SIGKILLed by subprocess.run(). Now that we don't
use subprocess.run() anymore, we can catch KeyboardInterrupt() at the
right time and forward it to the child process.

For the mkosi process itself, we have to modify the signal handlers
slightly to make sure we only raise the KeyboardInterrupt() exception
once, as when we're running a forked subprocess, both the parent process
and the forked subprocess will receive SIGINT if Ctrl+C is entered on the
terminal, and the parent process will forward the SIGINT to the child process,
which is already handling its own SIGINT, causing KeyboardInterrupt() to get
raised twice if we don't add an extra check to the signal handler to make sure
it only gets raised once.

mkosi: support nvme-over-tcp in the initrd + thunderbolt-net

Let's make storage target mode a thing, and support nvme-over-tcp in the
initrd, as well as thunderbolt-net.

nvme-over-tcp probably makes sense anyway for supporting the probbaly
best way to do network booting these days.

Add ToolsTreePrepareScripts=

Let's give users a way to make arbitrary modifications to the default
tools tree.

Show better error when script fails with exit code 127

Fixes #3481