Introduce --run-build-scripts (-R) to always run build scripts

Currently we run "mkosi -t none" in systemd and mkosi-kernel to run
the build script(s) without rebuilding the entire image. Using the
"none" output format for this purpose is a hack. It also breaks when
using History=yes as running mkosi -t none will change the output
format in the history after which running mkosi qemu will fail saying
it can't boot the "none" output format.

Let's introduce a --run-build-scripts argument which will make us always
run the build scripts regardless of whether the image has already been
built or not. At the same time, remove various behaviors from the "none"
format that were solely added to enable the hack of using it to run build
scripts without rebuilding the image:

- Clean up outputs from the previous build when the "none" output format
  is used

tree: Ignore symlinks when checking for subvolumes in rmtree()

installer: Do not modify buildroot in setup() methods

Remove outputs as well if we don't have a cached image

Introduce Config.is_incremental()

Rename remove_output_dir to remove_outputs in run_clean()

Drop rmtree(context.root) in "none" return path as well

Follow up for c71c7d933bbad8851a80d1db83ddc1d8a8b362e1

Don't call finalize_staging() for "none" output format

The none output format generates no outputs so there's no need to
call finalize_staging().

Save all images to history JSON

Preparation for the upcoming commit where we'll need all the images
instead of just the main one when reading the history.

Merge pull request #3553 from DaanDeMeyer/cow

Enable Hyperscale rpm COW plugin

Enable Hyperscale rpm COW plugin

The CentOS Hyperscale SIG provides rpm/dnf plugins to enable rpm
COW which drastically speeds up image builds so let's ship the
necessary logic to make use of it when building images with the
Hyperscale experimental repositories.

rpm: Enable plugins again

We disabled this a long time ago, likely when we were still using
/etc from the host, let's try enabling the plugins again and see
what happens in CI.

Add Image= match

Move /work directory cleanup out of remove_files()

This has to be done after running the finalize scripts as a
mkosi.finalize.chroot might recreate the /work directory.

Merge pull request #3550 from bluca/authvars

mkosi-obs: fixes, secureboot self-enroll, sign bootloaders

mkosi-obs: add support for UEFI SecureBoot self enrollment

Create authvars and store them in the ESP with the project cert
used as PK/KEK/db

mkosi-obs: sign bootloaders in ESPs

If there are bootloaders in the ESP(s), sign them too. Useful to
ensure everything is signed also with the certificate in the project
where the image is built.

mkosi-obs: add support for .raw.img

Needed for netesp

mkosi-obs: create directories in ESP before calling mcopy

It does not create leading directories. Set -D s to skip when
they already exist.

mkosi-obs: also check that ESP offset is not an empty string

Can also happen, not just 'null'

Fix parse_drive()

docs: Update building-rpms-from-source.md

Merge pull request #3545 from DaanDeMeyer/suppress-sync

Specify --suppress-sync when running package managers

Package managers tend to make sure of sync() and friends to ensure
that any files they write are actually written to disk. This is
important when a package manager is used to do system package upgrades,
but is unnecessary when using package managers to build OS images. So
let's make sync() and friends a noop when we invoke package managers

Replaces #3544

sandbox: Add --suppress-sync option to suppress sync() syscalls

We'll make use of this to suppress calls to sync() when running
package managers.

mkosi-obs: use new sd-keyutil verb to attach dm-verity signature

Reduce the number of filesystems we remount noexec/nosuid/nodev when root

For mkosi-initrd, /etc might very well contain executable scripts which
we should allow to run, so let's only mount /boot and /efi nodev/nosuid/noexec.

Add --debug-sandbox option to mkosi-initrd and mkosi-addon

Use Config.finalize_environment() in Installer.finalize_environment()

Otherwise we don't get the required proxy environment variables.

initrd: add modules for fido2 and amd laptop

Needed for FIDO2 unlock and other stuff on my laptop. Adds
~200kb or so to the UKI.

Copy /etc/group into the sandbox tree instead of passwd

README: Reference EXAMPLES and mkosi documentation

Generally, examples are a great way to get started with a new tool.
Additionally, there does not appear to be formal getting started
documentation for mkosi.

Bump Fedora initrd size

Fixes CI failure because the Fedora initrd increased in size again.

mkosi-obs: fix searching for multiple files to sign

Due to quotes a single entry in the array is created by 'find', instead of one
entry per file

mkosi-obs: fix creating subfolder structure for signature cpio

The signature file will be stored in the same directory structure it was
picked from, to allow having multiple files with the same name

Clean up default tools tree package lists

- util-linux is not needed anymore since we do mounts ourselves now
- dpkg is pulled in by apt on arch and we don't list it explicitly elsewhere
- glibc-gconv-modules-extra should be pulled in by something else on opensuse by now
- python3-cryptography is only required on ubuntu, rest already has a dependency on
  it in systemd-ukify or is already on systemd v257 which doesn't need it anymore
- libarchive-tools seems like a leftover that isn't installed anywhere else

Merge pull request #3527 from DaanDeMeyer/dependencies

mkosi-tools: Split off misc, package-manager and runtime profiles

Let's make the dependencies verb a little more flexible by splitting
off various profiles in mkosi-tools, the misc, package-manager and
runtime profiles. The misc profile contains all the useful tools we
install to make sure they're available in scripts. The package manager
contains non-native package managers and related tools. The runtime
profile contains all the tools required to boot images. The regular
configuration now only includes the tools required to build native images
with mkosi.

The default tools tree still includes both the misc, package-manager and
runtime profiles by default but the list of profiles can be changed with
the new ToolsTreeProfiles= setting. The dependencies verb includes neither
profile, but we now allow passing arbitrary settings to the dependency verb
as arguments so that packages from additional profiles can be requested if
needed.

Sort dependencies before writing them to stdout

config: Fix enum parsing in enum_list_transformer()

We expect enum values, not keys, so use parentheses instead of
brackets.

config: Don't load history if --directory "" is passed

config: Fix variable typo in parse_new_includes()

p might be Path("mkosi-tools") when a default config is included.
path contains the actual path to the resolved default config.

config: Pass resources to nested parse_config() call

Add intel VMD to kernel modules

Search for underscores in `systemd-stub`

Building raw disk images of RHEL 9 x86-64 are failing with:
```
...‣ Unable to determine systemd-stub version, found '#### LoaderInfo: systemd-stub 252-46.el9_5.2 ####'
```

Changes the regex for `systemd-stub` to include underscores for RHEL95.

Merge pull request #3520 from bluca/obs

run: Wait for child process in try block in spawn()

If we only wait in finally block then any keyboard interrupt
triggered during the wait will leave the child process alive and
won't wait for it to exit. Let's make sure this doesn't happen by
waiting in the try block as well.

Drop boot counting support

Setting up boot counting for the initial UKI in an image does not
make sense as there's nothing to fall back to. The existing interface
where we pick up the number of tries from a file in /etc inside the
image was also rather bad so let's get rid of the boot counting
specifier.

ukify: check for 257.999 instead of 258~devel

We cannot do 258~devel for packages built on OBS, we use
xxx.999 instead. This can be bumped after we release 258.

mkosi-obs: compress output by default

DDIs can be quite large due to the fixed-size ESP, enable
zstd compression by default to save space and bandwidth

mkosi-obs: when building DDI + UKI, update ESP after signing

If a DDI with an ESP is built, update the UKI after signing it

Add SplitArtifacts=os-release

Useful to work on metadata in post-processing scripts

Add Splash= to set the boot splash for unified kernel images

Merge pull request #3517 from DaanDeMeyer/fix

sandbox: Fix chattr()

tree: Fix maybe_make_nocow()

sandbox: Fix chattr()

Merge pull request #3516 from DaanDeMeyer/split

sysupdate: Don't use temporary directory for on demand split partitions

Instead, we can easily find out the split partitions after running repart
and just make sure to delete them again on exit.

tree: Implement file attributes logic with ioctls instead of tools

Merge pull request #3515 from DaanDeMeyer/split

sysupdate: Split partitions on demand if not done in the image build

Reduce the number of executed processes during mkosi vm a little

sysupdate: Split partitions on demand if not done in the image build

Let's not require SplitArtifacts=partitions to use the sysupdate verb.

qemu: Move nocow check into copy_tree()

Let's do this for every file we copy automatically.

Make sure we always delete workspace / "root" as a subvolume

Currently, we delete it as a subvolume if the build succeeds but not
if the build fails. Let's handle the deletion in setup_workspace() so
we delete it as a subvolume both on success and on failure.

Merge pull request #3513 from bluca/obs

Couple of OBS fixes for ParticleOS

Create split pcrs file also when going through install_uki

This happens when building ParticleOS

Follow-up for 393b16cf8410c40695b776e709a4b8029c860c0c

README: add note about new packages built on OBS

mkosi-obs: override settings to allow building on OBS

Needed to build ParticleOS. All of these settings break building
on OBS, so set defaults so that it works out of the box,
including packages mirror.

Rebuild OBS package on push to main

https://build.opensuse.org/package/show/system:systemd/mkosi

Merge pull request #3509 from DaanDeMeyer/stuff

Add BuildKey= and CacheKey= settings

Make Linux= support delayed specifiers

In mkosi-kernel, I want to add the following:

```
Linux=&b/kernel/arch/x86_64/boot/bzImage
```

So that I can run `mkosi -t none` to rebuild the kernel image and
`mkosi qemu` to boot into it. To make this work, let's add support
for a delayed specifier to Linux= that expands to the finalized
build directory.

Add BuildKey= and CacheKey= settings

Let's give users more control over how many different cache and
build subdirectories we maintain by introducing CacheKey= and
BuildKey= with support for delayed specifiers.

Fix tools keyring/metadata cache cleanup

Set config.image for the main image to 'main'

docs: Fix formatting

Inline load_args()

Move load_environment() into finalize_environment() method of Config

Let's stop showing all derived environment variables values in the
summary and let's stop passing them to the default tools and initrd
images since they'll be derived again there anyway.

Use default_factory for Checksum= default value

Move two more checks from load_config() to check_inputs()

Drop 5.11 check

We already depend on 5.12 for mount_setattr(), so let's drop this
check for 5.11 now.

initrd: Add crc module

Add back compat for OBS until a new version is deployed

See https://github.com/openSUSE/obs-build/pull/1059

docs: Various fixes

- Make sure we suffix all long CLI options with '='
- Make sure whenever we use a boolean option that we pass an argument
- Make sure we prefix with '--' whenever we pass extra arguments

Stop using nargs="?" for options

This allows us to get rid of the ambiguity when parsing the verb which
could be interpreted as the argument of the previous option by argparse.

We also have to change the argument parser plumbing to only allow specifying
short options without an argument.

Merge pull request #3504 from christian-heusel/zypper-official-arch-repos

Add zypper to the tools image on Arch Linux

Suggested-by: Jörg Behrmann <behrmann@physik.fu-berlin.de>
Signed-off-by: Christian Heusel <christian@heusel.eu>

Fix documented configuration names for --vsock and --vsock-cid

qemu: Fix Initrds= fallback

man: Document zypper being added to Arch Repos

Signed-off-by: Christian Heusel <christian@heusel.eu>

Force ssh to use bash to run the ProxyCommand

We only have bash installed in the tools tree and by default ssh
will try to use the user's shell to execute the proxy command which
might not be available so force it use bash.

Fixes #3500

Merge pull request #3499 from DaanDeMeyer/netesp

Add OutputExtension=

Allow building esp images without a UKI

Let's only add a UKI to these if the required components are installed.

Require delimiting extra options for invoked commands with '--'

This is one of the biggest footguns when using mkosi so let's break
compat and fix it. Any options that should be passed to the command
invoked by mkosi when using various verbs should be delimited from
regular options now using '--'.

Fixes #3165

kmod: run proper cmdline in modinfo

Fixes a4818d7defc816c0d00322815597524597ed7818

Merge pull request #3496 from DaanDeMeyer/sandbox

mkosi-sandbox: Implement --pack-fds

Strip --suspend from --debug-shell sandbox

run: Remove unused user/group arguments from run()

run: Simplify spawn()

Let's reduce the nesting by stopping usage of Popen() as a context
manager. It's __exit__() method doesn't handle anything important that
we don't already handle ourselves. Let's also only handle
FileNotFoundError when spawning the process but not after yielding.
Finally, get rid of the failed() nested function as it only has one
remaining caller.

mkosi-sandbox: Implement --pack-fds

This allows us to move the file descriptor packing logic from spawn()
to mkosi-sandbox. The main advantage here is that we can pass file
descriptors now without necessarily packing them together, which we now
only do for systemd-journal-remote which requires it.