Rework QemuFirmware=

- Use the qemu official firmware descriptions to look up OVMF
  firmware instead of having our own homegrown logic.
- Add QemuFirmware=uefi-secure-boot to explicitly look for firmware
  with secure boot support
- Add QemuFirmwareVariables=microsoft to use OVMF variables with
  Microsoft keys enrolled
- Add QemuFirmwareVariables=custom to enroll the certificate from
  SecureBootCertificate= into the OVMF variables

This commit also contains the changes from a second commit that
was accidentally rebased into this one:

Only use already signed binaries when ShimBootloader=signed

When we're using signed shim, we need to make sure we use already
signed bootloaders, kernel images and UKIs. Anything we sign ourselves
will cause security violations in shim.

Don't log sandbox for every command

This is excessively verbose. Let's instead log only the command
we're executing but still log the full sandbox if a command fails.

Pass custom environment to other verbs as well

Let's use both the host environment and the custom env variables,
and let the custom env variables override the host ones.

Check for TERM=unknown and set TERM=dumb if not on tty

in CI, TERM is set to "unknown" so let's check for that and translate
it to "dumb" if we're not on a tty which systemd checks for when it
decides whether to enable logging or not. Also set TERM itself on
the kernel command line which is another thing parsed by systemd to check
whether to log colors or not. Finally, make sure we set "TERM" correctly
in our own environment that is passed to scripts

Use sandbox for cp --version

So that we detect the correct version.

Simplify chroot_cmd()

Reduce number of mounts in rmtree()

Make sure we mount each parent directory only once.

Drop --verbose from grub tools if --debug is specified

This makes grub tools incredibly noisy so let's drop it given
this has been working smoothly for a while now.

Stop setting SYSTEMD_LOG_LEVEL=debug when --debug is specified

This is generally too noisy (tmpfiles, sysusers and presets especially).
Let's not imply it when using --debug.

Disable SELinux relabeling by default for default image

Sometimes selinux-policy gets pulled in as a dependency, causing
SELinux relabels even though we don't care about SELinux at all in
the general case, so let's by default not relabel anything.

Streamline test logging

Let's get rid of the status messages in favor of logging the journal
itself to the console. Let's also make sure we get info messages on
the console from the journal. Finally, make the kernel log at INFO
level instead of the default WARNING.

Skip UKI/ESP/CPIO format boot for all distributions

We need to write a separate test with a minimal image for these as
these images have to fit into memory.

Catch ENODEV as well when checking if a device is available

This triggers on kernel updates on Arch without rebooting first so
let's make sure we handle it as well.

Use --close with flock and drop --no-fork

Let's make sure only flock holds the lock and it's not inherited by
the child process it spawns. This fixes an SELinux denial on some
systems.

Don't remount /usr read-only if the output dir is inside of it

Because some build systems use output directories in /usr, let's only remount
/usr read-only if the output directory is not relative to it.

Fix --local-mirror mounting

This can be specified as a URI, let's make sure we handle that
properly.

Only mount /etc/resolv.conf if it actually exists

Handle symlink explicitly in finalize_staging()

move_tree() doesn't handle symlinks so add some special casing for
the symlink we create in the staging directory.

Fixes #2479

Merge pull request #2477 from DaanDeMeyer/fix

Run sync scripts in relaxed sandbox without package manager trees

Run sync scripts in relaxed sandbox without package manager trees

Sync scripts run as the invoking user in the sandbox, which means
that they're not able to mount an overlayfs over /usr in the sandbox
to overlay extra files from package manager trees.

To circumvent the issue, let's run sync scripts in a relaxed sandbox
without package manager trees, which shouldn't be crucial to have
when running sync scripts.

Always run as root in Context sandbox

If there's files in /usr in the package manager tree, we need to
be running as root to mount an overlayfs on top of /usr so make
sure we are always root in the Context sandbox.

Merge pull request #2476 from DaanDeMeyer/grub

Add grub for EFI support

Add grub for EFI support

We also rework the grub setup to not copy the grub modules into the
ESP anymore. We do this as grub for EFI booted in secure boot mode
does not load any unsigned modules for security reasons so we opt
to include all necessary modules into the grub image itself.

Make sign_efi_binary work on same input/output

Merge pull request #2475 from DaanDeMeyer/uki

Add UnifiedKernelImages=

Add UnifiedKernelImages=

Allows configuring whether we use UKIs or BLS Type 1 entries with
systemd-boot and grub on UEFI.

The BLS Type 1 logic we already had for grub on BIOS is made generic
and reused to implement this feature.

Partially fixes #2472.

Return output path from sign_efi_binary()

Rename various initrd files

Let's use consistent naming with ".initrd" as the extension for
initrds we create.

Set $SYSTEMD_ESP_PATH and $SYSTEMD_XBOOTLDR_PATH when invoking kernel-install

Just like bootctl, kernel-install looks at these environment variables
so let's make sure to set them for kernel-install as well.

Set $SYSTEMD_XBOOTLDR_PATH when invoking bootctl install

This makes sure various directories are created in /boot instead
of /efi.

Add support for io.systemd.boot.kernel-cmdline-extra

See https://github.com/systemd/systemd/pull/31706

Make config available as a json file

Allows to access cli arguments and profile settings without reparsing the
config in scripts

Document default KernelCommandLine

Fix cleaning of package cache directory

Merge pull request #2470 from DaanDeMeyer/initrd

Make sure the default initrd cache is properly cleaned up by mkosi clean

Make sure the default initrd cache is properly cleaned up by mkosi clean

Instead of doing the cleanup in build_default_initrd(), let's split off
finalize_default_initrd() so that we can clean up the cache in run_clean()
instead.

Use lint.select in pyproject.toml

Fixes the following warning:

"""
warning: The top-level linter settings are deprecated in favour of their counterparts in the `lint` section. Please update the following options in `pyproject.toml`:
  - 'select' -> 'lint.select'
"""

Merge pull request #2469 from DaanDeMeyer/logging

Two fixes

Don't fix package manager metadata ownership after syncing metadata

Syncing metadata is now done as the invoking user, so there's no need
to fix ownership after syncing.

Only log once about syncing package manager metadata

Release 21

Copy existing crypto policies from the host into package manager tree

apt on Fedora uses gnutls which requires
/etc/crypto-policies/back-ends/gnutls.config to work properly. Let's
copy the default crypto policies from the tools tree into the package
manager tree to make sure things keep working.

Merge pull request #2465 from DaanDeMeyer/kmod

Speed up kernel modules initrd generation if no excludes were specified

Check for bootctl before checking its version

Fixes #2466

Speed up kernel modules initrd generation if no excludes were specified

If no excludes were specified, we can just glob all modules and firmware
without going via modinfo. We can only do this if no firmware was installed
as otherwise we end up copying firmware into the initrd that's not depended
on by any kernel modules.

Use rglob() in one more place

Fix kernel_modules_include_host in summary

clarify use of secure boot key for PCR signature

Make mkosi-check-and-shutdown log to console as well

Helps debugging CI failures

Merge pull request #2463 from DaanDeMeyer/news

Update NEWS

Don't explicitly run sync scripts as invoking user anymore

We now change user to the invoking user when running sync scripts so
there's no need to explicitly run sync scripts as the invoking user
anymore.

Update NEWS

Add systemd tooling version checks for OpenSSL engine settings

Merge pull request #2451 from keszybz/string-strip-prefix-helper

Add string strip prefix helper

Merge pull request #2460 from DaanDeMeyer/clean

Package manager metadata cleaning fixes

Add little helper that combines str.startswith and str.removeprefix

This way we don't need to repeat the prefix string.

Inline always variable

Prefer to not clean package manager metadata when building directory or tar image

These output formats are often intended to be used as base trees on
which to build extension images so let's not remove package manager
metadata from these unless explicitly requested by the user.

Always copy repository metadata to workspace directory

Even if the repository metadata is not removed in
clean_package_manager_metadata(), it might still be removed by
RemoveFiles= or in a finalize script later on, so let's be safe
rather than sorry and always copy the package manager metadata if
it's located inside the image root directory.

Do not clean package manager metadata when building an overlay

In this case the package manager metadata comes from the base tree
and we should not try to remove it in the overlayfs.

Merge pull request #2444 from DaanDeMeyer/sync

Change user to invoking user for syncing

Merge pull request #2459 from DaanDeMeyer/kmod

Only remove kernel modules when not generating a cached image

Make sure unpacked resources can be accessed by the invoking user

Sometimes we run commands as the invoking user and these commands
should be able to access the resources. If the resources are unpacked
to a temporary directory, this directory will have mode 0700 so we
need to relax the permissions to make sure it can be accessed by the
invoking user.

Only remove kernel modules when not generating a cached image

This allows KernelModulesExclude= to be modified without having to
rebuild the cached image every time.

Fixes #2458

Skip process_kernel_modules if exclude is set

include doesn't have any effect if exclude is not set so only check
exclude.

rename force argument of run_depmod to cache

Preparation for next commits

Change user to invoking user for syncing

We want to make sure all repository metadata that we cache in the
user's cache directory is owned by the invoking user. Let's achieve
that by running the sync stuff in a fork and dropping privileges if
we're running as root.

Merge pull request #2373 from bluca/engine

Add support for signing with OpenSSL Engines

measure: add support for signing PCR sections with engine/provider

verity: add support for signing with an hardware token

Needs sd-repart v256 with --signing-engine parameter

Co-authored-by: Daan De Meyer <daan.j.demeyer@gmail.com>

SecureBoot: add support for signing with an hardware token

Use ukify/sbsigntools native support for engines/providers

Co-authored-by: Daan De Meyer <daan.j.demeyer@gmail.com>

run: set HOME to '/' if not set

Avoids warnings when running pkcs11 tools

Don't mount pkgmngr/ when installing trees

If we're copying from the host's /etc, the mounts get very weird as
we end up mounting over the directory we're copying from. Let's avoid
the weirdness by using the Config sandbox instead of the Context sandbox
which means we don't mount anything from the pkgmngr directory.

Fixes #2429

doc: add missing environment variables for sync scripts

Fixes: #2455

remove grub2 package on s390x fedora (#2432)

Only enable sha256 PCR bank for swtpm

Mimicks the same change in systemd-vmspawn
(https://github.com/systemd/systemd/commit/519bad6c2c23d3c2dc9558878becb485f3ae9057)

Set default to "user" for RuntimeNetwork=

Add RuntimeNetwork= setting

Let's allow configuring exactly what networking is set up when booting
the image.

Update tools tree packages docs

Install attr and jq in default tools trees

Merge pull request #2447 from DaanDeMeyer/tools

Add ToolsTreeRepositories= and ToolsTreePackageManagerTrees=

Don't try to copy UKI if we don't want EFI

Fixes #2442

Add ToolsTreeRepositories= and ToolsTreePackageManagerTrees=

Fixes #2430

Get rid of line_join_tree_list()

Normalize kernel module names everywhere

Fixes #2443

config: be more specific why a value is rejected in error message

util: gather three small utility functions together

Esp. the two math-related ones can be considered related.

Remove sync() method from distribution implementations

Instead, let's just use the method on the package manager object
directly.

mailmap: use a single spelling for Jörg's and Neal's contributions

Set DISTRIBUTION= and RELEASE= when invoking scripts

Until now once could simply source /etc/os-release to figure this
out but this is not possible in sync scripts, so add two new env
variables to expose the distribution and release config options.

Use --keep-directory-symlink from cp 9.5 onwards

--keep-directory-symlink instructs cp to not fail when trying to
copy a directory onto a symlink but to follow the symlink instead.

The patch to introduce it was merged into coreutils and will be
available from coreutils 9.5 onwards.

--copy-contents has to be added as well to make
--keep-directory-symlink work. --copy-contents is generally harmless
for our use cases and won't change anything.

We also make sure gpg creates its sockets in /run instead of the
gpg homedir so they don't become part of the image. gpg automatically
uses /run if /run/user/uid exists so we create /run/user/0 to satisfy
that check.

Fixes #2168

Limit ephemeral filename length

Stop using /etc/crypto-policies from host or tools tree

Instead we provide our policy for rpm-sequoia that generally follows
the sequoia default policy except SHA1 is allowed as various distributions
still use SHA1 in their GPG keys.

Relax version check for systemd-vmspawn

Let's allow development versions of v256 as well.

Add missing license tag

Add git to default tools tree

Get rid of cast

Reuse existing scripts for mkosi-install

Otherwise we'll expand the full command line twice, once as part
of the mkosi-install script, in which apt-get is expanded again.

Add crypto mounts when running sync scripts

Internet access happens here so the certificates must be made
available.

Merge pull request #2418 from DaanDeMeyer/sync

Add support for sync scripts