Only remove kernel modules when not generating a cached image

This allows KernelModulesExclude= to be modified without having to
rebuild the cached image every time.

Fixes #2458

Skip process_kernel_modules if exclude is set

include doesn't have any effect if exclude is not set so only check
exclude.

rename force argument of run_depmod to cache

Preparation for next commits

Merge pull request #2373 from bluca/engine

Add support for signing with OpenSSL Engines

measure: add support for signing PCR sections with engine/provider

verity: add support for signing with an hardware token

Needs sd-repart v256 with --signing-engine parameter

Co-authored-by: Daan De Meyer <daan.j.demeyer@gmail.com>

SecureBoot: add support for signing with an hardware token

Use ukify/sbsigntools native support for engines/providers

Co-authored-by: Daan De Meyer <daan.j.demeyer@gmail.com>

run: set HOME to '/' if not set

Avoids warnings when running pkcs11 tools

Don't mount pkgmngr/ when installing trees

If we're copying from the host's /etc, the mounts get very weird as
we end up mounting over the directory we're copying from. Let's avoid
the weirdness by using the Config sandbox instead of the Context sandbox
which means we don't mount anything from the pkgmngr directory.

Fixes #2429

doc: add missing environment variables for sync scripts

Fixes: #2455

remove grub2 package on s390x fedora (#2432)

Only enable sha256 PCR bank for swtpm

Mimicks the same change in systemd-vmspawn
(https://github.com/systemd/systemd/commit/519bad6c2c23d3c2dc9558878becb485f3ae9057)

Set default to "user" for RuntimeNetwork=

Add RuntimeNetwork= setting

Let's allow configuring exactly what networking is set up when booting
the image.

Update tools tree packages docs

Install attr and jq in default tools trees

Merge pull request #2447 from DaanDeMeyer/tools

Add ToolsTreeRepositories= and ToolsTreePackageManagerTrees=

Don't try to copy UKI if we don't want EFI

Fixes #2442

Add ToolsTreeRepositories= and ToolsTreePackageManagerTrees=

Fixes #2430

Get rid of line_join_tree_list()

Normalize kernel module names everywhere

Fixes #2443

mailmap: use a single spelling for Jörg's and Neal's contributions

Set DISTRIBUTION= and RELEASE= when invoking scripts

Until now once could simply source /etc/os-release to figure this
out but this is not possible in sync scripts, so add two new env
variables to expose the distribution and release config options.

Use --keep-directory-symlink from cp 9.5 onwards

--keep-directory-symlink instructs cp to not fail when trying to
copy a directory onto a symlink but to follow the symlink instead.

The patch to introduce it was merged into coreutils and will be
available from coreutils 9.5 onwards.

--copy-contents has to be added as well to make
--keep-directory-symlink work. --copy-contents is generally harmless
for our use cases and won't change anything.

We also make sure gpg creates its sockets in /run instead of the
gpg homedir so they don't become part of the image. gpg automatically
uses /run if /run/user/uid exists so we create /run/user/0 to satisfy
that check.

Fixes #2168

Limit ephemeral filename length

Stop using /etc/crypto-policies from host or tools tree

Instead we provide our policy for rpm-sequoia that generally follows
the sequoia default policy except SHA1 is allowed as various distributions
still use SHA1 in their GPG keys.

Relax version check for systemd-vmspawn

Let's allow development versions of v256 as well.

Add missing license tag

Add git to default tools tree

Get rid of cast

Reuse existing scripts for mkosi-install

Otherwise we'll expand the full command line twice, once as part
of the mkosi-install script, in which apt-get is expanded again.

Add crypto mounts when running sync scripts

Internet access happens here so the certificates must be made
available.

Merge pull request #2418 from DaanDeMeyer/sync

Add support for sync scripts

Add support for sync scripts

Sync scripts allow updating various sources automatically before
doing a build.

Only do st_uid check in have_cache() if we're root

If we're not root then the check doesn't make any sense so skip it.

Move repository metadata syncing out of run_build

Let's do this in a separate run_sync that doesn't run in the user
namespace in preparation for adding sync scripts.

Make sure we're root in the sandbox when invoking pacman

Only mount ephemeral build sources for package managers when running as root

If we're not running as root, we won't have permissions to do the overlay
mount. Hopefully bubblewrap will eventually get overlayfs support which would
make this possible.

Rename finalize_ephemeral_source_mounts and add ephemeral arguments

Let's make it configurable whether we make sources ephemeral or not.

Write a default /etc/passwd to the package manager tree

Tools like git and ssh need to be able to resolve a user so let's
make sure we write a passwd file containing information on the
invoking user and root.

We also move creation of the /var/log directory into
install_package_manager_trees().

Sandbox permission fixes

Add vmspawn verb

Various scripts fixes

- Lazy evaluate  mkosi-as-caller so it uses the right uid as the
  uid/gid of INVOKING_USER change after become_root()
- Mount the host scripts to /scripts so we don't run into permission
  errors when trying to use the scripts with mkosi-as-caller
- Don't add the package manager scripts by default
- Don't remove /scripts from PATH in a script if the name of the
  script does not have the same name as a tool in PATH so that one
  script can call another

Merge pull request #2417 from DaanDeMeyer/fix-kernel-install

Fix kernel install

Install mkosi-initrd as well when building from source

mkosi-initrd is now a subpackage so let's make sure we install it
when building the rpm from source.

kernel-install: Make entry_dir and kernel_image optional arguments

entry_dir isn't provided to the 'remove' command so let's make it
optional so we don't fail on 'remove'.

Fixes #2416.

ubuntu: Use ubuntu itself as the default tools tree distribution

Now that we default to noble which has all the necessary tools, let's
use ubuntu itself as the default tools tree distribution for ubuntu.

Skip configuration in current directory when parsing builtin configs

Fixes #2407

Make sure some basic scripting tools are installed in the tools tree

Merge pull request #2409 from keszybz/two-fixlets

Two fixlets

Fix gzip command invocation

Fix variable reference

Add missing sandbox for invocation of repo-add

Install libarchive-tools in Debian/Ubuntu tools tree

makepkg needs bsdtar but is missing a dependency on libarchive-tools
on Debian/Ubuntu so install it manually as a workaround.

Merge pull request #2402 from DaanDeMeyer/copy-uki

Decouple UKI copying from UKI building

centos: Fix condition for using /usr/lib/sysimage/rpm with hyperscale

Give CentOS SIG repositories a higher priority

CentOS SIGs often ship rebuilds of existing packages which can get
out of date when CentOS 9 Stream ships a newer version. Let's make
sure that the SIG rebuild is still installed by giving all SIG
repositories a priority of 50.

Move interactive shell logic for mkosi-chroot into chroot_cmd()

Currently the logic applies to all scripts which does the wrong thing
except for mkosi-chroot.

mkosi-initrd: Sort package list

ubuntu: Switch default release to noble

lunar is EOL. Mantic is broken because systemd-gpt-auto-generator
is missing. We can either change the default back to Jammy or move
forward to Noble. Let's go for the second option as Noble will
release in about two months.

README: fix path

Decouple UKI copying from UKI building

Let's make sure that even if we don't build any UKIs, we still copy
out any existing ones.

Merge pull request #2401 from DaanDeMeyer/bash

Various fixes

ci: Drop excludes for debian from CI

rpm in Debian was updated to 4.18.2 which has the needed fix.

Make sure to include the /usr/lib/firmware directory

When creating a cpio, all parent directories have to be included
separately as well. We already did this properly for the parent
directories of the kernel modules directory but not yet for
/usr/lib/firmware which this commit fixes.

Fixes #2399

Check if source cache directory exists before mounting it

Fixes #2397

Start bash in the debug shell

Otherwise on Debian dash is started which is useless as an interactive
debug shell.

Have systemd-repart generate fstab and crypttab if requested

If systemd-repart is new enough, let's specify --generate-fstab= and
--generate-crypttab= so that these files are automatically generated
and included in the disk image if the corresponding new settings are
used in any partition definition files.

We also make sure systemd-repart always uses the same seed by
generating the random seed ourselves instead of leaving it up to
systemd-repart.

See https://github.com/systemd/systemd/pull/30636.

Merge pull request #2398 from keszybz/fedora-rawhide-key-kerfuffle

Fedora rawhide key kerfuffle workaround

rpm: use Path.as_uri() in one more place

fedora: for rawhide, also load key for FN+1 just in case

See the commit for explanation. This fixes a problem where during
each Fedora upgrades, the local key for rawhide points to e.g. F40,
but Fedora has already branched and rawhide is actually F41.

We may specify an additional key, that will be used a future version,
but that doesn't really matter, we assume all keys as equally good.

fedora: also look for secondary GPG keys

Older Fedora versions distributed and used those. No recent
versions do that, but I think they are still generated "just in case".
So let's check for them, in case Fedora decides to use them
again, and so that checking for the very old versions works too.

Add missing x86 file

This file was accidentally not included in a previous commit.

Merge pull request #2394 from DaanDeMeyer/manifest

Manifest improvements

Manifest improvements

- Pass in Context instead of Config
- Fix the sandbox for all the executed commands
- Move complete_step() into record_packages()
- Fix writing of changelog

Fixes #2392

Introduce is_x86_variant() and is_arm_variant()

Let's make sure we always check for both the 64-bit and the 32-bit
variant where it makes sense to do so. Also make sure the Debian
default image can be built for x86.

Fix apt scripts

Install jq in default image

Fix formatting

Configure rpm dbpath using rpm macro

Let's get rid of all our cruft for fixing up the rpmdb location
after running rpm by simply making sure it gets written to the right
location in the first place.

Add stdout parameter to package manager invoke() functions

Let's allow getting the output when we invoke the package managers.

apt: Set Dir::Etc and Dir::Log to absolute paths as well

This allows "Dir" to be overridden which is needed in a later commit.

Pass in a single arguments parameter to invoke() methods

Instead of passing in packages and options separately, let's just
have a single arguments parameter.

Make apivfs argument of invoke() false by default

Let's not implicitly mount an apivfs every time we mount a package
manager but make this opt-in instead.

Make package manager invoke() methods return the result

We also move the rpm database fixup call to the install() method
of the distribution so we don't try to do it every time we invoke
the package manager as it only needs to be done once.

Add mkosi-reinstall

Only install amd-ucode-firmware on x86-64

Fixes #2391

Use a private file for the newuidmap/newgidmap locking dance

Using a publicly accessible file such as /etc/subuid means that other
applications can interrupt mkosi's operation by taking the lock
themselves, so let's lock a private temporary file instead which only
mkosi's user can lock.

Add used package manager to cache manifest

If the package manager changes, the cache is invalid as the
repository metadata directories change as well, so let's invalidate
the cache when that happens.

docs: Make "Building rpms from source" non-dnf specific

Let's make the doc non-dnf specific by not relying on dnf builddep
and using mkosi-install to install packages. This allows using the
same logic for opensuse images.

We also simplify things by only installing --buildrequires since
trying to cache --requires from the rpm spec isn't very useful as
most of the --requires dependencies are automatically generated and
won't be listed by rpmspec --requires in the first place.

Merge pull request #2385 from DaanDeMeyer/focal

Various apt based distribution fixes

Add Ubuntu Focal support to default image

We install fewer packages that are not available on Focal and make
sure to configure repart to disable an ext4 default feature that
isn't supported by the Jammy and Focal kernels.

Compression improvements for apt distributions

Focal's kernel does not support zstd compression so let's make sure
we use xz there, just like we do for CentOS 8 Stream.

In Debian testing and sid, kernel modules are compressed now so let's
stop compressing the kernel modules initrd on those releases.

Fail early with a clear error if keyring does not exist

We also introduce listify() and apply it to all repositories()
functions to make them return lists instead of generators to avoid
tripping up on the fact that generators can only be iterated once.

Merge pull request #2381 from DaanDeMeyer/fixes

Fixes

Expand specifiers in match values as well

Fixes #2379

Add QEMU kernel to summary

Merge pull request #2377 from DaanDeMeyer/sandbox

tree-wide: Introduce SandboxProtocol

Add mkosi-install, mkosi-upgrade and mkosi-remove scripts

These are primarily useful to provide a common way to install
packages from scripts for opensuse which might be built with either
zypper or dnf.

Mount makepkg.conf from tools tree as fallback

If no makepkg.conf is provided by the user, mount it from the tools
tree as makepkg will fail with an error if no makepkg.conf is
available.