Don't fix package manager metadata ownership after syncing metadata

Syncing metadata is now done as the invoking user, so there's no need
to fix ownership after syncing.

Only log once about syncing package manager metadata

Release 21

Copy existing crypto policies from the host into package manager tree

apt on Fedora uses gnutls which requires
/etc/crypto-policies/back-ends/gnutls.config to work properly. Let's
copy the default crypto policies from the tools tree into the package
manager tree to make sure things keep working.

Merge pull request #2465 from DaanDeMeyer/kmod

Speed up kernel modules initrd generation if no excludes were specified

Check for bootctl before checking its version

Fixes #2466

Speed up kernel modules initrd generation if no excludes were specified

If no excludes were specified, we can just glob all modules and firmware
without going via modinfo. We can only do this if no firmware was installed
as otherwise we end up copying firmware into the initrd that's not depended
on by any kernel modules.

Use rglob() in one more place

Fix kernel_modules_include_host in summary

clarify use of secure boot key for PCR signature

Make mkosi-check-and-shutdown log to console as well

Helps debugging CI failures

Merge pull request #2463 from DaanDeMeyer/news

Update NEWS

Don't explicitly run sync scripts as invoking user anymore

We now change user to the invoking user when running sync scripts so
there's no need to explicitly run sync scripts as the invoking user
anymore.

Update NEWS

Add systemd tooling version checks for OpenSSL engine settings

Merge pull request #2451 from keszybz/string-strip-prefix-helper

Add string strip prefix helper

Merge pull request #2460 from DaanDeMeyer/clean

Package manager metadata cleaning fixes

Add little helper that combines str.startswith and str.removeprefix

This way we don't need to repeat the prefix string.

Inline always variable

Prefer to not clean package manager metadata when building directory or tar image

These output formats are often intended to be used as base trees on
which to build extension images so let's not remove package manager
metadata from these unless explicitly requested by the user.

Always copy repository metadata to workspace directory

Even if the repository metadata is not removed in
clean_package_manager_metadata(), it might still be removed by
RemoveFiles= or in a finalize script later on, so let's be safe
rather than sorry and always copy the package manager metadata if
it's located inside the image root directory.

Do not clean package manager metadata when building an overlay

In this case the package manager metadata comes from the base tree
and we should not try to remove it in the overlayfs.

Merge pull request #2444 from DaanDeMeyer/sync

Change user to invoking user for syncing

Merge pull request #2459 from DaanDeMeyer/kmod

Only remove kernel modules when not generating a cached image

Make sure unpacked resources can be accessed by the invoking user

Sometimes we run commands as the invoking user and these commands
should be able to access the resources. If the resources are unpacked
to a temporary directory, this directory will have mode 0700 so we
need to relax the permissions to make sure it can be accessed by the
invoking user.

Only remove kernel modules when not generating a cached image

This allows KernelModulesExclude= to be modified without having to
rebuild the cached image every time.

Fixes #2458

Skip process_kernel_modules if exclude is set

include doesn't have any effect if exclude is not set so only check
exclude.

rename force argument of run_depmod to cache

Preparation for next commits

Change user to invoking user for syncing

We want to make sure all repository metadata that we cache in the
user's cache directory is owned by the invoking user. Let's achieve
that by running the sync stuff in a fork and dropping privileges if
we're running as root.

Merge pull request #2373 from bluca/engine

Add support for signing with OpenSSL Engines

measure: add support for signing PCR sections with engine/provider

verity: add support for signing with an hardware token

Needs sd-repart v256 with --signing-engine parameter

Co-authored-by: Daan De Meyer <daan.j.demeyer@gmail.com>

SecureBoot: add support for signing with an hardware token

Use ukify/sbsigntools native support for engines/providers

Co-authored-by: Daan De Meyer <daan.j.demeyer@gmail.com>

run: set HOME to '/' if not set

Avoids warnings when running pkcs11 tools

Don't mount pkgmngr/ when installing trees

If we're copying from the host's /etc, the mounts get very weird as
we end up mounting over the directory we're copying from. Let's avoid
the weirdness by using the Config sandbox instead of the Context sandbox
which means we don't mount anything from the pkgmngr directory.

Fixes #2429

doc: add missing environment variables for sync scripts

Fixes: #2455

remove grub2 package on s390x fedora (#2432)

Only enable sha256 PCR bank for swtpm

Mimicks the same change in systemd-vmspawn
(https://github.com/systemd/systemd/commit/519bad6c2c23d3c2dc9558878becb485f3ae9057)

Set default to "user" for RuntimeNetwork=

Add RuntimeNetwork= setting

Let's allow configuring exactly what networking is set up when booting
the image.

Update tools tree packages docs

Install attr and jq in default tools trees

Merge pull request #2447 from DaanDeMeyer/tools

Add ToolsTreeRepositories= and ToolsTreePackageManagerTrees=

Don't try to copy UKI if we don't want EFI

Fixes #2442

Add ToolsTreeRepositories= and ToolsTreePackageManagerTrees=

Fixes #2430

Get rid of line_join_tree_list()

Normalize kernel module names everywhere

Fixes #2443

config: be more specific why a value is rejected in error message

util: gather three small utility functions together

Esp. the two math-related ones can be considered related.

Remove sync() method from distribution implementations

Instead, let's just use the method on the package manager object
directly.

mailmap: use a single spelling for Jörg's and Neal's contributions

Set DISTRIBUTION= and RELEASE= when invoking scripts

Until now once could simply source /etc/os-release to figure this
out but this is not possible in sync scripts, so add two new env
variables to expose the distribution and release config options.

Use --keep-directory-symlink from cp 9.5 onwards

--keep-directory-symlink instructs cp to not fail when trying to
copy a directory onto a symlink but to follow the symlink instead.

The patch to introduce it was merged into coreutils and will be
available from coreutils 9.5 onwards.

--copy-contents has to be added as well to make
--keep-directory-symlink work. --copy-contents is generally harmless
for our use cases and won't change anything.

We also make sure gpg creates its sockets in /run instead of the
gpg homedir so they don't become part of the image. gpg automatically
uses /run if /run/user/uid exists so we create /run/user/0 to satisfy
that check.

Fixes #2168

Limit ephemeral filename length

Stop using /etc/crypto-policies from host or tools tree

Instead we provide our policy for rpm-sequoia that generally follows
the sequoia default policy except SHA1 is allowed as various distributions
still use SHA1 in their GPG keys.

Relax version check for systemd-vmspawn

Let's allow development versions of v256 as well.

Add missing license tag

Add git to default tools tree

Get rid of cast

Reuse existing scripts for mkosi-install

Otherwise we'll expand the full command line twice, once as part
of the mkosi-install script, in which apt-get is expanded again.

Add crypto mounts when running sync scripts

Internet access happens here so the certificates must be made
available.

Merge pull request #2418 from DaanDeMeyer/sync

Add support for sync scripts

Add support for sync scripts

Sync scripts allow updating various sources automatically before
doing a build.

Only do st_uid check in have_cache() if we're root

If we're not root then the check doesn't make any sense so skip it.

Move repository metadata syncing out of run_build

Let's do this in a separate run_sync that doesn't run in the user
namespace in preparation for adding sync scripts.

Make sure we're root in the sandbox when invoking pacman

Only mount ephemeral build sources for package managers when running as root

If we're not running as root, we won't have permissions to do the overlay
mount. Hopefully bubblewrap will eventually get overlayfs support which would
make this possible.

Rename finalize_ephemeral_source_mounts and add ephemeral arguments

Let's make it configurable whether we make sources ephemeral or not.

Write a default /etc/passwd to the package manager tree

Tools like git and ssh need to be able to resolve a user so let's
make sure we write a passwd file containing information on the
invoking user and root.

We also move creation of the /var/log directory into
install_package_manager_trees().

Sandbox permission fixes

Add vmspawn verb

Various scripts fixes

- Lazy evaluate  mkosi-as-caller so it uses the right uid as the
  uid/gid of INVOKING_USER change after become_root()
- Mount the host scripts to /scripts so we don't run into permission
  errors when trying to use the scripts with mkosi-as-caller
- Don't add the package manager scripts by default
- Don't remove /scripts from PATH in a script if the name of the
  script does not have the same name as a tool in PATH so that one
  script can call another

Merge pull request #2417 from DaanDeMeyer/fix-kernel-install

Fix kernel install

Install mkosi-initrd as well when building from source

mkosi-initrd is now a subpackage so let's make sure we install it
when building the rpm from source.

kernel-install: Make entry_dir and kernel_image optional arguments

entry_dir isn't provided to the 'remove' command so let's make it
optional so we don't fail on 'remove'.

Fixes #2416.

ubuntu: Use ubuntu itself as the default tools tree distribution

Now that we default to noble which has all the necessary tools, let's
use ubuntu itself as the default tools tree distribution for ubuntu.

Skip configuration in current directory when parsing builtin configs

Fixes #2407

Make sure some basic scripting tools are installed in the tools tree

Merge pull request #2409 from keszybz/two-fixlets

Two fixlets

Fix gzip command invocation

Fix variable reference

Add missing sandbox for invocation of repo-add

Install libarchive-tools in Debian/Ubuntu tools tree

makepkg needs bsdtar but is missing a dependency on libarchive-tools
on Debian/Ubuntu so install it manually as a workaround.

Merge pull request #2402 from DaanDeMeyer/copy-uki

Decouple UKI copying from UKI building

centos: Fix condition for using /usr/lib/sysimage/rpm with hyperscale

Give CentOS SIG repositories a higher priority

CentOS SIGs often ship rebuilds of existing packages which can get
out of date when CentOS 9 Stream ships a newer version. Let's make
sure that the SIG rebuild is still installed by giving all SIG
repositories a priority of 50.

Move interactive shell logic for mkosi-chroot into chroot_cmd()

Currently the logic applies to all scripts which does the wrong thing
except for mkosi-chroot.

mkosi-initrd: Sort package list

ubuntu: Switch default release to noble

lunar is EOL. Mantic is broken because systemd-gpt-auto-generator
is missing. We can either change the default back to Jammy or move
forward to Noble. Let's go for the second option as Noble will
release in about two months.

README: fix path

Decouple UKI copying from UKI building

Let's make sure that even if we don't build any UKIs, we still copy
out any existing ones.

Merge pull request #2401 from DaanDeMeyer/bash

Various fixes

ci: Drop excludes for debian from CI

rpm in Debian was updated to 4.18.2 which has the needed fix.

Make sure to include the /usr/lib/firmware directory

When creating a cpio, all parent directories have to be included
separately as well. We already did this properly for the parent
directories of the kernel modules directory but not yet for
/usr/lib/firmware which this commit fixes.

Fixes #2399

Check if source cache directory exists before mounting it

Fixes #2397

Start bash in the debug shell

Otherwise on Debian dash is started which is useless as an interactive
debug shell.

Have systemd-repart generate fstab and crypttab if requested

If systemd-repart is new enough, let's specify --generate-fstab= and
--generate-crypttab= so that these files are automatically generated
and included in the disk image if the corresponding new settings are
used in any partition definition files.

We also make sure systemd-repart always uses the same seed by
generating the random seed ourselves instead of leaving it up to
systemd-repart.

See https://github.com/systemd/systemd/pull/30636.

Merge pull request #2398 from keszybz/fedora-rawhide-key-kerfuffle

Fedora rawhide key kerfuffle workaround

rpm: use Path.as_uri() in one more place

fedora: for rawhide, also load key for FN+1 just in case

See the commit for explanation. This fixes a problem where during
each Fedora upgrades, the local key for rawhide points to e.g. F40,
but Fedora has already branched and rawhide is actually F41.

We may specify an additional key, that will be used a future version,
but that doesn't really matter, we assume all keys as equally good.