Add support for sync scripts

Sync scripts allow updating various sources automatically before
doing a build.

Only do st_uid check in have_cache() if we're root

If we're not root then the check doesn't make any sense so skip it.

Move repository metadata syncing out of run_build

Let's do this in a separate run_sync that doesn't run in the user
namespace in preparation for adding sync scripts.

Make sure we're root in the sandbox when invoking pacman

Only mount ephemeral build sources for package managers when running as root

If we're not running as root, we won't have permissions to do the overlay
mount. Hopefully bubblewrap will eventually get overlayfs support which would
make this possible.

Rename finalize_ephemeral_source_mounts and add ephemeral arguments

Let's make it configurable whether we make sources ephemeral or not.

Write a default /etc/passwd to the package manager tree

Tools like git and ssh need to be able to resolve a user so let's
make sure we write a passwd file containing information on the
invoking user and root.

We also move creation of the /var/log directory into
install_package_manager_trees().

Sandbox permission fixes

Various scripts fixes

- Lazy evaluate  mkosi-as-caller so it uses the right uid as the
  uid/gid of INVOKING_USER change after become_root()
- Mount the host scripts to /scripts so we don't run into permission
  errors when trying to use the scripts with mkosi-as-caller
- Don't add the package manager scripts by default
- Don't remove /scripts from PATH in a script if the name of the
  script does not have the same name as a tool in PATH so that one
  script can call another

ubuntu: Use ubuntu itself as the default tools tree distribution

Now that we default to noble which has all the necessary tools, let's
use ubuntu itself as the default tools tree distribution for ubuntu.

Skip configuration in current directory when parsing builtin configs

Fixes #2407

Make sure some basic scripting tools are installed in the tools tree

Merge pull request #2409 from keszybz/two-fixlets

Two fixlets

Fix gzip command invocation

Fix variable reference

Add missing sandbox for invocation of repo-add

Install libarchive-tools in Debian/Ubuntu tools tree

makepkg needs bsdtar but is missing a dependency on libarchive-tools
on Debian/Ubuntu so install it manually as a workaround.

Merge pull request #2402 from DaanDeMeyer/copy-uki

Decouple UKI copying from UKI building

centos: Fix condition for using /usr/lib/sysimage/rpm with hyperscale

Give CentOS SIG repositories a higher priority

CentOS SIGs often ship rebuilds of existing packages which can get
out of date when CentOS 9 Stream ships a newer version. Let's make
sure that the SIG rebuild is still installed by giving all SIG
repositories a priority of 50.

Move interactive shell logic for mkosi-chroot into chroot_cmd()

Currently the logic applies to all scripts which does the wrong thing
except for mkosi-chroot.

mkosi-initrd: Sort package list

ubuntu: Switch default release to noble

lunar is EOL. Mantic is broken because systemd-gpt-auto-generator
is missing. We can either change the default back to Jammy or move
forward to Noble. Let's go for the second option as Noble will
release in about two months.

README: fix path

Decouple UKI copying from UKI building

Let's make sure that even if we don't build any UKIs, we still copy
out any existing ones.

Merge pull request #2401 from DaanDeMeyer/bash

Various fixes

ci: Drop excludes for debian from CI

rpm in Debian was updated to 4.18.2 which has the needed fix.

Make sure to include the /usr/lib/firmware directory

When creating a cpio, all parent directories have to be included
separately as well. We already did this properly for the parent
directories of the kernel modules directory but not yet for
/usr/lib/firmware which this commit fixes.

Fixes #2399

Check if source cache directory exists before mounting it

Fixes #2397

Start bash in the debug shell

Otherwise on Debian dash is started which is useless as an interactive
debug shell.

Have systemd-repart generate fstab and crypttab if requested

If systemd-repart is new enough, let's specify --generate-fstab= and
--generate-crypttab= so that these files are automatically generated
and included in the disk image if the corresponding new settings are
used in any partition definition files.

We also make sure systemd-repart always uses the same seed by
generating the random seed ourselves instead of leaving it up to
systemd-repart.

See https://github.com/systemd/systemd/pull/30636.

Merge pull request #2398 from keszybz/fedora-rawhide-key-kerfuffle

Fedora rawhide key kerfuffle workaround

rpm: use Path.as_uri() in one more place

fedora: for rawhide, also load key for FN+1 just in case

See the commit for explanation. This fixes a problem where during
each Fedora upgrades, the local key for rawhide points to e.g. F40,
but Fedora has already branched and rawhide is actually F41.

We may specify an additional key, that will be used a future version,
but that doesn't really matter, we assume all keys as equally good.

fedora: also look for secondary GPG keys

Older Fedora versions distributed and used those. No recent
versions do that, but I think they are still generated "just in case".
So let's check for them, in case Fedora decides to use them
again, and so that checking for the very old versions works too.

Add missing x86 file

This file was accidentally not included in a previous commit.

Merge pull request #2394 from DaanDeMeyer/manifest

Manifest improvements

Manifest improvements

- Pass in Context instead of Config
- Fix the sandbox for all the executed commands
- Move complete_step() into record_packages()
- Fix writing of changelog

Fixes #2392

Introduce is_x86_variant() and is_arm_variant()

Let's make sure we always check for both the 64-bit and the 32-bit
variant where it makes sense to do so. Also make sure the Debian
default image can be built for x86.

Fix apt scripts

Install jq in default image

Fix formatting

Configure rpm dbpath using rpm macro

Let's get rid of all our cruft for fixing up the rpmdb location
after running rpm by simply making sure it gets written to the right
location in the first place.

Add stdout parameter to package manager invoke() functions

Let's allow getting the output when we invoke the package managers.

apt: Set Dir::Etc and Dir::Log to absolute paths as well

This allows "Dir" to be overridden which is needed in a later commit.

Pass in a single arguments parameter to invoke() methods

Instead of passing in packages and options separately, let's just
have a single arguments parameter.

Make apivfs argument of invoke() false by default

Let's not implicitly mount an apivfs every time we mount a package
manager but make this opt-in instead.

Make package manager invoke() methods return the result

We also move the rpm database fixup call to the install() method
of the distribution so we don't try to do it every time we invoke
the package manager as it only needs to be done once.

Add mkosi-reinstall

Only install amd-ucode-firmware on x86-64

Fixes #2391

Use a private file for the newuidmap/newgidmap locking dance

Using a publicly accessible file such as /etc/subuid means that other
applications can interrupt mkosi's operation by taking the lock
themselves, so let's lock a private temporary file instead which only
mkosi's user can lock.

Add used package manager to cache manifest

If the package manager changes, the cache is invalid as the
repository metadata directories change as well, so let's invalidate
the cache when that happens.

docs: Make "Building rpms from source" non-dnf specific

Let's make the doc non-dnf specific by not relying on dnf builddep
and using mkosi-install to install packages. This allows using the
same logic for opensuse images.

We also simplify things by only installing --buildrequires since
trying to cache --requires from the rpm spec isn't very useful as
most of the --requires dependencies are automatically generated and
won't be listed by rpmspec --requires in the first place.

Merge pull request #2385 from DaanDeMeyer/focal

Various apt based distribution fixes

Add Ubuntu Focal support to default image

We install fewer packages that are not available on Focal and make
sure to configure repart to disable an ext4 default feature that
isn't supported by the Jammy and Focal kernels.

Compression improvements for apt distributions

Focal's kernel does not support zstd compression so let's make sure
we use xz there, just like we do for CentOS 8 Stream.

In Debian testing and sid, kernel modules are compressed now so let's
stop compressing the kernel modules initrd on those releases.

Fail early with a clear error if keyring does not exist

We also introduce listify() and apply it to all repositories()
functions to make them return lists instead of generators to avoid
tripping up on the fact that generators can only be iterated once.

Merge pull request #2381 from DaanDeMeyer/fixes

Fixes

Expand specifiers in match values as well

Fixes #2379

Add QEMU kernel to summary

Merge pull request #2377 from DaanDeMeyer/sandbox

tree-wide: Introduce SandboxProtocol

Add mkosi-install, mkosi-upgrade and mkosi-remove scripts

These are primarily useful to provide a common way to install
packages from scripts for opensuse which might be built with either
zypper or dnf.

Mount makepkg.conf from tools tree as fallback

If no makepkg.conf is provided by the user, mount it from the tools
tree as makepkg will fail with an error if no makepkg.conf is
available.

Add more debug logging around copying repository metadata

Make sure destination directory exists when extracting tar

Fixes #2374

Add missing sandbox

tree-wide: Introduce SandboxProtocol

Instead of passing a full sandbox command into the functions from
tree.py, archive.py, kmod.py and partition.py, let's instead pass
in a function that creates a sandbox, so we can pass in the required
options from the functions themselves. This reduces duplication a lot
as we don't have to specify all the sandbox options at each callsite.

Fix base tree tar archive unpacking

Revert "Do not use underscore in image names"

This reverts commit 2fd8cda4316ebd80f25d2d54c9fd818c96b91060.

This breaks assumptions about DDI naming so let's revert this change.

Specifiers can be used instead to override the output naming.

Add acl to tools tree

This is required when using the --acl option

Do not use underscore in image names

When suffixing image_version (mkosi.version) do not use an underscore
since that breaks systemd-machined/machinectl because undescore are
invalid in machine names.

This is related to commit 7eb4ea8

Closes: #2367

Improve logging message for workspace directory

docs: Add some extra useful defines to rpm build doc

These speed up the build so let's make readers aware that they exist.

opensuse: Add python3-pefile to tools tree and default image

This dependency was dropped in opensuse's systemd packaging so add
it ourselves.

See https://build.opensuse.org/request/show/1144939.

Resolve dependencies before calling load_config()

Let's not call load_config() for images that we're going to discard
immediately after.

Fixes #2348

Only bind mount /var/lib/pacman/local from image if it exists

When running the finalize scripts, this directory might have been
cleaned up already as part of removing package manager metadata so
let's make sure we don't mount it in that case.

mkosi-initrd: split Debian/Ubuntu config for libtss dependencies by release

The package changes from libtss2-mu0 to libtss2-mu-4.0.1-0 in Debian
trixie.

Also remove unnecessary escaping in the regex.

Fixes: #2346

Merge pull request #2352 from DaanDeMeyer/qemu-user

Add qemu user static packages to default image

Add qemu user static packages to default image

Useful for debugging cross architecture builds. This is not packaged
in centos so we don't install it there.

Use 8G by default for default image initrd boots in qemu

Default image size has grown enough to need 8G when booting as cpio,
UKI or ESP output.

Add [TriggerMatch] section support

These allow specifying that one of multiple sets of conditions should
be satisfied for the configuration file to be included.

Merge pull request #2344 from DaanDeMeyer/firstboot

Fixes

Add links to FOSDEM 2024 presentations

Free up disk space before running integration tests

We shouldn't need anything from /usr/local and /opt/hostedtoolcache
so let's just nuke these directories before doing anything else.

Add --debug-shell option to pytest

Don't use the full output path when calculating the output hash

This avoids having to specify the exact same output format when running
mkosi ssh to get the same vsocK CID.

Update libtss2-mu to use apt search pattern

This package changed name so let's update to use a search pattern
to always pull in the right package.

Bump tooling not available messages to warnings

Skip first boot settings if systemd-firstboot is not installed

Merge pull request #2341 from DaanDeMeyer/uefi

Move shim for Fedora to uefi only packages

Add fallback for older bootctl

Move shim for Fedora to uefi only packages

Merge pull request #2339 from DaanDeMeyer/fix

Store repository metadata snapshot in /var

Decouple base trees from repository metadata snapshot

The syncing can be disabled with CacheOnly=metadata and we already
don't use repository metadata that's already populated so let's not
imply anything specific when using base trees so that base trees
without repository metadata can still be used to build extension
images.

Store repository metadata snapshot in /var

This makes us more compatible with third-party base trees as the
repository metadata is stored in the canonical locations by using
/var.

This also means that the repository metadata becomes subject to the
regular CleanPackageMetadata= cleanup rules.

Merge pull request #2338 from DaanDeMeyer/fix

Fixes

Use context.package_cache_dir in one more place

Add example usage of QemuDrives= to the man page

Rename copy_package_manager_state() to copy_repository_metadata()

This matches better with sync_repository_metadata().

Fix execution workflow section