Manifest improvements

- Pass in Context instead of Config
- Fix the sandbox for all the executed commands
- Move complete_step() into record_packages()
- Fix writing of changelog

Fixes #2392

Introduce is_x86_variant() and is_arm_variant()

Let's make sure we always check for both the 64-bit and the 32-bit
variant where it makes sense to do so. Also make sure the Debian
default image can be built for x86.

Fix apt scripts

Install jq in default image

Fix formatting

Configure rpm dbpath using rpm macro

Let's get rid of all our cruft for fixing up the rpmdb location
after running rpm by simply making sure it gets written to the right
location in the first place.

Add stdout parameter to package manager invoke() functions

Let's allow getting the output when we invoke the package managers.

apt: Set Dir::Etc and Dir::Log to absolute paths as well

This allows "Dir" to be overridden which is needed in a later commit.

Pass in a single arguments parameter to invoke() methods

Instead of passing in packages and options separately, let's just
have a single arguments parameter.

Make apivfs argument of invoke() false by default

Let's not implicitly mount an apivfs every time we mount a package
manager but make this opt-in instead.

Make package manager invoke() methods return the result

We also move the rpm database fixup call to the install() method
of the distribution so we don't try to do it every time we invoke
the package manager as it only needs to be done once.

Add mkosi-reinstall

Only install amd-ucode-firmware on x86-64

Fixes #2391

Use a private file for the newuidmap/newgidmap locking dance

Using a publicly accessible file such as /etc/subuid means that other
applications can interrupt mkosi's operation by taking the lock
themselves, so let's lock a private temporary file instead which only
mkosi's user can lock.

Add used package manager to cache manifest

If the package manager changes, the cache is invalid as the
repository metadata directories change as well, so let's invalidate
the cache when that happens.

docs: Make "Building rpms from source" non-dnf specific

Let's make the doc non-dnf specific by not relying on dnf builddep
and using mkosi-install to install packages. This allows using the
same logic for opensuse images.

We also simplify things by only installing --buildrequires since
trying to cache --requires from the rpm spec isn't very useful as
most of the --requires dependencies are automatically generated and
won't be listed by rpmspec --requires in the first place.

Merge pull request #2385 from DaanDeMeyer/focal

Various apt based distribution fixes

Add Ubuntu Focal support to default image

We install fewer packages that are not available on Focal and make
sure to configure repart to disable an ext4 default feature that
isn't supported by the Jammy and Focal kernels.

Compression improvements for apt distributions

Focal's kernel does not support zstd compression so let's make sure
we use xz there, just like we do for CentOS 8 Stream.

In Debian testing and sid, kernel modules are compressed now so let's
stop compressing the kernel modules initrd on those releases.

Fail early with a clear error if keyring does not exist

We also introduce listify() and apply it to all repositories()
functions to make them return lists instead of generators to avoid
tripping up on the fact that generators can only be iterated once.

Merge pull request #2381 from DaanDeMeyer/fixes

Fixes

Expand specifiers in match values as well

Fixes #2379

Add QEMU kernel to summary

Merge pull request #2377 from DaanDeMeyer/sandbox

tree-wide: Introduce SandboxProtocol

Add mkosi-install, mkosi-upgrade and mkosi-remove scripts

These are primarily useful to provide a common way to install
packages from scripts for opensuse which might be built with either
zypper or dnf.

Mount makepkg.conf from tools tree as fallback

If no makepkg.conf is provided by the user, mount it from the tools
tree as makepkg will fail with an error if no makepkg.conf is
available.

Add more debug logging around copying repository metadata

Make sure destination directory exists when extracting tar

Fixes #2374

Add missing sandbox

tree-wide: Introduce SandboxProtocol

Instead of passing a full sandbox command into the functions from
tree.py, archive.py, kmod.py and partition.py, let's instead pass
in a function that creates a sandbox, so we can pass in the required
options from the functions themselves. This reduces duplication a lot
as we don't have to specify all the sandbox options at each callsite.

Fix base tree tar archive unpacking

Revert "Do not use underscore in image names"

This reverts commit 2fd8cda4316ebd80f25d2d54c9fd818c96b91060.

This breaks assumptions about DDI naming so let's revert this change.

Specifiers can be used instead to override the output naming.

Add acl to tools tree

This is required when using the --acl option

Do not use underscore in image names

When suffixing image_version (mkosi.version) do not use an underscore
since that breaks systemd-machined/machinectl because undescore are
invalid in machine names.

This is related to commit 7eb4ea8

Closes: #2367

Improve logging message for workspace directory

docs: Add some extra useful defines to rpm build doc

These speed up the build so let's make readers aware that they exist.

opensuse: Add python3-pefile to tools tree and default image

This dependency was dropped in opensuse's systemd packaging so add
it ourselves.

See https://build.opensuse.org/request/show/1144939.

Resolve dependencies before calling load_config()

Let's not call load_config() for images that we're going to discard
immediately after.

Fixes #2348

Only bind mount /var/lib/pacman/local from image if it exists

When running the finalize scripts, this directory might have been
cleaned up already as part of removing package manager metadata so
let's make sure we don't mount it in that case.

mkosi-initrd: split Debian/Ubuntu config for libtss dependencies by release

The package changes from libtss2-mu0 to libtss2-mu-4.0.1-0 in Debian
trixie.

Also remove unnecessary escaping in the regex.

Fixes: #2346

Merge pull request #2352 from DaanDeMeyer/qemu-user

Add qemu user static packages to default image

Add qemu user static packages to default image

Useful for debugging cross architecture builds. This is not packaged
in centos so we don't install it there.

Use 8G by default for default image initrd boots in qemu

Default image size has grown enough to need 8G when booting as cpio,
UKI or ESP output.

Add [TriggerMatch] section support

These allow specifying that one of multiple sets of conditions should
be satisfied for the configuration file to be included.

Merge pull request #2344 from DaanDeMeyer/firstboot

Fixes

Add links to FOSDEM 2024 presentations

Free up disk space before running integration tests

We shouldn't need anything from /usr/local and /opt/hostedtoolcache
so let's just nuke these directories before doing anything else.

Add --debug-shell option to pytest

Don't use the full output path when calculating the output hash

This avoids having to specify the exact same output format when running
mkosi ssh to get the same vsocK CID.

Update libtss2-mu to use apt search pattern

This package changed name so let's update to use a search pattern
to always pull in the right package.

Bump tooling not available messages to warnings

Skip first boot settings if systemd-firstboot is not installed

Merge pull request #2341 from DaanDeMeyer/uefi

Move shim for Fedora to uefi only packages

Add fallback for older bootctl

Move shim for Fedora to uefi only packages

Merge pull request #2339 from DaanDeMeyer/fix

Store repository metadata snapshot in /var

Decouple base trees from repository metadata snapshot

The syncing can be disabled with CacheOnly=metadata and we already
don't use repository metadata that's already populated so let's not
imply anything specific when using base trees so that base trees
without repository metadata can still be used to build extension
images.

Store repository metadata snapshot in /var

This makes us more compatible with third-party base trees as the
repository metadata is stored in the canonical locations by using
/var.

This also means that the repository metadata becomes subject to the
regular CleanPackageMetadata= cleanup rules.

Merge pull request #2338 from DaanDeMeyer/fix

Fixes

Use context.package_cache_dir in one more place

Add example usage of QemuDrives= to the man page

Rename copy_package_manager_state() to copy_repository_metadata()

This matches better with sync_repository_metadata().

Fix execution workflow section

Fix typo

Don't copy repository metadata when reusing a cached image

When reusing a cache we reuse the snapshot from the cache and there's
no need to copy repository metadata.

While we're at it, also remove the outdated comment.

Only copy repository metadata snapshot if /mkosi is empty

Otherwise we might be building using a base tree and there's no
need to copy anything.

Fix custom distribution builds

Merge pull request #2336 from DaanDeMeyer/cache

Rework package manager caching

Implement CacheOnly=metadata

We make CacheOnly= take an enum but keep backwards compat with the
boolean argument as well.

CacheOnly=metadata means we'll download packages but we won't sync
repository metadata. We also enable this in the kernel-install so that
our built initrds use exactly the same package versions as the host
system.

While we're at it we rename the internal variable to cacheonly instead
of cache_only (to match dnf's --cacheonly option). We keep the user
facing stuff the same to not break backwards compat.

We also make all of our enum functions take StrEnum as argument instead
of the generic enum.Enum.

kernel-install: Prefer dnf over dnf5

Rework package manager caching

Currently, CacheDirectory= is used for all caching, both incremental
images and package manager cache. While this works great for incremental
images, there's a few issues with using CacheDirectory= for all package
manager caching:

- By default we don't do any caching, this has to be explicitly
  configured by setting CacheDirectory=mkosi.cache or telling users
  to manually create mkosi.cache. This means new users might be frustrated
  by their image builds downloading everything again on subsequent builds.

- By doing package manager caches per individual mkosi project, we
  unnecessarily download multiple copies of the same repo metadata and
  packages.

- When using incremental images, if the post-install or finalize scripts
  install extra packages, these packages can trigger repository metadata
  updates, which will result in the image being built from two repository
  metadata snapshots, one from when the incremental image was built, the
  other from the new packages installed using the refreshed repository
  metadata. Even if the scripts don't trigger repository metadata updates
  themselves, because the cache is shared, the repository metadata could
  already have been updated during another image build.

- When using base trees, any images using the base tree might trigger a
  repository metadata update as well, resulting in the same issue, where
  the image is built from multiple different snapshots of the repository
  metadata.

To fix the first two issues, we introduce a new setting PackageCacheDirectory=
and make its default either a system or per user cache directory depending
on how mkosi is invoked. This makes sure we cache by default and use a shared
package manager cache directory so that we do not unnecessarily download duplicate
copies of repository metadata and packages

To fix the two remaining issues, we need to make sure we only sync repository
metadata once for each image. We opt to do this at the start of each image build
and configure the package manager commands to not do any metadata syncing by
default. To make sure the repository metadata snapshot stays available for
extension images and for incremental images, we copy the repository metadata from
the shared cache into the image itself at /mkosi/cache/<subdir>. This makes sure
that even if the repository metadata in the shared cache is refreshed by another
image build it won't remove the old snapshot for incremental builds or images
intended to be used as base trees.

To make sure the actual packages downloaded during the image build are still
written into the shared package cache, in finalize_package_manager_mounts(), we
bind mounts the relevant directories from the shared package cache instead of
from /mkosi/cache/<subdir> in the image to make sure that other image builds can
take advantage of the downloaded packages.

The /mkosi/ directory is removed from the image at the end of each image build
before packaging up the result unless we're building a directory or tar image
and CleanPackageMetadata= is explicitly disabled.

The initial sync we do at the start of each image build operates on the shared
package cache directory so that repository metadata is only refreshed once and
can be reused by other image builds.

Because package managers now prevent automatic syncing by default, we have to
rework the local package repositories slightly to make sure the local package
repository is still synced whenever it is updated. We get rid of the localrepo()
functions and opt to again write the repo definitions for the local package
repository inline to keep things simple and localized.

To avoid pacman from writing packages from the local package repository to the
shared package cache directory, we configure the local repository itself as an
additional read-only cache directory, which makes sure that pacman will read cached
packages from this directory but won't write any new packages to this directory.

For zypper we disable "keeppackages" for the local package repository to prevent
those packages from getting cached.

For dnf, we don't mount in any directory from the shared package cache for the
mkosi-packages repository to make sure it stays local to the image.

Apt doesn't support any mechanism that allows us to prevent packages from the
local repository from getting cached so we allow these to be written to the
shared package cache.

We also take the opportunity to rename the mkosi-packages repo to the mkosi repo,
and rename the accompanying config files as well;

Because pacman does not employ any sort of cache key for its repository metadata,
when using the default shared package cache directory, we use a subdirectory based
on the distribution, release and architecture that we're building for to prevent
any possible conflicts in the cache directory when different pacman based distributions
use the same repo identifiers.

To avoid issues when two instances of mkosi operate on the same package cache directory,
we take an advisory BSD lock on the cache subdirectory that we're going to sync or copy.

When building the default initrd, we make sure it uses the same repository snapshot
as the associated image.

Introduce PackageManager interface

Let's start introducing a common interface for package manager
implementations. This will allow us to slowly get rid of the
functions where we do logic for each package manager because we
don't know the one that's being used. For example we add scripts
for each package manager right now which we can get rid of with a
package manager interface.

This also allows for more intuitive naming of package manager functions,
instead of invoke_dnf() we can now write Dnf.invoke().

Fix mkosi clean

Have all tree functions return the destination path

Rename build_initrd() to build_default_initrd()

Introduce want_initrd()

Debug log in flock()

Write early apt config instead of /etc in package manager tree

This saves us from having to mount it separately as it will be mounted
as part of mounting the package manager tree.

Remove command argument from invoke_apt()

This is always "apt-get" so let's remove the argument.

Also rename "command" and "verb" arguments for other other invoke()
functions to "operation" to be consistent in our naming.

Simplify arch repositories() function a bit

Add newline between zypper repo definitions

Ensure opensuse repo id is unique

The repo ID is used as a cache key so let's make sure it is unique
based on the used url, similar to how dnf does it.

Stop using file provides in mkosi-initrd

These require extra metadata to be downloaded by dnf so let's instead
refer to the packages by name.

Make options= argument for invoke_zypper() keyword-only

Disable filelists on Fedora

This was accidentally removed in a previous commit.

Simplify clean_package_manager_metadata()

Use find_rpm_gpgkey() for OpenSUSE Tumbleweed rpm keys

There's no direct url to configure for these so we modify
find_rpm_gpgkey() so that we don't pass in a url anymore.

Introduce INVOKING_USER.mkdir()

This function creates a directory as the appropriate user depending
on where the directory is being created.

Remove outdated comment

We don't mount tools anymore at the start of the build. Mounting
them is done as part of setting the sandbox.

Install local packages later

Let's set these up after we've configured the package manager so
that any necessary directories exist.

Check if we can write to the cache directory before using it as the workspace

Simplify cache directory calculation

Move Context creation out of build_image()

This allows us to reduce the indentation level of build_image().

Add missing log message about local repository

Introduce have_cache()

Let's split of the logic to check whether we have a cached image
from reuse_cache().

Add missing license header

Clean package manager metadata on initrd-style output formats

Let's keep the size of these manageable by always removing package
manager metadata.

Debugging improvements

Make sure /var/log from the sandbox is persisted so we can access logs
more easily. Also enable dnf debug logging if ARG_DEBUG is set.

Revert "Use shared package cache directory by default"

At least pacman isn't ready just yet for cache sharing, so let's
temporarily revert this commit. We'll reintroduce it in a later
PR.

This reverts commit 98a29486b68b0aee05eefb49e129433634d4446b.

Merge pull request #2333 from DaanDeMeyer/fix

Introduce want_local_repo()