Mount /etc/ld.so.cache into the sandbox if it exists

Otherwise libraries in non-standard locations won't be found at runtime.

Don't mount stuff twice from different sources in sandbox

We were mounting /var/tmp and /etc/resolv.conf twice in chroot_cmd(),
let's make sure we avoid doing that by moving the CLI options into
the respective _script_cmd() functions.

Use system python if python binary is interpreter is not in /usr

Same fix as #2982, but for the python_binary() function.

Specify --noprep when building rpms from source

rpm upstream is moving in this direction as well so let's update our
docs to match.

Use python3 in sandbox if host interpreter is not in /usr

We only mount /usr into the sandbox, so if mkosi is invoked from a
venv we'll fail to execute the apivfs script or chroot script in the
sandbox as it will try to use an interpreter that isn't available.

Let's check if the used interpreter is relative to /usr and only use
it to execute the chroot and apivfs scripts in the sandbox if it is.

Merge pull request #2980 from DaanDeMeyer/sync-scripts

Run sync scripts for all images again

Run sync scripts for all images again

Fixes https://github.com/systemd/mkosi/commit/af66d2391b17d21b6892759e4f4f97684ba1945b

Make running sync scripts possible without a context

Move sandbox tree logic into Config.sandbox()

Rename internal pkgmngr dir to sandbox_tree

docs: Sort list of universal settings

man: mention the empty arguments in help

The autogenerated help for --distribution/--format/… looks like {a,b,…,} (with
an emtpy arg at the end), and it is not obvious what this means. Describe the
empty args in the man page.

azure: Deal with repository changes

The preview repositories are now a layer on top of the prod repositories,
so let's adapt mkosi to that.

Don't skip build if output format is "none"

If the output format is none we always want to rebuild.

Rework grub conditions

- Use -o instead of || as it's unclear whether || is supported or not
- Use quotes more
- Use [ ] as alias for test

Fixes #2974

man: fix SourceDateEpoch= section

Merge pull request #2973 from DaanDeMeyer/metadata

Rework repository metadata handling

Make more trees required

- Tools tree is a universal setting and has to be available at the start
- Sandbox trees are a universal setting and have to be available at the start
- Skeleton trees should be available at the start to make sure caching works
  properly

Rename package manager trees to sandbox trees

The package manager trees are mounted in for every command we run
so let's rename them to sandbox trees instead of package manager
trees.

Rework repository metadata handling

- Stop copying repository metadata into the image.

This is too fragile to ever work properly. If the image is ever
used as a base tree, the caller would also need the exact same package
manager configuration for this to be remotely useful, as well as constantly
rebuild the image to keep the repository metadata up to date.

- Stop picking up repository metadata from the image

For the same reason, we can't use repository metadata from any
base trees automatically. It should be explicitly provided by the user
along with the required package manager configuration.

- Share the same repository metadata snapshot between the main and subimage
  builds

Let's ensure that the main image and all subimages are built of the
exact same repository metadata snapshot. Now that we enforce that all
subimages use the same distro, release, architecture, repositories and
everything else that's package manager related, we can use the same
metadata snapshot for every build.

- Rename package_cache_dir in Context to metadata_dir as there's only
metadata in this directory and never any packages.

Do not allow configuring universal collection based settings in subimages

For the next commit, we want to enforce all subimages to use the same
package manager trees, repositories and package directories, so let's
not allow adding any extra of those in subimages anymore.

Simplify run_verb() logic

- Handle Verb.clean separately from builds
- Move most checks to the front before we clean up the previous results.
- Get rid of check_outputs()
- If main image needs a build, clean all subimages as well

Prepend extra search paths to $PATH earlier

We should do this before checking if tools are available to make
sure the tools in extra search paths are taken into account.

Don't fork for run_sync()

Not required so let's be more efficient by not forking

Add missing directory checks in copy_tree()

ci: Disable Arch Linux image with Ubuntu tools tree

archlinux-keyring in Ubuntu Noble is already too old. Until it's
updated, let's disable the CI build.

For the Github Action we add the kernel-utils ppa which does have
an updated archlinux-keyring.

fedora: Get rawhide GPG key from github

fedora.gpg is always out-of-date when rawhide branches, so let's
instead fetch the rawhide key from distribution-gpg-keys on Github
which does seem to get updated before rawhide branches.

Merge pull request #2967 from DaanDeMeyer/fix

Two fixes

Move creation of context.root out of Context()

On btrfs systems, we're unnecessarily creating a subvolume only to
remove it again immediately afterwards if we're building from a cached
image. So let's move the creation of root outside of Context() so
we can only create it as a subvolume after we've potentially checked
caches first.

Don't run run_clean() in a forked child anymore

No need anymore so let's not fork unnecessarily.

Optimize copy_tree() a little

Only run cp_version() if we absolutely need to. If we do a btrfs
snapshot or the destination does not exist or is empty, there's no
need to add --keep-directory-symlink and thus we don't need to run
cp_version() either.

Merge pull request #2833 from DaanDeMeyer/azure

Add support for Azure Linux

Add support for Azure Linux

Azure Linux looks a lot like Fedora Linux so we opt to share configuration
between Azure and Fedora/CentOS and inherit the Azure definition from
Fedora.

Fix fixup_vmlinuz_location()

We have to resolve the path before we check if the symlink is relative
to /boot.

Specify --renumber-inodes when calling cpio

This helps with making initrds reproducible as the sequence of inodes
will always be stable starting from 1.

Merge pull request #2956 from DaanDeMeyer/var

Introduce mkosi-sandbox and stop using subuids for image builds

Introduce mkosi-sandbox and stop using subuids for image builds

Over the last years, we've accumulated a rather nasty set of workarounds
for various issues in bubblewrap:

- We contributed setpgid to util-linux and use it if available because
  bubblewrap does not support making its child process the foreground
  process.
- We added the innerpid logic to run() because bubblewrap does not forward
  signals to the separate child process it runs in the sandbox which meant
  they were getting SIGKILLed when we killed bubblewrap, preventing proper
  cleanup from happening.
- bubblewrap does not provide a proper way to detect whether the command
  was found in the sandbox or not, which meant we had to execute command -v
  within the sandbox separately to check whether the command exists or not.
- We had to add extra logic to make sure / was a mount in the initramfs to
  allow running mkosi in the initramfs as bubblewrap does not fall back to
  MS_MOVE if pivot_root() doesn't work.
- We had to stitch together shell invocations after bubblewrap but before
  executing the actual command we want to run to make sure directories had
  the correct mode as bubblewrap creates everything with mode 0700 which was
  too restrictive in many cases for us. This was fixed with new --perms and
  --chmod options in bubblewrap 0.5 but we had to keep compat with 0.4
  because that's what's shipped in CentOS Stream 9.
- We had to figure out a shell hack to do overlayfs mounts as these are not
  supported by bubblewrap (even though a PR for the feature has been open for
  years).
- We had to introduce a Mount struct to pass around mounts so we could deduplicate
  and sort them before passing them to bubblewrap as bubblewrap did not do this
  itself.
- Debugging all the above was made all the harder by the fact that bubblewrap's
  source code is full of tech debt from its history of being a setuid tool
  instead of using user namespaces. Getting any fixes into upstream is almost
  impossible as the tool is practically unmaintained.

Aside from bubblewrap, our other source of troubles has been newuidmap/newgidmap.
Running as a user within the subuid range configured in /etc/sub{u,g}id has
meant we're constantly fixing ownership and permissions issues where stuff needs
to be chowned and chmodded everywhere to make sure the current user and the
subuid user can access the proper files. Another unfortunate side effect is that
users end up with many files owned by the subuid root user in their home
directories when building images with mkosi;

Let's fix all these issues at once by getting rid of bubblewrap and
newuidmap/newgidmap.

bubblewrap is replaced with a new tool mkosi-sandbox. It looks and behaves a
lot like bubblewrap, except it's much less code and much more flexible to fit
our needs, allowing us to get rid of all the hacks we've built up over the years to
work around issues that didn't get fixed in bubblewrap.

To get rid of newuidmap/newgidmap, a rework of our user namespacing was needed.
The need to use newuidmap/newgidmap came from the assumption that we need a full
65k subuid range to do unprivileged image builds, as distributions ship packages
containing files and directories that are not owned by the root user. After some
investigation, it turns out that there's very few files and directories not owned
by root in distribution packages if you ignore /var. If we could temporarily
ignore the ownership on these files and directories until we can get distributions
to only ship root owned files in /usr and /etc of their packages, we could simply
map the current user to root in a user namespace and get rid of the subuid range
completely.

Turns out that's possible with a seccomp filter. seccomp allows you to make all
chown() syscalls succeed without actually doing anything. The files and directories
end up owned by the root user instead. If we assume this is OK and are OK with
instructing users to use tmpfiles to fix up the permissions on first boot if needed,
a seccomp filter like this is sufficient to allow us to get rid of doing image
builds within a subuid user namespace.

It turns out we can go one step further. It turns out that for the majority of
the image build, one doesn't actually need to be the root user. Only package
managers and systemd-repart need the current user to be mapped to root to do their
job correctly. The reason we did the entire build mapped to root until now was
that we need to do a few mounts as part of the image build process and for now
I was under the assumption that you needed to be root for that. It turns out that
when you unshare a user namespace, you get a full set of capabilities regardless
of whether you're root or some other uid in the user namespace. The only difference
is that when you exec a subprocess as root, the capabilities aren't lost, whereas
they are when you exec a subprocess as a non-root user. This can be avoided by
adding the capabilities of the non-root user to the inheritable and ambient set.
Once that's done, any subprocess exec'd by a non-root user in the user namespace
can mount as many bind and overlay mounts as they can think of.

The above allows us to run most of the image build under the current user uid
instead of root, only switching to root when running package managers, invoking
systemd-repart or systemd-tmpfiles, or when chroot-ing into the image. This allows
us to get rid of various hacks we had to look up the proper user name or home
directory.

Specifically, we can get rid of the following:

- mkosi-as-caller can become a noop since we now by default run the build as the
  caller.
- Lots of chmod()'s and chown()'s can be removed
- All uses of INVOKING_USER.uid/gid can be removed, and most can be replaced with
  simple os.getuid()/os.getgid()
- We can use /etc/passwd and /etc/group from the host instead of building our own
- We can get rid of the Acl= option as the user will now be able to remove (almost)
  all files written by mkosi.
- We don't have to rchown the package manager cache directory anymore after each
  build. Root user builds will now use the system cache instead of the per user
  cache.
- We can get rid of the Mount struct as mkosi-sandbox dedups and sorts operations
  itself.

One thing to note is that if we're invoked as root, none of the seccomp or capabilities
stuff applies and it is all skipped as it's not required in that case. This means that
when building as root it's still possible to have more than one user in the generated
image unlike when building unprivileged. Also note that users can still be added to
/etc/passwd and such, they just can't own any files or directories in the image itself
until the image is booted.

Set DEFAULT_HOSTNAME in os-release when specified (fixes #2673)

apt: Remove mounts argument from invoke()

Merge pull request #2954 from NekkoDroid/executable-mkosi-version

Add executable `mkosi.version` support for generating the version dynamically

Clean up version bump logic

Add executable `mkosi.version` support

`mkosi.version` is executed during configuration parsing, as opposed
to reading the contents of `mkosi.version`. This allows querying the
version before the build without needing to manually adjust the version
beforehand.

This allows using date based versioning by writing a script outputting
`date '+%Y-%m-%d'` or using git tag based versioning by outputting
`git describe --tags`.

Do not generate random seed when running bootctl install

Don't include excluded subimages in default dependencies

Merge pull request #2959 from DaanDeMeyer/split

Various improvements

ci: Add missing shebangs

No clue how this worked before.

ci: Improve formatting a bit

mkosi-initrd: Remove /var/cache/ldconfig/aux-cache

The file is not reproducible so let's remove it so that reproducible
initrds can be built by default.

Fixes #2957

Set SYSTEMD_IN_CHROOT for package managers

systemd's built-in chroot detection doesn't work when unprivileged
so tell it explicitly that we're in a chroot.

Optimize remove_files()

Optimize clean_package_manager_metadata()

kali: A distribution based on Debian: https://www.kali.org/

Kali includes many packages suitable for offensive security tasks.
It follows a rolling release model and serves fewer architectures
than Debian.

Building a kali image requires installing kali-archive-keyring:
- Source: https://gitlab.com/kalilinux/packages/kali-archive-keyring
- Packages: https://pkg.kali.org/pkg/kali-archive-keyring

Check for required tools earlier

Let's check for required tools before we run sync or configure scripts
so that all required tools are checked before we actually use them.

Always specify _sourcedir as an absolute path

Relative _sourcedir was never supported by rpm:
https://github.com/rpm-software-management/rpm/issues/3208#issuecomment-2283520243

Fix loaded host modules filter

Module filenames might use dashes instead of underscores.
Also, anchoring the filename to a directory avoids including unrelated
modules (e.g. exfat vs fat).

Add --wipe-build-dir to allow clearing the build directory independently

Currently, to clear the build directory, -ff has to be used which
also clears the image cache. Let's add --wipe-build-dir (-w) to allow
clearing only the build directory without clearing the image cache.

Merge pull request #2946 from bluca/os_release

os-release fixes for Debian and derivatives

distributions: drop Debian workaround for lack of VERSION_CODENAME

It has been present since Debian 9, so we can rely on it now.
It is wrong on sid, but that's a separate issue that this old
workaround doesn't solve anyway.

distributions: try reading /etc/os-release first

It might be a local modification by an image builder, read it first
as per specification instructions

Merge pull request #2947 from DaanDeMeyer/debian

debian: Fix up os-release for unstable/sid builds

debian: Fix up os-release for unstable/sid builds

The version codename for unstable/sid builds is indistinguishable from
testing. Let's make sure we fix that up ourselves so that unstable image
builds can be properly distinguished from testing builds.

Check /etc/os-release as well in configure_os_release()

It might not be a symlink. If that's the case, fix it up as well.

Merge pull request #2944 from DaanDeMeyer/fix

Don't pass down empty lists to subimages unless explicitly configured

Don't pass down empty lists to subimages unless explicitly configured

This makes sure that subimages use default values for list based
settings unless they were explicitly configured in configuration or
on the command line or have a non-empty default value in the main
image.

Fixes #2874

Don't use for loop to create subimages in test

This gives us more flexibility in configuring the individual subimages.

Store finalized values only on config object

This allows us to use context.config to determine whether a value
was specified in a configuration file or not.

Store default values in separate namespace

This allows us to check whether a value was explicitly configured
in configuration files or on the CLI.

Properly escape paths in virtiofsd scope names

Clarify that inherited settings take priority over CLI/main settings

If "inherited" settings are configured explicitly in subimages, those
values should take priority over values configured in the main config
and CLI.

Make `{SYSEXT,CONFEXT}_SCOPE` configurable

By setting `SYSEXT_SCOPE` and `CONFEXT_SCOPE` environment variables the
values to write to the extension-release file can be configured.

Merge pull request #2941 from DaanDeMeyer/scope

Make ImageId= and ImageVersion= overridable by subimages

Allow SectorSize= to be overridden by subimages

Fixes #2939

Make ImageId= and ImageVersion= overridable by subimages

Fixes #2938

Introduce SettingScope

Let's also have a concept of inheritable settings which are inherited
by subimages but can be overridden.

Add "Building vagrant images with mkosi" to the readme

Merge pull request #2935 from DaanDeMeyer/repository-key-fetch

Enable RepositoryKeyFetch= by default on Ubuntu without a tools tree

Enable RepositoryKeyFetch= by default on Ubuntu without a tools tree

Ubuntu does not have distribution-gpg-keys yet, so let's enable
RepositoryKeyFetch= for it by default when a tools tree is not used.

Use debian as the default tools tree again on Ubuntu

Debian has distribution-gpg-keys which Ubuntu doesn't. As we'll likely
keep running into similar scenarios in the future, let's just stick with
Debian as Ubuntu's default tools tree.

Exit early if output format is none and there are no build scripts

In systemd, the build script is part of a subimage so the build is
done as part of the subimage and there's nothing to do for the main
image. To speed things up a bit, exit early if there are no build
scripts and the output format is none.

Merge pull request #2931 from DaanDeMeyer/debian

 Introduce RepositoryKeyFetch=

Introduce RepositoryKeyFetch=

This setting controls whether we'll fetch GPG keys remotely or not.
We disable it by default so that we only rely on locally available GPG
keys for checking package and repository metadata signatures.

This new setting only affects dnf/zypper based distributions as apt
and pacman do not support retrieving GPG keys remotely in the first
place.

zypper does not trust GPG keys listed in gpgkey= by default so we import
local GPG keys manually with rpm to work around that.

Fixes #757

tests: Reduce duplication

Let's reduce the amount of duplication in the tests.

tests: Pass host environment when invoking mkosi

Only use unshare to become root if we're actually going to use a scope

If the relevant environment variables are not set, scope_cmd() will
return an empty list and we won't use a scope after all. In that case
we don't need to use unshare either to become root and can rely on our
own become_root() function so check whether we're actually going to use
a scope or not.

tests: Simplify initrd tests

Let's get rid of the fixtures and just rely on the default initrd
built as part of the image itself. This also means any settings
picked up from mkosi.local.conf are applied to the initrd build.

Bump redhat-plumbers-in-action/differential-shellcheck

Bumps [redhat-plumbers-in-action/differential-shellcheck](https://github.com/redhat-plumbers-in-action/differential-shellcheck) from 5.3.0 to 5.4.0.
- [Release notes](https://github.com/redhat-plumbers-in-action/differential-shellcheck/releases)
- [Changelog](https://github.com/redhat-plumbers-in-action/differential-shellcheck/blob/main/docs/CHANGELOG.md)
- [Commits](https://github.com/redhat-plumbers-in-action/differential-shellcheck/compare/60c9f2b924a9c5a2ddbb25e7b23e8e11b56faab9...cc6721c45a8800cc666de45493545a07a638d121)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/differential-shellcheck
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

Bump github/codeql-action from 3.25.11 to 3.25.15

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 3.25.11 to 3.25.15.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/b611370bb5703a7efb587f9d136a52ea24c5c38c...afb54ba388a7dca6ecae48f608c4ff05ff4cc77a)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

tests: Drop workaround for older Ubuntu

ci: add nop versions of all scripts to our integration tests

opensuse: Rename gpgurls to gpgkeys

Fix RepositoryKeyCheck docs

Install distribution-gpg-keys in Debian/Ubuntu tools tree if available

It recently got into debian testing so let's add it to the tools tree.

Use apt search patterns a little more

Let's use apt search patterns more to match packages that are only
available on specific ubuntu/debian releases.

Merge pull request #2929 from DaanDeMeyer/fixes

Two fixes

Don't try to chmod /tmp if it's being bind mounted in

Handle SIGHUP as well

Let's do a graceful shutdown on SIGHUP as well.

Stop always setting autologin credentials

Let's require users to set these automatically if they want to
have autologin without enabling the Autologin= setting. This gives
more flexibility after https://github.com/systemd/systemd/pull/33873
is merged in systemd as users can choose to enable the settings
globally or per tty depending on what they need.

Merge pull request #2924 from DaanDeMeyer/kernel-install

Set up proper environment variables for kernel-install

Bump version to 25~devel

Release 24.3