Make sure we cache state from package managers as well

To do this we start using cache/ and lib/ directories underneath
the cache directory.

We also fix our cleanup logic to only remove the relevant directories
in case the cache directory is configured to be /var or similar.

Mount entire /etc from package manager tree into sandbox

Instead of mounting individual directories, let's just mount the
entire /etc into the sandbox. This allows any tool we run through
the sandbox to pick up configuration from the package manager tree
without having to add explicit support for it in mkosi.

This also removes our special casing for uki.conf. ukify will now
pick up its configuration from its canonical location just like all
the other tools.

Overlay /usr from package manager trees on top of /usr in bwrap()

Let's allow package manager configuration to be put in /usr as well
by simply overlaying /usr from the package manager tree on top of
/usr.

Merge pull request #2211 from malt3/fix/bwrap/mount-readonly-nix-store

bwrap: mount readonly nix store

bubblewrap: add /etc/static symlink

On NixOS, ssl certificates are stored as follows:

/etc/ssl/certs/ca-bundle.crt -> /etc/static/ssl/certs/ca-bundle.crt
/etc/static -> /nix/store/<HASH>-etc/etc

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

Mount package manager trees

Now that /etc and /var are free game when running within bwrap()
because we don't mount in the directories from the host anymore,
let's take advantage of that by mounting all our package manager
configuration to the canonical location in /etc instead of configuring
the package managers via their CLI or config file to look in the
right directory.

This also makes us look for rpm configuration in /etc/rpm instead
of /usr/lib/rpm as that's now possible.

bubblewrap: try to mount /nix/store readonly

Similar to most usrmerged systems, NixOS stores all installed
binaries and libraries in /nix/store.
To make mkosi work on NixOS, the nix store should be mounted by default.

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

Make sure we mount in extra search paths

Install centos/fedora packaging tools in default images

Useful for doing Fedora/CentOS packaging work.

Fail when trying to inspect ephemeral images

Any changes to these are thrown away after exit so can't inspect
them.

Update NEWS

Merge pull request #2201 from DaanDeMeyer/sandbox

Sandbox more in bwrap()

Run more binaries with bwrap()

Let's sandbox more of the image build. This isolates more of the
build from the host which reduces the chance of leaking in host
specific details into the image.

Sandbox more in bwrap()

Let's not make the full root filesystem available to commands
running in bwrap(). Instead, limit it to some select directories.

- /usr
- Various directories from /etc. Note that this also means we can
  get rid of mount_tools() as all these directories are now mounted
  in bwrap() instead. This also allows us to get rid of the overlay
  hack in mount_tools() to create the necessary mount points. The
  goal is to get rid of as many of these as possible over time.
- /var/tmp
- /tmp

Because to make this work we have to pass MkosiConfig into bwrap(),
we split off a new file bubblewrap.py with all the bubblewrap stuff.

To avoid having to import MkosiState and bwrap() into tree.py,
install_tree() is moved __init__.py

Make RepartOffline= apply to extension images as well

Run depmod and modinfo on host again

Running these in the chroot is much slower when building images for
another architecture. Also, we might soon have a way to prevent dnf
from running depmod (see
https://gitlab.com/cki-project/kernel-ark/-/merge_requests/2743), so
let's adopt that when it is merged.

Install kmod in default tools tree

Add ubu-keyring to CentOS/Fedora default tools trees

And remove the CI exclusions related to missing ubuntu keyring in
CentOS/Fedora.

Merge pull request #2199 from DaanDeMeyer/selinux

Add SelinuxRelabel= setting

Merge pull request #2196 from DaanDeMeyer/opensuse

ci: Build dnf based distros with opensuse tools tree

Add opensuse paths to qemu search locations

ci: Build dnf based distros with opensuse tools tree

dnf-data on opensuse had the missing dependency on ln added so we
can now use opensuse tools trees to build dnf based distro images.

Add SelinuxRelabel= setting

Let's give users some more control over selinux relabeling.

Remove yes_no_auto()

All features will already stringify to "enabled", "disabled" or
"auto" which is just as good as yes/no/auto so let's get rid of
the function.

fedora: Drop unsupported architectures

Merge pull request #2197 from DaanDeMeyer/qemu

Use virtio nic model on s390x

Install dnf plugins in default images

We can't install them on Debian/Ubuntu because trying to install
them conflicts with zypper.

Use virtio nic model on s390x

Also refactor things a bit to move more into the Architecture enum.

Also make sure the default network interface on s390x is configured
properly.

We also fail earlier now if an architecture is specified for which
we haven't defined a machine yet.

Install perf in the default images

Install two more qemu system binaries in fedora tools tree

Pass in credentials via kernel command line as well

If we can't do smbios or fw_cfg, let's fall back to kernel command
line if possible.

Merge pull request #2186 from NekkoDroid/unlink-output-name-version

Output file names now use `Output=` without version appended

Install network tools in default images

Useful for debugging network stuff.

Add a test for the output

Update NEWS.md

Remove `config.output_with_version`

And replace all its usages with `config.output` since this now has the
version appended to it if needed/wanted.

`Output=` now has the version appended if unset

Previously `Output=` would only default to `ImageId=` if unset, but the
output files would have the version appended, resulting in `%o` not
returning the actual name of the output files.

This also moves the default handling to a `default_factory`

Output files starting with `Output=` are removed

As preparation for the removal of `config.output_with_version` the
removal of output files now only factors in `config.output` as prefix
and no longer removes based on version suffix, due to that being added
to `config.output` in a following commit.

Stop bind mounting /sys in chroot environments

The only reason we do this is to make systemd's unit test suite
pass. https://github.com/systemd/systemd/pull/30527 fixes systemd's
test suite to not fail when /sys is not mounted, so let's drop this
bit.

Merge pull request #2189 from DaanDeMeyer/arch

Add support for booting powerpc images

Add aarch64 support to Debian default images

Add support for booting powerpc images

Merge pull request #2188 from DaanDeMeyer/fix-tools

Process all overlays before we do any bind mounts

Process all overlays before we do any bind mounts

Otherwise, later overlays will hide earlier bind mounts.

Drop empty directories

Instead, let's declare them in the config and they'll get created
as needed.

Merge pull request #2185 from DaanDeMeyer/tools

Move default tools tree configuration to mkosi/resources/mkosi-tools

ci: Add tools trees to integration test matrix

Let's make sure our tools trees actually work as intended by
introducing a second axis to our test matrix.

ci: Drop rocky, alma and rhel-ubi

The next commit is going to add a second dimension to the test
matrix which will dramatically introduce the number of CI jobs.
Let's keep things manageable by dropping rhel-ubi, alma and rocky
which should be covered by the centos job already.

ci: Drop unused matrix.format

tests: Only log warning level and up to console by default

The debug logs are too noisy to forward them to the console by
default. Let's stick to warning and up only.

tests: Use default release from config file

Let's allow setting the default release in the mkosi.conf files
instead which is much more flexible.

tests: Use cryptsetup.passphrase for test_initrd_luks_lvm() as well

The credential now applies to all instances of systemd-crypsetup@,
so let's use it for the LUKS+LVM test as well.

mkosi-initrd: Add comment on initrd always being compressed

mkosi-initrd: Don't remove perl-base on Debian/Ubuntu

This doesn't work on older stable releases, so let's keep it in.

mkosi-initrd: Drop explicit CompressOutput=yes

This allows the compression passed by mkosi or the default compression
to be used instead. Note that the default is to compress the initrd, so
this doesn't change anything.

Log with which compression algorithm we're compressing

Fix remove packages log message

Install archlinux-keyring and makepkg in default debian/ubuntu image

Also run pacman-key --init and pacman-key --populate in a prepare
script.

Add more vsock debug logging

qemu: Always use smbios on x86

On x86, smbios is always there even if we're not booting from UEFI
so let's make sure we make use of it.

Make sure systemd-coredump is installed in default images

This isn't installed by default on Debian/Ubuntu/OpenSUSE so let's
install it manually there.

Look for shimx64.efi.signed.latest first

shimx64.efi.signed is an absolute symlink on Ubuntu to some path
in /etc so let's make sure we try shimx64.efi.signed.latest first.

Also, for safety, let's ignore any absolute symlinks while traversing
shim binaries.

opensuse: Use curl to fetch repomd.xml

urllib.request.urlopen() means we're responsible for catching all
the exceptions and showing a proper error message to the user.
Instead, let's just shell out to curl to fetch the file which can
translate any errors into user friendly error messages for us.

rpm: Disable plugins

Just like we disable all dnf plugins, let's also disable all rpm plugins.

Split out rpm.py and hook up rpm logic with zypper as well

We have a bunch of rpm related logic that's required when using
dnf and zypper so let's split out rpm.py and hook up everything in
both dnf and zypper.

Move default tools tree configuration to mkosi/resources/mkosi-tools

Our default initrd configuration already lives in
mkosi/resources/mkosi-initrd, let's do the same for our tools tree
configuration.

Move Architecture enum to config.py

All our other config enums live there as well so let's colocate
the Architecture enum with them. It also makes the next commit
easier.

Mount over various other directories as well if needed

On Opensuse the openssl certificates are stored in
/var/lib/ca-certificates so let's make sure we mount this directory
from the tools tree into the host as well.

The pacman keyring is stored in /etc/pacman.d/gnupg so we mount over
/etc/pacman.d as well if needed.

Add tools tree settings to cache manifest

All of these might affect the cached image so let's make sure
they're in the cache manifest.

Add HostArchitecture= match

tests: add pytest CLI args for distribution and release

Pass them to test functions via a fixture and the new Config subclass
of Image.

Also move pytest.ini into pyproject.toml while we're at it.

Merge pull request #2182 from DaanDeMeyer/ssh

Use mkosi.key/mkosi.crt for SSH authentication

Use mkosi.key/mkosi.crt for SSH authentication

Instead of using the user's SSH certificate and key, let's use the
X509 certificate and private key generated by 'mkosi genkey' instead.

This saves us from having to rely on ssh-agent to get the public key
or doing otherwise complicated logic to try and find the public and
private key. We also avoid always needing a separate public/private
key just for SSH by automatically converting the X509 certificate to
a SSH public key.

Mark private keys as secrets

Let's ensure that these have a strict access mode.

Only query credentials when they're needed

We might run commands that potentially need some time to complete so
let's only run them when needed.

Fix config settings ordering

Let's make sure this matches the order in the summary and MkosiConfig
class.

Merge pull request #2183 from DaanDeMeyer/s390

Support booting Fedora default image on s390x

Support booting Fedora default image on s390x

Set defaults for bootloaders

For testing purposes we might want to override these.

Add default serial tty for s390(x)

Terminate virtiofsd when shutting down

If qemu fails to start then virtiofsd won't shut down on its own
so let's explicitly send it a signal to shut down.

Support multiple [Match] sections

Instead of considering all match sections part of the same match,
let's consider each [Match] section on its own. This allows doing
multiple independent triggers, such as:

"""
[Match]
Format=|disk
Format=|directory

[Match]
Architecture=|x86-64
Architecture=|arm64
"""

Which now means to match if the format is one of disk or directory
and the architecture is one of x86-64 or arm64.

Build initrd if Bootable=auto

If building a bootable image is not explicitly disabled and we
don't split out an initrd from a UKI because the dependencies are
not installed or we're on the wrong architecture, let's still build
an initrd so that booting with qemu direct kernel boot still works.

Add support for loading environment files

Fixes #738

Only check tools for current verb

Mount over /etc/passwd again for virtiofsd

When running unprivileged with a tools tree and runtime trees we
still have to mount over /etc/passwd to keep things working.

Fix install_tree()

Let's make sure that all the skeleton, extra and package manager
trees we get have absolute targets. That allows us to stop using
with_prefix() when installing these trees, which means we pass
target=None instead of target="/" which makes install_tree do the
right thing.

Merge pull request #2179 from DaanDeMeyer/dnf5-plugins

Install dnf5-plugins in fedora tools tree

zypper: Enable autorefresh with refresh delay of 48h

Instead of never refreshing repository metadata, let's refresh
every 48h, which is the same default that dnf uses.

Fix fedora mirror source path

Install dnf plugins in tools trees

For running dnf builddep

Merge pull request #2177 from DaanDeMeyer/ssh

Stop using the tools tree for the ssh verb

Set SYSTEMD_UPDATE_HWDB_BYPASS=1

We run systemd-hwdb ourselves, so let's set this new environment
variable to skip its execution by package managers.

Don't unmount final tools tree

Let's instead just rely on it getting unmounted by the mkosi process
exiting and its mount namespace getting deleted.

Stop using the tools tree for the ssh verb

This allows us to run ssh out of the user namespace which means we
can get rid of the passwd hack to make ssh work. ssh is widespread
enough that we can require users to install it on the host machine
instead of using the tools tree.

Use RuntimeTrees= instead of RuntimeMounts=

Merge pull request #2174 from DaanDeMeyer/aarch64

Two more aarch64 improvements

Fall back to fw_cfg if SMBIOS is not available

Set $ARCHITECTURE when running scripts

Default to ttyAMA0 when building/booting arm images

On ARM, the first serial console is generally called ttyAMA0, so let's
configure that as the console instead of ttyS0.