Fix roothash property handling

Merge pull request #1385 from DaanDeMeyer/credentials-dir

Extend credentials support

Always pass credentials as base64 encoded

Avoid qemu command line shenanigans by just always passing base64
encoded binary credentials.

Add --qemu-smbios option

This can be used to set io.systemd.stub.kernel-cmdline-extra to add
extra kernel cmdline arguments at runtime.

Extend credentials support

We now also read credentials from mkosi.credentials/. If a file in
mkosi.credentials/ is executable, we run the file and use its output
as the credential.

Merge pull request #1365 from 257/gentoo

gentoo: adapt unprivileged image builds

Stop mounting package caches into images when running scripts

The package manager in the container might be a very different
version than the one running on the host which could cause all
sorts of caching issues. Since we don't need the caches in the
image anymore as we run the package managers outside of the image,
let's stop mounting the cache directory into the image when running
scripts as well.

Merge pull request #1383 from DaanDeMeyer/drop-remove-locale

fedora: Don't unconditionally remove /usr/share/locale

centos: Only enable supported ext4 filesystem features on C8S

Fixes #1378

gentoo: adapt unprivileged image builds

avoid mknod by ignoring char/block devices

Expand regular user if not running as root

fedora: Don't unconditionally remove /usr/share/locale

action: Make sure bootctl is built

bootctl is now behind the new bootloader meson option, so let's
enable that and install the required python-pyelftools dependency.

Cache less stuff

Let's not cache steps that are instant to run. This way, these settings
can be changed without having to rebuild from scratch.

Add --initrd option

--initrd allows users to provide their own initrds. When used, we'll
automatically create another initrd per kernel containing just the
kernel modules and all the initrds to ukify.

We don't compress the kernel modules initrd as the kernel modules
should be compressed themselves already.

Use an overlay for the build image instead of a full image

Instead of building a second image for the build image, let's just
make it an overlay for the final image since the only difference
between the two is the list of installed packages. This speeds up
image builds and allows us to simplify the internal logic as well.

Remove unused functions

debian: Disable services in preset by default

Let's not enable services by default unless explicitly enabled by
a previous preset file.

Look for dpkg in PATH

Rebuild man page

action: Build nspawn from source

Let's try to get rid of the spurious "Connection timed out" errors
from systemd-nspawn by building the latest version from source.

Merge pull request #1370 from DaanDeMeyer/packages-stuff

Packages related refactors

Packages related refactors

- Use Sequence as the type for passing package lists around
- Add install_packages() method to DistributionInstaller
- Remove install_packages_rpm() and use invoke_dnf() directly

arch: Use pathlib more

Merge pull request #1369 from DaanDeMeyer/path

Path fixes

Add fallback paths to PATH in run_workspace_command()

Some distros don't configure the appropriate default PATH for their
shell when executed non-interactively, so let's add some fallback
entries ourselves to make sure we can always find the executables we
need.

Fall back to /usr/lib/systemd/ukify if ukify is not found in PATH

Use image default PATH in run_workspace_command()

Use union operator instead of env unpacking

Avoids issues when the same environment variable is specified more
than once.

debian: create /efi mountpoint

Ensure ESP is mounted on /efi rather than /boot so that dpkg doesn't
attempt to install files on vFAT

Drop quotes where not needed

Merge pull request #1363 from DaanDeMeyer/drop-chdir

Drop unused chdir() context manager

Remove unused xescape() function

Simplify --remove-files

Remove unused parse_bytes() function

Remove unnecessary prefix variable

Drop split usr support from gen_kernel_images()

Bump qemu default memory to 2G

Bigger initrds require more memory so let's default to using slightly
more memory when running qemu.

Make warn() output yellow

Bump EFI partition size to 1024M

Initrds can get pretty big, so let's make sure to accomodate for
that by increasing the EFI partition size.

Stop installing dnf by default

dnf pulls in python which is a huge dependency so let's not install
it by default. Let's make sure we keep installing rpm though.

Make make_cpio() more generic

Simplify should_compress_output(), default to zstd and compress cpios

Don't require --bootable for --qemu-headless

When building initrds, it's valid to want --qemu-headless without
--bootable.

Fix outdated comment

Use text=True in make_cpio()

Drop unused chdir() context manager

Sort kernel modules directories by version and use the newest

Make some methods follow the general pattern of returning early

ubuntu: security repo is different from !x86

tighten typing of env variable passed to run functions

Gather all boot loader related logic in install_boot_loader()

We drop the logic to sign unified kernel images as ukify takes care
of that for us.

Always run subprocesses with constrained environment

Also set LANG=C.UTF-8 if not set explicitly.

Use complete_step() in invoke_repart()

Merge pull request #1351 from fbuihuu/updates-for-opensuse

Updates for openSUSE

opensuse: 'leap' as release name is now an alias for 'stable'

Previously using 'leap' would have installed Leap 15.1 which doesn't make sense
since this version of Leap is obsolete and no more supported. Install the latest
stable version instead.

opensuse: minor simplification in repo selection

opensuse: add basic support for system extensions

opensuse: fix --with-docs which had no effect

Doc installation has to be controlled via zypp.conf. However the config file
created in the rootfs wasn't considered even with `zypper --root=xxx ...`.

To force zypper to read the version in the rootfs, we must use the environment
variable 'ZYPP_CONF='.

opensuse: implement clean_zypper_metadata()

opensuse: implements remove_packages()

opensuse: temporarily install the local mirror in the root

Instead of relying on '--reposd-dir' option, temporarily install the repo from
the local mirror like the final repos in the rootfs. This way we can introduce
and rely on a very limited number of helpers that manipulate the repositories
inside the rootfs, which should make the code easier to follow.

Fix cache directory creation when no cache dir is configured

Merge pull request #1352 from DaanDeMeyer/tmpdir

Set TMPDIR when running repart

Simplify workspace setup

With the move to bubblewrap we don't run into issues anymore when
the workspace is located in the source directory so let's simplify
the workspace setup.

rename is_rpm_distribution() into is_dnf_distribution()

Set TMPDIR when running repart

Otherwise, repart will copy the root directory to /var/tmp which
can be slow on COW filesystems if /var/tmp is on a different
partition.

Merge pull request #1349 from DaanDeMeyer/centos-fixes

Centos fixes

centos: Mount root partition rw by default on CentOS Stream 8

Move kernel command line handling into install_unified_kernel()

Handle older versions of kernel-install

Older versions of kernel-install unconditionally write the initrd
to /boot/<machine-id>/<kver>. Let's detect that and move it to the
correct location.

Make sure we NUL terminate the cmdline section in the UKI

Older versions of systemd-stub expect the cmdline section to be
NUL terminated so let's make sure that it is.

Skip selinux relabeling when building for cache or build script

Allow RPM to return total file sizes larger than 4GB

When an RPM has a total content size over 4GB, the --qf parameter
needs to use LONGSIZE instead of SIZE to display the total package
content file size, likely to keep compatibility with code
expecting 32 bit friendly values.

Otherwise, if a package is larger than 4GB, RPM returns (none).
Since this is later given as input to Python's int(),
it will throw an exception due to (none) not being a number.

Merge pull request #1347 from DaanDeMeyer/fix-incremental

Fix need_cache_trees()

Add --verbose to kernel-install if --debug is specified

Fix need_cache_trees()

Relabel image when selinux policy is installed

If an selinux policy is installed in the image, let's relabel it
automatically.

Simplify kernel image and initrd handling

- Let's stop writing files in /etc in favor of passing the
information via other ways
- Let's stop defaulting to "bls" layout which is intended
for type 1 images, we only use UKIs so we don't need the
"bls" layout
- kernel-install now defaults to the "other" layout, which
means it won't create the entry directory in /boot anymore.
We update the initrd find logic to take this into account
- Remove --machine-id as it was only really there for testing
the config parsing which we now deal with by not storing the
machine ID at all

Drop TODO

We don't keep it up to date anyway, so let's drop it.

Set timezone credential to current timezone by default

We don't configure a default timezone in the images, so let's set
a timezone credential by default to the current timezone to avoid
a prompt during first boot.

run: Use is_symlink() instead of exists()

exists() will resolve the symlink in the host if it's absolute,
let's use is_symlink() which checks if the symlink exists.

centos: Do not try to resolve symlink

We don't have chase_symlinks(), resolving the symlink actually
resolves it on the host instead of in the image. Instead, let's
just unconditionally remove the symlink.

centos: Log when we remove the dangling symlink

Fix cache directory

Make sure to use state.cache where applicable. Also get rid of
setup_package_cache() since it comes down to a one liner

centos: Remove dangling syslog.service symlink

Dangling symlinks trip up systemctl preset-all so let's remove this
one that's generated by the systemd spec in centos stream 8.

Use shutil.move() to move /etc/resolv.conf symlink

Merge pull request #1334 from DaanDeMeyer/fix-network

Fix bind mounting resolv.conf when it's a symlink

Drop --include-directory

Let's get rid of one more source of mounts. --include-dir can be replaced
by using --incremental and reading includes from the cached build image
tree. In the future, once build images become regular images, users can
read includes by simply using --directory output and reading includes
from the regular image output tree.

Fix bind mounting resolv.conf when it's a symlink

bwrap doesn't support mounting over symlinks, so let's take that
into account.

Fix path expansion

Enable unprivileged image builds

To enable this, when doing a build, we unshare a user namespace
with it's own private set of uids/gids obtained using newuidmap
and newgidmap. We also map the current user to the last UID/GID
in the UID/GID range from /etc/subuid and /etc/subgid. Together
with unsharing the mount namespace, this allows us to do
unprivileged bind and overlay mounts.

Next, we replace all usages of systemd-nspawn during the image build
with bubblewrap. systemd-nspawn cannot run as an unprivileged user
yet so we use bubblewrap which can. bubblewrap can also be used to
setup a chroot environment with API VFS filesystems so we make use
of that to setup chroot environments and remove all our homegrown
logic for it. This allows us to significantly reduce the amount of
mounts we do in mkosi itself.

To further reduce the amount of mounts, we modify the invocations
of all package managers to specify the cache directory via the
relevant option instead of mounting the cache directory into the
chroot. For apt, to accomplish this, we switch from using
DPkg::Chroot-Directory to setting the "--root" option for each
invocation of dpkg so that dpkg can access files outside of the
chroot.

Finally, we remove some options which become obsolete with this
commit, --idmap, --chown and --nspawn-keep-unit.

We also remove --source-file-transfer, --source-file-transfer-final
and the corresponding symlink options. Instead, we default to mounting
source files into the build tree. In the future, we'll add virtiofsd
support to allow accessing source files in qemu VMs.

We also move stuff around and create a few new files to store
helpers to avoid circular imports. There's also a little bit of
refactoring and cleanup all around.

Run preset-all on the final image

Let's run preset-all on the finalized image so that read-only
images (e.g. initrds) have the preset settings configured in the
image itself at creation time.

Fix --checksum true

File should be opened for reading

Merge pull request #1328 from DaanDeMeyer/stuff

stuff

Drop --all and --all-directory

Job control should be delegated to a build system so let's drop this
from mkosi.

tests: Drop config parser tests

These have never caught anything useful and are understood by nobody,
let's just drop them.

Remove btrfs subvolume deletion logic

Deleting btrfs subvolumes requires root. Given that we'll be moving
to primarily unprivileged execution soon, let's drop the logic for
deleting btrfs subvolumes. They're still deleted if the corresponding
directory is removed, it's just slightly slower.

Remove leftover references to old output formats