Packages related refactors

- Use Sequence as the type for passing package lists around
- Add install_packages() method to DistributionInstaller
- Remove install_packages_rpm() and use invoke_dnf() directly

arch: Use pathlib more

Merge pull request #1369 from DaanDeMeyer/path

Path fixes

Add fallback paths to PATH in run_workspace_command()

Some distros don't configure the appropriate default PATH for their
shell when executed non-interactively, so let's add some fallback
entries ourselves to make sure we can always find the executables we
need.

Fall back to /usr/lib/systemd/ukify if ukify is not found in PATH

Use image default PATH in run_workspace_command()

Use union operator instead of env unpacking

Avoids issues when the same environment variable is specified more
than once.

debian: create /efi mountpoint

Ensure ESP is mounted on /efi rather than /boot so that dpkg doesn't
attempt to install files on vFAT

Drop quotes where not needed

Merge pull request #1363 from DaanDeMeyer/drop-chdir

Drop unused chdir() context manager

Remove unused xescape() function

Simplify --remove-files

Remove unused parse_bytes() function

Remove unnecessary prefix variable

Drop split usr support from gen_kernel_images()

Bump qemu default memory to 2G

Bigger initrds require more memory so let's default to using slightly
more memory when running qemu.

Make warn() output yellow

Bump EFI partition size to 1024M

Initrds can get pretty big, so let's make sure to accomodate for
that by increasing the EFI partition size.

Stop installing dnf by default

dnf pulls in python which is a huge dependency so let's not install
it by default. Let's make sure we keep installing rpm though.

Make make_cpio() more generic

Simplify should_compress_output(), default to zstd and compress cpios

Don't require --bootable for --qemu-headless

When building initrds, it's valid to want --qemu-headless without
--bootable.

Fix outdated comment

Use text=True in make_cpio()

Drop unused chdir() context manager

Sort kernel modules directories by version and use the newest

Make some methods follow the general pattern of returning early

ubuntu: security repo is different from !x86

tighten typing of env variable passed to run functions

Gather all boot loader related logic in install_boot_loader()

We drop the logic to sign unified kernel images as ukify takes care
of that for us.

Always run subprocesses with constrained environment

Also set LANG=C.UTF-8 if not set explicitly.

Use complete_step() in invoke_repart()

Merge pull request #1351 from fbuihuu/updates-for-opensuse

Updates for openSUSE

opensuse: 'leap' as release name is now an alias for 'stable'

Previously using 'leap' would have installed Leap 15.1 which doesn't make sense
since this version of Leap is obsolete and no more supported. Install the latest
stable version instead.

opensuse: minor simplification in repo selection

opensuse: add basic support for system extensions

opensuse: fix --with-docs which had no effect

Doc installation has to be controlled via zypp.conf. However the config file
created in the rootfs wasn't considered even with `zypper --root=xxx ...`.

To force zypper to read the version in the rootfs, we must use the environment
variable 'ZYPP_CONF='.

opensuse: implement clean_zypper_metadata()

opensuse: implements remove_packages()

opensuse: temporarily install the local mirror in the root

Instead of relying on '--reposd-dir' option, temporarily install the repo from
the local mirror like the final repos in the rootfs. This way we can introduce
and rely on a very limited number of helpers that manipulate the repositories
inside the rootfs, which should make the code easier to follow.

Fix cache directory creation when no cache dir is configured

Merge pull request #1352 from DaanDeMeyer/tmpdir

Set TMPDIR when running repart

Simplify workspace setup

With the move to bubblewrap we don't run into issues anymore when
the workspace is located in the source directory so let's simplify
the workspace setup.

rename is_rpm_distribution() into is_dnf_distribution()

Set TMPDIR when running repart

Otherwise, repart will copy the root directory to /var/tmp which
can be slow on COW filesystems if /var/tmp is on a different
partition.

Merge pull request #1349 from DaanDeMeyer/centos-fixes

Centos fixes

centos: Mount root partition rw by default on CentOS Stream 8

Move kernel command line handling into install_unified_kernel()

Handle older versions of kernel-install

Older versions of kernel-install unconditionally write the initrd
to /boot/<machine-id>/<kver>. Let's detect that and move it to the
correct location.

Make sure we NUL terminate the cmdline section in the UKI

Older versions of systemd-stub expect the cmdline section to be
NUL terminated so let's make sure that it is.

Skip selinux relabeling when building for cache or build script

Allow RPM to return total file sizes larger than 4GB

When an RPM has a total content size over 4GB, the --qf parameter
needs to use LONGSIZE instead of SIZE to display the total package
content file size, likely to keep compatibility with code
expecting 32 bit friendly values.

Otherwise, if a package is larger than 4GB, RPM returns (none).
Since this is later given as input to Python's int(),
it will throw an exception due to (none) not being a number.

Merge pull request #1347 from DaanDeMeyer/fix-incremental

Fix need_cache_trees()

Add --verbose to kernel-install if --debug is specified

Fix need_cache_trees()

Relabel image when selinux policy is installed

If an selinux policy is installed in the image, let's relabel it
automatically.

Simplify kernel image and initrd handling

- Let's stop writing files in /etc in favor of passing the
information via other ways
- Let's stop defaulting to "bls" layout which is intended
for type 1 images, we only use UKIs so we don't need the
"bls" layout
- kernel-install now defaults to the "other" layout, which
means it won't create the entry directory in /boot anymore.
We update the initrd find logic to take this into account
- Remove --machine-id as it was only really there for testing
the config parsing which we now deal with by not storing the
machine ID at all

Drop TODO

We don't keep it up to date anyway, so let's drop it.

Set timezone credential to current timezone by default

We don't configure a default timezone in the images, so let's set
a timezone credential by default to the current timezone to avoid
a prompt during first boot.

run: Use is_symlink() instead of exists()

exists() will resolve the symlink in the host if it's absolute,
let's use is_symlink() which checks if the symlink exists.

centos: Do not try to resolve symlink

We don't have chase_symlinks(), resolving the symlink actually
resolves it on the host instead of in the image. Instead, let's
just unconditionally remove the symlink.

centos: Log when we remove the dangling symlink

Fix cache directory

Make sure to use state.cache where applicable. Also get rid of
setup_package_cache() since it comes down to a one liner

centos: Remove dangling syslog.service symlink

Dangling symlinks trip up systemctl preset-all so let's remove this
one that's generated by the systemd spec in centos stream 8.

Use shutil.move() to move /etc/resolv.conf symlink

Merge pull request #1334 from DaanDeMeyer/fix-network

Fix bind mounting resolv.conf when it's a symlink

Drop --include-directory

Let's get rid of one more source of mounts. --include-dir can be replaced
by using --incremental and reading includes from the cached build image
tree. In the future, once build images become regular images, users can
read includes by simply using --directory output and reading includes
from the regular image output tree.

Fix bind mounting resolv.conf when it's a symlink

bwrap doesn't support mounting over symlinks, so let's take that
into account.

Fix path expansion

Enable unprivileged image builds

To enable this, when doing a build, we unshare a user namespace
with it's own private set of uids/gids obtained using newuidmap
and newgidmap. We also map the current user to the last UID/GID
in the UID/GID range from /etc/subuid and /etc/subgid. Together
with unsharing the mount namespace, this allows us to do
unprivileged bind and overlay mounts.

Next, we replace all usages of systemd-nspawn during the image build
with bubblewrap. systemd-nspawn cannot run as an unprivileged user
yet so we use bubblewrap which can. bubblewrap can also be used to
setup a chroot environment with API VFS filesystems so we make use
of that to setup chroot environments and remove all our homegrown
logic for it. This allows us to significantly reduce the amount of
mounts we do in mkosi itself.

To further reduce the amount of mounts, we modify the invocations
of all package managers to specify the cache directory via the
relevant option instead of mounting the cache directory into the
chroot. For apt, to accomplish this, we switch from using
DPkg::Chroot-Directory to setting the "--root" option for each
invocation of dpkg so that dpkg can access files outside of the
chroot.

Finally, we remove some options which become obsolete with this
commit, --idmap, --chown and --nspawn-keep-unit.

We also remove --source-file-transfer, --source-file-transfer-final
and the corresponding symlink options. Instead, we default to mounting
source files into the build tree. In the future, we'll add virtiofsd
support to allow accessing source files in qemu VMs.

We also move stuff around and create a few new files to store
helpers to avoid circular imports. There's also a little bit of
refactoring and cleanup all around.

Run preset-all on the final image

Let's run preset-all on the finalized image so that read-only
images (e.g. initrds) have the preset settings configured in the
image itself at creation time.

Fix --checksum true

File should be opened for reading

Merge pull request #1328 from DaanDeMeyer/stuff

stuff

Drop --all and --all-directory

Job control should be delegated to a build system so let's drop this
from mkosi.

tests: Drop config parser tests

These have never caught anything useful and are understood by nobody,
let's just drop them.

Remove btrfs subvolume deletion logic

Deleting btrfs subvolumes requires root. Given that we'll be moving
to primarily unprivileged execution soon, let's drop the logic for
deleting btrfs subvolumes. They're still deleted if the corresponding
directory is removed, it's just slightly slower.

Remove leftover references to old output formats

Create secure boot auto enrollment files

qemu: Always use usermode networking

With the upcoming support for unprivileged image builds, we can't
use getuid() to check for root anymore as we might be in a user
namespace. Instead of trying to fix the detection, let's just
always use usermode networking when running in qemu.

centos: Install epel-release in both build and final images

This allows mkosi.prepare scripts to install extra dependencies
from epel as well.

centos: Refactor epel handling

- Use URLs from CentOS itself and metalinks everywhere.
- Add epel-testing, disabled by default
- Move everything into a common function

Rework roothash handling

First, we clean up the leftover remnants of our qemu direct linux
boot support from install_unified_kernel(). Then we simplify passing
around data from invoke_repart() to install_unified_kernel() by only
passing around a single argument, the roothash/usrhash argument.
Finally, now that repart has "roothash" set on every verity sibling
partition, we can just read "roothash" off of any of them. We also
change the logic so that if we find a roothash, it always has
precedence over a usrhash.

Never export bytecode

tighten types on functions that have no or very few str callers

Rework copying

Let's just delegate to `cp` and get rid of a ton of cruft and speed
things up at the same time.

centos: Use ext4 as the default filesystem instead of xfs

Remove leftover reference to "RepositoryDirectory"

Use plural Credentials= in config files

Make sure args_find_path() works with as_list

The default when using list arguments is [], so let's modify the
check to account for this.

Add missing check=False

Remove default kernel command line arguments

The defaults are rather intrusive so let's not enable them by default
but leave them for users to configure manually.

centos: Default to glibc-minimal-langpack on CentOS Stream 8

centos: Remove "-stream" from releases

We don't support non centos stream releases anymore, so let's remove
the "-stream" suffix from centos releases.

Merge pull request #1309 from DaanDeMeyer/extras

centos: Add extras repo on centos stream 9

Add check_config_file=False to all dnf repo definitions

By default, dnf will always refresh repository metadata if the timestamp
of the config file has changed. Since we always rewrite the config file,
this will always be the case, so let's make sure we don't refresh the
metadata every time.

centos: Add extras repo on centos stream 9

We already add the extras repository on centos stream 8, let's do
the same on centos stream 9.

Merge pull request #1308 from DaanDeMeyer/centos-modern

Centos fixes

centos: Modernize repo URLs

Let's use DNF variables where we can. We also modify releasever to
be only the release version without "-stream" and use $stream when
we need the releasever with "-stream". This matches the upstream
usages of these variables.

centos: Use lowercase repo identifiers everywhere

Fix man page to mention apt requirement on host