Prefer configuration via CLI over configuration via config file

This makes it easier to debug things with --debug as all the options
used will be logged instead of having to go and figure out what's in
the config file.

arch: Introduce setup_pacman()

Hook up install_package_manager_trees()

Make sure we close every vsock and read all data from it

Merge pull request #1618 from behrmann/pkgmanagerskeletons

Seed package manager config

arch: use GPGDir in package manager tree if it exists

debian: use trusted keys from package manager tree if they exist

debian: only write sources.list during setup if one isn't in the package manager tree

config: add PackageManagerTrees= option

config: remove RepositoryDirectories= option

fedora: move workspace package manager configuration into a tree

arch: move workspace package manager configuration into a tree

debian: move workspace package manager configuration into a tree

state: add a directory for package manager files in the workspace

Install dmsetup in the initrd on Debian/Ubuntu

On other distros, just installing systemd and udev is sufficient to
make verity work. On Debian and Ubuntu, we need to explicitly install
dmsetup as well to make sure verity works, so let's do that.

Merge pull request #1613 from DaanDeMeyer/rework-matches

Make matches work more like systemd conditions

Make matches work more like systemd conditions

Let's make matches behave like systemd conditions. We drop support
for list matches. Instead, we add support for match negation and
trigger matches. A match is a trigger match if it's prefixed with
the pipe symbol (|). A match is satisfied if all its regular matches
and one of its trigger matches are satisfied.

Merge pull request #1615 from DaanDeMeyer/fixes

Fixes

Don't unpack extra/skeleton archives if a target is provided

ExtraTrees= and SkeletonTrees= are currently ambiguous when a target
location is provided. The user could either mean that the archive has
to be unpacked to the target location or the user could mean that he
wants to copy the archive to that location in the image.

We should still try to resolve the ambiguity, but for now, let's assume
that when a target is provided that the user wants to copy the archive
into the image instead of unpacking the archive to that specific location.

To make this work, we also modify the logic slightly to create only the
parent directories of the target so that cp doesn't fail because we try
to copy a file to a directory.

Don't require extra trees to exist when parsing config

These might be created by a preset so leave checking whether these
exist to check_inputs().

Merge pull request #1610 from keszybz/emacs-and-spdx

Add emacs config, SPDX headers, fix typo

Add SPDX header to various files with code

Add .dir-locals.el file for emacs

Fix typo

Make sure we don't copy symlinks in run_qemu()

Merge pull request #1608 from DaanDeMeyer/fixes

Fixes

Drop unused functions

Shorten exit status logic a little

Only raise exception if notify exit status is nonzero.

Merge pull request #1606 from DaanDeMeyer/notify-debug

Log some notify stats at debug level

Get rid of unnecessary usage of TypeVar

Log some notify stats at debug level

action: Install swtpm

tests: add missing asserts

config: add missing whitespace

config: only use host release if we can detect one

ci: add --debug flag

Update installation instructions in the README

Merge pull request #1600 from DaanDeMeyer/fedora

fedora: Add Enterprise Linux Next (ELN) support

Use repart's new --architecture option

This makes sure that --architecture works with user specified repart
configs as well instead of just the ones that we generate ourselves.

fedora: Add Enterprise Linux Next (ELN) support

Let's add support for ELN (https://docs.fedoraproject.org/en-US/eln/)
which builds Fedora with the RHEL toolchain.

fedora: Simplify url handling

Add QemuSwtpm option

Use VMADDR_PORT_ANY

Just cleanup, shouldn't cause any change in behavior

action: Install systemd-measure

Merge pull request #1592 from DaanDeMeyer/arch

Rework architecture handling

Use dnf when building foreign architectures

dnf5 does not support --forcearch yet which means it can't build
foreign architectures.

Rework architecture handling

Let's lock architectures down by making it an enum instead of a
free form string. We also introduce a bunch of mapping functions
to map the Architecture enum to qemu, distribution arches, efi
arches. We only support the architectures defined in the discoverable
partitions spec and use those architectures as the default representation.

Merge pull request #1591 from DaanDeMeyer/exception-handling

Make sure we handle any exceptions thrown in MkosiAsyncioThread()

ci: Make sure we're running qemu with a vsock

Let's add a little extra coverage by enforcing that qemu runs with
a vsock.

Make sure we handle any exceptions thrown in MkosiAsyncioThread()

Any unhandled exceptions from run() are by default just printed to
stderr. Let's make sure that these exceptions cause mkosi itself to
fail by catching them and re-raising them when the thread is joined.

Merge pull request #1583 from Cornelicorn/output-uids

Improve basename symlinks

Add --all-architectures when we run bootctl

To make sure that we install correctly even when doing cross builds

Various improvements

- Move workspace and install/cache directory handling into MkosiState
- Stop running the build as the user running mkosi, this makes things
simpler as the root user in the userns can write to directories owned
by the user running mkosi but vice versa is not possible. The build
script still can't modify the build image as we mount the build overlay
read-only.
- Create directories that need to be owned by the user running mkosi
before switching to the user namespace
- Various refactorings

debian: Fix foreign architecture builds

--force-architecture forces dpkg to install packages for other
architectures than the host architecture. --force-depends is required
because when building for arm64 it seems it can't quite figure out
all the pre-depends. For extra safety, we also set APT::Architectures
on top of APT::Architecture.

Always overwrite the basename symlink to point to the newest version

Having the symlink point to the oldest image is somewhat counterintuitive

Fix wrong uid:gid on the basename symlink

Before this would have the uid:gid of root in the uidmap space
The link is now created in the staging area first to make the change atomic,
so that the wrong uid:gid pair is never seen in the output directory

Add support for pesign to sign secure boot binaries

sbsign is not packaged on CentOS so let's add support for pesign as
well as support for pesign was recently added to ukify as well.

ukify: always sign kernel inside of uki if secure boot is enabled

This overrides the auto detection of ukify and always signs the kernel bevore embedding it in the uki (even if the kernel is already signed).
Rationale: When building Fedora 37 images, the Fedora provided kernel is signed with an expired key (id 2574709492).
I would like to add an additional signature with my own signing key to enable kexec and other features that require a correctly signed kernel image.

Co-authored-by: Otto Bittner <cobittner@posteo.net>

fix missing exist_ok for debian /usr

This would prevent having /usr in a skeleton tree

Firstboot improvements

- Merge --root-password-hashed and --root-password-file into
  --root-password. If prefixed with hashed:, we treat it as a hashed
  root password.
- When not building an initrd, also store corresponding credentials
in /usr/lib/credstore, so that the settings work even if only /usr
is shipped in the final image. We don't do this for initrds since
those generally ship with /etc populated.
- Drop setting of firstboot.hostname which isn't actually used by
systemd-firstboot

Compress centos 8 variant cpios with xz instead of zstd

The kernel for CentOS 8 and its variants doesn't ship with zstd
initrd compression support, so let's default to xz instead.

Refactor image growing

Use systemd-repart to grow disk image

Using truncate isn't entirely right, let's do this properly by letting
systemd-repart handle it.

Merge pull request #1571 from DaanDeMeyer/fixes

Fixes

rocky: Drop epel repository from bootable config

systemd-boot is provided by the base repositories now so let's drop
the epel repository config.

Make mkosi the foreground process again when child process finishes

We currently get "Job mkosi has stopped" when fetching running the
summary verb. Let's fix this by making sure we make mkosi the foreground
process again when we finish running a child process.

Make sure we page summaries only once when there's multiple presets

Return early if verb is "clean"

Otherwise we start checking the inputs of the presets which we don't
wanna do if we're just cleaning outputs

Add RepartDirectories to summary

Use slightly better dnf5 check

Instead of checking whether dnf5 exists all the time, just reuse
the first check results

Various dnf fixes

- Put the logs in a subdirectory of the workspace
- Make sure we configure the persistdir to be inside the workspace
as well. Otherwise dnf5 tries to use the system directory which fails
with a permission error
- Use the non-compat dnf5 option names instead of the compat ones

Pass firstboot settings to generated initrd as well

It generally doesn't make sense to have these differ between the
initrd and the rootfs, so let's pass these settings through to the
initrd as well.

The only setting we don't pass through is the root shell as configuring
a different root shell might mean installing extra packages which might
be undesireable in the initrd.

Only clean cache images if cache dir exists

Do not check inputs up front

They could be generated by the previous preset

Merge pull request #1563 from DaanDeMeyer/fix-needs-build

Fix needs_build()

Check inputs/outputs before removing any files.

Fix needs_build()

Don't install a boot loader if we can't find bootctl

Also fail if a bootable image is requested and we can't find bootctl.

Don't install a boot loader if no kernels are installed

If a bootable image has not been explicitly requested, don't install
a boot loader if we can't find any kernel images installed in the image.

Check for btrfs before invoking run()

check= does not handle missing binaries so let's check explicitly
before running btrfs.

Do not reuse cache if there is no manifest

This makes sure there's no need to remove the cache manually to
make sure the manifest gets generated.

Merge pull request #1557 from DaanDeMeyer/vsock

Add a feature for enabling/disabling qemu vsock usage

Add a feature for enabling/disabling qemu vsock usage

Move qemu logic into qemu.py

We also introduce a new function qemu_check_vsock_support()

Make config_kvm a proper ConfigFeature

Merge pull request #1555 from DaanDeMeyer/notify

Propagate systemd exit status from the VM

ci: Add console=ttyS0 to the kernel command line

It's the default but since we override the default we lose the
default value so add it back explicitly.

Use /efi as the ESP path when building the image

We used to use /boot because kernel-install would hardcode it but since
we don't use kernel-install anymore, let's use /efi instead. This way,
if anyone wants to install grub, they can do so in /boot and package
/boot up as an XBOOTLDR partition.

ci: Simplify checks

Instead of mounting the filesystem and checking the contents of the
failed-services file, let's just shut down the machine with a non-zero
exit status if there are failed services. This works for both nspawn
and qemu now that we have the vsock notify socket set up.

action: Allow unprivileged access to kvm, vhost-vsock and vhost-net devices

These are restricted on Debian/Ubuntu but we want to allow running
unprivileged qemu so let's loosen the permissions on these devices
to make that possible.

Fix vhost-vsock access check

Let's make sure we use exactly the same open() command that qemu
uses to check if we can access the /dev/vhost-vsock device.

Drop kernel modules add/remove debug log messages

Too noisy when there's lots of kernel modules

Propagate systemd exit status from the VM

Let's make use of the new vmm.notify_socket credential to fetch
systemd's exit status from the VM and propagate it as our own exit
status, just like already happens automatically for containers with
systemd-nspawn.

ci: Drop epel repository for alma

systemd-boot should be available in the base OS now.

action: Drop linux-modules-extra-azure again

This doesn't work since the modules don't match the running kernel
version.

Fix output check

action: Install extra azure modules package

This contains the erofs kernel module which is required for mounting
erofs filesystems in systemd-nspawn.

action: Sort package list

Fix failure when we have a build script without build packages