config: silence pyright warning

/home/runner/work/mkosi/mkosi/mkosi/config.py
  /home/runner/work/mkosi/mkosi/mkosi/config.py:1660:13 - error: "group" is possibly unbound (reportUnboundVariable)
1 error, 0 warnings, 0 informations

config: reword help message for --root-{password,shell}

"system root" doesn't seem right, because it sounds like we're talking about
the file system. We would often say just "root password", but that's nor
gramatically correct. "root's password" would be correct, but seems strange.
So let's rephase this to avoid the awkwardness.

config: generate ArgumentParser options from MkosiConfigSetting items

The diff for --help output:

    @@ -32,3 +32,3 @@
    -Distribution options:
    +Distribution configuration options:
       -d, --distribution {fedora,debian,ubuntu,arch,opensuse,mageia,centos,openmandriva,rocky,alma,gentoo}

    @@ -47,3 +47,3 @@
    -Output options:
    +Output configuration options:
       -t, --format FORMAT   Output Format

    @@ -76,3 +76,3 @@
    -Content options:
    +Content configuration options:

    @@ -85,6 +85,6 @@
    -  --bootable [FEATURE]  Generate ESP partition with systemd-boot and UKIs for
    -                        installed kernels
       --kernel-command-line OPTIONS
                             Set the kernel command line (only bootable images)
    +  --bootable [FEATURE]  Generate ESP partition with systemd-boot and UKIs for
    +                        installed kernels

    @@ -140,6 +140,6 @@
    -Validation options:
    +Validation configuration options:

--bootable and ---kernel-command-line were in different order in the settings list.
The section names in are more consistent.

Mypy supression in required in one place because the typespec doesn't allow
None, even though it is accepted just fine.

Drop unnecessary uses of tuple

Remove --install-directory= option

We don't benefit from the caching anymore since we started emptying
the directory completely on reuse as otherwise old leftover files
might get installed. Without the caching, the option does not have
a ton of use anymore, so let's remove it.

Add kernel version to UKI name for versioned images

Merge pull request #1630 from DaanDeMeyer/repart-boot

Run repart before booting image in systemd-nspawn

Run systemd-repart before booting image with systemd-nspawn

To match the behavior when running in qemu, let's run systemd-repart
on the image before running it in systemd-nspawn to make sure that
all the necessary partitions are added if the image has repart
definition files included.

Introduce copy_ephemeral()

A generic function to make an ephemeral copy of an image.

Set --no-pager for systemd-repart

We don't want systemd-repart to page its output, that should be done
by mkosi itself.

qemu: Use SOCK_STREAM for notify socket

The CentOS 8 Stream kernel does not support SOCK_SEQPACKET for
AF_VSOCK so let's use SOCK_STREAM instead and explicitly instruct
systemd running in the VM to use SOCK_STREAM as well.

Ensure we return the same exit code in debug mode

When running in debug mode, we shouldn't return a different exit
code compared to when we run outside of debug mode.

A trivial example is when running the boot or qemu verbs where we
exit with the exit code of the container/VM by raising an instance
of CalledProcessError. In --debug mode, this exception is handled
as an unhandled exception by the python runtime which always exits
with 1 when an unhandled exception is encountered, whereas outside
of debug mode we exit with the value contained in
CalledProcessError.returncode.

With this commit, we'll always exit with the return value in
CalledProcessError.returncode.

Merge pull request #1626 from DaanDeMeyer/epel-next

centos: Add epel-next

centos: Streamline repo configuration a bit

centos: Remove unused _epel_gpgurl() method

centos: Add epel-next

Merge pull request #1625 from DaanDeMeyer/fixes

Fixes

apt: Set "Dir" instead of "Dir::Etc" and set it via APT_CONFIG

We need to use APT_CONFIG to set "Dir" as otherwise the value of "Dir"
won't be taken into account by apt when looking for configuration files
as options set via the CLI are applied last after parsing the apt
configuration files.

dnf: Make it possible to override install_weak_deps

By putting it in the config file, users can provide their own dnf.conf
to override our default value.

dnf: Use long option names

dnf: Write repos to /etc/yum.repos.d/<distribution>.repo

Let's allow providing a config file for dnf without also overriding
all the default repositories by writing the default repositories to
a file in /etc/yum.repos.d/.

Do not overwrite package manager config files if they exist

Let's allow users to override mkosi's default package manager
settings by providing their own package manager config file. This
is especially important for distributions built using dnf as dnf
does not yet have support for dropins.

arch: Drop useless options from config

CheckSpace isn't really useful as we'll just fail a little later
while unpacking or installing packages. HoldPkg isn't useful either
as there's no chance of breaking the system by uninstalling packages
when we're just building an image.

arch: Drop community repository

community has been merged into extra so let's drop it from our
generated config.

Merge pull request #1622 from behrmann/doccleanup

Doc cleanup

debian: fix default keyring

The key file RELEASE-archive-keyring does not exist, but
DISTRIBUTION-archive-keyring.gpg contains all currently used keys for both
Debian and Ubuntu.

docs: remove unused --config option

docs: mention package manager trees in the execution flow

docs: remove mention of kernel-install

Merge pull request #1620 from DaanDeMeyer/config-cli

Prefer configuration via CLI over configuration via config file

Prefer configuration via CLI over configuration via config file

This makes it easier to debug things with --debug as all the options
used will be logged instead of having to go and figure out what's in
the config file.

arch: Introduce setup_pacman()

Hook up install_package_manager_trees()

Make sure we close every vsock and read all data from it

Merge pull request #1618 from behrmann/pkgmanagerskeletons

Seed package manager config

arch: use GPGDir in package manager tree if it exists

debian: use trusted keys from package manager tree if they exist

debian: only write sources.list during setup if one isn't in the package manager tree

config: add PackageManagerTrees= option

config: remove RepositoryDirectories= option

fedora: move workspace package manager configuration into a tree

arch: move workspace package manager configuration into a tree

debian: move workspace package manager configuration into a tree

state: add a directory for package manager files in the workspace

Install dmsetup in the initrd on Debian/Ubuntu

On other distros, just installing systemd and udev is sufficient to
make verity work. On Debian and Ubuntu, we need to explicitly install
dmsetup as well to make sure verity works, so let's do that.

Merge pull request #1613 from DaanDeMeyer/rework-matches

Make matches work more like systemd conditions

Make matches work more like systemd conditions

Let's make matches behave like systemd conditions. We drop support
for list matches. Instead, we add support for match negation and
trigger matches. A match is a trigger match if it's prefixed with
the pipe symbol (|). A match is satisfied if all its regular matches
and one of its trigger matches are satisfied.

Merge pull request #1615 from DaanDeMeyer/fixes

Fixes

Don't unpack extra/skeleton archives if a target is provided

ExtraTrees= and SkeletonTrees= are currently ambiguous when a target
location is provided. The user could either mean that the archive has
to be unpacked to the target location or the user could mean that he
wants to copy the archive to that location in the image.

We should still try to resolve the ambiguity, but for now, let's assume
that when a target is provided that the user wants to copy the archive
into the image instead of unpacking the archive to that specific location.

To make this work, we also modify the logic slightly to create only the
parent directories of the target so that cp doesn't fail because we try
to copy a file to a directory.

Don't require extra trees to exist when parsing config

These might be created by a preset so leave checking whether these
exist to check_inputs().

Merge pull request #1610 from keszybz/emacs-and-spdx

Add emacs config, SPDX headers, fix typo

Add SPDX header to various files with code

Add .dir-locals.el file for emacs

Fix typo

Make sure we don't copy symlinks in run_qemu()

Merge pull request #1608 from DaanDeMeyer/fixes

Fixes

Drop unused functions

Shorten exit status logic a little

Only raise exception if notify exit status is nonzero.

Merge pull request #1606 from DaanDeMeyer/notify-debug

Log some notify stats at debug level

Get rid of unnecessary usage of TypeVar

Log some notify stats at debug level

action: Install swtpm

tests: add missing asserts

config: add missing whitespace

config: only use host release if we can detect one

ci: add --debug flag

Update installation instructions in the README

Merge pull request #1600 from DaanDeMeyer/fedora

fedora: Add Enterprise Linux Next (ELN) support

Use repart's new --architecture option

This makes sure that --architecture works with user specified repart
configs as well instead of just the ones that we generate ourselves.

fedora: Add Enterprise Linux Next (ELN) support

Let's add support for ELN (https://docs.fedoraproject.org/en-US/eln/)
which builds Fedora with the RHEL toolchain.

fedora: Simplify url handling

Add QemuSwtpm option

Use VMADDR_PORT_ANY

Just cleanup, shouldn't cause any change in behavior

action: Install systemd-measure

Merge pull request #1592 from DaanDeMeyer/arch

Rework architecture handling

Use dnf when building foreign architectures

dnf5 does not support --forcearch yet which means it can't build
foreign architectures.

Rework architecture handling

Let's lock architectures down by making it an enum instead of a
free form string. We also introduce a bunch of mapping functions
to map the Architecture enum to qemu, distribution arches, efi
arches. We only support the architectures defined in the discoverable
partitions spec and use those architectures as the default representation.

Merge pull request #1591 from DaanDeMeyer/exception-handling

Make sure we handle any exceptions thrown in MkosiAsyncioThread()

ci: Make sure we're running qemu with a vsock

Let's add a little extra coverage by enforcing that qemu runs with
a vsock.

Make sure we handle any exceptions thrown in MkosiAsyncioThread()

Any unhandled exceptions from run() are by default just printed to
stderr. Let's make sure that these exceptions cause mkosi itself to
fail by catching them and re-raising them when the thread is joined.

Merge pull request #1583 from Cornelicorn/output-uids

Improve basename symlinks

Add --all-architectures when we run bootctl

To make sure that we install correctly even when doing cross builds

Various improvements

- Move workspace and install/cache directory handling into MkosiState
- Stop running the build as the user running mkosi, this makes things
simpler as the root user in the userns can write to directories owned
by the user running mkosi but vice versa is not possible. The build
script still can't modify the build image as we mount the build overlay
read-only.
- Create directories that need to be owned by the user running mkosi
before switching to the user namespace
- Various refactorings

debian: Fix foreign architecture builds

--force-architecture forces dpkg to install packages for other
architectures than the host architecture. --force-depends is required
because when building for arm64 it seems it can't quite figure out
all the pre-depends. For extra safety, we also set APT::Architectures
on top of APT::Architecture.

Always overwrite the basename symlink to point to the newest version

Having the symlink point to the oldest image is somewhat counterintuitive

Fix wrong uid:gid on the basename symlink

Before this would have the uid:gid of root in the uidmap space
The link is now created in the staging area first to make the change atomic,
so that the wrong uid:gid pair is never seen in the output directory

Add support for pesign to sign secure boot binaries

sbsign is not packaged on CentOS so let's add support for pesign as
well as support for pesign was recently added to ukify as well.

ukify: always sign kernel inside of uki if secure boot is enabled

This overrides the auto detection of ukify and always signs the kernel bevore embedding it in the uki (even if the kernel is already signed).
Rationale: When building Fedora 37 images, the Fedora provided kernel is signed with an expired key (id 2574709492).
I would like to add an additional signature with my own signing key to enable kexec and other features that require a correctly signed kernel image.

Co-authored-by: Otto Bittner <cobittner@posteo.net>

fix missing exist_ok for debian /usr

This would prevent having /usr in a skeleton tree

Firstboot improvements

- Merge --root-password-hashed and --root-password-file into
  --root-password. If prefixed with hashed:, we treat it as a hashed
  root password.
- When not building an initrd, also store corresponding credentials
in /usr/lib/credstore, so that the settings work even if only /usr
is shipped in the final image. We don't do this for initrds since
those generally ship with /etc populated.
- Drop setting of firstboot.hostname which isn't actually used by
systemd-firstboot

Compress centos 8 variant cpios with xz instead of zstd

The kernel for CentOS 8 and its variants doesn't ship with zstd
initrd compression support, so let's default to xz instead.

Refactor image growing

Use systemd-repart to grow disk image

Using truncate isn't entirely right, let's do this properly by letting
systemd-repart handle it.

Merge pull request #1571 from DaanDeMeyer/fixes

Fixes

rocky: Drop epel repository from bootable config

systemd-boot is provided by the base repositories now so let's drop
the epel repository config.

Make mkosi the foreground process again when child process finishes

We currently get "Job mkosi has stopped" when fetching running the
summary verb. Let's fix this by making sure we make mkosi the foreground
process again when we finish running a child process.

Make sure we page summaries only once when there's multiple presets

Return early if verb is "clean"

Otherwise we start checking the inputs of the presets which we don't
wanna do if we're just cleaning outputs

Add RepartDirectories to summary