Rework configuration parsing

Instead of messing with the internals of argparse, let's implement
proper configuration file parsing.

- Parsing classes and functions are located in a new file config.py
- Configuration settings are split up from CLI settings in a list of
the new ConfigSetting dataclass
- The CLI options for configuration settings now share the same
argparse setting which simply delegates parsing to the corresponding
configuration setting parser.
- We add support for [Match] sections to enable conditionally including
configuration files. Currently Match support is implemented for
Distribution= and Release=.
- Configuration file searching is reworked. In mkosi.conf.d/, we parse
all files ending with ".conf" and directories. If a directory is parsed,
we parse mkosi.conf, mkosi.conf.d/ and all mkosi specific paths in it.
All paths are interpreted relative to the directory that we're parsing.

Print cmdline in run() before doing fspath() conversion

Remove Additional Configuration Options argparse group

Let's move these settings to the top level group along with the other
CLI arguments that aren't really config.

Move --auto-bump under Content section

Let's collocate --auto-bump with --image-version which it is closely
related to.

Drop [Partition] group

Only remaining setting in it was BaseImage=, which fits better in
[Content] so let's drop [Partition] and move BaseImage= to [Content].

Add --cache-only option

Instead of having "never" as a special value for --with-network, let's
add a custom option --cache-only to enable/disable this behavior.

Drop --qcow2 and --bmap options

Let's reduce the support surface by removing some fringe options

Remove compatibility option names

Update outdated documentation

Remove build phases docs as we only have a single phase these days
and update the caching section docs to take the new build overlay
approach into account.

Name all directory options consistenly

Use shorthand for the CLI option and longform for the config file
option.

Only run ssh-add -L if SSH_AUTH_SOCK is found in the environment

Merge pull request #1417 from DaanDeMeyer/virtconsole

qemu: Use virtconsole serial console instead of regular serial console

qemu: Don't write any log messages when running qemu

The running command message can get huge depending on which credentials
you're using so let's not write it by default (can still get it with
--debug run). And the swtpm message isn't super useful either so let's
drop it as well.

qemu: Use virtconsole serial console instead of regular serial console

With --qemu-headless, qemu stops working when latest systemd is not
available because smbios provided kernel cmdline arguments are ignored.
This includes "console=ttyS0" meaning we don't get any output on the
serial console when booting in qemu.

As a workaround, let's use qemu's virtconsole instead. This means the
serial console will be available in the VM as /dev/hvc0, on which
systemd will automatically spawn a serial getty. This means we'll
eventually get a login prompt, even if latest systemd is not used.

One caveat is that EDK2 doesn't seem to support virtio-serial with
virtconsole. To get around this limitation, we keep a regular serial
console around as well, which can be used by the bootloader to log
its output.

Always use mkosi.extra/ and mkosi.skeleton/ if they exist

These should be additive instead of only being used when no explicit
extra/skeleton trees are configured.

Drop --netdev

Let's not configure systemd-networkd in mkosi, but leave this up
to users instead. As our SSH support now works on top of vsock, we
don't need this option anymore to make the SSH support work.

When booting, containers are started without a network device (trivial
to add one by adding --network-veth) and VMs are started with a network
device. We don't want one for containers so that they can just reuse the
network namespace of the host instead of having to start networkd to get
internet access within the container. For VMs, there's no disadvantage to
adding a network device, so we add one by default.

Replace --qemu-headless with --qemu-gui

We add extra kernel command line arguments that configure term and
the tty size at runtime. We start qemu in the terminal on a serial tty
by default now as well.

We introduce --qemu-gui to still allow booting qemu in a graphical
interface

We also pass the host environment to qemu and nspawn to mimick what
we do with ssh and because qemu needs the host environment to
initialize gtk properly.

Add --acl option

Let's make the usage of ACLs opt-in since they leak into the final
image if the directory output is used.

We move the call to print_output_size() so its executed inside the
user namespace, which is required because we might not have permissions
to read some of the image's directories outside the user namespace.

centos: Drop c9s epel requirement for systemd-boot

It's available in the base repositories now. We still need epel on
the redhat derivatives for now.

ci: run differential shellcheck on push as well

to get rid of the annoying message on new PRs.

Also, update the action to the latest version and drop now unnecessary
permissions.

See: https://github.com/redhat-plumbers-in-action/differential-shellcheck/issues/215
Addresses: https://github.com/systemd/mkosi/pull/1413#issuecomment-1486700752

Fix check_config_file_age

This is actually a main config setting instead of a per repo setting.

overlayfs: avoid userxattr if kernel version is < 5.11

userxattr was added as a mount option for overlayfs only in kernel 5.11,
so avoid it on older versions (like Debian stable):

‣   Running build script…
mount: /home/bluca/git/systemd/.mkosi.tmpzt2q0dyp/root: wrong fs type, bad option, bad superblock on overlay, missing codepage or helper program, or other error.
umount: /home/bluca/git/systemd/.mkosi.tmpzt2q0dyp/root: not mounted

Merge pull request #1407 from nikandfor/parse-configs-fix

Only parse configuration files suffixed with ".conf" in dropin directories

update NEWS.md

only parse *.conf files in dropin dirs

centos: Install systemd-boot again on CentOS Stream 9

systemd-boot was removed from the systemd package again so let's
start installing it explicitly again on CentOS Stream 9.

opensuse: populate the cache dir even when creating a sysext image

Run ssh-add -L to get the public key if the --ssh option is enabled

Log main verb output to stdout

By default, run() redirects stdout to stderr. Let's override this
for the main output of our other verbs.

ssh: Treat exit status 255 as success

Merge pull request #1401 from DaanDeMeyer/fixes

Fixes

SSH fixes

- Disable UsePAM to avoid a slow reverse DNS lookup
- Pass environ when runnning ssh to pass SSH_AUTH_SOCK
- Don't use a random CID, instead hash the machine name and take
the first 4 bytes as the CID
- Pull in sshd-keygen.target so the ssh key gets generated on boot.

Remove unused code

Add source target support to extra and skeleton trees

Fix caching behavior of several functions

Follow up for cee0b1b. Forgot to add checking of state.for_cache.
Also configure_dracut() needs to stay cached since we have an option
to cache the initrd.

Reimplement Ssh option on top of VSock and credentials

SSH key generation is currently broken under unprivileged mkosi.
Instead of trying to make this work, let's rework the SSH feature
entirely.

First, we only really need the SSH option for getting additional
login shells in VMs, so if we drop the requirement that this works
for containers (which can already be accessed with machinectl), we
can use VSock instead of TUN/TAP to get rid of a ton of code.

We also have a much better way of provisioning the public key these
days, add a script "ssh.authorized_keys.root" to mkosi.credentials/
with the following contents:

```
\#!/bin/sh
ssh-add -L
```

So we don't need to do SSH key generation ourselves anymore, we can
just let the user provide their own SSH key via a credential.

centos: Add missing base features for ext4 on c8s

Accidentally only added the ext4 specific features and none of the
base features, let's make sure we add the base features as well,
especially sparse_super is important to make repart's minimize
guessing logic work properly.

fedora: Default to the minimal authselect profile if authselect is installed

Set SYSTEMD_LOG_LEVEL=debug when debug is enabled

Replace QemuSMBIOS option with KernelCommandLineExtra

We only really added the QemuSMBIOS option to be able to set stub
option for adding extra command line options. Let's replace it by
a less generic option to make it less verbose to use and to allow
passing the added kernel command line arguments to systemd running
in nspawn as well.

Fix typos

Found via `typos --format brief`

Fix documentation for WorkspaceDirectory

OutputDirectory is not actually being considered as an alternative, just the current working directory.

Merge pull request #1387 from Cornelicorn/fix-roothash-unexpected

Fix roothash property handling

Fix roothash property handling

Merge pull request #1385 from DaanDeMeyer/credentials-dir

Extend credentials support

Always pass credentials as base64 encoded

Avoid qemu command line shenanigans by just always passing base64
encoded binary credentials.

Add --qemu-smbios option

This can be used to set io.systemd.stub.kernel-cmdline-extra to add
extra kernel cmdline arguments at runtime.

Extend credentials support

We now also read credentials from mkosi.credentials/. If a file in
mkosi.credentials/ is executable, we run the file and use its output
as the credential.

Merge pull request #1365 from 257/gentoo

gentoo: adapt unprivileged image builds

Stop mounting package caches into images when running scripts

The package manager in the container might be a very different
version than the one running on the host which could cause all
sorts of caching issues. Since we don't need the caches in the
image anymore as we run the package managers outside of the image,
let's stop mounting the cache directory into the image when running
scripts as well.

Merge pull request #1383 from DaanDeMeyer/drop-remove-locale

fedora: Don't unconditionally remove /usr/share/locale

centos: Only enable supported ext4 filesystem features on C8S

Fixes #1378

gentoo: adapt unprivileged image builds

avoid mknod by ignoring char/block devices

Expand regular user if not running as root

fedora: Don't unconditionally remove /usr/share/locale

action: Make sure bootctl is built

bootctl is now behind the new bootloader meson option, so let's
enable that and install the required python-pyelftools dependency.

Cache less stuff

Let's not cache steps that are instant to run. This way, these settings
can be changed without having to rebuild from scratch.

Add --initrd option

--initrd allows users to provide their own initrds. When used, we'll
automatically create another initrd per kernel containing just the
kernel modules and all the initrds to ukify.

We don't compress the kernel modules initrd as the kernel modules
should be compressed themselves already.

Use an overlay for the build image instead of a full image

Instead of building a second image for the build image, let's just
make it an overlay for the final image since the only difference
between the two is the list of installed packages. This speeds up
image builds and allows us to simplify the internal logic as well.

Remove unused functions

debian: Disable services in preset by default

Let's not enable services by default unless explicitly enabled by
a previous preset file.

Look for dpkg in PATH

Rebuild man page

action: Build nspawn from source

Let's try to get rid of the spurious "Connection timed out" errors
from systemd-nspawn by building the latest version from source.

Merge pull request #1370 from DaanDeMeyer/packages-stuff

Packages related refactors

Packages related refactors

- Use Sequence as the type for passing package lists around
- Add install_packages() method to DistributionInstaller
- Remove install_packages_rpm() and use invoke_dnf() directly

arch: Use pathlib more

Merge pull request #1369 from DaanDeMeyer/path

Path fixes

Add fallback paths to PATH in run_workspace_command()

Some distros don't configure the appropriate default PATH for their
shell when executed non-interactively, so let's add some fallback
entries ourselves to make sure we can always find the executables we
need.

Fall back to /usr/lib/systemd/ukify if ukify is not found in PATH

Use image default PATH in run_workspace_command()

Use union operator instead of env unpacking

Avoids issues when the same environment variable is specified more
than once.

debian: create /efi mountpoint

Ensure ESP is mounted on /efi rather than /boot so that dpkg doesn't
attempt to install files on vFAT

Drop quotes where not needed

Merge pull request #1363 from DaanDeMeyer/drop-chdir

Drop unused chdir() context manager

Remove unused xescape() function

Simplify --remove-files

Remove unused parse_bytes() function

Remove unnecessary prefix variable

Drop split usr support from gen_kernel_images()

Bump qemu default memory to 2G

Bigger initrds require more memory so let's default to using slightly
more memory when running qemu.

Make warn() output yellow

Bump EFI partition size to 1024M

Initrds can get pretty big, so let's make sure to accomodate for
that by increasing the EFI partition size.

Stop installing dnf by default

dnf pulls in python which is a huge dependency so let's not install
it by default. Let's make sure we keep installing rpm though.

Make make_cpio() more generic

Simplify should_compress_output(), default to zstd and compress cpios

Don't require --bootable for --qemu-headless

When building initrds, it's valid to want --qemu-headless without
--bootable.

Fix outdated comment

Use text=True in make_cpio()

Drop unused chdir() context manager

Sort kernel modules directories by version and use the newest

Make some methods follow the general pattern of returning early

ubuntu: security repo is different from !x86

tighten typing of env variable passed to run functions

Gather all boot loader related logic in install_boot_loader()

We drop the logic to sign unified kernel images as ukify takes care
of that for us.

Always run subprocesses with constrained environment

Also set LANG=C.UTF-8 if not set explicitly.

Use complete_step() in invoke_repart()

Merge pull request #1351 from fbuihuu/updates-for-opensuse

Updates for openSUSE

opensuse: 'leap' as release name is now an alias for 'stable'

Previously using 'leap' would have installed Leap 15.1 which doesn't make sense
since this version of Leap is obsolete and no more supported. Install the latest
stable version instead.