Add PathExists= match

It's also useful to be able to match against stuff that isn't the
current configuration. Let's add a PathExists= match that is satisfied
when the given path exists.

This will be useful in systemd where we conditionally build a kernel if
mkosi.kernel/ exists in the top level repo directory. With this setting,
we can only install the necessary packages to build the kernel if the
mkosi.kernel/ path actually exists.

Stop returning namespace in parse_config()

We don't use the return value at all so let's make it None.

Move more configuration parsing logic to config.py

Make --repart-dir take a list of paths

systemd-repart supports multiple definition directories so let's
extend that to mkosi as well.

Indicate required paths in list path settings

Merge pull request #1424 from DaanDeMeyer/config

Rework configuration parsing ordering and overrides

Rework configuration parsing ordering and overrides

Currently, aside from list based settings, if a setting is used
multiple times across different configuration files, the later
assignments override earlier assignments. On top of that, the CLI
arguments are parsed last and override everything from config files.

This has worked very well until now, but breaks now that we have
[Match] sections. If we override a setting using the CLI, we want
any configured [Match] sections to compare against the value specified
via the CLI. Because the CLI values are applied last, this currently
isn't the case.

Similarly, if we add 90-local.conf to override the distribution release
used for Debian, all the config files that are processed earlier will
still compare against the default release configured for Debian in
50-debian.conf. If we rename 90-local.conf to 00-local.conf, the default
release in 50-debian.conf will still override that value. Only by putting
the override after the config file that assigns the default release but
before the first config file that matches on that release can we make this
work, but depending on the configuration this might require a lot of
different override files which isn't ideal.

Also, because later values can override earlier ones, it's possible to have
[Match] sections that match against different values of the same setting
both apply, if the setting happens to be reassigned inbetween, which is not
intuitive and error prone. Ideally, [Match] settings only apply to the final
value of a setting.

To fix these problems, this commit reworks the way we order and override
settings. Instead of having later assignments override earlier ones, for
all settings aside from list settings, the first assignment is the one that
is used. All later assignments of the same setting are ignored. Along with, we
switch to parsing CLI arguments first, which means that any settings assigned
in CLI args take precedence over those configured in config files.

Because the first value is immediately the final value, any [Match] sections
will only ever see the final value. One caveat is default values for settings.
We only want to assign these at the end of parsing, if no value has been
explicitly configured, but we also want [Match] sections to apply to default
values if no value is explicitly configured. The solution to this is that if
we encounter a setting in a [Match] section and it has not been explicitly
assigned a value yet, it is assigned its default value.

For list based settings, ! now configures an ignore glob, which means that if any
later assignments try to assign values that match an ignore glob, those values
are ignored. We also prepend list values instead of appending so that list
values that are configured in a preceeding config file appear later in the final
list value than values configured in a later assignment.

Implementation wise, this commit reworks config parser functions to return the
new value that should be assigned instead of assigning it themselves. This makes
the config parsing functions slightly more generic.

Add back AutoBump config setting

This was accidentally removed in an earlier commit.

Allow missing secure boot key/cert if running genkey

Merge pull request #1420 from DaanDeMeyer/config

Rework configuration parsing

Rework configuration parsing

Instead of messing with the internals of argparse, let's implement
proper configuration file parsing.

- Parsing classes and functions are located in a new file config.py
- Configuration settings are split up from CLI settings in a list of
the new ConfigSetting dataclass
- The CLI options for configuration settings now share the same
argparse setting which simply delegates parsing to the corresponding
configuration setting parser.
- We add support for [Match] sections to enable conditionally including
configuration files. Currently Match support is implemented for
Distribution= and Release=.
- Configuration file searching is reworked. In mkosi.conf.d/, we parse
all files ending with ".conf" and directories. If a directory is parsed,
we parse mkosi.conf, mkosi.conf.d/ and all mkosi specific paths in it.
All paths are interpreted relative to the directory that we're parsing.

Print cmdline in run() before doing fspath() conversion

Remove Additional Configuration Options argparse group

Let's move these settings to the top level group along with the other
CLI arguments that aren't really config.

Move --auto-bump under Content section

Let's collocate --auto-bump with --image-version which it is closely
related to.

Drop [Partition] group

Only remaining setting in it was BaseImage=, which fits better in
[Content] so let's drop [Partition] and move BaseImage= to [Content].

Add --cache-only option

Instead of having "never" as a special value for --with-network, let's
add a custom option --cache-only to enable/disable this behavior.

Drop --qcow2 and --bmap options

Let's reduce the support surface by removing some fringe options

Remove compatibility option names

Update outdated documentation

Remove build phases docs as we only have a single phase these days
and update the caching section docs to take the new build overlay
approach into account.

Name all directory options consistenly

Use shorthand for the CLI option and longform for the config file
option.

Only run ssh-add -L if SSH_AUTH_SOCK is found in the environment

Merge pull request #1417 from DaanDeMeyer/virtconsole

qemu: Use virtconsole serial console instead of regular serial console

qemu: Don't write any log messages when running qemu

The running command message can get huge depending on which credentials
you're using so let's not write it by default (can still get it with
--debug run). And the swtpm message isn't super useful either so let's
drop it as well.

qemu: Use virtconsole serial console instead of regular serial console

With --qemu-headless, qemu stops working when latest systemd is not
available because smbios provided kernel cmdline arguments are ignored.
This includes "console=ttyS0" meaning we don't get any output on the
serial console when booting in qemu.

As a workaround, let's use qemu's virtconsole instead. This means the
serial console will be available in the VM as /dev/hvc0, on which
systemd will automatically spawn a serial getty. This means we'll
eventually get a login prompt, even if latest systemd is not used.

One caveat is that EDK2 doesn't seem to support virtio-serial with
virtconsole. To get around this limitation, we keep a regular serial
console around as well, which can be used by the bootloader to log
its output.

Always use mkosi.extra/ and mkosi.skeleton/ if they exist

These should be additive instead of only being used when no explicit
extra/skeleton trees are configured.

Drop --netdev

Let's not configure systemd-networkd in mkosi, but leave this up
to users instead. As our SSH support now works on top of vsock, we
don't need this option anymore to make the SSH support work.

When booting, containers are started without a network device (trivial
to add one by adding --network-veth) and VMs are started with a network
device. We don't want one for containers so that they can just reuse the
network namespace of the host instead of having to start networkd to get
internet access within the container. For VMs, there's no disadvantage to
adding a network device, so we add one by default.

Replace --qemu-headless with --qemu-gui

We add extra kernel command line arguments that configure term and
the tty size at runtime. We start qemu in the terminal on a serial tty
by default now as well.

We introduce --qemu-gui to still allow booting qemu in a graphical
interface

We also pass the host environment to qemu and nspawn to mimick what
we do with ssh and because qemu needs the host environment to
initialize gtk properly.

Add --acl option

Let's make the usage of ACLs opt-in since they leak into the final
image if the directory output is used.

We move the call to print_output_size() so its executed inside the
user namespace, which is required because we might not have permissions
to read some of the image's directories outside the user namespace.

centos: Drop c9s epel requirement for systemd-boot

It's available in the base repositories now. We still need epel on
the redhat derivatives for now.

ci: run differential shellcheck on push as well

to get rid of the annoying message on new PRs.

Also, update the action to the latest version and drop now unnecessary
permissions.

See: https://github.com/redhat-plumbers-in-action/differential-shellcheck/issues/215
Addresses: https://github.com/systemd/mkosi/pull/1413#issuecomment-1486700752

Fix check_config_file_age

This is actually a main config setting instead of a per repo setting.

overlayfs: avoid userxattr if kernel version is < 5.11

userxattr was added as a mount option for overlayfs only in kernel 5.11,
so avoid it on older versions (like Debian stable):

‣   Running build script…
mount: /home/bluca/git/systemd/.mkosi.tmpzt2q0dyp/root: wrong fs type, bad option, bad superblock on overlay, missing codepage or helper program, or other error.
umount: /home/bluca/git/systemd/.mkosi.tmpzt2q0dyp/root: not mounted

Merge pull request #1407 from nikandfor/parse-configs-fix

Only parse configuration files suffixed with ".conf" in dropin directories

update NEWS.md

only parse *.conf files in dropin dirs

centos: Install systemd-boot again on CentOS Stream 9

systemd-boot was removed from the systemd package again so let's
start installing it explicitly again on CentOS Stream 9.

opensuse: populate the cache dir even when creating a sysext image

Run ssh-add -L to get the public key if the --ssh option is enabled

Log main verb output to stdout

By default, run() redirects stdout to stderr. Let's override this
for the main output of our other verbs.

ssh: Treat exit status 255 as success

Merge pull request #1401 from DaanDeMeyer/fixes

Fixes

SSH fixes

- Disable UsePAM to avoid a slow reverse DNS lookup
- Pass environ when runnning ssh to pass SSH_AUTH_SOCK
- Don't use a random CID, instead hash the machine name and take
the first 4 bytes as the CID
- Pull in sshd-keygen.target so the ssh key gets generated on boot.

Remove unused code

Add source target support to extra and skeleton trees

Fix caching behavior of several functions

Follow up for cee0b1b. Forgot to add checking of state.for_cache.
Also configure_dracut() needs to stay cached since we have an option
to cache the initrd.

Reimplement Ssh option on top of VSock and credentials

SSH key generation is currently broken under unprivileged mkosi.
Instead of trying to make this work, let's rework the SSH feature
entirely.

First, we only really need the SSH option for getting additional
login shells in VMs, so if we drop the requirement that this works
for containers (which can already be accessed with machinectl), we
can use VSock instead of TUN/TAP to get rid of a ton of code.

We also have a much better way of provisioning the public key these
days, add a script "ssh.authorized_keys.root" to mkosi.credentials/
with the following contents:

```
\#!/bin/sh
ssh-add -L
```

So we don't need to do SSH key generation ourselves anymore, we can
just let the user provide their own SSH key via a credential.

centos: Add missing base features for ext4 on c8s

Accidentally only added the ext4 specific features and none of the
base features, let's make sure we add the base features as well,
especially sparse_super is important to make repart's minimize
guessing logic work properly.

fedora: Default to the minimal authselect profile if authselect is installed

Set SYSTEMD_LOG_LEVEL=debug when debug is enabled

Replace QemuSMBIOS option with KernelCommandLineExtra

We only really added the QemuSMBIOS option to be able to set stub
option for adding extra command line options. Let's replace it by
a less generic option to make it less verbose to use and to allow
passing the added kernel command line arguments to systemd running
in nspawn as well.

Fix typos

Found via `typos --format brief`

Fix documentation for WorkspaceDirectory

OutputDirectory is not actually being considered as an alternative, just the current working directory.

Merge pull request #1387 from Cornelicorn/fix-roothash-unexpected

Fix roothash property handling

Fix roothash property handling

Merge pull request #1385 from DaanDeMeyer/credentials-dir

Extend credentials support

Always pass credentials as base64 encoded

Avoid qemu command line shenanigans by just always passing base64
encoded binary credentials.

Add --qemu-smbios option

This can be used to set io.systemd.stub.kernel-cmdline-extra to add
extra kernel cmdline arguments at runtime.

Extend credentials support

We now also read credentials from mkosi.credentials/. If a file in
mkosi.credentials/ is executable, we run the file and use its output
as the credential.

Merge pull request #1365 from 257/gentoo

gentoo: adapt unprivileged image builds

Stop mounting package caches into images when running scripts

The package manager in the container might be a very different
version than the one running on the host which could cause all
sorts of caching issues. Since we don't need the caches in the
image anymore as we run the package managers outside of the image,
let's stop mounting the cache directory into the image when running
scripts as well.

Merge pull request #1383 from DaanDeMeyer/drop-remove-locale

fedora: Don't unconditionally remove /usr/share/locale

centos: Only enable supported ext4 filesystem features on C8S

Fixes #1378

gentoo: adapt unprivileged image builds

avoid mknod by ignoring char/block devices

Expand regular user if not running as root

fedora: Don't unconditionally remove /usr/share/locale

action: Make sure bootctl is built

bootctl is now behind the new bootloader meson option, so let's
enable that and install the required python-pyelftools dependency.

Cache less stuff

Let's not cache steps that are instant to run. This way, these settings
can be changed without having to rebuild from scratch.

Add --initrd option

--initrd allows users to provide their own initrds. When used, we'll
automatically create another initrd per kernel containing just the
kernel modules and all the initrds to ukify.

We don't compress the kernel modules initrd as the kernel modules
should be compressed themselves already.

Use an overlay for the build image instead of a full image

Instead of building a second image for the build image, let's just
make it an overlay for the final image since the only difference
between the two is the list of installed packages. This speeds up
image builds and allows us to simplify the internal logic as well.

Remove unused functions

debian: Disable services in preset by default

Let's not enable services by default unless explicitly enabled by
a previous preset file.

Look for dpkg in PATH

Rebuild man page

action: Build nspawn from source

Let's try to get rid of the spurious "Connection timed out" errors
from systemd-nspawn by building the latest version from source.

Merge pull request #1370 from DaanDeMeyer/packages-stuff

Packages related refactors

Packages related refactors

- Use Sequence as the type for passing package lists around
- Add install_packages() method to DistributionInstaller
- Remove install_packages_rpm() and use invoke_dnf() directly

arch: Use pathlib more

Merge pull request #1369 from DaanDeMeyer/path

Path fixes

Add fallback paths to PATH in run_workspace_command()

Some distros don't configure the appropriate default PATH for their
shell when executed non-interactively, so let's add some fallback
entries ourselves to make sure we can always find the executables we
need.

Fall back to /usr/lib/systemd/ukify if ukify is not found in PATH

Use image default PATH in run_workspace_command()

Use union operator instead of env unpacking

Avoids issues when the same environment variable is specified more
than once.

debian: create /efi mountpoint

Ensure ESP is mounted on /efi rather than /boot so that dpkg doesn't
attempt to install files on vFAT

Drop quotes where not needed

Merge pull request #1363 from DaanDeMeyer/drop-chdir

Drop unused chdir() context manager

Remove unused xescape() function

Simplify --remove-files

Remove unused parse_bytes() function

Remove unnecessary prefix variable

Drop split usr support from gen_kernel_images()

Bump qemu default memory to 2G

Bigger initrds require more memory so let's default to using slightly
more memory when running qemu.

Make warn() output yellow

Bump EFI partition size to 1024M

Initrds can get pretty big, so let's make sure to accomodate for
that by increasing the EFI partition size.

Stop installing dnf by default

dnf pulls in python which is a huge dependency so let's not install
it by default. Let's make sure we keep installing rpm though.

Make make_cpio() more generic

Simplify should_compress_output(), default to zstd and compress cpios

Don't require --bootable for --qemu-headless

When building initrds, it's valid to want --qemu-headless without
--bootable.

Fix outdated comment

Use text=True in make_cpio()