Ensure output is compatible with systemd-sysupdate

When using `systemd-sysupdate` it is wise to use split artifacts and to
compress artifacts. These changes ensure that split artifacts are compressed
and the file paths are stored in the checksum.

Please note that `systemd-sysupdate` expects a checksum name of `SHA256SUMS`
and uses the contained file names to determine which files to download. The
compression suffix is also used to determine how to decompress files.

Additional CI checks have been added to make sure no regressions in output
format occur.

Update files docs

distro: debian: allow RemovePackages

When using RemovePackages= apt may refuse to remove what it considers
essential packages even when they are effectively empty meta packages or
contain only usr/share/doc/${package}/

This causes build failure like this:
Reading state information...
Package 'netcat-openbsd' is not installed, so not removed
Package 'net-tools' is not installed, so not removed
Package 'man-db' is not installed, so not removed
Package 'groff-base' is not installed, so not removed
The following packages will be REMOVED:
  cron* dmidecode* fdisk* ifupdown* init* iproute2* iputils-ping*
  isc-dhcp-client* isc-dhcp-common* kmod* libbpf0* libbsd0* libcap2-bin*
  libdns-export1110* libedit2* libelf1* libfdisk1* libisc-export1105*
  libjansson4* libmd0* libmnl0* libnftables1* libnftnl11* libxtables12*
nano*
  netbase* nftables* udev* vim-common* vim-tiny* xxd*
WARNING: The following essential packages will be removed.
This should NOT be done unless you know exactly what you are doing!
  init
0 upgraded, 0 newly installed, 31 to remove and 0 not upgraded.
E: Essential packages were removed and -y was used without
--allow-remove-essential.
‣ "apt-get purge vim-tiny vim-common nano nftables netcat-openbsd
netbase net-tools isc-dhcp-common isc-dhcp-client iputils-ping iprout
e2 udev kmod fdisk dmidecode man-db init ifupdown groff-base cron"
returned non-zero exit code 100.
Traceback (most recent call last):
File "/usr/lib/python3.9/runpy.py", line 197, in _run_module_as_main
    return _run_code(code, main_globals, None,

As we do know what we are doing to have configured these removals, tell
apt to allow it.

Merge pull request #1513 from keszybz/more-man

More man page adjustments

Merge pull request #1506 from DaanDeMeyer/profiles

Add preset support

Add preset support

Presets can be defined in mkosi.presets/. A preset is just like a
regular config file/directory, except that mkosi can build multiple
presets sequentially.

If mkosi.presets/ exists, for each preset mkosi will read the global
configuration, followed by the individual preset configuration. It
will then build each of the presets in alpha-numerical order. Later
presets can use outputs of earlier presets, specifically using the
BaseTrees= and Initrds= options.

While this has many use cases, one promising use case is to allow
building an initrd and a final image that uses that initrd within a
single invocation of mkosi.

Do prebuilt initrds by default

Let's stop running kernel-install in favor of always doing prebuilt
initrds by default. We reimplement the depmod hook of kernel-install
ourselves (required for centos stream 8).

If no initrd is provided by the user, we build a minimal one ourselves
that's sufficient to boot in a qemu VM. If the default initrd is not
sufficient, the upcoming preset support can be used to build a custom
initrd instead.

Allow specifying --bootable without an argument

Don't fail if we can't retrieve default credentials

Let's not fail if we can't run ssh-add or timedatectl to get the
SSH key or timezone.

Allow specifying empty --directory to not parse any config files

repart: Support mkfs options from configured environment

Switch back to using ttyS0 as the default serial console

virtio_console is not always a builtin kernel module on all the
distributions we support. This means that the kernel can only
start logging to it after the initramfs has been unpacked and the
virtio_console module has been loaded from it. Any message that's
logged to kmsg before that dissapears into the void which makes
debugging boot failures rather difficult.

Instead, until systemd-stub is recent enough in all supported distros
to receive extra kernel cmdline arguments via smbios, let's use a
default kernel cmdline of "console=ttyS0" so that the serial console
works by default but can still be overridden by users.

Always create /init symlink if systemd is installed

Let's always create the /init symlink if systemd is installed so that
the kernel picks it up at /init when we try to use this output as the
initramfs.

Refactor ACLs + make sure they apply to base trees

Let's refactor ACLs so that they're all applied/removed in the same
function. Let's also make sure they apply to base trees as well.

Add gzip compression support

Default to xz fast compression

Let's default to fast compression instead of better compression.

Also drop pixz support since it's superseded by xz's own multithreading
support.

Fixup rpmdb location on Debian when running zypper as well

zypper uses rpmdb under the hood, just like dnf, so it suffers from
the same rpmdb problem on Debian/Ubuntu, so let's apply the same fix.

Add missing newline

centos: Make sure glibc-all-langpacks doesn't get installed

On CentOS 8, glibc-all-langpacks is pulled in as a dependency of
filesystem. Let's make sure dnf prefers glibc-minimal-langpack by
installing it explicitly.

Fix genkey

Clean up unlinking outputs a bit

Add missing colon

Fix PathExists

We now chdir() to the current config directory so we don't have to
take the current path into account anymore.

Don't try to install build packages if we have none

Cache only files installed on top of base trees

Currently, when base trees are used in incremental mode, we cache
the base trees as well. When running from a cache copy, any changes
to the base trees are not taken into account. Let's change this and
only cache the files we add/change/delete on top of the base layers.
This makes sure that we can still use our cache even if the base layer
changes, since we won't ignore all changes made to the base layer.

Store file hash and signature in output directory

CI fixes

Merge pull request #1516 from mcassaniti/fix-signing

Fix signing of checksums, especially for non-root user

hash signing: Use keyring of running user for non-root builds

`gpg` will attempt to use the root user keyring When running as a non-root
user instead of using the keyring of the user that is executing `mkosi`.
This change will attempt to use the keyring given by `GNUPGHOME` and
fallback to using `~/.gnupg`.

base-trees: Fix typo in path

Ensure that username and uid are consistent

While SUDO_UID and SUDO_GID are useful, since sudo allows to run things as
different UID and GID, SUDO_USER is less useful, since it can't change the
mapping from UID to name in the namespace it's in. Let's cut out the middleman
of getpass.getuser, that looks through several more environment
variables (LOGNAME, USER, LNAME, USERNAME) before falling back to os.getuid and
looking up the corresponding name and do that right away.

hash signing: Fix using default key

The default key needs to be specified before the file to sign

man: add more info about qemu monitor

This is very hard to discover, but useful. Let's give the
users a hint.

man: drop explicit Fedora version from example

We don't really care which version is used exactly, but 24 is almost
certainly not the right one. By not specifying the version we let mkosi
pick something suitable.

man: use '$' to signify unprivileged commands, '#' for privileged

It's always nicer to do things not as root.

Also adjust some phrasing and minor details in a few places.

man: drop line about authors

This header is rendered in the github preview in a fairly ugly way.
Nevertheless, we can't get rid of the whole thing because then pandoc generates
a man page without a header. But let's at least drop the info about authors and
date to make the whole thing less prominent.

Merge pull request #1509 from DaanDeMeyer/profiles-prep

Profiles preparation

Unbreak Invokinguser

chdir() without going back in parse()

We never need to leave the directory specified with --directory, so
let's not leave it.

Make sure path to parse_config() is correct after chdir()

Move cache, build and install directories to [Output] section.

Remove distro specific output directory

Let's move the cache images to mkosi.cache/ and go back to non
distro specific output directories. This gives us a stable path
for the build outputs that doesn't depend on the specific distro or
version used.

Restore old PATH when prepend_to_environ_path finishes

Make bump and genkey CLI image independent verbs

In preparation for adding multiple images support, let's make these
commands work only with command line arguments.

Split MkosiArgs from MkosiConfig

Let's put the arguments that are not associated with an image into
a separate dataclass.

Return MkosiConfig from MkosiConfigParser.parse()

Remove support for passing arguments to the build script.

This doesn't end up working well in practice, so let's drop support
for this.

Use default_factory for selecting default mirror

Merge pull request #1508 from behrmann/evenmorematch

Allow globs if image ID matches and implement not equal for image version matches

Merge pull request #1500 from behrmann/followupsv1

Assorted followups

doc: add a table which match supports what

config: allow globs when matching image IDs

ci: drop unneeded build dependency

config: add missing version comparision for non-equality

Implement __bool__ and __str__ for compression enum

Make keyword arguments of config_make_list_parser keyword-only

config: default to True for required in path parsing functions

Add back bootable to summary output

Make InvokingUser just a namespace for functions

The sequence of calls to the underlying functions remains the same, but it's
shorter and there are no intermediate dataclass instance constructed.

Merge pull request #1504 from behrmann/morematch

Add matching on image ID and version

ci: build current systemd-analyze for unit tests

action: add back version output of the binaries we build

Enable --repo-dir for Debian and Ubuntu

Additional repositories can now be configured for Debian and Ubuntu.

Because APT can only be configured with a single path for
`Dir::Etc::sourceparts`, the content of the directories listed in
`repo_dirs` are copied in a `apt/sources.list.d` directory managed by
mkosi outside the image root. Therefore, only one file will be kept if
several files have the same name.

Like the main `sources.list` generated by mkosi, the additional
repositories are copied in the image if APT is installed.

config: add ImageVersion matching

config: Improve GenericVersion performance

config: Add Match on ImageId

Merge pull request #1491 from DaanDeMeyer/exception

Tweak exception handling

Tweak exception handling

- Remove optional exception argument of die() in favor of just using
  logging.error() and re-raising the exception
- Instead of raising RuntimeError in die(), just call sys.exit()
  instead which raises SystemExit.
- Show stacktrace of every exception that isn't SystemExit,
  KeyboardInterrupt or subprocess.CalledProcessError.

Drop safe_tar_extract()

Let's just run tar as a child process instead.

Fix FileExistsError exception

Merge pull request #1501 from DaanDeMeyer/fixes

Various fixes

tests: Add tests for Match sections

Remove unnecessary newline in log_step()

Revert back to shell based chmod solution for bwrap

Mounting the host directories doesn't work because those directories
are owned by root on the host which translates to nobody in the user
namespace, breaking systemd tmpfiles tests.

Use conditional apivfs with Debian/Ubuntu and Arch as well

Arch's filesystem package ships apivfs directories as well and
in Debian/Ubuntu, we don't want to have apivfs mounted when running
the apt update and when only downloading packages.

Use stderr to check for tty in foreground()

stdin/stdout might be redirected for other purposes, let's use stderr
instead to detect if we're connected to a terminal.

Drop var_tmp() from MkosiState

Make --debug a boolean and add --debug-shell

Let's drop the support for multiple string arguments since we only
have "run" anyway and make --boolean a simple yes/no option. To
get an interactive shell on failure, a new option --debug-shell is
added.

Support matching against any of a list of releases

Merge pull request #1495 from DaanDeMeyer/stuff

Various refactorings and improvements

Remove for_cache from MkosiState and centralize cached in build_image()

Instead of passing these two booleans to every function, let's centralize
their usage in build_image().

Remove --cache-initrd

Use uid, gid directly instead of state.uid, state.gid

Move MkosiConfig and load_args() and config.py

And all the other related changes to make that work.

Move MkosiState to state.py

Rework bwrap run functions

- To split up our dependencies more, we need to make run.py
  independent of MkosiState, so let's do that.
- To get rid of the shell hacks in both functions to chmod /tmp,
  /var/tmp and /dev/shm, let's just mount the relevant files from
  the host which have the right permissions.
- Fixing the above exposed a bug in the logic to set up rpm based
  systems, which all ship a filesystem package that includes
  directories such as /tmp, /proc, /sys, ... which we overmount
  with apivfs or tmpfs filesystems when running rpm, causing errors
  when the filesystem package tries to set up these directories. To
  ensure these directories are created with the permissions from the
  filesystem package, the run_with_apivfs() function is renamed to
  bwrap() and gains an apivfs argument, which takes a path to set
  up apivfs directories in. If not provided, no apivfs is set up.
  This is then used to install the filesystem package without apivfs
  so that the directories can be created with the right permissions.
- The various rpm distributions now install the filesystem package
  instead of the setup package by default, so we can disable apivfs
  properly while filesystem is being installed. system-user-root
  was removed for opensuse because the filesystem package depends on
  it.

Fix rpmdb symlinks

On CentOS, we were creating the wrong symlink. Let's use a proper
relative symlink that always works regardless of whether we're chrooted
or not.

On Debian/Ubuntu, we weren't creating a symlink at all. So let's make
sure we also create a symlink there and use a relative symlink there as
well.

We use os.path.relpath() because Path().relative_to() can only do relative
paths to subpaths which isn't the case here. In the future we can set
strict=False and use relative_to().

Rename backend.py to util.py

backend.py is a horrible name, let's use util.py instead.

Use an entry point instead of a script

The use of a custom script to launch mkosi has several shortcomings:

1. It translates `$PKEXEC_UID` into various `$SUDO_`* variables. That
   translation is lost if mkosi is run as a zipapp or as a module with
   `pkexec python3 -m mkosi`.
2. It has to muck around with `$PYTHONPATH` to launch mkosi directly
   from its source code.
3. It is tied to setuptools and has no equivalent in the standard
   project metadata (as in pyproject.toml).
4. And it also has to find the correct interpreter and maybe muck around
   with `$PYTHONPATH` to launch mkosi from its installation, which may
   be on the system, in the user's sitedir or in a virtualenv, as a
   standard or an editable installation.

Point 1 is not needed anymore now that `mkosi.backend.current_user()` is
used everywhere.

Point 2 can be done by directly running mkosi as a module from its
sources with:

- `[sudo|pkexec] python3 -m mkosi` inside the project directory
- `[sudo] PYTHONPATH=<PROJECT_PATH> python3 -m mkosi` from anywhere
- `[sudo|pkexec] <PROJECT_PATH>/bin/mkosi` from anywhere. The script is
  now a simple shim that is only used for this use case and not
  installed anymore.

Point 3 and 4 are better supported by using a `"console_scripts"` entry
point when installed. However, it is not possible anymore to run a
user-installed mkosi with sudo/pkexec.

Add missing complete_step() when installing build packages

fix duplicate entry in github action

Use `getpass.getuser()` to get the name of the current user

`os.getlogin()` can fail and has no fallback, whereas
`getpass.getuser()` takes the environment variables into account and
falls back on `pwd`.

Disallow `<SOURCE>:<TARGET>` with an empty target

The configurations of the form `<SOURCE>[:<TARGET>]` require an absolute
target if given. However, `<SOURCE>:` would be ambiguously interpreted
as `<SOURCE>` so it is now disallowed.

For reference, `systemd-nspawn --bind` uses a similar form and refuses
to take an empty target.

Allow setting empty environment variables

Trying to set an empty environment variable with `FOO=` would instead
pass the `FOO` variable from the host, which is the expected behavior
when `=` is missing.

debian: Add TODO to drop /var/lib/dpkg/status logic when possible

It's created automatically by apt since apt 2.5.4 so add a note that
we can drop it once that version is widely available. Also disable
dpkg locking since it causes a apt failure due to not being able to
access the lock file in /var/lib/dpkg. Since we're building in a
chroot, we don't care about locking anyway.

Use python logging module for logging

Let's get rid of our home grown solution and use python's logging
module instead.

Support matching against any of a list of distributions

Display "Skeleton Trees" in the summary again

The skeleton trees were lost from the summary with e1bbc39.

Fix installation of essential packages on Debian stretch

There is a bug in Debian stretch where `libuuid1` (which is essential)
unnecessarily depends on `passwd`. When configuring the essential
packages and their dependencies, `passwd` is configured before
`base-passwd` and the installation fails.

debootstrap did not have this issue because it explicitly orders the
installation of some essential packages, including `base-passwd`.

By explicitly installing `base-passwd` first, the rest of the essential
packages can then be configured without failure.

Use shlex escaping in Environment

The Environment configuration takes lists of space-separated values and
combine them in a single list, splitting the values on spaces and
newlines. However, environment variables might sometimes need a space in
their value, which is currently impossible to configure.

Instead of blindly splitting the values on spaces and newlines, they are
now split with shlex. Spaces, newlines and backslashes can be escaped
with backslashes, single quotes and double quotes.

This behavior also more closely matches the Environment directive of systemd.