doc: document the new image identification/versioning features

mkosi: if we have an image id (any maybe image version) use it to label partitions

This makes a lot of conceptual sense (since labels probably should
better declare what you find *in* a partition instead of just a
description of the type of it, because we already can generate that
automatically from the GPT UUID).

But it's also useful in conjunction with systemd's logic of always
picking the newest version of a root partition to mount in
systemd-nspawn and related commands, i.e.

https://github.com/systemd/systemd/pull/18958

On top of that this is useful in combination with SplitArtifacts=as then
the partitions and the split files will carry the same (except for the
suffix).

mkosi: add "image-id" concept in addition to "image-version"

A previous commit added an image version concept. Let' build on that and
add "image-id" too to match this systemd PR:

https://github.com/systemd/systemd/pull/19093

The image ID is used for naming the enerating artifacts if that's not
explicitly set (instead of the generic "image" as before) and is passed
to th build scripts via an IMAGE_ID env var matching the IMAGE_VERSION
the earlier commit added.

The idea is that the image version and ID passed here is ultimately
written to /etc/os-release by the build script (possibly mangled) and
the mkosi concepts for this hence ultimately propagate into the image
itself in some form even if not 1:1 (depending on the project of
course).

mkosi: add new --auto-bump switch for automatically bumping version after each successful build

Often it make sense to combine "build" and "bump" into one, so that the
a series of builds comes with a linearly increasing series of version
numbers. Add a new switch --auto-bump for that (or -B in short).

mkosi: add "mkosi bump" verb for bumping the image version

This is a simple verb that reads the image version, and increases the
last dot-separated component of it by one and writes it to
mkosi.version. It's supposed to be a very simple call only for linear
version bumps. For anything more complex people should manually edit the
file or override it temporarily via --image-version= or so.

mkosi: add very simple image versioning concept

This adds a "image version" concept to mkos. Via the
ImageVersion=/--image-version= settings or the `mkosi.version` file a
version string may be defined. This is used for two things:

1. It is included in the (default) output filename. i.e. instead of
   "image.raw" the files will be called "image-0.1.raw" for a version of
   "0.1" and so on.

2. It is passed as IMAGE_VERSION to the build script (the script could
   use it and patch it into /etc/os-release or so for example)

(In case you wonder why this is called ImageVersion=/--image-version=
instead of just Version=/--version, that's because there's already a
command line switch for the latter that prints mkosi's own version
number)

Fixes: #626

Merge pull request #688 from poettering/split-generated-pure

optionally write out rootfs/verity/kernel as split out files in GPT images

mkosi: let's generate the bmap output file name without ".raw.xz" too

Let's reuse our nice generic infrastructure for generating output file
names.

mkosi: optionally, also write rootfs/verity/kernel into split out files

This is useful for A/B update systems where we want to update the root
fs/verity partition/kernel only but leave the rest in tact.

Fixes: #625

mkosi: don't make efivarfs.ko a hard dep

Some distros build this as kmod, others build it in. Hence only package
it up if it exists, i.e. pull it in weakly only.

(Quite frankly, distros that don't build it in are stupid, they should
fix that, it's needed almost always and is tiny.)

Follow-up for 9244e1dcdc056a7e9c457222a858a852a7965078

mkosi: fix bootable + verity /usr/ builds

This fixes two issues with UsrOnly=yes builds that are bootable and have
verity:

1. use the right partition type uuid for the verity partition
2. fix the umount path when we invoke dracut in a /usr-only build, since
   "umount --recursive" insists on having a mount point at the specified
   path, which we previously didn't necessarily. Let's add a bind mount
   on itself there to address this.

A follow-up for: #676

Attempt to retry the SSH connection if the veth/SSH server is not up yet

This commit introduces a new option `--ssh-timeout=` to allow setting
a timeout for which `mkosi` will attempt to retry the SSH connection in
case the link not properly set up yet (e.g. when running `mkosi qemu` and
`mkosi ssh` in a script, the veth may not be configured yet, causing the
ssh connection to fail).

Fixes: #684

mkosi: insert generated file systems sparsely

Let's lower our disk footprint a bit, by copying in file systems
sparsely.

Allow overriding the SSH key pair

Allow using a pre-defined SSH key pair instead of generating a new one.
This should be useful, for example, in CI environments, where the images
are built and used at different times, and using the same SSH key pair
across multiple images is more convenient.

mkosi: add UsrOnly= setting for generating images with only a /usr/ partition

This adds a new boolean option that changes our image layout slightly:
instead of include the whole root fs in the image, we just pack up the
/usr/ subtree.

This has two usecases:

1. Truly stateless systems that come up pristine on every single boot,
   where /etc and /var are populated by tmpfiles/sysusers and related
   calls

2. Systems that are shipped without root fs, but where systemd-repart
   adds one in, with a locally generated encryption key and so on. (this
   doesn't work fully yet, because of some initrd issues, will look at
   this later.)

A companion PR on the systemd side is: https://github.com/systemd/systemd/pull/18958

Fixes: #634
(This incorporates many fixes by @behrmann. Thank you!)

Include `systemd.volatile` infrastructure in initrd

For the `systemd.volatile=...` feature to work, the
`systemd-volatile-root` generator and `systemd-volatile-root.service`
service are required to be present. Booting a read-only image generated
by `mkosi` (e.g., `gpt_ext4` built with the `--read-only` flag, or a
`gpt_squashfs` image) with a volatile but mutable overlay is useful, so
we need to provide these files in the `initrd` Dracut generates.

Hence, adding both files to `DRACUT_SYSTEMD_EXTRAS`.

Fixes: #674
See: https://github.com/systemd/mkosi/issues/674

mkosi: add fedora 33 gpg key hash

Merge pull request #671 from mrc0mmand/doc-fixes

A couple of doc fixes

Pass the list of choices to argparse.Action

This way our custom ListAction action can properly generate a list of
choices in the help message when the metavar is not defined:

Before:
$ mkosi --help
...
  --debug SELECTOR      Turn on debugging output

After:
$ mkosi --help
...
  --debug {run,build-script,workspace-command}
                          Turn on debugging output

Document the --prepare-script config file counterpart

Merge pull request #663 from liam-mcb/encrypted-squashfs

Fix encrypted gpt_squashfs

Fix generated root partition being too small for encrypted images.

Building encrypted minimized or squashfs images was failing
at the 'dd' command in 'insert_partition' with the
error 'No space left on device'.
Increasing the luks overhead from 2MB to 16MB allows enough space.
16MB was found to be the smallest overhead which wouldn't fail.

Fix incorrect arguments given to 'luks_format_root'.

Commit 99453d9c added a 'cached' parameter to the 'luks_format_root'
command but didn't add the paramter to where the command is called
inside 'insert_partition'.
This patch sets 'cached' to False and fixes 'inserting_generated_root'
which should be True.

Reread partition table after inserting partition.

Fixes issue where the sfdisk command fails to re-read the partition
table when creating a squashfs image with encrypted data.
This is because the encrypted data partition is mounted so sfdisk gives
the warning 'Device or resource busy'.
This causes the 'dd' command failing because it can't find the newly
created partition.

Merge pull request #670 from behrmann/cosmetics

Cosmetics

ci: add isort

black: bump code style to py37

mkosi: add new simple "serve" verb for serving built images via HTTP

If found this quite useful for testing things with "machinectl pull-tar"
and "machinectl pull-raw": add a tiny HTTP server that can serve the
generated output once it#s done. Love the simplicity of this:

```
mkosi -i -f serve
```

and then

```
machinectl pull-raw http://localhost:8081/image.raw --verify=checksum
```

mkosi: explicitly flush SHA256SUMS file

Apparently we have to flush things explicitly after writing it,
otherwise things remain buffered by python IO and the SHA256SUMS file
will remain empty on disk.

mkosi: fix minor typo in docs

mkosi.md: update documentation to match https://github.com/systemd/mkosi/pull/462

mkosi: fix table indenting of summary output

OpenMandriva: support more architectures, and install systemd-networkd if requested by options

Merge pull request #659 from mrc0mmand/unlink-without-btrfs

Check if btrfs is available before trying to unlink a subvolume

ci: build an upstream version of systemd-nspawn

Ubuntu's systemd-nspawn doesn't support faccessat2() syscall, which is
required, since current Arch's glibc implements faccessat() via
faccessat2().

Check if btrfs is available before trying to unlink a subvolume

otherwise the output is full of pointless errors on certain systems
(like CentOS 8, which doesn't support btrfs):

# mkosi --force --debug run --qemu-headless=true build
‣ Removing output files...
+ btrfs subvol show /home/vagrant/mkosi/mkosi.output/fedora.raw
‣ Error: btrfs not found in PATH.
...
‣ Configuring serial tty (ttyS0)...
‣ Cleaning dnf metadata......
+ btrfs subvol show /var/tmp/mkosi-polqexiq/root/var/log/dnf.log
‣ Error: btrfs not found in PATH.
+ btrfs subvol show /var/tmp/mkosi-polqexiq/root/var/cache/dnf
‣ Error: btrfs not found in PATH.
+ btrfs subvol show /var/tmp/mkosi-polqexiq/root/var/log/dnf.librepo.log
‣ Error: btrfs not found in PATH.
+ btrfs subvol show /var/tmp/mkosi-polqexiq/root/var/log/hawkey.log
‣ Error: btrfs not found in PATH.
+ btrfs subvol show /var/tmp/mkosi-polqexiq/root/var/lib/dnf
‣ Error: btrfs not found in PATH.
+ btrfs subvol show /var/tmp/mkosi-polqexiq/root/var/log/dnf.rpm.log
‣ Error: btrfs not found in PATH.
‣ Cleaning rpm metadata......
+ btrfs subvol show /var/tmp/mkosi-polqexiq/root/var/lib/rpm
‣ Error: btrfs not found in PATH.
‣ Resetting machine ID...
...

Allow overriding # of CPUs and amount of RAM for qemu guests

This commit introduces two options - `--qemu-smp` and `--qemu-mem` - which
can be used to override the default number of CPUs and amount of RAM for
guests started via the `qemu` verb.

Arch: Fix autologin on nspawn --boot and qemu

Make CommandLineArguments fully typed

This commit extends CommandLineArguments with all necessary fields
from the argument parser, removes the inheritance from argparse.Namespace
and fixes all resulting typing errors.

We try to stick to typing only changes as much as possible to reduce the
chance of breaking something (although there are a few non-typing changes
where doing so made things easier).

Because we use a dataclass now for the CommandLineArguments class, we
up the required python version to 3.7.

remove duplicate the in README

Check if image being built is bootable before checking CentOS versions

The CentOS specific tests need to know the final value for
boot_protocols.

Before:
  sudo mkosi -d centos -r 7 --bootable
  ...
  ‣ Generating combined kernel + initrd boot file...
  getopt: unrecognized option '--uefi'
  Usage: /usr/sbin/dracut [OPTION]... [<initramfs> [<kernel-version>]]

  Version: 033-572.el7

  Creates initial ramdisk images for preloading modules

    -h, --help  Display all options

  If a [LIST] has multiple arguments, then you have to put these in quotes.

  For example:

      # dracut --add-drivers "module1 module2"  ...

  ‣ Error: Workspace command `/etc/kernel/install.d/50-mkosi-dracut-unified-kernel.install add 3.10.0-1160.15.2.el7.x86_64 /efi/8bb4954ccdbb43c9bb7422a279666f09/3.10.0-1160.15.2.el7.x86_64 ` returned non-zero exit code 1.
  ‣ Unmounting image...
  ‣ Detaching image file...

After:
  sudo mkosi -d centos -r 7 --bootable --force
  ‣ Error: Sorry, CentOS 7 does not support unified kernel images. You must use --without-unified-kernel-images.

openSUSE: Fix autologin setup

The distro PAM config resides under /usr/etc and customizations are
supposed to be under /etc. Use the distro file as a template for the
autologin customization.

Merge pull request #650 from DaanDeMeyer/secure-boot

qemu: Add secure boot support

Remove unecesssary dict.get() default None value

qemu: Add secure boot support

Adds support for booting OVMF firmware blobs with secure boot
support.

We have to point qemu to an OVMF vars file to get this working.
Currently, we point directly at the vars file in /usr/share but
add the readonly flag so we make sure we don't modify it. I'm
hoping this means the UEFI variable changes in the VM will be
ephmeral instead of writes to these variables failing when the
readonly flag is set. If readonly means we can't enroll secure-boot,
we'll need to make a copy of the VARS file and store it somewhere so
we can remove the readonly flag.

qemu: Factor out binary/firmware finding functions

Also apply the machine argument to every qemu binary.

qemu: Use q35 machine

This is necessary for booting with secure boot enabled in QEMU.
Switching to q35 somehow changed the boot order causing us to drop
into the EFI shell at boot. To fix this, I switched from virtio-blk
to virtio-scsci-pci (which is supposed to be the future anyway)
which allows us to set bootindex to override the boot order.

prevent mounting EFI partition with compress (#648)

prevent mounting EFI and XBOOTLDR partitions with compress

Keep commented locales in /etc/locale.gen

Merge pull request #633 from behrmann/keypair

add command genkey

Replace master with main across repo

mkosi: add command genkey

mkosi: switch to RawConfigParser instead of ConfigParser

To allow for expanding systemd.unit like specifier like %u for user, we have to
disable the basic interpolation that configparser allows, because it too uses %
as its specifier.

Add support for passing arguments to the build command

Aside from environment variables, it's also useful to be able to
pass arguments to the build script. For example, in systemd we can
use this to pass the target to build to the build script. Build
scripts determine how the passed arguments are interpreted, mkosi
just passes them on.

Remove redundant cast

UEFI boot: make sure efivarfs loaded in initrd

The efivarfs is needed in order to GPT root partition discovery work.
Without efivarfs initrd won't be able to switch to the real root.

Add the module regardless of hostonly or distro configuration because
dracut takes into account info from the build host and not the target
distro. Adding a module that's already included in dracut's list makes
no harm.

Fixes #562

Enabling console autologin

Drop networkd not running to a warning instead of a fatal error

Without networkd, the veth link won't come up properly on the host
but that doesn't prevent mkosi boot or mkosi qemu from working so
let's drop those messages to warnings instead of fatal errors.

Remove "complete" steps from output

The next step start message implies the end of the previous step so
there's no real benefit to printing a complete message for every step.
Let's remove the message and only print a "complete" message if the
caller of complete_step() has provided a custom "complete" message.

Remove usage of keyword arguments when calling install_distribution

This make the callsite consistent with the surrounding calls to
other functions.

Write step messages when configuring serial, autologin and network veth

Cache more operations

Let's cache all steps that write data directly from the config file.
This improves consistency overall and reduces noise in the output
when doing incremental builds.

Only mount image for unified kernel/secure boot when required

Only print step execution messages if we're executing them

Replace some usage of completestep decorator with complete_step
contextmanager so we only print the step message after checking
if we actually need to execute the step.

Only mount package cache when required

Improve metadata cleanup

Use complete_step, os.path.join and only print step message if we're
actually doing any cleanup at all.

Add --build-environment option

Allows setting environment variables for the build script. Useful
to allow users to configure the execution of the build script.

Cache sshd enable step

We can't cache the ssh-keygen step easily because it outputs a
file on the host. However, we can cache the enable sshd step as
it only affects the image and not the host.

Don't cache --ssh setup step

Caching the SSH step is non-trivial because it adds an extra file
(the private key file) that has to be taken into account in the
caching logic. For now, let's not cache the step and silence the
stdout of the ssh-keygen command instead.

Save ssh private key file in incremental mode

Drop completestep mypy workaround

Seems to not be necessary anymore on latest mypy.

Modify --source-file-transfer (and sft-final) to accept the empty string

Remove "quiet" and "rhgb" from default kernel cmdline

We seem to be running into boot issues semi-regularly in CI because
of the usage of systemd.volatile=overlay. These issues are hard to
debug because we silence boot output by default. Let's enable boot
output by default so we have an easier time debugging these issues
when they occur. Also, mkosi boot shows the same output on
container startup anyway so this brings qemu more in line with mkosi
boot as well.

Cache ssh and network veth setup steps

These produce output each time they're run so cache the results to
reduce the output clutter when doing an incremental build.

Update NEWS

Search for "mkosi.default.d" relative to working directory

Searching for the mkosi.default.d dir relative to the file passed
via --default makes it almost impossible to share common settings
between multiple configs  when using --default as simply specifying
a config file via --default changes the location where common configs
are searched. Instead, let's simply look for mkosi.default.d in the
mkosi working directory regardless of the path passed to --default.

Arch: Remove network configuration

Let's pull Arch in line with the other distros and not do any network
configuration. If needed, we can add this back, but let's do it behind
an option that we implement for all distros so we at least have uniformity
between distros.

bump version numbers for v9

Remove -e switch from calls to sed in release

add a NEWS.md

Set correct permission for term.conf to avoid systemd warning

qemu: Use virtio-net-pci

We're using virtio for disk, vga and other stuff already, let's
use it as well for the network interface.

Regenerate man page

Ensure networkd is running and 80-vm-vt.network is available when booting images

Drop centos from CI (but not centos_epel)

centos_epel should be sufficient testing for centos as well. By
dropping centos, we can test SSH in CI without needing extra logic
to exclude centos from the SSH tests because networkd isn't available
on stock centos without epel.

Run networkd in the container/vm when --network-veth is enabled

Add --ssh option and ssh verb

Fixes #593.

Aside from the --ssh option, we also add the "ssh" verb that runs
ssh with all the necessary options.

Fail when explicit path passed via --default is not found

Fix unsupported operand type error

Packages is a set, and on some version of Python it complains when |= is
used with a list. Use .update instead.

Update libmodulemd version to 2.11.1

Don't print a stacktrace when mkosi boot/qemu return a non-zero exit code

Use sets everywhere to store packages

This gets us automatic deduplication everywhere.

Merge pull request #596 from bluca/debian_fixes

Debian: fix HostonlyInitrd and autologin

Debian: fix autologin

For some reason, PAM on Debian really wants the full path to
the console device in its rules.
eg, this fails:

auth sufficient pam_succeed_if.so tty = ttyS0

But this works:

auth sufficient pam_succeed_if.so tty = /dev/ttyS0

Debian: ensure efivars.ko is installed if uefi is used

When --hostonly is used, efivars.ko is missing and thus the bootloader
cannot get the UUID of the EFI partition and fails to pivot root.
Specify it manually with add_drivers+=efivarfs if building for Debian
with EFI.

Fixes https://github.com/systemd/mkosi/issues/562

Skip output clean/check when using --skip-final-phase

When using --skip-final-phase, we're not touching any of the output
artifacts so it doesn't make sense to clean the previous output artifacts
or block execution if they already exist.

Error when using --skip-final-phase with non-build verbs

Clarify --autologin in docs

Support autologin for QEMU without --qemu-headless

Make --autologin work even when a root password is set

Currently, --autologin still asks for a password if the root
password is not explicitly deleted. By adding some PAM short circuit
rules for the relevant TTYs, we avoid PAM asking for the root password
when a user logs in on either pts/0 (nspawn) or ttyS0 (QEMU with
--qemu-headless).