mkosi: add command genkey

mkosi: switch to RawConfigParser instead of ConfigParser

To allow for expanding systemd.unit like specifier like %u for user, we have to
disable the basic interpolation that configparser allows, because it too uses %
as its specifier.

Add support for passing arguments to the build command

Aside from environment variables, it's also useful to be able to
pass arguments to the build script. For example, in systemd we can
use this to pass the target to build to the build script. Build
scripts determine how the passed arguments are interpreted, mkosi
just passes them on.

Remove redundant cast

UEFI boot: make sure efivarfs loaded in initrd

The efivarfs is needed in order to GPT root partition discovery work.
Without efivarfs initrd won't be able to switch to the real root.

Add the module regardless of hostonly or distro configuration because
dracut takes into account info from the build host and not the target
distro. Adding a module that's already included in dracut's list makes
no harm.

Fixes #562

Enabling console autologin

Drop networkd not running to a warning instead of a fatal error

Without networkd, the veth link won't come up properly on the host
but that doesn't prevent mkosi boot or mkosi qemu from working so
let's drop those messages to warnings instead of fatal errors.

Remove "complete" steps from output

The next step start message implies the end of the previous step so
there's no real benefit to printing a complete message for every step.
Let's remove the message and only print a "complete" message if the
caller of complete_step() has provided a custom "complete" message.

Remove usage of keyword arguments when calling install_distribution

This make the callsite consistent with the surrounding calls to
other functions.

Write step messages when configuring serial, autologin and network veth

Cache more operations

Let's cache all steps that write data directly from the config file.
This improves consistency overall and reduces noise in the output
when doing incremental builds.

Only mount image for unified kernel/secure boot when required

Only print step execution messages if we're executing them

Replace some usage of completestep decorator with complete_step
contextmanager so we only print the step message after checking
if we actually need to execute the step.

Only mount package cache when required

Improve metadata cleanup

Use complete_step, os.path.join and only print step message if we're
actually doing any cleanup at all.

Add --build-environment option

Allows setting environment variables for the build script. Useful
to allow users to configure the execution of the build script.

Cache sshd enable step

We can't cache the ssh-keygen step easily because it outputs a
file on the host. However, we can cache the enable sshd step as
it only affects the image and not the host.

Don't cache --ssh setup step

Caching the SSH step is non-trivial because it adds an extra file
(the private key file) that has to be taken into account in the
caching logic. For now, let's not cache the step and silence the
stdout of the ssh-keygen command instead.

Save ssh private key file in incremental mode

Drop completestep mypy workaround

Seems to not be necessary anymore on latest mypy.

Modify --source-file-transfer (and sft-final) to accept the empty string

Remove "quiet" and "rhgb" from default kernel cmdline

We seem to be running into boot issues semi-regularly in CI because
of the usage of systemd.volatile=overlay. These issues are hard to
debug because we silence boot output by default. Let's enable boot
output by default so we have an easier time debugging these issues
when they occur. Also, mkosi boot shows the same output on
container startup anyway so this brings qemu more in line with mkosi
boot as well.

Cache ssh and network veth setup steps

These produce output each time they're run so cache the results to
reduce the output clutter when doing an incremental build.

Update NEWS

Search for "mkosi.default.d" relative to working directory

Searching for the mkosi.default.d dir relative to the file passed
via --default makes it almost impossible to share common settings
between multiple configs  when using --default as simply specifying
a config file via --default changes the location where common configs
are searched. Instead, let's simply look for mkosi.default.d in the
mkosi working directory regardless of the path passed to --default.

Arch: Remove network configuration

Let's pull Arch in line with the other distros and not do any network
configuration. If needed, we can add this back, but let's do it behind
an option that we implement for all distros so we at least have uniformity
between distros.

bump version numbers for v9

Remove -e switch from calls to sed in release

add a NEWS.md

Set correct permission for term.conf to avoid systemd warning

qemu: Use virtio-net-pci

We're using virtio for disk, vga and other stuff already, let's
use it as well for the network interface.

Regenerate man page

Ensure networkd is running and 80-vm-vt.network is available when booting images

Drop centos from CI (but not centos_epel)

centos_epel should be sufficient testing for centos as well. By
dropping centos, we can test SSH in CI without needing extra logic
to exclude centos from the SSH tests because networkd isn't available
on stock centos without epel.

Run networkd in the container/vm when --network-veth is enabled

Add --ssh option and ssh verb

Fixes #593.

Aside from the --ssh option, we also add the "ssh" verb that runs
ssh with all the necessary options.

Fail when explicit path passed via --default is not found

Fix unsupported operand type error

Packages is a set, and on some version of Python it complains when |= is
used with a list. Use .update instead.

Update libmodulemd version to 2.11.1

Don't print a stacktrace when mkosi boot/qemu return a non-zero exit code

Use sets everywhere to store packages

This gets us automatic deduplication everywhere.

Merge pull request #596 from bluca/debian_fixes

Debian: fix HostonlyInitrd and autologin

Debian: fix autologin

For some reason, PAM on Debian really wants the full path to
the console device in its rules.
eg, this fails:

auth sufficient pam_succeed_if.so tty = ttyS0

But this works:

auth sufficient pam_succeed_if.so tty = /dev/ttyS0

Debian: ensure efivars.ko is installed if uefi is used

When --hostonly is used, efivars.ko is missing and thus the bootloader
cannot get the UUID of the EFI partition and fails to pivot root.
Specify it manually with add_drivers+=efivarfs if building for Debian
with EFI.

Fixes https://github.com/systemd/mkosi/issues/562

Skip output clean/check when using --skip-final-phase

When using --skip-final-phase, we're not touching any of the output
artifacts so it doesn't make sense to clean the previous output artifacts
or block execution if they already exist.

Error when using --skip-final-phase with non-build verbs

Clarify --autologin in docs

Support autologin for QEMU without --qemu-headless

Make --autologin work even when a root password is set

Currently, --autologin still asks for a password if the root
password is not explicitly deleted. By adding some PAM short circuit
rules for the relevant TTYs, we avoid PAM asking for the root password
when a user logs in on either pts/0 (nspawn) or ttyS0 (QEMU with
--qemu-headless).

Add --source-file-transfer-final option

When debugging in the final image using a debugger, the debugging
experience is greatly improved by having the source files available.
--source-file-transfer-final does exactly what --source-file-transfer
does but applies to the final image instead of the bulid image. While
supporting 'mount' might be possible, we don't do so yet because
the use case is unclear and configuring QEMU to pass through
folders is non-trivial.

Small cleanup of install_build_src

Change --source-file-transfer default to copy-git-others

I've gotten bitten multiple times by the fact that by default,
untracked files in git are not copied into the build image. Let's
fix this by changing the --source-file-transfer default to
copy-git-others. This adds any untracked files to the build image
(but still excludes ignored files).

Add --ephemeral option

Identical to systemd-nspawn's --ephemeral option (and that's what how
we implement this for mkosi boot) but also implemented for qemu.

Drop execvp argument from run()

run_verb and run_qemu work fine without it so let's remove the
argument so we can let Python do it's usual cleanup after these
commands finish.

Clean up run_shell

Regenerate man page from .md file

Silence "Processing ..." message when building a single image

Add option to strip SELinux file context from tar'ed files

This option removes (or not includes) SELinux xattrs into output tar archive.
This is a hack as mkosi does not properly support SELinux contexts. See #130.

The patch adds `--tar-strip-selinux-context` flag and `TarStripSELinuxContext` configuration file option.

Add '--no-chown' to mkosi.md table

Add file to pass to git blame --ignore-revs-file containing the black commit

Merge pull request #584 from behrmann/black

Use black for code formatting

CI: add black to CI and document editable installs now need --no-use-pep517

Use black for code formatting

Add pyproject.toml to configure black

Replace the sys.stderr.write calls with a custom MkosiPrinter class

Most notably, we no longer use ansi escape codes when we are redirecting to a
file.

Fix flake8 warnings

These are all whitespace fixes with a few exceptions:
- one "if not foo is None" -> "if foo is not None"
- one f"static string" changed to "static string"
- two "except Something as e" changed to "except Something" where e isn't
  being used

Flake8 errors disabled:
  501: line too long
  504: line break after binary operator
  741: ambiguous variable name

Flake8 errors left after this patch:
  E241 multiple spaces after ','
  F541 f-string is missing placeholders

Both of the above warnings are triggered by lines that are better left as-is
for consistency with the surrounding code.

Add backticks around the workspace command error

Better visual separation between the actual command and the full sentence.
We'll never have backticks in our command so unlike other quotes we don't have
to worry about escaping them, and at this point we're all used to backticks
for markdown anyway.

Allow disabling unified kernel images on BIOS for all distros

Fixes #580.

Support mkosi.* files in mkosi.default.d + distro specific
subdirectories

Fixes #506

Explicitly specify dracut filesystem when using --hostonly-initrd

It seems dracut includes the host's filesystem when building a
hostonly image and not the image's filesystem. This causes issues
when these two don't match. Include the correct one explicitly
as a workaround.

Redirect non-redirected subprocesses output to stderr except build-script

When running a language server via mkosi, communication with the editor
is done via mkosi's stdin/stdout. If the client reads output from mkosi's
subprocesses instead of LSP json messages from stdout, it won't recognize
the output and crash. To make the language server integration work when the
build image needs to be built from scratch, we redirect all non-redirected
output from subprocesses to stderr except for the build-script. This way,
we can get progress output from mkosi right in the editor without breaking
the language server integration.

The split was already quite arbitrary in the first place. All of mkosi's messages
go to stderr and most subprocess output went to stdout. Instead, let's define
the split between stdout/stderr a bit more so we can take advantage of it.
Only the build script gets to write to stdout which simplifies language server
usage with mkosi.

qemu: Enable -vga virtio when not using --qemu-headless

Supports higher resolutions than the default driver. Probably
is more performant as well.

Run finalize script with OUTPUTDIR environment variable set

Fixes #575.

Add --install-directory option

While binaries can already be retrieved using the --build-directory
option. Sometimes it's a lot easier to have access to the installed
contents instead. --install-directory allows accessing the contents
of /root/dest from the build container outside of the build image.

Create /usr/include with correct mode when --include-directory is used

Currently, when we're using --include-directory, /usr/include is created
by mount_bind() which creates /usr with 0700 (because makedirs mode
only applies to the leaf directory). Create /usr/include explicitly with
the correct mode to avoid permission warnings from pacman.

Empty include directory before installing to it

Pacman (and probably other package managers as well) expect
/usr/include to be empty when we're bootstrapping so let's make
sure we empty the directory before installing to it.

CI: Install mkosi explicitly

Since we'll soon be installing the latest stable version with the
action, let's modify CI already to do an explicit install that
installs mkosi with the latest changes from the PR.

Update summary with new options

Merge pull request #572 from bluca/debian_improvements

remove dpkg unsafe-io config after bootstrap, add it before

debian: enable dpkg unsafe-io before debootstrap

Second stage bootstrapping uses dpkg from the chroot, so it can
already be configured

debian: remove dpkg unsafe-io config after bootstrap

CI: Simplify install step

Remove duplicate packages already installed by the Github Action.
Also, with the recent speedups in dpkg, we can now run the action
for Ubuntu and Debian as well without these becoming the major
bottleneck in CI.

CI: Build tar archives

We actually weren't building tar archives until now. Let's build
them but not try to boot them since that's not supported.

Github Action: Install qemu and ovmf

Let's install qemu and ovmf as well so mkosi qemu works out of the
box when using the action.

Github Action: Update dependency versions

Merge pull request #569 from bluca/debian_improvements

Use unsafe-io with dpkg and restore compatiblity with nspawn v241 and lower

nspawn: check if --console is available before using it

On Debian Buster nspawn doesn't support this parameter (v241)

dpkg: use force-unsafe-io

Removes lots of fsyncs from dpkg when packages are installed, since
either bootstrapping works or it fails and we start over

Add --include-directory option

--include-directory makes the header files installed in the container
available on the host. This is useful when running a language server
such as clangd in the mkosi container. If we define a path mapping
in clangd from /usr/include to the include directory, we can jump
to all the header files of external dependencies in the include
directory right from the editor.

Allow build script to read from stdin when running in a script

When running language servers like clangd via a mkosi build-script,
we need clangd to be able to read from stdin to interact with the
editor. By default, systemd-nspawn doesn't do this for security
issues but in this case we trust the build script so we can specify
--pipe to enable the build script to read from stdin.

centos_epel: Fix --mirror

Fixes #561.

Fedora: Update default release to 33

Add a vga device for --qemu-headless when using BIOS with Fedora/CentOS

Fixed #559

Arch: Switch back to using a single call to pacman

We shouldn't be working around dependency issues in Arch. I'm not
getting any failures using this anymore right now but if any turn
up, we should file bug reports for the relevant Arch packages to
add the necessary dependencies. Now that base is a metapackage and
not a group, the burden to add it as a dependency should be very
minimal.

Only print summary when summary verb is used

Printing the entire summary every time we're building the image
is unnecessarily verbose. Let's only print the summary when the
user asks for it.

Replace -boot c option with -nodefaults

-boot c doesn't actually change anything. Boot order when using
OVMF can only be changed by editing OVMF_VARS.fd. Instead, we
remove the default CDROM device by specifying -nodefaults and
add back the serial device manually. This avoids the boot warning
as well and saves a second on boot time.

Add --hostonly option

Enabling --hostonly speeds up QEMU boots by roughly 2 seconds on
my machine.

qemu: Add if=virtio option.

Speeds up boot from 12s to 6s.

qemu: Add -cpu host option

We don't need compatibility for our use case so let's squeeze out
all the performance we can.

qemu: Add rudimentary kvm detection instead of using qemu's fallback

This allows conditionally enabling other options if KVM is available.