CI: Add QEMU boot tests

Adding these gives us a clear idea of which setups should work and which
are broken. This helps with triaging issues since we can immediately see
if a setup is supposed to work or not. It also makes sure setups that do
work keep working in the future.

Currently, only Arch, CentOS and Fedora can boot on all included setups
(nspawn, UEFI + systemd-boot with unified kernel images, UEFI +
systemd-boot and BIOS). Debian, Ubuntu, OpenSUSE and Mageia fail
on UEFI without unified kernel images because their package managers
don't install any boot loader entries that systemd-boot can read.

Photon doesn't work on any of the setups. Clear also has a lot of issues
due to it using its own bootloader and OpenMandriva has QEMU failures.
For now, we disable all these but we hope support by them can be added
by interested contributors in the future.

CI: Stop running setup-mkosi on Ubuntu and Debian

Ubuntu is currently the slowest of all the builds. Let's speed it up by
removing unnecessary dependency building and installation.

Only install dracut config files when necessary

OpenSUSE: Remove dracut workaround

OpenSUSE: Support passwordless root login

Arch: Quote correctly in mkosi-kernel-remove script

Fail early when using --bootable on Photon

Fail early when trying to use --bootable with Clear Linux

Fail early when using --without-unified-kernel-images on unsupported
distros

Mageia: Make sure systemd is included in the initramfs

Fedora: Install kernel modules so squashfs is available

Ubuntu/Debian: Add universe regardless of UKI or not

Leftover from a previous revert.

Add BIOS support to --qemu-headless

Arch: Drop e2fsprogs install logic as its part of base

Fix grub installation

If we don't mount /dev/block and /dev/disk into the container, grub will
add root=/dev/loop... to the kernel command line which breaks when
booting the image. If we mount these directories, grub will correctly
use the PARTUUID or UUID instead.

Arch: Handle no kernels installed case in kernel-install hook

If a bash glob doesn't match any files, it returns the glob itself which
trips up the current logic. Explicitly check if the file exists to avoid
this.

Arch: Explicitly install base package first

Avoids dependency installation order issues due to other packages
implicitly depending on packages in base.

Mageia: Apply opensuse dracut fix

Fall back to software CPU emulation if KVM isn't available

Fix WithUnifiedKernelImages

Arch: Add vmlinuz add/remove hooks when using BIOS

dracut doesn't actually copy these to /boot when using BIOS so we an
extra set of hooks to copy these over.

Only boot with OVMF when building UEFI images

Don't write .pyc files when bin/mkosi is called with sudo

Merge pull request #504 from behrmann/entrypoint_v2

Entrypoint v2

move do-a-release.sh to tools directory

add generate-zipapp.sh script to generate a zipapp

ci: add installation tests

Statically set the program name in the argument parser

Eschew using an entrypoint for an explicit wrapper script

Revert "Revert: Make mkosi a python module and generate script via entrypoint"

This reverts commit 7b86ed98f07d20a46aaeaa64db03499b443412e9.

generate a new man page for a release

Arch: Use Arch mirrorlist generator to get a list of mirrors.

Fixes #467 and puts us in a good spot for when pacman 6.0 releases with
parallel download support.

Merge pull request #514 from DaanDeMeyer/ci-boot

CI: Add systemd-nspawn boot test

CI: Add systemd-nspawn boot test

OpenMandriva: Disable pam_securetty

Mageia: Disable pam_securetty

Use --volatile=overlay when booting generated_root() images

These aren't meant to be modified after being created so make sure that
writes don't fail by mounting a tmpfs overlay on top when booting.

Only require --bootable for --qemu-headless when building

OpenSUSE: Add systemd package

OpenSUSE: Simplify

Ignore mypy false positives and update to latest version

Drop --verbose flag when running dracut

Ubuntu/Debian: Simplify installation and drop some outdated workarounds

Merge pull request #510 from DaanDeMeyer/check-default

Make run() set check=True by default

Make run_workspace_command take the command as a list

Consistent with how run() takes its command.

Arch: Make pacman hooks more generic

It's generally good to not depend on specific packages in pacman hooks
since it doesn't take new packages into account. To get around, this we
can simply depend on the /usr/lib/kernel/install.d directory so any
package that installs a file into this directory can plug into the
pacman hook.

One annoyance we can't solve without package specific information in the
pacman hook is packages that themself support hook directories that
other packages can install to. This would require a mechanism in pacman
where packages can contribute triggers to hooks installed by other
packages.

Make run() set check=True by default

Interpret CLI args as nspawn args when verb == "boot"

Normal command line args are ignored by nspawn when --boot is used.
Instead of doing nothing with them, let's allow users to pass nspawn
args via the command line directly when boot is used.

Add setup-mkosi Github Action

We want to make it easy to set up mkosi based CI for other Linux
userspace projects on Github. By extracting all the tedious building of
dependencies out into a Github Actions, other projects can start using
mkosi for CI by simply adding 'uses: actions/setup-mkosi' to their
Github Actions workflow.

Revert: Make mkosi a python module and generate script via entrypoint

This commit reverts
5c9faf85fd6cc3101bbed9c506bfcce612102eae
97f22b9fada69687127c8086e9ea4ee869a33c15
0e477deeabb51e99ce4f85538b079ed8b42b250d

because the entrypoint console_script does not work properly when called with
sudo when not installed in a virtual environment, since the python binary is
unable to find the mkosi module in its search path.

Revert "Add note to README that `sudo python -m mkosi` should be used to run"

This reverts commit ba62763ad0858753fe473c43ff6705353f9ab0d0.

Add note to README that `sudo python -m mkosi` should be used to run
mkosi

Merge pull request #499 from behrmann/manpage2

Manpage and entrypoint fix

Fix entrypoint installation

Install the man page

Fix man page generation

Merge pull request #401 from behrmann/entrypoint

Use entrypoint to generate mkosi instead of symlink

Explain the installation in the README

Make mkosi a python module and generate script via entrypoint

Fix default source file transfer

According to the man page, --source-file-transfer "defaults to
copy-git-cached if a git source tree is detected, otherwise copy-all".
However the existing code only sets it to copy-git-cached if a .git
folder exists and leaves it at None otherwise, meaning a non-Git source
is never transferred.

Merge pull request #490 from DaanDeMeyer/arch-kernel-install-hooks

Unified kernel images improvements

Fedora: Capitalize rawhide in repository full name

Fedora: Fall back to fedora.gpg if key id is not in FEDORA_KEYS_MAP.

Arch: Add bootctl update pacman hook

Fix --subvolume --read-only combo

Fixes #145

Use bootctl install instead of manually copying systemd-boot to $BOOT

Arch: Drop pacstrap dependency

We have all the bits and pieces necessary to re-implement its
functionality.

Simplify grub installation

Make sure serial-getty override parent directories exist

Make warning messages yellow and simplify warn()

Collapse print_error() into die()

Add --qemu-headless to option summary

Add --without-unified-kernel-images option

Specifying this option makes mkosi install kernels with a separate
initrd and boot loader config.

Docs: Remove trailing whitespace

Arch: Drop UseSyslog from the pacman config

It clutters the log at warning level and doesn't provide much benefit.

Arch: Simplify kernel logic

Arch: Switch to dracut

Arch: Add kernel-install pacman hooks

We keep mkinitcpio disabled and replace the mkinitpcio and depmod pacman
hooks by kernel-install hooks instead.

Arch: Enable pacman colors

We use colors in the rest of mkosi so no reason to explicitly disable
them in pacman.

Arch: Drop removal of packages

Leftover from a time where base still included way too much stuff. Can
be removed now that Arch's base group is much leaner.

Regenerate unified kernel images when installing/updating kernels in
image.

This also removes --add qemu and --add-drivers squashfs from the dracut
command line as these are added by default in recent versions.

Fix btrfs EEXIST error when using cached images

Fixes #416

CentOS: Fix --mirror

Fedora: Fix --mirror

opensuse: Add binutils

Merge pull request #486 from DaanDeMeyer/ci-tdnf

Ci tdnf

Add photon to CI

We build tdnf along with the centos dependencies as it needs libsolv as
well and splitting everything up in separate steps is relatively more
complexity for a little extra run time.

We should look into caching the dependency building so we don't rebuild
the same dependencies each build.

Fix photon default release

Rename CI steps

Install zypper along with all other apt packages

Simpler build config > minimal performance win

Merge pull request #489 from DaanDeMeyer/ci-bootable

Add bootable builds to CI

Add bootable CI builds

Enable BIOS on all distros

Gracefully handle BIOS + --minimize/gpt_squashfs combo

Using grub on generated_root() images currently has problems as there is
a circular dependency between the root partition wanting to have grub
installed before being generated and grub wanting the root partition to
be generated before being installed.

It might be possible to get this working but until we do it's better to
explicitly fail when users try to do this.

Gracefully handle hybrid BIOS/UEFI images on Clear Linux

Clear Linux's bootloader clr-boot-manager supports either BIOS or UEFI
but not both.

Fail gracefully when trying to install Clear Linux on btrfs

Clear Linux does not yet support btrfs.

Only mount necessary loop device and partitions when installing bootloaders

Don't try to install systemd-boot on Clear Linux

Clear Linux has its own modified version of systemd-boot already.

Install systemd on Clear Linux

Add workspace-command debug option