nspawn: check if --console is available before using it

On Debian Buster nspawn doesn't support this parameter (v241)

dpkg: use force-unsafe-io

Removes lots of fsyncs from dpkg when packages are installed, since
either bootstrapping works or it fails and we start over

Add --include-directory option

--include-directory makes the header files installed in the container
available on the host. This is useful when running a language server
such as clangd in the mkosi container. If we define a path mapping
in clangd from /usr/include to the include directory, we can jump
to all the header files of external dependencies in the include
directory right from the editor.

Allow build script to read from stdin when running in a script

When running language servers like clangd via a mkosi build-script,
we need clangd to be able to read from stdin to interact with the
editor. By default, systemd-nspawn doesn't do this for security
issues but in this case we trust the build script so we can specify
--pipe to enable the build script to read from stdin.

centos_epel: Fix --mirror

Fixes #561.

Fedora: Update default release to 33

Add a vga device for --qemu-headless when using BIOS with Fedora/CentOS

Fixed #559

Arch: Switch back to using a single call to pacman

We shouldn't be working around dependency issues in Arch. I'm not
getting any failures using this anymore right now but if any turn
up, we should file bug reports for the relevant Arch packages to
add the necessary dependencies. Now that base is a metapackage and
not a group, the burden to add it as a dependency should be very
minimal.

Only print summary when summary verb is used

Printing the entire summary every time we're building the image
is unnecessarily verbose. Let's only print the summary when the
user asks for it.

Replace -boot c option with -nodefaults

-boot c doesn't actually change anything. Boot order when using
OVMF can only be changed by editing OVMF_VARS.fd. Instead, we
remove the default CDROM device by specifying -nodefaults and
add back the serial device manually. This avoids the boot warning
as well and saves a second on boot time.

Add --hostonly option

Enabling --hostonly speeds up QEMU boots by roughly 2 seconds on
my machine.

qemu: Add if=virtio option.

Speeds up boot from 12s to 6s.

qemu: Add -cpu host option

We don't need compatibility for our use case so let's squeeze out
all the performance we can.

qemu: Add rudimentary kvm detection instead of using qemu's fallback

This allows conditionally enabling other options if KVM is available.

Add --autologin option

This is useful when using mkosi for development as systemd does since
it removes a manual step from the testing workflow.

Change QEMU boot order so it doesn't try the CD-ROM

Currently, when booting with QEMU, there's a log message about
QEMU trying to boot from the CD-ROM device but not finding anything
there. By changing the boot order, QEMU skips the CD-ROM device and
immediately boots our image.

Set COLUMNS and LINES to current terminal values when using --qemu-headless

By default, systemd uses 80x24 dimensions for terminal size when logging
in over the serial console. Just like we set TERM already when using
--qemu-headless, set COLUMNS and LINES as well so the serial terminal
can use the full size of the screen.

Fix all-ethernet.network permissions

systemd-networkd currently complains about the permissions for
all-ethernet (world-writable). Restrict the permissions so
systemd-networkd doesn't complain anymore.

Add --network-veth option

Sets up a virtual ethernet link between the host and the container/vm.
For boot, we just pass --network-veth to nspawn. For qemu, we set up
a TAP nic with the correct ifname so that it is picked up by
systemd-networkd on the host.

Arch: Add --needed option when installing packages with pacman

Using --needed prevents packages that are already installed from
being reinstalled.

bump version numbers for v8

Merge pull request #542 from DaanDeMeyer/rpm-from-source

Rpm from source

Merge pull request #541 from drewmoseley/master

Handle rw and ro kernel command line parameters.

CI: Build rpm from source

Some Fedora packages depend on rpm 4.15 already which is newer
than the version of rpm available in Ubuntu Focal's repositories.

CI: Drop clear, photon, opensuse, openmandriva and mageia

The overhead of supporting these in CI is too big compared to the
benefit of maintaining them in CI. We can add back support for these
distros once a dedicated maintainer shows up willing to do the work.

Fix incorrect script name in README.

Signed-off-by: Drew Moseley <drew.moseley@northern.tech>

Do not automatically specify rw on kernel command line.

Signed-off-by: Drew Moseley <drew.moseley@northern.tech>

bump version numbers for v7

setup-mkosi: Update dependencies to latest versions

Check if loop device partition exists in nspawn_params_for_blockdev_access

Fixes #537.

Disable Openmandriva boot tests

We don't have an active maintainer for Openmandriva so let's
disable the tests for now until one shows up.

CI: Run apt-get update before install python3-venv

mypy: Remove unused type: ignore comments

These were fixed in the latest mypy release.

bin: use /usr/bin/env to get bash path instead of hardwiring it

Fixes #532

bump version numbers for v6

Merge pull request #523 from foxxx0/centos7-fixes

Various CentOS 7 fixes and some features/changes

fix small typo in comment

run postinstall nspawn with loopdev if bootable

This enables nspawn blockdev access for the postinstall script when a
bootable image is being created.
(Needed in order to e.g. make changes to bootloader from within the
postinstall script.)

Also this commit deduplicates the code required for setting up these
nspawn parameters and moves it into a separate method, that is being
called from multiple places.

fix bootable CentOS 7 efi by using grub2-efi

First of all the `systemd-udev` package does not exist in the CentOS 7
repository and thus will cause the `dnf` step to always fail.

The `bootctl` / `systemd-boot` feature in CentOS 7 is very broken and
does not work.
To create bootable CentOS 7 EFI images, this commit switches to
`grub2-efi`.

Furthermore it will fail early if unified kernel images were not
explicitly disabled via the commandline switch. They are simply not
supported by grub.

There are some quirks when an EFI image is being built on a non-EFI
system, since grub2 will check for existence of `/sys/firmware/efi` and
only create an efi-compatible boot config if that directory exists.
Otherwise it will generate 16bit `linux16` and `initrd16` boot
entries, which are obviously incorrect. This is subsequently fixed
by patching the generated file.

Also the `grub2-efi` setup requires a more ellaborate nspawn setup,
just like `clr-boot-manager`

extend mkfs to support adding cmdline args

The `mkfs_<filesystem>()` methods have been renamed to
`mkfs_<filesystem>_cmd()` and just return the cmdline now.
This allows for some easier adjustments within `mkfs_generic()`.

The e2fsprogs packaged within CentOS 7 is very old and does not support
the `metadata_csum` ext4 feature.
This commit explicitly disables this feature upon filesystem creation.
Otherwise all e2fsprogs utilities will not work or misbehave within the
created image. (e.g. `tune2fs -l`)

Additionally this commit explicitly enabled the `64bit` feature for ext4
on supported architectures. Previously this might or might not have been
enabled by default, depending on the e2fsprogs version where mkosi is
running.

add helper for determining if CentOS older than 8

allow optional override of GPT first-lba header

Usage of this feature is totally optional and the defaults are actually
preferred, which should set the First (usable) Logical Byte Address to
sector 2048, leaving a 1MiB gap before the first partition.
However there might be a reason to override this, e.g. if the created
image is being altered later on by tools which need a different
first-lba value. One example would be the `prl_disk_tool` utility from
the Parallels virtualization suite.

Give prepare scripts access to SRCDIR.

There are often project specific files that contain the dependencies
necessary to be installed. Make sure the prepare script has access to
these files so the logic doesn't have to be repeated in the prepare
script itself.

Merge pull request #525 from DaanDeMeyer/no-verity-uki-cache

Cache unified kernel images and secure boot when not doing verity

Make sure we apply the btrfs stale devices fix everywhere

Currently, failing build scripts can also trigger the
btrfs stale devices failure. Let's apply the fix more
generally so we always catch the error.

Move action to repository root

Publishing an action to the marketplace requires the action metadata
file to be in the repository root.

Boot nspawn with --volatile=overlay when using dm-verity

Cache unified kernel images and secure boot when not doing verity

There's no need to re-generate these every time if we're not embedding
the root hash.

Merge pull request #519 from DaanDeMeyer/qemu-boot-tests

QEMU boot tests

CI: Add QEMU boot tests

Adding these gives us a clear idea of which setups should work and which
are broken. This helps with triaging issues since we can immediately see
if a setup is supposed to work or not. It also makes sure setups that do
work keep working in the future.

Currently, only Arch, CentOS and Fedora can boot on all included setups
(nspawn, UEFI + systemd-boot with unified kernel images, UEFI +
systemd-boot and BIOS). Debian, Ubuntu, OpenSUSE and Mageia fail
on UEFI without unified kernel images because their package managers
don't install any boot loader entries that systemd-boot can read.

Photon doesn't work on any of the setups. Clear also has a lot of issues
due to it using its own bootloader and OpenMandriva has QEMU failures.
For now, we disable all these but we hope support by them can be added
by interested contributors in the future.

CI: Stop running setup-mkosi on Ubuntu and Debian

Ubuntu is currently the slowest of all the builds. Let's speed it up by
removing unnecessary dependency building and installation.

Only install dracut config files when necessary

OpenSUSE: Remove dracut workaround

OpenSUSE: Support passwordless root login

Arch: Quote correctly in mkosi-kernel-remove script

Fail early when using --bootable on Photon

Fail early when trying to use --bootable with Clear Linux

Fail early when using --without-unified-kernel-images on unsupported
distros

Mageia: Make sure systemd is included in the initramfs

Fedora: Install kernel modules so squashfs is available

Ubuntu/Debian: Add universe regardless of UKI or not

Leftover from a previous revert.

Add BIOS support to --qemu-headless

Arch: Drop e2fsprogs install logic as its part of base

Fix grub installation

If we don't mount /dev/block and /dev/disk into the container, grub will
add root=/dev/loop... to the kernel command line which breaks when
booting the image. If we mount these directories, grub will correctly
use the PARTUUID or UUID instead.

Arch: Handle no kernels installed case in kernel-install hook

If a bash glob doesn't match any files, it returns the glob itself which
trips up the current logic. Explicitly check if the file exists to avoid
this.

Arch: Explicitly install base package first

Avoids dependency installation order issues due to other packages
implicitly depending on packages in base.

Mageia: Apply opensuse dracut fix

Fall back to software CPU emulation if KVM isn't available

Fix WithUnifiedKernelImages

Arch: Add vmlinuz add/remove hooks when using BIOS

dracut doesn't actually copy these to /boot when using BIOS so we an
extra set of hooks to copy these over.

Only boot with OVMF when building UEFI images

Don't write .pyc files when bin/mkosi is called with sudo

Merge pull request #504 from behrmann/entrypoint_v2

Entrypoint v2

move do-a-release.sh to tools directory

add generate-zipapp.sh script to generate a zipapp

ci: add installation tests

Statically set the program name in the argument parser

Eschew using an entrypoint for an explicit wrapper script

Revert "Revert: Make mkosi a python module and generate script via entrypoint"

This reverts commit 7b86ed98f07d20a46aaeaa64db03499b443412e9.

generate a new man page for a release

Arch: Use Arch mirrorlist generator to get a list of mirrors.

Fixes #467 and puts us in a good spot for when pacman 6.0 releases with
parallel download support.

Merge pull request #514 from DaanDeMeyer/ci-boot

CI: Add systemd-nspawn boot test

CI: Add systemd-nspawn boot test

OpenMandriva: Disable pam_securetty

Mageia: Disable pam_securetty

Use --volatile=overlay when booting generated_root() images

These aren't meant to be modified after being created so make sure that
writes don't fail by mounting a tmpfs overlay on top when booting.

Only require --bootable for --qemu-headless when building

OpenSUSE: Add systemd package

OpenSUSE: Simplify

Ignore mypy false positives and update to latest version

Drop --verbose flag when running dracut

Ubuntu/Debian: Simplify installation and drop some outdated workarounds

Merge pull request #510 from DaanDeMeyer/check-default

Make run() set check=True by default

Make run_workspace_command take the command as a list

Consistent with how run() takes its command.

Arch: Make pacman hooks more generic

It's generally good to not depend on specific packages in pacman hooks
since it doesn't take new packages into account. To get around, this we
can simply depend on the /usr/lib/kernel/install.d directory so any
package that installs a file into this directory can plug into the
pacman hook.

One annoyance we can't solve without package specific information in the
pacman hook is packages that themself support hook directories that
other packages can install to. This would require a mechanism in pacman
where packages can contribute triggers to hooks installed by other
packages.

Make run() set check=True by default

Interpret CLI args as nspawn args when verb == "boot"

Normal command line args are ignored by nspawn when --boot is used.
Instead of doing nothing with them, let's allow users to pass nspawn
args via the command line directly when boot is used.

Add setup-mkosi Github Action

We want to make it easy to set up mkosi based CI for other Linux
userspace projects on Github. By extracting all the tedious building of
dependencies out into a Github Actions, other projects can start using
mkosi for CI by simply adding 'uses: actions/setup-mkosi' to their
Github Actions workflow.

Revert: Make mkosi a python module and generate script via entrypoint

This commit reverts
5c9faf85fd6cc3101bbed9c506bfcce612102eae
97f22b9fada69687127c8086e9ea4ee869a33c15
0e477deeabb51e99ce4f85538b079ed8b42b250d

because the entrypoint console_script does not work properly when called with
sudo when not installed in a virtual environment, since the python binary is
unable to find the mkosi module in its search path.

Revert "Add note to README that `sudo python -m mkosi` should be used to run"

This reverts commit ba62763ad0858753fe473c43ff6705353f9ab0d0.