mkosi-initrd: Strip documentation from the initrd

mkosi-initrd: Configure locale to C.UTF-8

This will make sure all other locale data is strippped out on rpm
based distributions.

mkosi-initrd: Remove System.map

System.map is primarily intended for debugging kernel oopses so let's
not include it in generated initrds which saves 8.4M.

initrd: again drop shadow-utils from initrd

We save 4MB, and also 300kB for libsemanage.

mkosi-initrd: Allow setting output format from CLI

It's useful to build the initrd as a directory for debugging.

Configure rpm _install_langs if locale is configured

If the _install_langs macro is defined, rpm will only install locale
data corresponding to the locales in _install_langs. If Locale= is
set and macros.lang doesn't exist already, let's configure it ourselves
with _install_langs to save on disk space.

Allow configuring rpm in package manager trees

Up until now, we've been unconditionally using the rpm configuration
from the host system. Unfortunately we can't entirely get rid of this
as rpm doesn't operate with an empty configuration and the configuration
is tightly coupled to the rpm version.

However, let's at least make sure we don't use any rpm configuration from
/etc and let's allow users to add extra rpm configuration themselves using
package manager trees.

By using $RPM_CONFIGDIR, we can configure where rpm looks for its main
configuration. We allow users to configure various rpm configuration in their
package manager trees and then copy over any missing files from the host
afterwards.

Because the /etc config directories are hardcoded in rpm, we have to resort
to mounting an empty directory on top of /etc/rpm if it exists.

Specify --no-dereference in copy_tree()

We try to follow cp -a semantics, which includes --no-dereference,
so let's make sure we specify it explicitly.

Add clobber argument for copy_tree()

Let's allow specifying that copy_tree() should not overwrite
existing files. Because of a messy backwards incompatible change
in coreutils v9.2, we're forced to use a different option depending
on the cp version.

Don't complain about compression for non-compressible output formats

mkosi-initrd: Only include core + host's loaded modules and firmware

The initramfs produced by mkosi-initrd's kernel-install plugin is only
intended to be used on the host system that's building it. Let's take
advantage of that and only include the currently loaded modules and
firmware in the initramfs to cut down the size.

For safety reasons we always include some core modules regardless of
whether they're loaded on the host or not.

Add KernelModulesIncludeHost= and KernelModulesInitrdIncludeHost=

These look at /proc/modules and add all modules in there to the list
of modules to keep. Useful when building images intended to be used on
the host system only.

This commit also optimizes filter_kernel_modules() which was previously
O(n)^2.

mkosi-initrd: Include firmware from host as well

Some modules don't work without the corresponding firmware, so make
sure we copy in the corresponding firmware from the host as well.

Merge pull request #2118 from DaanDeMeyer/tests

ci: Fix environment passthrough

ci: Bump timeout to 1h

We now run tests for all formats within the same job which needs
more time to complete so let's bump the timeout t 1h.

test: Test directory image boot in qemu if virtiofsd is available

tests: Fix Distribution creation

ci: Fix environment passthrough

When using sudo we need to make sure to pass through environment
variables.

Also run summary() as part of the boot tests to help with debugging.

Merge pull request #2117 from DaanDeMeyer/tests

Move integration tests into python

Move integration tests into python

Instead of vendor locking ourselves to Github Actions, let's move
the integration tests into python so we can run them locally and
on other CI systems.

We opt to use unittest style test cases so that we can have a
configurable base class that can be used for various integration
tests. Unfortunately, I haven't found a nice and type safe way to
make pytest fixtures configurable so we opt for unittest instead.

Note that while we use the subTest() feature of unittest, pytest
still considers test_boot() a single test because it doesn't support
this particular feature of unittest. Ideally we switch our test runner
to something else in the future which does support the subTest() feature.

We always run steps that can run unprivileged without privileges even
if we're running as root so that tests can be run locally with root
privileges without ending up with a bunch of files owned by root
afterwards.

Implement RemovePackages= for Arch

Use mkosi.local.conf for local configuration

Let's move our common configuration to mkosi.conf now that we have
mkosi.local.conf for local configuration.

Fix licensing

Add GPL2 license to the repository and fix the SPDX license identifiers
for the dracut files to GPL-2.0-only.

docs: format paths as monospace

Fix ImageId= docs

- We don't patch it into partition labels anymore
- We already patch os-release ourselves so let's not use it as an
  example of what to do with $IMAGE_ID for users.

mkosi-initrd: Copy md and dm udev rules from dracut

Until these are upstreamed into their corresponding projects, let's
carry the rules in mkosi-initrd.

Revert "ci: enable jammy-proposed-updates to get new libsolv"

libsolv has migrated to jammy-updates, so we can disable the
proposed-updates repository again.

This reverts commit 698834c7794f0100eba8ff17125cffc8f6ac8a63.

Stop using workspace cache subdirectory

We don't do this for configured cache directories anymore, so don't
do it for workspace cache directories anymore either.

Merge pull request #2084 from behrmann/reprouid

util: add a fallback username and home for INVOKING_USER

mounts: use INVOKING_USER in mount_passwd instead of hardcoding /home

util: make name and home of INVOKING_USER methods that cache their results

At test time, e.g. during reproducible builds, usernames are not guaranteed to
be resolvable, because NSS is deliberately broken. Hence, only try to resolve
either only if needed and cache the result, so it stays the same across
invocations.

This unfortunately can no longer be achieved by combining @classmethod with
@property, since the combination, which had only been allowed since Python 3.9,
was deprecated again in Python 3.11.

Fixes: #2081

Speed up empty_directory()

Let's invoke rm once instead of N times.

Set atime and mtime of scripts to zero

Otherwise, stuff like meson reconfigure will rerun every time because
we write the script again every time we run the build script.

Add useradd script

Let's automatically invoke useradd with --root when executed outside
of the image chroot.

Fixes #2089

Fix --genkey-valid-days and --genkey-common-name

Fixes #2077

Use zst as zstd file extension

Fix user provided kernel not being used

Use the main tool name in error when tool is not found

We would say that we cannnot find /usr/lib/systemd/ukify, which
is somewhat confusing, since we're looking for ukify in $PATH
first, and only for /usr/lib/systemd/ukify as a fallback.

This also avoids a second which call on the results of a which call.

Add microcode support

Let's make sure we add early CPIO initrds containing microcode when
building bootable images. To make early loading of microcode work, an
uncompressed initrd has to be prepended to the list of initrds containing
the microcode at a canonical location.

Run depmod even if Bootable=no

Bootable=no disables the kernel modules logic but users might still want
to generate a bootable image so let's run the depmod logic unconditionally.

Do not trigger bwrap's max arg limit when running modinfo

We might potentially pass a lot of modules at once to modinfo which
could trigger bwrap's max argument limit so make sure to chunk things
up to avoid hitting the limit.

autologin: use a helper method to reduce boilerplate

I kept the generated option strings exactly the same. In some cases we
put the baud before the device name or placeholder, and in other cases in
the opposite order, but maybe there's some reason for this.

The unit file is changed to use just 'aggety' instead of the full path,
and the leading whitespace is dropped. Both things should have no effect,
but make the resulting file nicer to read.

Add ability to create passwordless root account (#2093)

To create a passwordless root account one may specify `hashed:` without passing
an actual hash.

Merge pull request #2073 from behrmann/ttyama0

Ttyama0

kmod: normalise module names

The file names of modules use dashes, e.g.

    /usr/lib/modules/6.6.2-arch1-1/kernel/drivers/nvme/common/nvme-common.ko.zst

but the dependency names modinfo gives us use underscores, e.g.

    name=nvme_common

Fixes: #2092

Add Building RHEL and RHEL UBI images with mkosi to README

Fixed capitalization of `SignExpectedPcr`

Fixes: #2086

Update default of QemuMem in mkosi.md

The default changed to 2G a while ago though the docs still referred to the old value of 1G.

kmod: remove doubled root prefix

ci: enable jammy-proposed-updates to get new libsolv

rawhide and tumbleweed now compress repodata with zstd which cannot be
handled by libsolv in jammy. Enable jammy-proposed to get new version
with the fix.

This reverts commit 4cec733f9186edec10904c30b4afd3d1c8857d9d.

fix ruff lint warnings

Merge pull request #2074 from behrmann/zstdrename

Rename Compression.zst to Compression.zstd

autologin: add dropin for ttyAMA0 on arm64

ARM64 hardware uses the PL011 driver, which exposes serial terminals as
ttyAMA0.

Fixes: #2068

config: also default config_default_compression for OutputFormat.tar

The man page suggests this to be the case

man: update section on CompressOutput

Rename Compression.zst to Compression.zstd

But also leave a fallback Compression.zst with value "zstd" as a fallback in
case anybody used that. To test this we also change the construction of
Compression instances in test_config.py to use __get_item__ instead of __new__,
since that actually supports construction via the value and is also the one
actually used in config.py

Fixes: #2072

More post-release news

Post-release NEWS updates

This moves a few things further up to make them more prominent, like the
renaming of presets and the addition of profiles and also adds a the new esp
output format and a note about resolv.conf now needing WithNetwork=true to be
mapped during script runtime.

Release 19

NEWS: mention "burn"

NEWS: add periods to sentences, order by subject

This is always a bit subjective, but I find a NEWS file much easier to read if
it's thematically organized. I think support for a new distro is important, so
put that first, then new verbs and options, then new configuration features,
and then all the other smaller changes.

mkosi: add "burn" verb 🔥🔥🔥

This simply dd's the resulting image to a block device. (Doesn't
actually dd though, uses systemd-repart --copy-from)

i.e. run "mkosi -f burn /dev/sda"

Drop compression suffix for directory output

The automatic logic would produce a name like "initrd_6.6.0.zst", even though
there is no compression.

Only mount over /etc/resolv.conf if network access is enabled

This allows users to mess with /etc/resolv.conf in postinst scripts
without having to unmount it first.

Debug log when firmware is missing

Sometimes missing firmware can cause issues in the initrd so let's
at least debug log if we can't find some firmware.

Merge pull request #2060 from DaanDeMeyer/esp-size

Set ESP output minimum size based on sector size

Set ESP output minimum size based on sector size

Based on the sector size, a minimum size is required for FAT32 to
be bootable by OVMF. Instead of wasting space by always using 512MB,
let's set the minimum size based on the given sector size.

Add proper parser for sector size

isort test_json.py

Merge pull request #2057 from DaanDeMeyer/esp

Add esp output format

Add esp output format

This is largely the same as the uki output format, but additionally
we wrap the uki in a disk image with just an ESP.

Add extension() method to OutputFormat

Use one more dict comprehension

Move unified kernel status message into build_uki()

This makes sure we get a status message when building uki outputs
as well.

Fix want_uki()

If we're building a UKI image, we always want a UKI regardless of
the other options.

Use INVOKING_USER.home to find home in the workspace logic

Make default workspace directory logic more robust

When running with sudo, $HOME won't be set, so let's rework the
logic to not rely on that.

don't fail on non-controlling ttys

Add kernel-install plugin from mkosi-initrd

Let's support kernel-install natively in mkosi. This commit moves
the kernel-install plugin from mkosi-initrd into mkosi itself with
a few adaptations:

- We look for initrd configuration in /usr/lib/mkosi-initrd and
  /etc/mkosi-initrd using "--include"
- We always include the host's kernel modules using --extra-tree
- We skip the mkosi-initrd plugin unless initrd_generator is
  explicitly set to "mkosi-initrd". This allows the mkosi package
  to be installed without also using it as the initrd generator if
  initrd_generator is not configured explicitly.

This commit also extends the default fedora image to build the mkosi
rpm if the spec sources are mounted at rpm/ using BuildSources=. We
also configure the default image to use mkosi-initrd as the initrd
generator and ukify as the uki generator, so that running kernel-install
in the booted image will build a UKI using mkosi-initrd and ukify.

Add missing raise

building rpms from source doc improvements

- Use env --chdir= instead of spawning a shell
- Document that scripts are executed in the same directory that
  mkosi is running in and get rid of all uses of $SRCDIR and
  $CHROOT_SRCDIR in favor of relative paths. We have to use $PWD
  when actually building the rpm as some macros expect the topdir
  to be an absolute path.

Fix LocalMirror= for Fedora

Use package manager specific subdirectories in the cache directory

We want to be able to set --cache-dir=/var/cache to automatically
reuse the system cache for each installed package manager, so let's
make sure we use the right subdirectories for each package manager
to make that work properly.

Add QemuDrives= option

This option allows specifying extra qemu drives to pass to qemu.
mkosi will create a file (optionally in the given directory) of
the given size and pass it to qemu via -drive, optionally with some
extra options.

Doing this in mkosi allows mkosi to automatically manage the lifetime
of the file backing the drive. We can create it as needed and remove it
when we exit.

Example usage:

```conf
[Host]
QemuDrives=btrfs:10G
           ext4:20G
QemuArgs=-device nvme,serial=btrfs,drive=btrfs
         -device nvme,serial=ext4,drive=ext4
```

summary: Fix copy pasta for KernelModulesInitrdExclude

Add BuildSourcesEphemeral= to the rpms from source doc.

rpmbuild with --build-in-place is a top offender when it comes to
writing files to the source directory, so let's suggest enabling
BuildSourcesEphemeral= in the building rpms from source doc.

Pass file descriptor to /dev/kvm to qemu on newer versions

Newer versions of qemu support passing the kvm device to use as a
file descriptor. Let's make use of this if the qemu version is
recent enough.

At the same time, also do some general cleanup of the KVM logic.

Merge pull request #2046 from DaanDeMeyer/ephemeral

Add BuildSourcesEphemeral=

Add BuildSourcesEphemeral=

Unfortunately there are use cases where it's useful to persist
changes to the source directory. A prime example is projects with
Makefile that do not provide a properly functioning `make install`.
The only way to use those with mkosi build scripts is to do an
in-tree build in the build script and then mounting the source
directory into the VM or container when booting it. For this to work
we need changes to the source directory to be persisted. To support
this use case, let's gate the ephemeral source directories behind an
option that's disabled by default (for backwards compatibitity reasons).

Don't show the same "Generating disk image" message 3x times

Let's show a custom message each time we call systemd-repart. Let's
also not call it a third time if split artifacts were not requested.

Stop logging about cleaning up overlayfs

These steps aren't exactly useful for users, so let's not log about
them.

Add --debug-workspace

Fixes #2036

Fix KernelModulesInclude=

We have to store the relative path, not the full path for the check
to work correctly.

Document that we automatically handle roothash= for verity partitions

Update NEWS

Merge pull request #2041 from DaanDeMeyer/fixes

Various fixes and improvements

Make source directories ephemeral when running scripts

Various tools like to write to the source directory, which we want
to avoid. Let's make source directories ephemeral when running scripts
so tools can write to it as much as they want but we can throw away all
those changes when we're done running scripts.

Specifically, this makes running rpmbuild as documented in
docs/building-rpm-from-source.md a lot nicer as the source directory won't be
polluted with all manner of temporary files anymore.

Stop using workspace directories in source directories

Preparation for making source directories volatile while running
scripts. Overlapping overlayfs directories cause massive mayhem so
to keep our sanity, let's make sure the workspace directory is never
a subdirectory of any source directories.

XDG doesn't provide an equivalent of /var/tmp but when running in /home
we really want the workspace to be located in /home as well so we can use
reflinks if /home is a separate partition so we opt to use XDG_CACHE_HOME
or $HOME/.cache instead.

Create volatile overlay if no upperdir is specified

Use same chroot scripts for all postinst/finalize scripts