Don't consider include filters when deciding whether to run depmod

The include filters only do something if there's an exclude filter,
so we don't need to run depmod if only include filters are defined.

Fix filter_kernel_modules()

Make sure we skip the include/exclude logic if no filters are defined.

mkosi-initrd: Fix md rules

This somehow ended up being copied wrongly from dracut so let's fix
that.

Add QemuVsockCID= option

This makes it a bit more streamlined to run multiple VMs with vsock
concurrently.

mkosi-initrd: Apply cryptsetup creds to all instances of systemd-cryptsetup@.service

This follows the suggestion made in https://github.com/systemd/systemd/pull/30309
to apply "cryptsetup.*" credentials to all instances of
systemd-cryptsetup@.service instead of only to
systemd-cryptsetup@root.service.

docs: Mention that all the sysext steps should be done in an empty dir

docs: Mention how to provide your own key and certificate

Execute user presets alongside system presets

Adds `systemctl --root "$ROOT" --global preset-all` to the **Applying presets...** build step.

Merge pull request #2124 from behrmann/pyrightfix

Fix pyright errors

Make DistributionInstaller.architecture a classmethod

This was already done in CentOS, but not in the base class.

config: name parameter for MkosiJsonEncoder.default as in base class

Merge pull request #2122 from DaanDeMeyer/sysext

docs: Add doc on generating system extensions with mkosi

docs: Add doc on generating system extensions with mkosi

Strip usr/lib/sysimage/libdnf5 when dnf5 is not installed

Merge pull request #2120 from DaanDeMeyer/initrd

mkosi-initrd: various improvements

mkosi-initrd: Port tests from old repository

This commit ports some of the tests from
https://github.com/systemd/mkosi-initrd/blob/main/.github/workflows/build-fedora.sh
over.

The LUKS test is modified to generate the LUKS root partition using
repart instead of doing it manually. For the LVM tests we're forced
to do it manually as systemd-repart doesn't support setting up LVM
(and probably never will).

We also add an initrd size test so we notice when initrds grow due
to distribution packaging changes.

Fix nspawn settings

When --machine= is used, nspawn looks for a settings file named after
the machine so we have to make sure to copy to the right location.

While we're at it, let's also stop considering the nspawn settings
an output artifact, since this means we have to build the image to
apply new settings. Instead, let's copy the settings when running
the image and remove the copied file again afterwards. This means
that new settings are applied immediately instead of only after a
rebuild.

Temporarily default to debian unstable for builtin image

Booting off virtiofs only works properly from systemd v255 onwards
when virtiofs and virtio_pci are not builtin to the kernel so let's
default to unstable for now which has systemd v255.

mkosi-initrd: Ship preset to disable services by default

Debian doesn't ship any presets so all services are enabled by default.
Let's ship our own to disable everything by default instead.

mkosi-initrd: Enable cryptsetup.* credentials for systemd-gpt-auto-generator

systemd-cryptsetup will read credentials in the "cryptsetup" namespace but
none of the generated service units import credentials from that namespace
yet. Let's add a dropin to have systemd-cryptsetup@root.service (generated
by systemd-gpt-auto-generator) load these credentials by default so that we
can use them in integration tests.

Upstream PR in systemd related to this: https://github.com/systemd/systemd/pull/30309

Suspend stdin capture if --capture=no is specified

Passthrough stdin/stdout in Image

Install less in default images initrds

Don't pass --debug when running mkosi clean

qemu: Don't synthesize root= if it's provided on the kernel command line

qemu: Use full output path everywhere

Let's make sure we use whatever the configured output format is instead
of going via the symlink we create in the output directory.

tree: Pass in use_subvolumes feature instead of MkosiConfig object

This makes the tree functions a little more generic.

mkosi-initrd: Move tests to pytest

While we're at it, also build our default images with a mkosi-initrd
produced initrd to verify that it boots.

mkosi-initrd: Add opensuse support

mkosi-initrd: Default to cleaning package manager metadata

Various package managers are pulled in as dependencies of core
system software (dpkg by dash on Debian, rpm by kmod via
suse-module-tools on opensuse) so let's default to always cleaning
package manager metadata even if the package manager is installed.

We still allow disabling it as having the package manager metadata
available is useful when debugging dependencies and why specific
packages are installed in the initrd.

mkosi-initrd: Apply centos specific config to RHEL as well

Introduce name() method for MkosiConfig

mkosi-initrd: Bring Arch and Debian up-to-date with Fedora

mkosi-initrd: Exclude more files on Arch

Let's exclude a bunch of unnecessary stuff on Arch.

Implement WithDocs= for apt

mkosi-initrd: Strip all files starting with vmlinuz

Fedora has started shipping vmlinuz-virt.efi in the kernel modules
directory so we have to make sure we strip that from the initrd as
well.

mkosi-initrd: Strip documentation from the initrd

mkosi-initrd: Configure locale to C.UTF-8

This will make sure all other locale data is strippped out on rpm
based distributions.

mkosi-initrd: Remove System.map

System.map is primarily intended for debugging kernel oopses so let's
not include it in generated initrds which saves 8.4M.

initrd: again drop shadow-utils from initrd

We save 4MB, and also 300kB for libsemanage.

mkosi-initrd: Allow setting output format from CLI

It's useful to build the initrd as a directory for debugging.

Configure rpm _install_langs if locale is configured

If the _install_langs macro is defined, rpm will only install locale
data corresponding to the locales in _install_langs. If Locale= is
set and macros.lang doesn't exist already, let's configure it ourselves
with _install_langs to save on disk space.

Allow configuring rpm in package manager trees

Up until now, we've been unconditionally using the rpm configuration
from the host system. Unfortunately we can't entirely get rid of this
as rpm doesn't operate with an empty configuration and the configuration
is tightly coupled to the rpm version.

However, let's at least make sure we don't use any rpm configuration from
/etc and let's allow users to add extra rpm configuration themselves using
package manager trees.

By using $RPM_CONFIGDIR, we can configure where rpm looks for its main
configuration. We allow users to configure various rpm configuration in their
package manager trees and then copy over any missing files from the host
afterwards.

Because the /etc config directories are hardcoded in rpm, we have to resort
to mounting an empty directory on top of /etc/rpm if it exists.

Specify --no-dereference in copy_tree()

We try to follow cp -a semantics, which includes --no-dereference,
so let's make sure we specify it explicitly.

Add clobber argument for copy_tree()

Let's allow specifying that copy_tree() should not overwrite
existing files. Because of a messy backwards incompatible change
in coreutils v9.2, we're forced to use a different option depending
on the cp version.

Don't complain about compression for non-compressible output formats

mkosi-initrd: Only include core + host's loaded modules and firmware

The initramfs produced by mkosi-initrd's kernel-install plugin is only
intended to be used on the host system that's building it. Let's take
advantage of that and only include the currently loaded modules and
firmware in the initramfs to cut down the size.

For safety reasons we always include some core modules regardless of
whether they're loaded on the host or not.

Add KernelModulesIncludeHost= and KernelModulesInitrdIncludeHost=

These look at /proc/modules and add all modules in there to the list
of modules to keep. Useful when building images intended to be used on
the host system only.

This commit also optimizes filter_kernel_modules() which was previously
O(n)^2.

mkosi-initrd: Include firmware from host as well

Some modules don't work without the corresponding firmware, so make
sure we copy in the corresponding firmware from the host as well.

Merge pull request #2118 from DaanDeMeyer/tests

ci: Fix environment passthrough

ci: Bump timeout to 1h

We now run tests for all formats within the same job which needs
more time to complete so let's bump the timeout t 1h.

test: Test directory image boot in qemu if virtiofsd is available

tests: Fix Distribution creation

ci: Fix environment passthrough

When using sudo we need to make sure to pass through environment
variables.

Also run summary() as part of the boot tests to help with debugging.

Merge pull request #2117 from DaanDeMeyer/tests

Move integration tests into python

Move integration tests into python

Instead of vendor locking ourselves to Github Actions, let's move
the integration tests into python so we can run them locally and
on other CI systems.

We opt to use unittest style test cases so that we can have a
configurable base class that can be used for various integration
tests. Unfortunately, I haven't found a nice and type safe way to
make pytest fixtures configurable so we opt for unittest instead.

Note that while we use the subTest() feature of unittest, pytest
still considers test_boot() a single test because it doesn't support
this particular feature of unittest. Ideally we switch our test runner
to something else in the future which does support the subTest() feature.

We always run steps that can run unprivileged without privileges even
if we're running as root so that tests can be run locally with root
privileges without ending up with a bunch of files owned by root
afterwards.

Implement RemovePackages= for Arch

Use mkosi.local.conf for local configuration

Let's move our common configuration to mkosi.conf now that we have
mkosi.local.conf for local configuration.

Fix licensing

Add GPL2 license to the repository and fix the SPDX license identifiers
for the dracut files to GPL-2.0-only.

docs: format paths as monospace

Fix ImageId= docs

- We don't patch it into partition labels anymore
- We already patch os-release ourselves so let's not use it as an
  example of what to do with $IMAGE_ID for users.

mkosi-initrd: Copy md and dm udev rules from dracut

Until these are upstreamed into their corresponding projects, let's
carry the rules in mkosi-initrd.

Revert "ci: enable jammy-proposed-updates to get new libsolv"

libsolv has migrated to jammy-updates, so we can disable the
proposed-updates repository again.

This reverts commit 698834c7794f0100eba8ff17125cffc8f6ac8a63.

Stop using workspace cache subdirectory

We don't do this for configured cache directories anymore, so don't
do it for workspace cache directories anymore either.

Merge pull request #2084 from behrmann/reprouid

util: add a fallback username and home for INVOKING_USER

mounts: use INVOKING_USER in mount_passwd instead of hardcoding /home

util: make name and home of INVOKING_USER methods that cache their results

At test time, e.g. during reproducible builds, usernames are not guaranteed to
be resolvable, because NSS is deliberately broken. Hence, only try to resolve
either only if needed and cache the result, so it stays the same across
invocations.

This unfortunately can no longer be achieved by combining @classmethod with
@property, since the combination, which had only been allowed since Python 3.9,
was deprecated again in Python 3.11.

Fixes: #2081

Speed up empty_directory()

Let's invoke rm once instead of N times.

Set atime and mtime of scripts to zero

Otherwise, stuff like meson reconfigure will rerun every time because
we write the script again every time we run the build script.

Add useradd script

Let's automatically invoke useradd with --root when executed outside
of the image chroot.

Fixes #2089

Fix --genkey-valid-days and --genkey-common-name

Fixes #2077

Use zst as zstd file extension

Fix user provided kernel not being used

Use the main tool name in error when tool is not found

We would say that we cannnot find /usr/lib/systemd/ukify, which
is somewhat confusing, since we're looking for ukify in $PATH
first, and only for /usr/lib/systemd/ukify as a fallback.

This also avoids a second which call on the results of a which call.

Add microcode support

Let's make sure we add early CPIO initrds containing microcode when
building bootable images. To make early loading of microcode work, an
uncompressed initrd has to be prepended to the list of initrds containing
the microcode at a canonical location.

Run depmod even if Bootable=no

Bootable=no disables the kernel modules logic but users might still want
to generate a bootable image so let's run the depmod logic unconditionally.

Do not trigger bwrap's max arg limit when running modinfo

We might potentially pass a lot of modules at once to modinfo which
could trigger bwrap's max argument limit so make sure to chunk things
up to avoid hitting the limit.

autologin: use a helper method to reduce boilerplate

I kept the generated option strings exactly the same. In some cases we
put the baud before the device name or placeholder, and in other cases in
the opposite order, but maybe there's some reason for this.

The unit file is changed to use just 'aggety' instead of the full path,
and the leading whitespace is dropped. Both things should have no effect,
but make the resulting file nicer to read.

Add ability to create passwordless root account (#2093)

To create a passwordless root account one may specify `hashed:` without passing
an actual hash.

Merge pull request #2073 from behrmann/ttyama0

Ttyama0

kmod: normalise module names

The file names of modules use dashes, e.g.

    /usr/lib/modules/6.6.2-arch1-1/kernel/drivers/nvme/common/nvme-common.ko.zst

but the dependency names modinfo gives us use underscores, e.g.

    name=nvme_common

Fixes: #2092

Add Building RHEL and RHEL UBI images with mkosi to README

Fixed capitalization of `SignExpectedPcr`

Fixes: #2086

Update default of QemuMem in mkosi.md

The default changed to 2G a while ago though the docs still referred to the old value of 1G.

kmod: remove doubled root prefix

ci: enable jammy-proposed-updates to get new libsolv

rawhide and tumbleweed now compress repodata with zstd which cannot be
handled by libsolv in jammy. Enable jammy-proposed to get new version
with the fix.

This reverts commit 4cec733f9186edec10904c30b4afd3d1c8857d9d.

fix ruff lint warnings

Merge pull request #2074 from behrmann/zstdrename

Rename Compression.zst to Compression.zstd

autologin: add dropin for ttyAMA0 on arm64

ARM64 hardware uses the PL011 driver, which exposes serial terminals as
ttyAMA0.

Fixes: #2068

config: also default config_default_compression for OutputFormat.tar

The man page suggests this to be the case

man: update section on CompressOutput

Rename Compression.zst to Compression.zstd

But also leave a fallback Compression.zst with value "zstd" as a fallback in
case anybody used that. To test this we also change the construction of
Compression instances in test_config.py to use __get_item__ instead of __new__,
since that actually supports construction via the value and is also the one
actually used in config.py

Fixes: #2072

More post-release news

Post-release NEWS updates

This moves a few things further up to make them more prominent, like the
renaming of presets and the addition of profiles and also adds a the new esp
output format and a note about resolv.conf now needing WithNetwork=true to be
mapped during script runtime.

Release 19

NEWS: mention "burn"

NEWS: add periods to sentences, order by subject

This is always a bit subjective, but I find a NEWS file much easier to read if
it's thematically organized. I think support for a new distro is important, so
put that first, then new verbs and options, then new configuration features,
and then all the other smaller changes.

mkosi: add "burn" verb 🔥🔥🔥

This simply dd's the resulting image to a block device. (Doesn't
actually dd though, uses systemd-repart --copy-from)

i.e. run "mkosi -f burn /dev/sda"

Drop compression suffix for directory output

The automatic logic would produce a name like "initrd_6.6.0.zst", even though
there is no compression.

Only mount over /etc/resolv.conf if network access is enabled

This allows users to mess with /etc/resolv.conf in postinst scripts
without having to unmount it first.