test: include systemd-journald in client test rootfs

After commit d36012143c7c ("test: use systemd inside client test rootfs
if available") some tests became racy (for example test 20 on
debian:latest or fedora:latest). There is `made it to the test rootfs!`
in the logs but not the `All OK`.

Following warning can be found in the logs:

```
systemd[1]: systemd-journald.socket: Unit configuration changed while unit was running, and no socket file descriptors are open. Unit not functional until restarted.
systemd[1]: systemd-udevd-kernel.socket: Unit configuration changed while unit was running, and no socket file descriptors are open. Unit not functional until restarted.
systemd[1]: systemd-journald-dev-log.socket: Unit configuration changed while unit was running, and no socket file descriptors are open. Unit not functional until restarted.
```

Include `systemd-journald` in client test root file system when systemd
is used to ensure that systemd-journald continues working.

Hopefully fixes: https://github.com/dracut-ng/dracut-ng/issues/2137

test: use EXIT trap to poweroff client rootfs

Use an trap on `EXIT` to poweroff the client rootfs. This will cover all
kinds of failure and allows using `set -eu` in the init script.

fix(dracut): move defining DRACUT_LDCONFIG to dracut-functions.sh

The function `ldconfig_paths` in `dracut-functions.sh` uses
`DRACUT_LDCONFIG`. Therefore move defining `DRACUT_LDCONFIG` into
`dracut-functions.sh`.

test: avoid printing wall message on shutdown

Calling `systemctl poweroff` in the client test rootfs causes this
warning:

```
Failed to connect to system scope bus via local transport: No such file or directory
```

Installing D-Bus in the client test rootfs changes the warning to:

```
Failed to set wall message, ignoring: Transport endpoint is not connected
Call to PowerOff failed: Transport endpoint is not connected
```

The man page for systemctl poweroff says: "Shut down and power-off the
system. This is mostly equivalent to systemctl start poweroff.target
--job-mode=replace-irreversibly --no-block, but also prints a wall
message to all users."

So call this equivalent command instead to not trying to print wall
message on shutdown.

test: use systemd inside client test rootfs if available

Some tests (for example test 10 on ubuntu:devel) show this warning:

```
System has not been booted with systemd as init system (PID 1). Can't operate.
Failed to connect to system scope bus via local transport: Host is down
```

This is caused by calling `systemctl --failed` in the client test rootfs
where systemd is not available/used.

Use systemd inside the client test rootfs if available to allow querying
the failed services from the initrd.

ci(busybox): do not mix kmod and busybox binaries

Busybox provides applets for all (e.g. modprobe, rmmod)
kmod binaries (under /sbin). These kmod binaries are all
copied over in the busybox CI container except kmod binary
itself, which will confuse dracut (as command kmod will return tue).

Remove kmod from /bin/kmod from the busybox container.

ci: use uutil's coreutils on ubuntu:devel (resolute)

rust-coreutils 0.5.0 landed in Ubuntu 26.04 (resolute). Therefore
https://github.com/uutils/coreutils/issues/9057 and
https://launchpad.net/bugs/2129037 are fixed in ubuntu:devel.

ci(busybox): unwrap short command

After 36ca1ba the command is short enough to unwrap this line.

chore(dracut): remove support for module-init-tools

module-init-tools was EOL'ed in 2011.

partial revert of ecf42850c (from 2010).

fix(dracut-functions): check for kmod

Check for kmod before depending on a kmod specific functionality.

This code pattern is taken from the base module which already
includes a similar kmod check.

ci(busybox): do not install additional packages during test run

Only run those tests that are passing on busybox without additional
GNU tools.

Removed test 82, as that is now failing due to busybox procps-ng
differences.

ci: always include container in job names

Always include the container name in the CI job names (for consistency).

ci(LIVENET): enable livenet testing on Alpine

Test 31 (livenet) requires curl to be available in the test CI
container.

perf(dracut): unset threecpio_help_output after usage

Reduce the memory consumption by unsetting `threecpio_help_output` after
usage.

perf(dracut): re-use cached 3cpio --help output

Re-use `threecpio_help_output` instead of calling `3cpio` again. This
should be faster.

perf(dracut): replace grep by bash pattern matching

Replace `echo | grep` by a bash pattern matching to avoid spawning
external processes. The bash pattern matching should be faster.

refactor(dracut): rename help_output to threecpio_help_output

feat: rename rd.overlayfs.readonly to rd.overlay.readonly

Commit b77ae7eb8523da696fcb0f48a747ac22bdc9eb31 renamed
`rd.live.overlay.readonly` to `rd.overlayfs.readonly`. Unify the overlay
parameters into the `rd.overlay` namespace. There is no backward
compatibility support needed for `rd.overlayfs.readonly` since it hasn't
been part of a Dracut release.

chore: use full URL as reference for fixed bugs

Use full URL as reference for fixed bugs. Otherwise the correct bug will
be lost in case the project is renamed or forked.

chore: move Fixes further up

Move `Fixes` further up so that the checklist is always at the end.

chore: hide template text in HTML comment

Hide the template text in HTML comment. This will prevent having the
text displayed in case the submitter does not replace it.

chore: use level 3 heading for pull request checklist

The size of the `Checklist` heading is too big.

ci(busybox): install more non-busybox binaries

Redesign the way the busybox container is computed to make it
easier to maintain and eliminate the need to install additional
alpine packages later on.

The new approach inherits from the "regular" alpine dracut container
and replaces all GNU coreutils and GNU util-linux binaries with
busybox binaries.

This PR is reusing Dockerfile-alpine and have an OPTION variable to
prioritize busybox.

ci: rename alpine-busybox:edge to alpine:busybox-edge

Move busybox from the image name to the tag. That way all alpine images
can be found on https://github.com/dracut-ng/dracut-ng/pkgs/container/alpine

refactor(run-qemu): group serial and log file handling

Configuring `-serial` to write to `stdout` and writing to the a QEMU log
file belongs together.

test: use check_qemu_log instead of test marker.img

Simplify the test code by reading the QEMU log instead of requiring to
write to a `marker.img` inside the VM.

feat(dracut): allow hostonly mode if /sys /proc or /run is missing

Missing /sys, /proc, or /run no longer forces non-hostonly mode.
Hostonly initramfs generation still requires /dev to be mounted and
continues to work in chroot environments where these filesystems may
be absent.

If /sys is missing, dracut emits a warning but does not fall back to
non-hostonly mode. Hostonly generation should not depend on /sys,
/proc, or /run being mounted.

chore: remove Changes header from the tempate

Remove Changes header from the tempate to make it easier to
create PRs.

test: fix run-qemu to create a log file even with busybox

Busybox timeout does not support `--foregroud` and therefore the tests
are run without a timeout when using busybox (for example on
alpine-busybox:edge). The code path for writing to `QEMU_LOGFILE` was
also skipped in this case.

Move checking the condition for writing to a log file into a separate
if-condition.

Fixes: e794ed6b14cf ("test: let run-qemu create a log file")

feat: warn in case 3cpio is present but not suitable

In case the 3cpio call fails, dracut will silently fall back to cpio.
This makes debugging harder.

So print a warning in case calling 3cpio fails. Print an info in case
3cpio does not support `--create`.

See also https://bugs.debian.org/1126301

ci(debian): do not install cpio if 3cpio is installed

Dracut either needs 3cpio or cpio, but not both. So do not install cpio
in case 3cpio is installed.

test: let run-qemu create a log file

Let `run-qemu` create a log file if `QEMU_LOGFILE` is set and the
QEMU is not run in `-daemonize` mode.

refactor(test): move check_qemu_log to test-functions

Move `check_log` to `test/test-functions`, name it `check_qemu_log`, and
do not require to specify the success message (which will be the same
for all tests).

ci: wrap long name lines

Wrap the long name lines to make yamllint happy.

ci: wrap long run lines

Wrap the long run lines to make yamllint happy.

ci: wrap long concurrency group lines

Wrap the long concurrency group lines to make yamllint happy.

ci: use 4-space indent for YAML files

Some YAML files use 2-space indent and others use 4-space indent. Use
4-space indent for all YAML files. Use this one-liner to convert them:

```
perl -i -pe 's/^((?: {2})+)/"    " x (length($1) \/ 2)/e' antora-playbook.yml \
    doc_site/antora.yml doc_site/supplemental-ui/ui.yml \
    .github/{labeler,dependabot}.yml .github/workflows/{codeql,lint,release,publish,pr}.yml
```

Plus some manual clean-up afterwards.

ci: use common multi-arch container tags

Commit 5dd694a4834ec7643b02d04d73f87d5c760b7ede created multi-arch
container tag. Use those in the CI jobs to simplify the jobs.

ci: test UEFI generation on Alpine

Strengthen determine_kernel_version (this function only used
during testing) to look for files ending with modules.dep
to filter out entries like e.g. modules.dep.bin.

ci(Alpine): vmlinuz workaround

Re-introduce vmlinuz workaround for the Alpine CI container to
enable UKI testing.

Partial revert of d9497f3 .

feat: rename rd.live.overlay to rd.overlay

The overlay functionality can be used with both dmsquash-live and
overlayfs modules, and is not limited to live images. This change
improves naming of command line options with better namespace scoping.

Renames:
- rd.live.overlay -> rd.overlay
- rd.live.overlay.reset -> rd.overlay.reset

Backward compatibility is maintained through deprecation flags.

fix(test/DMSQUASH): zero overlay partition on reset

The reset_overlay_partition function was not fully clearing
the overlay partition. Delete the partition from the
partition table and zero out the disk region to ensure a
clean state between test runs.

refactor(test/DMSQUASH): extract autooverlay helpers for reuse

Extract check_autooverlay_marker() and reset_overlay_partition() helper
functions to avoid code duplication when testing multiple autooverlay
scenarios.

docs(systemd-pcrphase): mention the new binary name

Clarify the comment which of the two names is the new one.

fix(dmsquash-live-autooverlay): re-read partition table after creation

After parted creates the overlay partition, the kernel's in-memory
partition table is not automatically updated. This causes mkfs to fail
with "The file /dev/sdX does not exist" on some systems.

Add blockdev --rereadpt to force the kernel to re-read the partition
table before attempting to create the filesystem.

fix(systemd-pcrphase): do not print an error if an optional binary is not found

Fixes #2094

feat(lvm): match host lvm recovery installation

These LVM tools are just symlinks to binaries that are already installed
inside the initramfs. Dracut might as well install these symlinks to
avoid people looking for them during a potentially stressful recovery time.

ci: create common multi-arch container tag

The same container tag can be used for images with different
architectures. That is the case for most common images (like
`ubuntu:devel`).

fix(Makefile): broken symlink in dracut config examples

Due to commit [1], it installs dracut config examples under /usr.
But while enable_test=no, the symlink of test in dracut config is broken
```
root@qemux86-64:~# ls /usr/lib/dracut/dracut.conf.d/test*  -ahl
lrwxrwxrwx 1 root root 27 Apr  5  2011 /usr/lib/dracut/dracut.conf.d/test -> ../test/dracut.conf.d/test/
lrwxrwxrwx 1 root root 36 Apr  5  2011 /usr/lib/dracut/dracut.conf.d/test-makeroot -> ../test/dracut.conf.d/test-makeroot/
lrwxrwxrwx 1 root root 31 Apr  5  2011 /usr/lib/dracut/dracut.conf.d/test-root -> ../test/dracut.conf.d/test-root
root@qemux86-64:~# realpath /usr/lib/dracut/dracut.conf.d/test*
realpath: /usr/lib/dracut/dracut.conf.d/test: No such file or directory
realpath: /usr/lib/dracut/dracut.conf.d/test-makeroot: No such file or directory
realpath: /usr/lib/dracut/dracut.conf.d/test-root: No such file or directory
```

This commit cleans up test symlink if enable_test=no

[1] https://github.com/dracut-ng/dracut-ng/commit/0d369e3e30935dffe48dfff1e90463868e7f804a

Signed-off-by: Hongxu Jia <hongxu.jia@windriver.com>

feat(livenet): support root=http:* as alias for root=live:http:*

For compatibility with `cloud-initramfs-rooturl` support `root=http:*`
as alias for `root=live:http:*` and `root=https:*` as alias for
`root=live:https:*`.

feat: move DRACUT_VERSION from dracut-version.sh into dracut.sh

`dracut-version.sh` is only sourced by `dracut.sh`. So move defining
`DRACUT_VERSION` into `dracut.sh` and remove `dracut-version.sh`. This
allows removing code for sourcing this file.

ci(busybox): disable DMSQUASH

Disable running DMSQUASH test without coreutils until a proper fix is
available.

Follow-up to 362ea81 .

ci: sort container job configs by tag name

Sort container job configs by tag name because the tag name is used as
job name.

feat: add yamllint config

Add a yamllint config allowing a line length of 120 characters for the
beginning. The next steps would wrap the too long lines and add a linter
job running `yamllint .`.

ci: use container tag name as job name

Use the full container tag name as job name (e. g. `ubuntu:devel-amd`).
This is shorter and easy to read.

ci: remove duplicate ubuntu image jobs from container-extra

The `ubuntu:devel` and `ubuntu:rolling` container images are already
built by the container job. There is no need to build them on the
container-extra job as well.

test: add test case for booting root=live:<URL>

Add a test case for booting `root=live:<URL>` before adding new features
to the `livenet` Dracut module. Numbering the test is tricky, because it
uses live boot (range 30-39) and basic networking (range 60-69).

ci: only publish to GitHub Pages for dracut-ng repo

Forking dracut-ng will also fork the CI configs and pushes to the forked
main branch will trigger the publish job which will fail (unless pages
are explicitly enabled).

So only publish to GitHub Pages when triggered from the dracut-ng
repository.

ci: also push tags when container jobs were triggered manually

The CI jobs for building the containers might be triggered manually. The
event name is `workflow_dispatch` then and the tag update would not be
pushed. That defeats the purpose of running those jobs manually.

ci: name container jobs after CI name

Name the container jobs after their CI name instead of `amd64` since
they also build `arm64` images.

chore(gitignore): ignore html files in test directory

I sometimes convert the test log file to HTML using `ansi2html` to make
the logs nicer to read. Ignore those HTML files in `.gitignore` as well.

chore(gitignore): sort .gitignore file

```
LANG=C sort .gitignore | sponge .gitignore
```

ci: explicitly install python3 in containers

Explicitly install python3 in the containers to allow testing the
`livenet` module using Python 3 `http.server` as HTTP server. Many of
the containers already have Python installed as dependency.

chore(gitignore): ignore .testdir and test logs

`test/test-functions` creates a `.testdir` file with `-$TEST_RUN_ID` as
suffix. It also create log files named `server.log` and
`test${TEST_RUN_ID:+-$TEST_RUN_ID}.log`.

Make the `.gitignore` pattern match those files.

test(DMSQUASH): fix autooverlay test checks the entire root.img

The test searched for the marker string in the entire root.img, but
the string also existed literally in test-init.sh embedded in the
first partition, causing a false positive. Fix by extracting and
searching only the second (overlay) partition.

Fixes: #2054

test(DMSQUASH): fix do_live_overlay not being called

The test disk image contained raw rootfs instead of the live
structure (LiveOS/rootfs.img), so FSIMG was empty and do_live_overlay()
was never called. Fix by using the live structure on disk.

test(DMSQUASH): add sync after writing the marker

The change is done to ensure it is flushed to the persist
partition before shutdown.

chore: update obsolete comments and documentation

Change the comment and make it more generic.

ci: rename network-systemd job to match the derauct module name

network-systemd is testing the systemd-networkd dracut module.
Let us use the dracut module name as the name of the job.

chore(dracut): call the public determine_kernel_image function

Instead of repeating and reimplementing the function to find
kernel image, call the public function.

Follow-up to df93355 .

feat(dracut): expose determine_kernel_image as a public function

Expose determine_kernel_image as a public and documented helper
function.

test(DRACUT-CPIO): correct test_check condition

Partial revert to correct test_check condition.

The current code checks if dracut-cpio is found in PATH and skips
the test in case dracut-cpio is found.

Follow-up to b687756 .

test: use assertion.sh hook for test-root

The test-root `test-init.sh` script can run test case specific test
assertion if `/assertion.sh` is present.

Use this infrastructure for `TEST-30-DMSQUASH`. This fixes the issue
(found by Nadzeya) that `test-init.sh` tried to read `/proc/cmdline` but
`/proc` was not mounted and the directory did not exist. `test-init.sh`
takes care of mounting `/proc`.

fix(systemd-networkd): ensure zzzz-dracut-default.network cleanup

zzzz-dracut-default.network should be only installed when
systemd-network-generator does not generate any files in
files in /run/systemd/network .

Place dracut-default.network in /usr/lib/dracut/
and do not change /usr as part of managing .network
files in initramfs.

Follow-up to 523c9b0 .

feat(dracut): add busybox support for 3cpio and enhanced_cpio

3cpio and enhanced_cpio is already supported with coreutils.

This PR adds support for 3cpio and enhanced_cpio for busybox as well.
busybox stat does not support `file-system` syntax, instead
it supports `-f` syntax only.

test(DMSQUASH): use test_marker_check

Use `test_marker_check` to shorten the test case code.

ci: replace non-standard PLATFORM with standard TARGETARCH

The simple goal of this PR is to remove unnecessary variable
to make the code more readable and maintainable.

chore(dracut): remove support for 255 error for is_qemu_virtualized

Treat the return value as a boolean and not an integer, to simplify
the API before potentially exposing this API as a public API.

ci(Alpine): add support for EFI stub and ukify

alpine:edge has support for EFI stub and ukify. Adding these
packages would allow the projuct to increase CI test coverage.

fix(dracut): remove trailing null characters from SBATs when building UKIs

SBAT of kernel has null character paddings at the end. Using tools
like ukify will display massive amount of '\0' in SBAT. Ukify is
doing ".rstrip('b\x00')" when merging SBATs.

test(KERNEL-INSTALL): check kernel-install result

The kernel-install call should create an `initrd` file that the test
will use later in `test_run`. Check that this file has been created to
ease debugging in case of a failure.

test: drop duplicate check for -daemonize

`run-qemu` checks twice for the `-daemonize` parameter.

Fixes: a3f73298f287 ("testsuite: refactor qemu options")

fix(i18n): remove Gentoo workaround that is no longer needed

Gentoo no longer sets KEYMAP to something like "-u pl2", instead
it is set to "pl12".

This piece of code is part of the very original commit of the i18n
dracut module from 2010 - 87122af

There is no mention of '-u' in the oldest version of the wiki from 2013
https://wiki.gentoo.org/index.php?title=Keyboard_layout_switching&diff=1320347&oldid=16937

Remove this workaround that is no longer used or tested to
make it easier to reason about the code.

refactor: move defining inst_sysusers to dracut-functions.sh

inst_sysusers is a public interface to dracut modules, move it
to `dracut-functions.sh`.

Document inst_sysusers in the man page as from now on it is a
public interface.

test: run QEMU with a timeout unless daemonized

Dracut tests might hang. The Dracut CI sets a timeout to kill those
hanging tests, but downstream might not configure something similar.

Run QEMU with a timeout (unless daemonized) to avoid hanging tests
forever.

The slowest tests executions that I have seen on Debian/Ubuntu:

* 33:44 for test 11 (5 client tests) on Ubuntu resolute on armhf
* 101:58 for test 60 (19 client tests) on Debian unstable on ppc64el
* 19:58 for test 70 (3 client tests) on Ubuntu resolute on arm64
* 22:35 for test 71 (4 client tests) on Ubuntu resolute on arm64
* 52:48 for test 72 (8 client tests) Debian unstable on ppc64el

These slow tests take between 5:22 and 6:45 for each client tests on
average (ignoring the setup cost). So set the timeout to 10 minutes as
default.

Fixes: https://bugs.debian.org/1121884

ci: unskip FULL-SYSTEMD on containers where it is passing

This test is now passing on arm openSUSE and gentoo. Skip it.

test(FULL-SYSTEMD): do not depend on -smbios qemu feature

smbios support is architecture dependent and not widely supported.

Using smbios when available does not increase the test coverage
for dracut significantly.

Partial revert of 817dd6125 .

ci(basic): correct syntax to exclude several tests

Make sure tests 20 and 26 are excluded as intended by fixing
GitHub Action syntax.

Follow-up to 1798677 .

ci: skip running failing tesst due to 2021

Temporary skip running tests until
https://github.com/dracut-ng/dracut-ng/issues/2021
is resolved.

Follow-up to 1798677 .

ci: simplify GitHub Action job naming

network-manager dracut module is the default networking provider.

Remove forcing network-manager networking and simplify naming.

ci: skip running failing tesst due to 2021

Temporary skip running tests until
https://github.com/dracut-ng/dracut-ng/issues/2021
is resolved.

ci: skip running tests that are failing due to 1988

Temporary skip running tests until
https://github.com/dracut-ng/dracut-ng/issues/1988
is resolved.

ci: run network-systemd tests on arm as well

Add arm to the test matrix for network-systemd.

ci: move mkosi testing into daily testsuite

mkosi is not default/native in any of the test containers and it
does not seem to be stable.

This PR moves running mkosi reference test into
daily testing so that the dedicated GitHub Action can be just
disabled without a PR.

ci(openSUSE): container build fix

ruby3.4-rubygem-asciidoctor is now called ruby4.0-rubygem-asciidoctor.

ci: run network-legacy tests on arm as well

Add arm to the test matrix for network-legacy.

ci: remove leftover and duplicated GitHub Action

daily-systemd-arm64 GitHub Action is no longer needed as it is
covered by daily-systemd.

Follow-up to a43bd7a .

ci: fix GitHub Action syntax

excluding architectures requires {runner: 'ubuntu-24.04', tag: 'amd'} .

ci: combine omitsystemd x64 and arm64 into one GitHub action

Running tests on arm64 is just as stable as x64, there is
no need to separate them. Combine them into one GitHub
action should make it easier to reason about regressions.

ci: combine systemd x64 and arm64 into one GitHub action

Running tests on arm64 is just as stable as x64, there is
no need to separate them. Combine them into one GitHub
action should make it easier to reason about regressions.