fix(multipath): omit module if included with no multipath devices

Instead of warning the user, lets omit the module to follow
'Principle of Least Surprise'.

feat(multipath): warn if included with no multipath devices and no user conf

The multipath module is always included in no-hostonly mode, but including it in
the initramfs might activate multipath on the root device, which could be
undesirable. This behavior can be manually fixed by explicitly excluding the
root device from multipath in /etc/multipath.conf.

Therefore, issue a warning in no-hostonly mode, if there is no multipath device
and the user has not configured multipath.

bsc#1069169

Signed-off-by: Martin Wilck <mwilck@suse.de>
Signed-off-by: Antonio Alvarez Feijoo <antonio.feijoo@suse.com>

fix(systemd): check for systemd-vconsole-setup.service

fix(nfs): support rpcbind user named _rpc

The Debian/Ubuntu package `rpcbind` creates a user named `_rpc`. Support
running `rpcbind` with that user. Add a helper function `get_rpc_user`
that derives the desired user from parsing `/etc/passwd`.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

feat(dracut-install): configure if weak dep is still not supported in kmod

The weak dependency feature is new and better be backward compatible.
So check in configure stage if the kmod used includes the weak dependency
feature so as not to include it here and avoid compilation errors.

Signed-off-by: Jose Ignacio Tornos Martinez <jtornosm@redhat.com>

feat(dracut-install): add weak dependencies support

It has been seen that for some network mac drivers (i.e. lan78xx) the
related module for the phy is loaded dynamically depending on the current
hardware. In this case, the associated phy is read using mdio bus and then
the associated phy module is loaded during runtime (kernel function
phy_request_driver_module). However, no software dependency is defined, so
the user tools will no be able to get this dependency. For example, if
dracut is used and the hardware is present, lan78xx will be included but no
phy module will be added, and in the next restart the device will not work
from boot because no related phy will be found during initramfs stage.

In order to solve this, we could define a normal 'pre' software dependency
in lan78xx module with all the possible phy modules (there may be some),
but proceeding in that way, all the possible phy modules would be loaded
while only one is necessary.

So, a new type of dependency has been created, that we are going to call
'weak' to be used only by the user tools that need to detect this situation.
In that way, for example, dracut could check the 'weak' dependency of the
modules involved in order to install these dependencies in initramfs too.
That is, for the commented lan78xx module, defining the 'weak' dependency
with the possible phy modules list, only the necessary phy would be loaded
on demand keeping the same behavior, but all the possible phy modules would
be available from initramfs.

The 'weak' dependency support has been already included in kmod:
https://github.com/kmod-project/kmod/commit/05828b4a6e9327a63ef94df544a042b5e9ce4fe7
And in kernel:
https://git.kernel.org/pub/scm/linux/kernel/git/mcgrof/linux.git/commit/?h=modules-next&id=1f3dacc0dcef6681c2acf5890e018012f6b53085
After these, 'weak' dependencies for modules will start to appear.
Read the possible weak dependencies from dracut in order to take them into
account.

Signed-off-by: Jose Ignacio Tornos Martinez <jtornosm@redhat.com>

perf(dracut-install): use driver/module sysfs dirs for module name

To handle fw_devlink suppliers as dependencies, we traverse every device
in /sys and collect a hashmap of module names to their suppliers before
starting module installation work. The module names are found by reading
and passing the "modalias" file to the `kmod_module_new_from_lookup()`
function from libkmod. This function is unexpectedly slow on ARM64
systems with device-tree where this work is primarily necessary.

Usually (but not always), the running kernel has already looked up the
modalias and bound a driver from the associated module. Get module names
by resolving the "driver/module" symbolic link and taking its basename.
If it doesn't exist, fall back to looking up the modalias.

It's possible that multiple modules match the modalias, in which case
others will be ignored in favor of the one already chosen by the kernel.

Signed-off-by: Alper Nebi Yasak <alpernebiyasak@gmail.com>

test: drop 'quiet' from kernel cmdline on verbose runs

If the test cases are run in verbose with (i.e. with `V=1` or `V=2`
set), do not add `quiet` to the kernel cmdline.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(net-lib): require and install only the necessary binaries

- `pgrep`, `tr` not needed.
- `sed` installed by `base`.

feat(lsinitrd.sh): support configurable initrd filenames

The initrd filename can be configured via `initrdname`. Support this
feature also in `lsinitrd` (similar to the code in
`dracut-initramfs-restore.sh`).

Fix: 28820e205328 ("feat(dracut.sh): make initramfs-${kernel}.img filename configurable")
Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix: check for searched initrds to be present

`find_initrd_for_kernel_version` uses the same search order than
`kernel-install` from systemd v249 [1]. When
`dracut-initramfs-restore.sh` or `lsinitrd.sh` searches for initrds,
they should check the presence of the files instead of assuming them to
be present. Otherwise the search might be stopped before an existing
initrd is found. On Ubuntu 24.10 (oracular) with a mounted `/boot`:

```
$ ls /boot/initr* -alh
lrwxrwxrwx 1 root root  27 Jun 20 15:31 /boot/initrd.img -> initrd.img-6.8.0-31-generic
-rw-r--r-- 1 root root 22M Jun 20 16:27 /boot/initrd.img-6.8.0-31-generic
lrwxrwxrwx 1 root root  27 Jun 20 15:31 /boot/initrd.img.old -> initrd.img-6.8.0-31-generic
$ lsinitrd 2>&1 | head -n1
No <initramfs file> specified and the default image '/boot/efi/6491959c70e6481eae6406d25e250d76/6.8.0-31-generic/initrd' cannot be accessed!
```

[1] https://github.com/systemd/systemd/blob/v249/src/kernel-install/kernel-install

refactor: introduce find_initrd_for_kernel_version

Refactor `dracut-initramfs-restore.sh` and `lsinitrd.sh` to introduce a
`find_initrd_for_kernel_version` function to abstract the code. This
commit does not change the logic of the search order.

feat(debug): add findmnt to help debugging

Also sorted the list.

ci: run extended tests on Alpine and Void as well

docs: remove suggesting that hostonly option is only for experts

Since some distributions set hostonly the default, suggesting
that it is only for experts is a bit of overstatement.

test(TEST-40-NBD): tests should avoid managing kernel modules manually

Remove NFS related kernel modules from the NBD test.
Remove networking modules that are installed by kernel-network-modules.

Increase server disk space as now more kernel modules gets installed.

test: delete hosts files that are not used by tests

CI uses IP addresses for simplicity.

test: avoid writing to rootfs as it might be read-only

There is no need to remount rootfs read only right before shutdown.

test(FULL-SYSTEMD): remove /etc/fstab from the rootfs

This PR moves /usr mounting into initrd instead of after
switch_root.

This PR makes the test more generic and allow more testcases.

test(FULL-SYSTEMD): add a test for encrypted root

test(FULL-SYSTEMD): include more systemd dracut modules

Most of modules added had no test coverage in any of the tests on CI.

ci: add systemd-coredump to Debian/Ubuntu containers

PR to enable testing systemd-coredump module.

test: run iscsi and nbd tests sequentially to make it less flaky

docs: correct shutdown path disucssion

Since 4f03054e540427682221e4c62b4d44f79424e38a, these shutdown steps have been
in response to the ExecStop= called from the sysinit.target.

Correct the doc in the two places it mentions this.

feat: add common config for Integrity Measurement

test: do not disable selinux for tests

test: increase VM memory size to pass test 40 on more VMs

fix: rename dracut.conf.d .conf files to conf.example

Sadly, dracut.conf.d.*.conf files will be also picked up
during CI test runs and there is no trivial way to disable
that, so let's follow the existing .example pattern until
there is a better solution.

ci: add hmaccalc to the openSUSE CI containers

hmaccalc package is needed by the fido dracut module.

ci: run systemd-networkd and network-legacy tests on Debian as well

Debian CI (v12) not yet compatible with network-manager dracut
module.

fix(network): deprioritize connman for network selection

Pick network-manager or networkd over connman if network preference
is otherwise not set. All networking tests fail with connman on Arch
currently.

ci: run network tests on Arch, Gentoo, openSUSE and Ubuntu

Exclude test 40 as it is failing, except on Fedora.

test: use use --add instead of --modules to create test-makeroot

Use USE_NETWORK instead of network to be able to control the
network dracut module from outside of the tests.

test: re-enable test 30 with default networking

ci: run systemd-networkd tests on Ubuntu as well

fix(dbus-daemon): actually enable the dbus service and socket

ci: no need to set USE_NETWORK for default networking

test: use network instead of network-legacy for client instance

test: use network instead of network-legacy for server instance

feat(hwdb): separate out hwdb module

test: virtual hardware watchdog not available on s390x

fix(fips): remove reference to kernel module zlib in fips module

Remove reference to kernel module zlib (deprecated in kernel v4.6+) since the
pedantic dracut behavior causes initramfs generation to fail otherwise.

fix(TEST-35-ISCSI-MULTI): increrase storage space

More storage is needed as more files gets installed.

fix(udev-rules): install all rules even if systemd is not installed

fix(rt): use singular argument for timeout value

use singular argument for timeout value -- plural values create an invalid cryptsetup command line

Fixes: https://github.com/dracut-ng/dracut-ng/issues/424
Signed-off-by: Paul Charlton <techguru@byiq.com>

perf(dracut-install): memoize find_kmod_module_from_sysfs_node

find_kmod_module_from_sysfs_node() is called for every platform device
in the system via find_suppliers(). In turn, this calls
kmod_module_new_from_lookup() for every device modalias. This is an
expensive call that reads the modalias files every single time from
scratch.

On many platforms, there are many identical platform devices (e.g.
multiple serial ports, or dozens or hundreds of power domain devices).
Therefore, it's worth memoizing this so we only perform the expensive
lookup once per unique modalias.

This cuts down dracut generation time on an Apple M1 Pro MacBook Pro
from 26 seconds to 17 seconds, give or take (which is close to the
performance prior to 3de4c7313, which introduced a major regression
which has been incrementally improved in prior commits already).

feat(dracut-install): add hashmap_get_exists()

This variant of hashmap_get() returns whether the item exists, which
allows distinguishing a NULL item from a nonexistent one.

fix(systemd-hostnamed): also enable socket units

Followup to https://github.com/dracut-ng/dracut-ng/pull/421

feat(crypt): force the inclusion of crypttab entries with x-initrd.attach

dracut has a "hidden" and undocumented `force` crypttab option (added with
commit b7058d0ce5e99cbc80b5f760a0b654d3ff03c094). This option forces the
inclusion of a crypttab entry in the initrd, which is useful in some cases where
the filesystem check (for whatever reason) does not report a required encrypted
device as "crypto_LUKS".

On the other hand, systemd provides the `x-initrd.attach` crypttab option since
v245. Excerpt from `crypttab(5)`:

```
x-initrd.attach

Setup this encrypted block device in the initrd, similarly to systemd.mount(5)
units marked with x-initrd.mount.
```

This crypttab option is commonly used to mark encrypted block devices that
contain filesystems mounted in the initrd. So, this patch aims to make use of
this well-known systemd crypttab option to match the functionality provided by
the not so well-known dracut crypttab option.

chore: remove trailing newlines

Remove trailing newlines from all files in the repository.

feat: add additional common configs

fix(test): reenable extended tests for Arch

fix(systemd-hostnamed): add missing systemd-hostnamed.socket

Added in systemd v256

chore(deps): bump softprops/action-gh-release from 2.0.5 to 2.0.6

Bumps [softprops/action-gh-release](https://github.com/softprops/action-gh-release) from 2.0.5 to 2.0.6.
- [Release notes](https://github.com/softprops/action-gh-release/releases)
- [Changelog](https://github.com/softprops/action-gh-release/blob/master/CHANGELOG.md)
- [Commits](https://github.com/softprops/action-gh-release/compare/v2.0.5...v2.0.6)

---
updated-dependencies:
- dependency-name: softprops/action-gh-release
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

fix(dracut-initramfs-restore.sh): correct initrd globbing

Quoting the globbing `*` will prevent Bash from use globbing. So only
quote the kernel version variable that could potentially contain spaces.

Fixes: 28820e205328 ("feat(dracut.sh): make initramfs-${kernel}.img filename configurable")
Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(systemd-networkd): remove default network if others were generated

fix(mdraid): try to assemble the missing raid device

If some raid devices with specified UUIDs fail to be assembled in
initrd, we will try to assemble them again in this script to avoid
system falling into emergency mode. This patch is created because we can
offen see mdadm command failure during boot because of timing issue
introduced between mdadm and udevd.

fix(lsinitrd.sh): disable SC2317 for cat functions

shellcheck 0.10 complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly). It fails to
detect that these functions are assigned to `CAT` and `$CAT` is called
later. Disable shellcheck in this case.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dracut-catimages.sh): drop unused dwarning function

shellcheck complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly).

The function `dwarning` is not called in `dracut-catimages.sh`. So drop
this unused function. It can be re-introduced once it is needed.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dbus): drop unreachable return statement

shellcheck complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly).

The last `return 1` statement is not reachable. Remove it and move the
else clause one level up because the if clause returns from the
function.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dracut): microcode loading named .initramfs

intel-microcode on Debian/Ubuntu uses the `.initramfs` suffix for the
ucode files (e.g. `/lib/firmware/intel-ucode/06-9e-0b.initramfs`).
`get_ucode_file` returns `family-model-stepping` on Intel (e.g.
`06-9e-0b`). If the microcode file is found, the loop is broken.
Otherwise `.early` is appended to the name (e.g. `06-9e-0b.early`) and
tried again. If that file is not found, `.initramfs` is appended to the
name (e.g. `06-9e-0b.early.initramfs`), but this suffix should be
appended to the initial name (e.g. `06-9e-0b.initramfs`).

Fixes: 16573680d1b6 ("fix(dracut): microcode loading")
Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

test: use --kernel-cmdline to set only dracut arguments

kernel arguments should not be set with --kernel-cmdline.

fix(test): tests needs more storage space

fix(TEST-NFS): use --add instead of --modules to create test-makeroot

Reenable systemd-networkd for TEST-NFS on Arch.

fix(man): clarify semantics for --kernel-cmdline

feat(qemu): include the virtio_crypto kernel module

The virtio crypto is a virtual crypto device.

fix(dracut-functions): avoid awk in get_maj_min()

The `get_maj_min()` cache lookup is commonly used
across many flows. While `awk` should be available,
some highly constrained environments may not have it.
A second call to `grep` can provide the same behaviour
without adding a dependnecy.

Lines in the cache will be of the form "/dev/sda2 8:2".
`awk '{print $NF}'` returns the last word of a matching line. Since
the initial matching regex is so specific a second call to grep can
easily extract the last word.

fix(systemd-networkd): add support for proper netroot invocation

fix(TEST-40-NBD): disable broken tests

Also remove one that was a complete dupe of one of the broken ones.

fix(dracut-logger.sh): disable SC2317 for logger functions

shellcheck 0.10 complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly). It fails to
detect that these logger functions are called later by scripts that
source `dracut-logger.sh`. Disable shellcheck in this case.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(convertfs): drop unused find_mount function

shellcheck complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly).

The function `find_mount` is not called in `convertfs.sh` any more. So
drop this unused function.

Fixes: 101b683e1a2 ("refactor(convertfs): drop duplicate def. of ismounted()")
Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

test: disable SC2317 in test 98

shellcheck 0.10 complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly). It fails to
detect cases where a function is defined and later called by `getarg` or
existing functions are overridden. Disable shellcheck in these cases.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(convertfs): disable SC2317 for EXIT trap function

shellcheck complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly). It fails to
detect cases where a function is defined and later called by a trap.
Disable shellcheck in this case.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(TEST-40-NBD): return actual test run result from test_run()

fix(TEST-40-NBD): enable serial console for test runs

fix(TEST-40-NBD): don't double-pass test dir to marker check

refactor: replace long-time deprecated $tempnode with $devnode

feat(dracut): search for zstd compressor first

Searching for an available compressor was introduced in commit
693b7a32833b ("Cleanup compressor handling") but the order was not
justified.

Ubuntu uses zstd for compressing the packages, the kernel modules,
firmware files, and the initrd (when using initramfs-tools). zstd has a
good compromise between compression ratio and speed. Therefore search
for zstd first.

Further readings:

 * https://lists.ubuntu.com/archives/ubuntu-devel/2021-December/041726.html
 * analysis.ipynb on https://github.com/waveform80/compression

fix(dracut.sh): drop unused read_arg function

shellcheck complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly).

The function `read_arg` is not used anywhere any more (only `configure`
uses its own copy). So drop this unused function.

Fixes: ffa71b4afa3e ("dracut.sh: use getopt to parse arguments")
Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

refactor: use inst_sysusers to install sysusers files

fix(crypt): decryption when rd.luks.name is set

fix(systemd-networkd): this module depends on systemd

fix(test): use --add instead of --modules to create test-makeroot

Even with these changes the following tests are failing on Arch
with systemd 256: 12, 14, 16.

Temporary remove Arch from running the extended test suite until
the root cause of these failures are identified.

chore(deps): bump docker/build-push-action from 5 to 6

Bumps [docker/build-push-action](https://github.com/docker/build-push-action) from 5 to 6.
- [Release notes](https://github.com/docker/build-push-action/releases)
- [Commits](https://github.com/docker/build-push-action/compare/v5...v6)

---
updated-dependencies:
- dependency-name: docker/build-push-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

fix: disable SC2317 for calls by for_each_host_dev_and_slaves

shellcheck 0.10 complains about SC2317 (info): Command appears to be
unreachable. Check usage (or ignore if invoked indirectly). It fails to
detect cases where a function is defined and later called by
`for_each_host_dev_and_slaves`. Disable shellcheck in this case.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dracut-logger.sh): quote _dlogfd variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `_dlogfd` refers to an integer and therefore is safe to be
quoted.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(zipl): quote zipl_env variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

Only strings without spaces are assigned to the `zipl_env` variable.
Therefore it is safe to be quoted.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(zipl): quote ID_FS_TYPE variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `ID_FS_TYPE` refers to a single file system type which is
not expected to contain a space and therefore is safe to be quoted.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(convertfs): quote single CP_HARDLINK variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `CP_HARDLINK` contains either nothing or exactly one
parameter. Use shell substitution to quote this single parameter in case
it is not empty.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(network-legacy): quote bridgename variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `bridgename` refers to a bridge name which is not expected
to contain a space and therefore is safe to be quoted.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(znet): quote initdir variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `initdir` refers to a path and therefore is safe to be
quoted.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dmsquash-live-autooverlay): quote variables

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

Instead of ignoring those complains fix them instead. The variable
`overlay` should be quoted since it might contain spaces. The variables
`rootDevice`, `rootDeviceAbsolutePath`, `rootDeviceSysfsPath`,
`fullDriveSysfsPath`, `blockDevice` refer to paths. Therefore they are
safe to quote.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dracut-lib): quote _ctty variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `_ctty` contains a path and therefore is safe to quote.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix: quote single CTTY parameter

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `CTTY` contains either nothing or exactly one parameter.
Use shell substitution to quote this single parameter in case it is not
empty.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dracut-init): change lookup order for rules files

Look for rules files in /etc/udev/rules.d first so that local
modifications of system files are included.

fix(dmsquash-live): quote variables

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variables `pathspec`, `live_dir`, `squash_image`, `SQUASHED`, and
`FSIMG` refer to paths or filenames. Therefore they are safe to quote.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(iscsi): address shellcheck SC2319

shellcheck complains:

```
In modules.d/95iscsi/iscsiroot.sh line 232:
    [ -z "$targets" ] && warn "Target discovery to $iscsi_target_ip:${iscsi_target_port:+$iscsi_target_port} failed with status $?" && return 1
                                                                                                                                ^-- SC2319 (warning): This $? refers to a condition, not a command. Assign to a variable to avoid it being overwritten.
```

The `while` loop that gets the output from `iscsiadm` via a pipe will
exit with 0. Printing the exit code 0 does not help. So just drop it.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(lvmthinpool-monitor): adress shellcheck SC2319

shellcheck complains:

```
In modules.d/80lvmthinpool-monitor/start-thinpool-monitor.sh line 12:
    [ -n "$_lvm2_thin_device" ] && return $?
                                          ^-- SC2319 (warning): This $? refers to a condition, not a command. Assign to a variable to avoid it being overwritten.
```

Let `is_lvm2_thinp_device` directly return the test exit code.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(dracut): address shellcheck SC2004

shellcheck complains:

```
In dracut.sh line 1382:
        && dracut_args[$i]="\"${dracut_args[$i]}\""
                       ^-- SC2004 (style): $/${} is unnecessary on arithmetic variables.
```

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>

fix(syslog): quote conf variable

shellcheck complains about SC2086 (info): Double quote to prevent
globbing and word splitting.

The variable `conf` refers to a path and therefore is safe to be quoted.

Signed-off-by: Benjamin Drung <benjamin.drung@canonical.com>