ci: add tools for thin provisioning to Debian and Gentoo container for test 17

ci: add dmraid to Debian and Gentoo container to run test 14

ci: seperate local and network tests

Configure network module outside of test.sh scripts
to allow for parallelizm and flexibility.

Remove NM test directory wrappers and set network
in Github action instead.

This is in preparation to test other dracut network modules
such as systemd-networkd dracut module.

test: do not omit dracut networking modules

The main motivation of this change is to prepare to enable
testing all four networking dracut modules not just two.

There are four networking modules supported currently.
Omitting one networking module not only is not necessary but
confusing as if the test really wants to omit networking modules,
it should omit all three non-used dracut networking modules.

feat(kernel-modules): exclude USB drivers in strict hostonly mode

Provide a way to avoid installing all USB drivers in some use cases where they
are not needed, i.e., machines without a USB bus.

ci: install procps-ng into Fedora container

ci: set DEBUGFAIL to rd.debug when debug logging is enabled

GitHub Actions allow to opt-in to more debug logging both on
web UI and on the command line.

When GitHub Action debug logging is enabled also enable
additional dracut test debugging by setting DEBUGFAIL to rd.debug.

This is particularly useful when re-run failed jobs with
debug logging enabled.

ci: remove native dracut installation from the test containers

The installed packaged dracut version from a distributions can
interfere with testing latest dracut from source, which is the
primary goal of these containers.

ci: teach manual test workflow to run several tests

Timesaver for running tests during development and reviews.

docs: document the new release process

Release tarballs are only available on github from now on.

fix(base): do not require chroot inside initramfs

dracut can be invoked inside a chroot, but inside
the generated initramfs the chroot binary is not required.

add chroot to the generated initramfs if debug or selinux
dracut modules are enabled.

test: remove dead code regarding special handling of test 99

fix(systemd-coredump): correct systemd-coredump binary path

This issue went unnoticed because the systemd module always installs the
systemd-coredump binary using the right path.

feat(fs-lib): fsck_single can now handle PARTLABEL and PARTUUID

As an additional benefit, gentoo container now passing test-01.

fix(dracut.sh): use DRACUT_ARCH instead of `uname -m`

DRACUT_ARCH overrides `uname -m` since
https://github.com/dracutdevs/dracut/commit/a0120420

fix(base): remove grep dependency

The base module requires grep with the `rd.memdebug=1` command line parameter.
As this code is broken if grep is not added by other means and grep is only
required for this, rewriting this code to avoid the dependency.

refactor(zfcp_rules): use read -r instead of cat

Fixes #1268: Bad style `var=$(cat <file>)`. Replace by `read -r var < file`

Signed-off-by: keentux <valentin.lefebvre@suse.com>

test(TEST-99-RPM): remove test

This test is specific to rpm packaging and has been disabled
for a while.

test(16): make DMSQUASH test use the test dracut modules

ci: add tests 50,51,62 to the integration test suite

Test 50,51 tests root filesystem on NFS with multiple nics.
Test 62 tests skipcpio.

fix(github): yml syntax and commit message for dependabot

Also fix commit message prefix.
chore(github):(deps): bump ... --> chore(deps): bump ...

test: use -device instead of -watchdog to remove qemu warnings

test: make test 01 and 02 use the test dracut modules

test: explicitly check if systemctl is available for systemd tests

Dracut tests already do similar checks for test 40, 62, 63 and 98.

This is useful when the full testsuite is run and systemd is not
available.

chore(ci): bump docker/setup-buildx-action from 1 to 2

v2 has node 16 as default runtime.

ci: add mkfs.ntfs and ntfs-3g to test containers

ntfs-3g is needed to test dmsquash-live-ntfs

docs: correct "rd.blacklist"

fix(dracut-systemd): run systemctl daemon-reload after remove_hostonly_files

Dependencies to systemd .device unit files are marked as "hostonly" in the
special file hostonly-files. These .device unit files can be removed using the
`rd.hostonly=0` command line parameter. But, since systemd v252
(https://github.com/systemd/systemd/pull/24054), the initrd-parse-etc.service
service does not run `systemctl daemon-reload`, so systemd keeps waiting
for these .device units to show up.
This means that if a hostonly device is not available for any reason at boot
time, using `rd.hostonly=0` has no effect and the system will not boot.

ci: upgrade to actions/checkout@v3

It resolves the following warning:
Please update the following actions to use Node.js 16: actions/checkout

fix(kernel-modules): add sysctl to initramfs to handle modprobe files

Users were seeing errors like this:

[     2.917246] dracut-pre-udev[717]: sh: line 1: /sbin/sysctl: No such file or directory

This was the result of modprobe.d files that needed to call sysctl
and failing because sysctl wasn't included in the initramfs.

This change makes it so that we have the binary included so those
modprobe configuration files work properly.

test(ISCSI-NM): fix failing test

server fails to startup with /sbin/sysctl: not found

ci: remove non-existing modules from labeler

ci: teach labeler about test dracut modules

test: remove layering violation from the make system

Tests should not try to build dracut itself. Test should assume dracut
is built and availabnle to run.

test: only set basedir if it is not set by the invoker

Set basedir in test-functions instead of Makefile.
This change will allow to use a different basedir without
modifying Makefiles.

test: remove suppressing shellcheck messages

They are no longer needed.

test: move more execution to dracut command line

use the -I argument to install dd and mkfs.btrfs
use the -i argument to install the hook
btrfs is already installed by the btrfs dracut module
sfdisk is not used

test: move more common dependencies from test case to test-root module

umount setsid sync binaries are used in all test cases to build rootfs

test: remove unused dependencies

test: move more execution to dracut command line

test: move plymouth installation from test case to test-root module

test: remove unused variable

test: install debug module into what test case is booting into

This will also make some of the non-essential tools optional
instead of a hard dependency.

test: building ld cache explicitly is no longer needed

dracut.sh will build the ld cache now

test: move common dependencies from test case to test-root module

feat(test-root): add new module to share code between tests

Use dracut to make a root filesystem instead of each test case.

test: move finished-false.sh from test case to test-makeroot module

test: move common dependencies from test case to test-makeroot module

poweroff cp umount sync dd are commonly used by test cases to make
root filesystem.

feat(test-makeroot): add new module to share code between tests

This module is used for tests to create root filesystem.

test: move poweroff handling from test case to test module

feat(test): add new module to share code between tests

test: shutdown is not used for running tests

ci: fix Arch container

packages should be installed with -Syu instead of -Sy.

feat(overlayfs): add a new module called overlayfs

Also split ovlfs variable with two different meaning.

fix(dmsquash-live): add support for NFS

Move overlayfs mount out into its own dedicated file
so that we can call into it directly for NFS support.

Add a new test case for overlayfs on top of NFS.

ci: use prebuilt Linux kernel binaries for Gentoo container

Also remove dmsetup. It does not build and it is not required for ci.

refactor(fs-lib.sh): udevadm info --query=property instead of --query=env

env is a long time deprecated alias to property, not listed in the man page for more than a decade.

fix(dracut-init.sh): instmods: wrong variable name

It worked most of the time because `dracut-install -o` returns 0 in normal circumstances.

fix(dmsquash-live-ntfs): remove unnecessary command

feat(qemu): add efi_secret driver

Despite the generic name, the only current use of the `efi_secret`
is exposing data in /sys that's been injected into a SEV/SEV-ES
virtual machine. More info:

https://docs.kernel.org/security/secrets/coco.html

This secret is probably a luks password, so we need this driver at
boot time.

Signed-off-by: Cole Robinson <crobinso@redhat.com>

fix(90kernel-modules): add (nonstandard) NVMe drivers

The M1/etc hardware has an quirky NVMe disk controller that needs
a dedicated NVMe driver. Rather than picking up just that
bit of hardware pick up drivers that register NVMe controllers.

This also picks up NVMe-OF style drivers, but seems like a better
long term solution on Arm platforms which tend to have a lot
of odd hardware.

Signed-off-by: Jeremy Linton <jeremy.linton@arm.com>

refactor(multipath): do not install the pidof binary

dracut-lib.sh provides a custom version of pidof, so there is no need to install
the pidof binary. Also, source dracut-lib.sh in hook scripts when needed.

Fixes issue #2027

fix(dracut-functions.sh): suppress findmnt error msg if /etc/fstab not exist

When the rootfs of a virtual machine is virtiofs shared folder,
the /etc/fstab file may not exist. As a result, the "findmnt --fstab"
will complain "findmnt: can't read (null): No such file or directory"
when trying to rebuild kdump initramfs within the vm.

This patch checks if /etc/fstab exist before calling "findmnt --fstab"
to suppress the error message.

Before:
$ kdumpctl rebuild
kdump: Rebuilding /boot/initramfs-5.14.0-182.el9.x86_64kdump.img
findmnt: can't read (null): No such file or directory
findmnt: can't read (null): No such file or directory
findmnt: can't read (null): No such file or directory

After:
$ kdumpctl rebuild
kdump: Rebuilding /boot/initramfs-5.14.0-182.el9.x86_64kdump.img

Signed-off-by: Tao Liu <ltao@redhat.com>

fix(dracut-logger.sh): this fixes the dlog_init check for /dev/log

The /dev/log check was not correct, it would continue working if
/dev/log was a broken symlink. This changes the logic to be more clear
-- /dev/log needs to be a socket, and writable, and logger needs to be
available. If any of those conditions fail, turn off syslog and only use
console logging.

feat(multipath): install tmpfiles.d config file

Recent multipath-tools (0.9.2) added a tmpfiles.d template. Install it
if present.

feat(dmsquash-live): add support for dash

Using dash instead of bash saves about 0.5M initramfs size.

Co-authored-by: nabijaczleweli <nabijaczleweli@nabijaczleweli.xyz>

feat(systemd-pcrphase): introducing the systemd-pcrphase module

Introducing the systemd-pcrphase module

fix(dracut.sh): make omit-drivers option do exact match for names

Modify the basic test case to use --omit-drivers and make it fail
without the PR and make it pass with the PR.

The test would fail with the following error without the PR:
FATAL: iscsiroot requested but kernel/initrd does not support iscsi

ci: integration test for openrc and musl

chore(base): remove dead code

RD_TIMESTAMP is no longer used.
systemd-timestamp is not used.

ci(suse.conf.example): update SUSE-specific config

feat(github): automating dependency updates

Let github's dependabot handle updating github's actions.

fix(multipath): install multipathd.socket

perf(90kernel-modules): use awk instead of shell monster

~120ms -> ~2ms

Downstream: https://bugs.debian.org/1017411

feat(systemd-portabled): introducing the systemd-portabled module

Introducing the systemd-portabled module.

It's intended to work only with raw binary disk images contained in regular
files, but not with directory trees.

fix(network-manager): always install the library plugins directory

The library plugins directory is automatically added to the initrd if either
libnm-device-plugin-team.so or libnm-settings-plugin-ifcfg-rh.so are present on
the system, but both are optional libraries, and if it does not exist, the
NetworkManager issues a warning.

feat(dracut-init.sh): add inst_libdir_dir() helper

This helper function is similar to inst_libdir_file(), but it installs plain
directories located on a library directory instead of files.

chore: adjust .kateconfig for C code

chore: remove editor configuration files from subdirectories

Keep only the toplevel ones.

Closes #1958

fix(dracut): replace invalid lzo command with lzop for LZO compression

Fixes issue #1999

refactor(dracut-install): resolve_deps: improve error message

Prefix + error description at the end.

refactor(shutdown): move module specific code out of base module

dracut-lib.sh and the base module now does not have a knowledge
of oldroot and plymouth.

It improves the separation of concerns between the base module
and the shutdown module.

fix(network-legacy): check if dhclient has --timeout option

dhclient's --timeout option is not upstream, so a pre-check is needed before
using it.

fix(man): correct typo

feat(dmsquash-live): add new dmsquash-live-autooverlay module

ci: revert to actions/checkout@v1 in manualtest

This enables checkout to work in the Gentoo container.

See: https://github.com/actions/runner/issues/2115

docs: fix a typo in HACKING.md

fix(dracut.spec): tpm2-tools is required for crypt module to work

tpm2-tools dependency can be can be pulled in case tmp2-tss package
is installed, using a soft conditional dependency.

https://bugzilla.redhat.com/show_bug.cgi?id=2077697

fix(man): dracut.cmdline.7: clarify "rd.nvmf.discover=fc,auto"

fix(network): avoid double brackets around IPv6 address

This code would add brackets twice. Fix it.

feat(nvmf): set rd.neednet=1 if tcp records encountered

This is currently always the case for NBFT records.
We can do this now, as we run before parse-ip-options.sh

fix(man): dracut.cmdline(7): correct syntax for rd.nonvmf

rd.nonvmf=0 is a double negation, and wrong. Fix it.

fix(network): don't use same ifname multiple times

If multiple ibft interfaces exist, set_ifname() may reuse the same
name (usually "ibft0"), because it's usually called cmdline time,
when no interfaces exist in sysfs yet. Remember the number used
set and don't use it again.

fix(nvmf): run cmdline hook before parse-ip-opts.sh

This way we can set "rd.neednet" and have it seen by parse-ip-options.sh

fix(nvmf): avoid calling "exit" in a cmdline hook

"exit" should never be executed in dracut hooks, because the
hooks are sourced by the main script.

fix(nvmf): make sure "rd.nvmf.discover=fc,auto" takes precedence

The command line may contain several rd.nvmf.discover options.
The "fc,auto" option should take precedence.

fix(nvmf): don't use "finished" queue for autoconnect

The "finished" initqueue is for testing if everything is alright,
not for triggering any actions.

fix(nvmf): don't create did-setup file

did-setup files are meant to indicate that an interface setup
was successful. Don't do it here.

fix(nvmf): no need to load the nvme module

The module "nvme" is not required for NVMeoF.

fix(nvmf): don't try to validate network connections in cmdline hook

The cmdline hook runs before any network interfaces have been brought
up. There's no point in trying to validate the connections at this
stage.