fix(dracut.sh): --sysroot option broken if global variables not set in conf

When `$dracutsysrootdir` is set and references an existing directory, the
internal global variables are never set, unless their value is assigned via
configuration file.

The simple fix would be turn all:

```
[[ -d $dracutsysrootdir$var ]] || var=value
```
into:
```
[[ -z $var || ! -d $dracutsysrootdir$var ]] && var=value
```

But this patch also includes a refactoring, removing duplicate code using the
same `set_global_var` function to set and export global variables, and improving
readability.

refactor(dracut-init.sh): remove redundant "dracut" from "dracut module" prints

In a similar fashion than "Including module" prints.

feat(dracut-init.sh): specify if a module cannot be found or cannot be installed

Do not print the same error message for both situations.

fix(lsinitrd.sh): handle filenames with special characters

Printing and unpacking of specific files passed as arguments does not work if
their filenames contain special characters with a hexadecimal character escape
(\x), which is often the case for systemd device units.

fix(dracut-systemd): remove unused argument

The `generator_wait_for_dev` function of the dracut rootfs systemd generator
only uses the first argument. Moreover, RDRETRY is unset at this point.

feat(lvm): always include all drivers that LVM can use

This patch adds all the kernel modules that might be needed by LVM, to avoid
having to rebuild the initrd in hostonly mode after a dynamic change that
requires new drivers to boot.

For example, LVM allows to dynamically convert a linear logical volume to a
RAID-1 type (`lvconvert --type raid1 vg/lv`), which, in hostonly mode, will
require the user to manually rebuild the initrd again to include the new RAID
drivers in use, otherwise the system will fail to boot.

fix(dracut-init.sh): correct typo in comment

fix(dracut.sh): correct --help and --version exit codes

Both are valid options that cause regular program termination without errors, so
dracut should return 0.

refactor(virtiofs): remove exit after die

The `die` function already ends with `exit 1`.

ci: fix Gentoo container used for testing

fix(crypt-gpg): do not use always --card-status

If no GPG smart card is used then the card-status breaks the decryption
of the keyfile. Therefore, use the card-status only if a smart card is
used to decrypt the keyfie.

Fixes issue #2004

docs(RELEASE.md): update release docs

- Remove the reference to Harald's git ci alias
- Added a missing push to master
- Added a warning not to add the Rendered View entry from the NEWS.md to
  the tags. ( Github adds that to the release with no way of removing it, see 058 )
- Added validation of the new tag ( Good practice )
- Clarify milestone handover.

ci: disable test 50

Test 50 (MULTINIC) seems to be the only test that prevents
the project from having an all passing continuous integration
test suite.

fix: shellcheck 0.8.0

fix(dmsquash-live): live:/dev/*

fix a bug introduced in 71cfa2e22

make sure root is set correctly for both of the following cases
 - "root=live:/dev/*"
 - "rd.live.image root=/dev/*"

fix(load_fstype): avoid false positive searchs

Refactor to avoid substring matches
  and to speed processing.
Also avoid xtracing.

fix: shellcheck 0.8.0

refactor(dracut-install): strerror(errno) -> %m

perf(dracut-install): don't strdup() environment block

perf(dracut-install): don't reallocate {src,dst}path in hmac_install()

perf(dracut-install): don't strdup() excessively for dracut_install()

perf(dracut-install): stat() w/unused buf -> access(F_OK) in dracut-install

perf(dracut-install): multiple single-character strstr()s -> strpbrk()

chore: remove src/install/hashmap.lo

feat(network-wicked): remove module

wicked is being phased out from openSUSE
https://news.opensuse.org/2022/01/28/bash-systemd-libvirt-update-in-tw/

docs: update NEWS.md and AUTHORS

fix(NEWS.md): add missing entries

I somehow managed to screw the update of news when making a release fixing my
mistake.

fix(systemd-timedated): add missing dbus-org.freedesktop.timedate1.service

Without this service, timedatectl fails to run in the initrd.

```
sh-5.2# timedatectl
Failed to query server: Could not activate remote peer: activation request failed: unknown unit.
sh-5.2# systemctl status dbus | grep timedate
Dec 22 13:57:03 sd-net-test dbus-broker-launch[219]: Activation request for 'org.freedesktop.timedate1' failed: The systemd unit 'dbus-org.freedesktop.timedate1.service' could not be found.
```

fix(systemd-hostnamed): add missing dbus-org.freedesktop.hostname1.service

Without this service, hostnamectl fails to run in the initrd.

```
sh-5.2# hostnamectl
Failed to query system properties: Could not activate remote peer: activation request failed: unknown unit.
sh-5.2# systemctl status dbus | grep hostname
Dec 22 11:07:56 sd-net-test dbus-broker-launch[216]: Activation request for 'org.freedesktop.hostname1' failed: The systemd unit 'dbus-org.freedesktop.hostname1.service' could not be found.
```

fix(dbus-broker): add missing sockets.target.wants/dbus.socket

If dbus.socket is not started automatically in the initrd, all binaries that
require dbus to work fail.

fix(systemd-hostnamed): correct sysusers configuration

Lines of type 'g' don't take a GECOS field.

test(FULL SYSTEMD): make test 04 use the test dracut modules

Add test case for systemd.unit and  systemd.mask arguments
instead of extra test setup steps.

test(FULL SYSTEMD): remove unnecessary dependencies

feat(overlayfs): add new overlayfs module to dracut.spec

fix(zipl): remove trailing spaces from zipl boot device name

Trailing spaces are misleading blkid input after fixes for shellcheck were
introduced in https://github.com/dracutdevs/dracut/commit/d75b029a

Test showing the wrong output:

```
localhost:~ # _boot_zipl=$(sed -n -e '/^[[:space:]]*#/d' -e 's/\(.*\)\w*\/boot\/zipl.*/\1/p' /etc/fstab)
localhost:~ # echo "[${_boot_zipl}]"
[/dev/disk/by-path/ccw-0.0.0000-part1  ]
localhost:~ # blkid -s TYPE -o udev "${_boot_zipl}"
localhost:~ # blkid -s TYPE -o udev ${_boot_zipl}
ID_FS_TYPE=ext2
```

Also, remove duplicate code by creating a function to get the zipl boot device,
prepend $dracutsysrootdir to /etc/fstab and print cmdline properly: start
with a space and do not print a newline.

fix(lsinitrd.sh): add a missing path to image

The initramfs file for Fedora/RedHat CoreOS can be found under
`/lib/modules/${KERNEL_VERSION}/initramfs.img', add this path
to image search logic.

Signed-off-by: Kenneth D'souza <kennethdsouza94@gmail.com>

fix(dracut): allow to set persistent policy based on /dev/mapper device names

Currently, dracut only allows to configure the persistent policy to address
disks and partitions using any directory name found in /dev/disk, but there is
no defined way to set the default policy based on /dev/mapper device names. So,
for example, if the persistent policy is set by the distribution in any
configuration file, the user cannot set the default if he wants to.

The current workaround is to set persistent_policy="" in a conf file or pass
--persistent-policy " " (white space) as an argument. This patch aims to
establish a specific value for this case.

fix(dracut-init): make require_kernel_modules ignore no kernel build

If --no-kernel is specified, kernel module checking won't work, just
skip it.

Signed-off-by: Kairui Song <kasong@tencent.com>

fix(iscsi): don't install the module if kernel doesn't support iscsi

The cmdline hook of iscsi module will force check if iscsi_tcp module
is available, and abort the boot progress is not. But actually iscsi
module shouldn't be allowed to be installed in the first place if the
corresponding kernel doesn't support it.

So print an warning and refuse to install the iscsi dracut module
in such case, instead of dying on reboot.

Signed-off-by: Kairui Song <kasong@tencent.com>

feat(squash): use require_kernel_modules for better module checking

require_kernel_modules prints more friendly erorr message and make the
code cleaner.

Signed-off-by: Kairui Song <kasong@tencent.com>

feat(dracut-init.sh): introduce a new helper require_kernel_modules

Some dracut modules won't work without certain kernel modules,
this helper will be helpful for checking such kernel configs in
check() and error out early.

Signed-off-by: Kairui Song <kasong@tencent.com>

fix(dracut-functions.sh): check_kernel_module should follow dracutsysrootdir

check_kernel_module calls modprobe and tries to dry-run a module load to
check if a module is available. modprobe supports `-d` to specify a
rootdir, so just pass dracutsysrootdir to it to make it work as expected
when building initramfs for another rootfs.

Signed-off-by: Kairui Song <kasong@tencent.com>

ci: there is no longer a need for special handling test 04

ci: reduce the timeout for local tests to 30 min

The main motivation here is to do not allow each test to grow beyond
30 min. If a longer test is needed for some reason, it should be
split into two tests.

Currently each local test is passing at 20 min.

The longest running local test is test 12: encrypted LVM PV
on a degraded RAID-5.

ci: run all local tests on all containers

refactor(dmsquash-live): move ntfs-3g code to dmsquash-live-ntfs

Since the installation of ntfs-3g binary is in the
dmsquash-live-ntfs module, calling ntfs-3g from dmsquash-live fails
when dmsquash-live-ntfs module is not installed anyways.

fix(dracut.sh): split drivers_dir check

The directory where to look for kernel modules can be set via the -k/--kmoddir
command line option or the drivers_dir configuration option. Its current check
should be split into two different ones to avoid misleading error messages (see
referenced issue):
- First check that its basename matches the kernel version set for the initramfs
(via --kver or automatically set by "uname -r").
- Second check that the parent directory of the last provided directory contains
"/lib/modules/". This check was also fixed to avoid accepting other directories
like "xxxlib/modules".

Fixes issue #1608

perf(dracut.sh): do not mkdir $initdir/lib/dracut within a loop

This directory is always needed to store files like modules.txt and
build-parameter.txt, so always create it, but only in one place.

fix(systemd-timesyncd): typo in systemd-time-wait-sync.service local conf path

fix(lvm): drop dm-eventd binary and libs from initramfs

Per David Teigland:

 > dmeventd is not meant to be run in the initrd. When it's started
 > later, it will monitor LVs activated by the initrd if needed.

So, lets git rid of the dmeventd binary and the libraries that were
being added for it.

test: disable debug logging by default

This makes the the tests more consistent, run faster by default
and less likely to timeout on the CI.

test: do not omit dash module

It should not be necessary to explicitly omit dash module.
If this is needed, that would mean that bash is not marked
as an explicit dependency for some modules.

fix(dracut): shellcheck regression in DRACUT_INSTALL calls

If the DRACUT_INSTALL environment variable contains arguments (e.g.:
DRACUT_INSTALL="/usr/lib/dracut/dracut-install --debug"), its call cannot
be enclosed in double quotes. E.g.:

```
> export DRACUT_INSTALL="/usr/lib/dracut/dracut-install"
> "$DRACUT_INSTALL" > /dev/null
dracut-install: No SOURCE argument given
> export DRACUT_INSTALL="/usr/lib/dracut/dracut-install --debug"
> "$DRACUT_INSTALL" > /dev/null
-bash: /usr/lib/dracut/dracut-install --debug: No such file or directory
> $DRACUT_INSTALL > /dev/null
dracut-install: No SOURCE argument given

```

ci: introduce more networking options into test containers

Add systemd-networked to Fedora container.
Add connman to Arch container.

This change enables manual testing of various network configurations
and also allows the ci to ensure that having additional networking
packages installed does not break the network meta module.

fix(90kernel-modules): MMC and NVMe on kernels 6.0+

Commit 6f8191fdf41 ("block: simplify disk shutdown") in Linux kernels 6.0 and above
renamed blk_cleanup_disk to blk_mq_destroy_queue. Adapt code to handle both cases.

Because of this the kernel module mmc_block.ko was not included into initrd on kernel 6.1:
dracut-install: No symbol or path match for '/lib/modules/6.1.0-generic-0.rc7.1rosa2021.1-x86_64//kernel/drivers/mmc/core/mmc_block.ko.zst
while on kernel 5.15 it was included:
dracut-install: Handling /lib/modules/5.15.79-generic-1rosa2021.1-x86_64//kernel/drivers/mmc/core/mmc_block.ko.zst
dracut-install: Module mmc_block: symbol blk_cleanup_queue matched inclusion filter

It made booting OS from root on /dev/mmcblk* impossible.

Just adding blk_mq_destroy_queue was not enough to make mmc_block.ko be included into initrd
(maybe because call of blk_cleanup_disk() was removed and call of blk_mq_destroy_queue() was not added).
So also adding blk_mq_alloc_request which is used from mmc_block.

Fixes: https://github.com/dracutdevs/dracut/issues/2102

refactor: use read -r instead of cat

Fixes #2093: Bad style `var=$(cat <file>)`. Replace by `read -r var < file`

Signed-off-by: keentux <valentin.lefebvre@suse.com>

ci: document workaround for Gentoo

test: rpc.idmapd is optional for NFS

See dracut NFS module (95nfs/module-setup.sh).

ci: add networking to Gentoo test containers

nfs-utils and dhcp is needed to test nfs.
nbd is needed to test nbd.

fix(network): check if ip command fails

fix(network): two bugs which cause minutes long boot times

Caused by unneeded arping to the default gateway.

ci: install shfmt with dnf into openSuse container

Remove the special handling for shfmt binary.

No need to grab a specific version of the shfm binary that
is not tested together with the distribution.

ci: make sure portage command working inside Gentoo container

Do not remove /var/db/repos/gentoo as it breaks portage.

ci: add mdadm to Gentoo container to run test 10

ci: add tools for thin provisioning to Debian and Gentoo container for test 17

ci: add dmraid to Debian and Gentoo container to run test 14

ci: seperate local and network tests

Configure network module outside of test.sh scripts
to allow for parallelizm and flexibility.

Remove NM test directory wrappers and set network
in Github action instead.

This is in preparation to test other dracut network modules
such as systemd-networkd dracut module.

test: do not omit dracut networking modules

The main motivation of this change is to prepare to enable
testing all four networking dracut modules not just two.

There are four networking modules supported currently.
Omitting one networking module not only is not necessary but
confusing as if the test really wants to omit networking modules,
it should omit all three non-used dracut networking modules.

feat(kernel-modules): exclude USB drivers in strict hostonly mode

Provide a way to avoid installing all USB drivers in some use cases where they
are not needed, i.e., machines without a USB bus.

ci: install procps-ng into Fedora container

ci: set DEBUGFAIL to rd.debug when debug logging is enabled

GitHub Actions allow to opt-in to more debug logging both on
web UI and on the command line.

When GitHub Action debug logging is enabled also enable
additional dracut test debugging by setting DEBUGFAIL to rd.debug.

This is particularly useful when re-run failed jobs with
debug logging enabled.

ci: remove native dracut installation from the test containers

The installed packaged dracut version from a distributions can
interfere with testing latest dracut from source, which is the
primary goal of these containers.

ci: teach manual test workflow to run several tests

Timesaver for running tests during development and reviews.

docs: document the new release process

Release tarballs are only available on github from now on.

fix(base): do not require chroot inside initramfs

dracut can be invoked inside a chroot, but inside
the generated initramfs the chroot binary is not required.

add chroot to the generated initramfs if debug or selinux
dracut modules are enabled.

test: remove dead code regarding special handling of test 99

fix(systemd-coredump): correct systemd-coredump binary path

This issue went unnoticed because the systemd module always installs the
systemd-coredump binary using the right path.

feat(fs-lib): fsck_single can now handle PARTLABEL and PARTUUID

As an additional benefit, gentoo container now passing test-01.

fix(dracut.sh): use DRACUT_ARCH instead of `uname -m`

DRACUT_ARCH overrides `uname -m` since
https://github.com/dracutdevs/dracut/commit/a0120420

fix(base): remove grep dependency

The base module requires grep with the `rd.memdebug=1` command line parameter.
As this code is broken if grep is not added by other means and grep is only
required for this, rewriting this code to avoid the dependency.

refactor(zfcp_rules): use read -r instead of cat

Fixes #1268: Bad style `var=$(cat <file>)`. Replace by `read -r var < file`

Signed-off-by: keentux <valentin.lefebvre@suse.com>

test(TEST-99-RPM): remove test

This test is specific to rpm packaging and has been disabled
for a while.

test(16): make DMSQUASH test use the test dracut modules

ci: add tests 50,51,62 to the integration test suite

Test 50,51 tests root filesystem on NFS with multiple nics.
Test 62 tests skipcpio.

fix(github): yml syntax and commit message for dependabot

Also fix commit message prefix.
chore(github):(deps): bump ... --> chore(deps): bump ...

test: use -device instead of -watchdog to remove qemu warnings

test: make test 01 and 02 use the test dracut modules

test: explicitly check if systemctl is available for systemd tests

Dracut tests already do similar checks for test 40, 62, 63 and 98.

This is useful when the full testsuite is run and systemd is not
available.

chore(ci): bump docker/setup-buildx-action from 1 to 2

v2 has node 16 as default runtime.

ci: add mkfs.ntfs and ntfs-3g to test containers

ntfs-3g is needed to test dmsquash-live-ntfs

docs: correct "rd.blacklist"

fix(dracut-systemd): run systemctl daemon-reload after remove_hostonly_files

Dependencies to systemd .device unit files are marked as "hostonly" in the
special file hostonly-files. These .device unit files can be removed using the
`rd.hostonly=0` command line parameter. But, since systemd v252
(https://github.com/systemd/systemd/pull/24054), the initrd-parse-etc.service
service does not run `systemctl daemon-reload`, so systemd keeps waiting
for these .device units to show up.
This means that if a hostonly device is not available for any reason at boot
time, using `rd.hostonly=0` has no effect and the system will not boot.

ci: upgrade to actions/checkout@v3

It resolves the following warning:
Please update the following actions to use Node.js 16: actions/checkout

fix(kernel-modules): add sysctl to initramfs to handle modprobe files

Users were seeing errors like this:

[     2.917246] dracut-pre-udev[717]: sh: line 1: /sbin/sysctl: No such file or directory

This was the result of modprobe.d files that needed to call sysctl
and failing because sysctl wasn't included in the initramfs.

This change makes it so that we have the binary included so those
modprobe configuration files work properly.

test(ISCSI-NM): fix failing test

server fails to startup with /sbin/sysctl: not found

ci: remove non-existing modules from labeler

ci: teach labeler about test dracut modules

test: remove layering violation from the make system

Tests should not try to build dracut itself. Test should assume dracut
is built and availabnle to run.

test: only set basedir if it is not set by the invoker

Set basedir in test-functions instead of Makefile.
This change will allow to use a different basedir without
modifying Makefiles.

test: remove suppressing shellcheck messages

They are no longer needed.