feat(systemd-udevd): introducing the systemd-udevd module

Introducing the systemd-udevd module

fix(network): use wicked unit instead of find_binary

dracut-install triggers "ERROR: installing '/usr/lib/wicked/bin/*'"
when find_binary is being used to determine if wicked is installed
so let's just check for the wicked type service unit instead.

fix(multipath): stop multipath before udev db cleanup

All device-mapper based devices, including device-mapper-multipath,
do reuse the udev db from the initramfs after switching to the root fs.

Therefore device-mapper devices have to be correctly initialized before
the udev daemon is stopped, to have the correct entries in the udev db.

See also https://bugzilla.redhat.com/show_bug.cgi?id=1949076

fix(network-legacy): add missing options to dhclient.conf

Adding the following commonly used options to dhclient.conf
- netbios-name-servers
- netbios-scope
- ntp-servers
- dhcp6.domain-search
- dhcp6.fqdn
- dhcp6.name-servers
- dhcp6.sntp-servers

fix(systemd-verity): incorrect reference to cryptsetup target

Incorrect include of remote-cryptsetup.target in hostonly.
Corrected to point to remote-veritysetup.target

fix(systemd-verity): re-naming module to veritysetup

Renaming the module from systemd-verity to systemd-veritysetup to be inline
with the systemd-cryptsetup module.

feat(systemd-verity): introducing the systemd-verity module

Introducing the systemd-verity module.

ci: reorder the tests

fix(iscsi): add iscsid.service requirements

Since Fedora 34, iscsid.service requires:
- iscsi-init.service
- iscsi-shutdown.service
- a non-empty /var/lib/iscsi/nodes/.dracut

test(ISCSI): fix the watchdog loop

Test for `pidof tgtd` and not the shell background jobs.

fix: search for btrfs devices from actual mount poiont

Currently when dracut search for btrfs device used for initramfs, it
assumes the mount points passed in with "--mount" are all mounted with
given mount path. If user want the device to be mounted to a different
location in initramfs, this will not be true.

eg. with "--mount '/dev/mapper/vol /sysroot btrfs rw,relatime,subvolid=256,subvol=/root'"
and having '/dev/mapper/vol' currently mounted on '/', will raise an
error:
    ERROR: cannot access '/sysroot': No such file or directory

So search for actual mount point of given device.

Signed-off-by: Kairui Song <kasong@redhat.com>

test: don't fail on modprobe btrfs in create-root.sh

ci: run all Fedora CI in a matrix

Also automatically cancel it, if the PR is updated

fix(iscsi): only rely on socket activiation

Only rely on socket activation. This speeds up in case iscsi isn't used
and also prevents failures, where iscsiuio stopping somehow disables
iscsi.

feat(systemd-initrd): add initrd-usr-fs.target

Adding a new systemd initrd-usr-fs.target to the systemd-initrd module

fix: quotes in systemd modules

Fixing quotes around *.conf in systemd modules

refactor: check() in systemd modules

Refactoring require_binaries in check() for systemd modules

fix(network-manager): set timeout via command line option

With Fedora 32, only the command line option works for `nm-online`.

feat(systemd-network-management): introducing systemd-network-management module

Introducing the systemd-network-management meta module which will
allow distribution users and vendors to easily include
systemd + systemd's network management modules by simply include this
module instead of systemd network modules individually.

Obviously if the intent is to glue together somekind of network stack
out of random existing modules such as NetworkManager and or Wicked,
this meta module should not be enabled.

fix(network): user variable for sdnetworkd instead of path

Use globalvariable for systemd networkd instead of path

fix(systemd-hostnamed): extra quote

fix(systemd-networkd): make systemd-networkd a proper network provider

Make systemd-networkd a proper network service provider. Fixes #737

feat(systemd-timedated): add systemd-timedated module to the spec file

feat(systemd-timedated): introducing the systemd-timedated module

Introducing the systemd-timedated module

fix(network-manager): run after dracut-cmdline

dracut-cmdline runs `nm-config.sh`, which generates the configurations.

Also remove the now unused `nm-run.service`.

fix(img-lib): ignored null byte in input

The system currently throws numerous nasty warning messages during
the boot, about ignored null bytes in input.

This patch adds a filter to the dd command, to filter these null
bytes out, and thus to prevent these warning messages.

Signed-off-by: Lev Veyde <lveyde@redhat.com>

fix(systemd-modules-load): misc repairs

- Removing dependency on the systemd meta module since it causes circular dependency,
  prevents the existance of multiple systemd based meta modules and is redunant.

- Removing directory creation for modules-load since it should not be
  necessary and if it turns out that it is, it will be re-introduced in the
  form of a systemd tmpfile instead of inst_dir.

- Add a missing inclusion of configuration files placed in /usr/lib/modules-load.d
  and /etc/modules-load.d ( hostonly ) directories.

- Fix a spelling error in the systemd type unit file conf directory overwrite
  in the hostonly section.

feat(systemd-resolved): introducing the systemd-resolved module

Introducing the systemd-resolved module

feat(systemd-hostnamed): introducing the systemd-hostnamed module

Introducing the systemd-hostnamed module.

feat(systemd-ac-power): introducing the systemd-ac-power module

Introducing the systemd-ac-power module

fix(systemd-modules): remove dependency on systemd meta module

Depending on systemd meta module causes circular dependency,
prevents the existance of multiple systemd based meta modules
and is redunant.

feat(systemd-timesyncd): introducing the systemd-timesyncd module

Introducing the systemd-timesyncd module

fix(network-manager): create /run directories

Create the `/run/NetworkManager/initrd` directory before creating
`/run/NetworkManager/initrd/neednet`. Somehow on Fedora 32 this
directory is missing, when the script is running.

This fixes all NetworkManager tests for Fedora 32.

ci: use /dev/disk/by-id

Due to parallel probing of the linux kernel `/dev/sd*` can't be used to
reliably address a hard disk. This can be seen by the many spurious
failures of the dracut CI, where `mdadm` failed with error 524 or tests
failed due to the success marker message written to the wrong disk.

* don't rely on `/dev/sd*` but use disk ids and `/dev/disk/by-id/ata-disk_<name>`

* specify the exact qemu machine architecture `-M q35` needed for the
  disk ids. A later patch will move this to `run-qemu`, when all tests are converted

* due to `-M q35` the interface names have changed from
  `ens2` -> `enp0s1` and `ens3` -> `enp0s2`

fix(systemd): include hosts and nsswitch.conf in hostonly mode

Adding /etc/hosts and /etc/nsswitch.conf to the hostonly install section.

fix(90kernel-modules): add watchdog drivers for generic initrd

The watchdog module pulls in the device specific watchdog if that
module is enabled, but in the case where we need a generic initrd
we don't get all watchdog drivers which means if we have a watchdog
enabled for that usecase it may get kicked too late in the boot
process so we need the drivers in the initrd for the generic case too.

Signed-off-by: Peter Robinson <pbrobinson@gmail.com>

fix(examples): remove the examples directory and reference to it

Let's leave it up to the yocto community to keep and maintain their own
examples.

fix(dracut.sh): add global vars for modules-load

Adding modulesload modulesloadconfdir global variables

fix(systemd-sysctl): sysctl global variables

fix(dracut): sysctl global variables

fix(nbd): remove old udev version requirements

fix(fips): remove old udev version requirements

fix(systemd): remove old systemd version requirements

fix(nbd): make nbd work again with systemd

* Correct the systemd generated sysroot.mount unit with the options
received by the DHCP request and do a `daemon-reload`.

* Inject the `nbd-client -check /dev/nbd0` in the finished initqueue.

* Reactivate the NBD tests and prepare them for NetworkManager tests.

ci: use disk ids for TEST 35 ISCSI MULTI

Due to parallel probing of the linux kernel `/dev/sd*` can't be used to
reliably address a hard disk. This can be seen by the many spurious
failures of the dracut CI, where `mdadm` failed with error 524 or tests
failed due to the success marker message written to the wrong disk.

* don't rely on `/dev/sd*` but use disk ids and `/dev/disk/by-id/ata-disk_<name>`

* specify the exact qemu machine architecture `-M q35` needed for the
  disk ids. A later patch will move this to `run-qemu`, when all tests are converted

* due to `-M q35` the interface names have changed from
  `ens2` -> `enp0s1` and `ens3` -> `enp0s2`

ci: add function to generate qemu disk arguments

`qemu_add_drive_args` can be used to generate arguments to specify disks
for a qemu machine (`-M q35`).

This is mostly useful to address those raw disks via `/dev/disk/by-id`,
because due to parallel probing in the kernel `/dev/sd*` can point to
anything.

fix(bluetooth): shellcheck and hostonly corrections

Don't install files from `/var` in the non-hostonly case.

Use fileglobs, instead of `find`.

fix(dbus-daemon): only error out in install()

Don't hard exit in `check()`. The transaction logic only checks if it
should/can include the module. Just return `255` and the `dbus` meta
module will pick its dependency.

feat(bluetooth): implement bluetooth support in initrd

- Included a bluetooth module that installs modules, firmware, udev rules and bluetoothd.
- systemd and dbus are required by bluetoothd
- Include bluetooth by default if BT keyboard or combo found

fix(TEST ISCSI): try to debug md error 524

While creating the striped md raid0 sometimes this error occures:

```
mdadm: Defaulting to version 1.2 metadata
mdadm: RUN_ARRAY failed: Unknown error 524
  Failed to clear hint file.
  Device /dev/md0 not found.
Powering off.
```

Add debug output with the size of the disks.

Also create disks with multiple of 4096.

ci: remove packit config causing errors

remove the offending parameters, which cause errors described in
https://github.com/dracutdevs/dracut/issues/1346

until we found the correct config to be used.

feat(network-manager): run as daemon with D-Bus

This commit changes how NM is started inside the initrd. Instead of running NM
in the special --configure-and-quit=initrd mode, which sets up network and
quits, start it as a daemon.

This has multiple advantages. First, we no longer need to run NM in a special
mode that requires additional code and maintenance. NetworkManager works
exactly as in the real root.

One problem of the current configure-and-quit approach is that once NM has
quit, dynamic addresses can expire if the initrd setup takes longer than the
DHCP lease interval or than the IPv6 address lifetime. Running NM as a service
solves this problem.

Now NM runs with D-Bus support and therefore its API can be used by other
modules. This open the possibility, for example, to integrate nm-cloud-setup to
automatically configure networking based on cloud metadata.

Use the NetworkManager-wait-online.service, ordered before
dracut-initqueue.service, to delay the initqueue until NM has terminated its
configuration.

fix(network-manager): use /run/NetworkManager/initrd/neednet in initqueue

We don't want to start NetworkManager if networking is not needed.
Right now nm-config.sh lays down /usr/lib/dracut/hooks/initqueue/finished/nm.sh
which will cause the initqueue to run. If nothing exists in
/usr/lib/dracut/hooks/initqueue/finished/ then it will short circuit and
the initqueue won't run anything. But what if something else needed
something to run in the initqueue? nm-run.sh would still get started,
even though /usr/lib/dracut/hooks/initqueue/finished/nm.sh didn't exist.
In this case let's just trigger off of /run/NetworkManager/initrd/neednet
like we are doing in the systemd unit (nm-run.service).

fix(network-manager): only run NetworkManager if rd.neednet=1

Don't run the new systemd unit (nm-run.service) if rd.neednet=1
isn't set. nm-initrd-generator will generate configuration even
without rd.neednet=1 so determining if we should start based on
just if connection profiles exist isn't enough. We need some other
indicator. In this case we lay down a /run/NetworkManager/initrd/neednet
if rd.neednet=1, which is used by nm-run.service to determine the
need to run.

fix(network-manager): nm-run.service: don't kill forked processes

If teaming is set up via NetworkManager we don't want systemd to take
down the userspace teamd process when NetworkManager quits. `KillMode=process`
will allow it to leave those processes behind.

This is fallout from the change to run NetworkManager via systemd (c17c5b7).

With `KillMode=process` we get something like:

```
sh-5.1# journalctl -u nm-run -o cat | tail
<info>  [1618411262.7030] quitting now that startup is complete
<info>  [1618411262.7030] device (team0): carrier: link connected
<info>  [1618411262.7033] device (team0): team port ens2 was released
<info>  [1618411262.7033] device (team0): team port ens3 was released
<info>  [1618411262.7033] manager: NetworkManager state is now CONNECTED_SITE
<info>  [1618411262.7034] exiting (success)
nm-run.service: Deactivated successfully.
nm-run.service: Unit process 476 (teamd) remains running after unit stopped.
Finished nm-run.service.
```

fix(dracut-logger.sh): double dash trigger unknown logger warnings during run

There are a bunch of `logger: unknown facility name: --user` errors
during a run. This is because logger is getting passed something like:

```
logger -p --user.info
```

Where it should be something like:

```
logger -p user.info
```

fix(i18n): skip if data is missing

On system that doesn't have either consolefonts, consoletrans, keymaps,
or unimaps, "kbddir" is empty, thus the followed installation will
broken with errors like:

cp: cannot stat '/consolefonts/*': No such file or directory

Let's report the checks as failure if "kbddir" is empty.

Signed-off-by: Đoàn Trần Công Danh <congdanhqx@gmail.com>

fix(dracut.sh): omission is an addition to other omissions in conf files

When omitting a module from the command line via -o or --omit
it's expected that it behaves in the same manner as adding a module from the
command line as in it does not overwrite existing omissions of other modules in
configuration file(s).

fix(dracut-functions): word splitting issue for sed in get_ucode_file

This unquated regex could be splitted into two arguments and sed will
not work. I've see giving error of wrong arguments being used on my
desktop.

Signed-off-by: Kairui Song <kasong@redhat.com>

fix(nbd): shellcheck regression

`$opts`, `$preopts` and `$nbdport` shouldn't have been quoted as they
can expand to multiple options.

Fixes: https://github.com/dracutdevs/dracut/issues/1270

docs: clarify `netroot=dhcp`

`root=dhcp` does not work with systemd, so `netroot=dhcp` should be
used.

fix(dracut-systemd): regression on root=block:

Commit 3532978de04c7 introduced a regression, where the `root` could be
`root=block:block:/dev/foo`.

fix(base): source hooks without exec

Patch 2fabaaa62dcfd31e593ca changed the behaviour for `dash`
under the assumption, that dash does not take parameters for `.` aka
`source`. Although this is true, the original positional parameters of
the `source_all` function are still in place, so everything is
fine with the old way of sourcing.

fix(network): correct regression in iface_has_carrier

Commit e25c536c70bab4a4d6 introduced a regression in iface_has_carrier
due to unclear variable naming.

fix(network-manager): no default deps for nm-run.service

Otherwise nm-run.service will run only in basic.target, which is too
late in the initramfs.

fix(lunmask): shellcheck regression

`parse-lunmask.sh` is not a bash script
and dash doesn't understand `read -a`.

Revert to the initial code.

Fixes: https://github.com/dracutdevs/dracut/issues/1271

fix(lvmmerge): depend on bash

fix(livenet): fetch-liveupdate.sh does not require bash

fix(cms): require bash

fix(network-manager): nm-lib.sh does not require bash

fix(zipl): don't depend on grub2

There is no grub2 dracut module.

ci: enable shellcheck for everything

fix(kernel-modules): shellcheck regression

`$_hostonly_drvs` contained multiple arguments and was quoted.

This patch converts `_hostonly_drvs` into an associative array, which
enables easy deduplication and proper quoting in bash.

Fixes: https://github.com/dracutdevs/dracut/issues/1276

fix(multipath): revise multipathd-stop

A shellcheck regression quoted `HARD` in
```shell
    kill "$HARD" "$pid" > /dev/null 2>&1
```

which would error on an empty "HARD".

Instead of fixing this, use `pkill` instead and also add it to the
non-optional list of binaries to install, which was revised also.

Fixes: https://github.com/dracutdevs/dracut/issues/1275

fix(multipath): shellcheck regression

`$_allow` should not have been quoted, because it can be multiple options.

Instead of unquoting it, convert it to an associative array with easy
deduplication and prefix every device with the `--allow` option.

Fixes: https://github.com/dracutdevs/dracut/issues/1274

fix(nvdimm): shellcheck regression

`_provider_dirs` should not have been quoted, because it should expand
to multiple arguments.

Just remove the whole variable and add those arguments.

Fixes: https://github.com/dracutdevs/dracut/issues/1273

fix(convertfs): require bash

fix(caps): require bash

test: mark the whole test subdir as shellcheck'ed

fix(dracut-initramfs-restore.sh): shellcheck for dracut-initramfs-restore.sh

fix(examples/yocto): shellcheck again

fix(dasd_rules): add bash dependency

fix(fcoe-uefi): add bash dependency

fix(TEST MULTINIC): shellcheck

fix(fcoe): remove needless bash dependency

fix(lunmask): remove needless bash dependency

fix(crypt): include cryptsetups tmpfile

fix(TEST BASIC): shellcheck

fix(TEST SYSTEMD): shellcheck

fix(TEST USR-MOUNT): shellcheck

fix(TEST FULL-SYSTEMD): shellcheck

fix(TEST RAID): shellcheck

fix(TEST LVM): shellcheck

fix(TEST RAID-DEG): shellcheck

fix(TEST IMSM): shellcheck

fix(TEST DMSQUASH): shellcheck

fix(TEST LVM-THIN): shellcheck

fix(TEST NFS): shellcheck

fix(TEST ISCSI): shellcheck

fix(zfcp_rules): require bash