fix(dracut): prevent symbolic links containing `//`

Results in `usr/lib64 -> ..//usr/lib` for Arch Linux otherwise.

fix(network-manager): cope with distributions not using `libexec`

fix: cope with distributions with `/usr/etc` files

fix(nbd): assume nbd version >= 3.8

This reduces the quirks.

fix(iscsi): replace sed call with bash internals

This removes a fork/exec and additionally gives more information in debug logs.

fix: make testsuite pass on OpenSuse and Arch

This removes some hard assumptions about the file system layout.

It also hardens the tests with network interface renaming rules and
guards.

fix(crypt-gpg): cope with different scdaemon location

On Arch things are different for some reason.

fix(url-lib): fix passing args

Fixes: 8e84fa726 ("fix(url-lib): shellcheck for modules.d/45url-lib")
Behaviour introduced by that commit made the following to be run:
curl "--globoff --location --retry 3 --fail --show-error" http://192.168.1.173:8000/test.ks
instead of:
curl --globoff --location --retry 3 --fail --show-error http://192.168.1.173:8000/test.ks

This broke downloading kickstart file in anaconda-dracut.

fix: adding crc32c for ext3

Noticed that ext3 is still being used in the wild so let's add it to the crc32c list
so downstream does not have to carry a patch for it.

ci: ensure pigz is installed in the CI containers

pigz speeds up things considerably. Although pigz is already installed
by default, explicitely adding it makes sure, it will not disappear
unnoticed.

ci: add cpio and pigz to arch container

ci: really, really cleanup the arch container

ci: cleanup the arch container

ci: don't use `rpm` to determine the kernel version

for `/etc/profile.d/dracut-test.sh`

ci: build container images and push to ghcr.io

fix: deprecate gummiboot

Gummiboot was merged into systemd and official became systemd-boot in 2015 ( 6 years ago )
and no longer was being maintained as Gummiboot from that point.

It's safe to say distribution should have migrated to sd-boot by now so let's deprecate
it.

fix(install): handle $LIB in ldd output parsing

The ldd output can contain the variable $LIB, which is a documented feature of
ldd. In a previous commit [0], dracut-install received support for this
variable, but that was later reverted [1] due to issues [2][3] on Gentoo ARM64.

The part before '=>' does not necessarily refer to an existing file (e.g. due
to the usage of $LIB) and thus [1] could be seen as a regression to anyone
that uses this ldd feature. This PR combines both cases together and whenever
it find a '$' character (i.e. a variable) on the left side of the '=>' symbol,
it uses the right hand path (and thus uses evaluation done by ldd), otherwise
falls back to the behavior set by [1].

Reproducer that was presented to me:

$ grep "ibz.so" /etc/ld.so.preload || cat << EOF >> /etc/ld.so.preload
/\$LIB/libz.so.1.2.11
EOF
$ mkdir -p /var/tmp/dracut.xitk6p/initramfs
$ strace /usr/lib/dracut/dracut-install -D /var/tmp/dracut.xitk6p/initramfs -l /bin/bash 2>&1|grep ibz
$ rm -rf /var/tmp/dracut.xitk6p/

[0] 45404a2
[1] 6d886bb
[2] #471
[3] https://bugs.gentoo.org/667752

feat(systemd-journald): introducing the systemd-journald module

chore(tree): move html files to the dosc directory

Moving the html files into the docs directory.

chore(install): move install to src directory

Moving install to the src directory

feat(systemd-rfkill): introducing the systemd-rfkill module

Introducing the systemd-rfkill module

feat(systemd-ldconfig): introducing the systemd-ldconfig module

Introducing the systemd-ldconfig module

fix: add a missing tmpfilesconfdir global variable

Adding a missing tmpfilesconfdir global variable

feat(systemd-tmpfiles): introducing the systemd-tmpfiles module

Introducing the systemd-tmpfiles module

refactor(systemd-networkd): cosmetic move to 01

Moving systemd-networkd to 01 systemd namespace to keep everything in
order.

fix(base): suppress calls to getarg in build phase

Setting `DEBUG_MEM_LEVEL` in the build phase prevents
`setmemdebug()` to call `getargnum`, which would use `dracut-getarg`
in the initrd runtime phase.

No more:

```
modules.d/99base/dracut-lib.sh: line 217: dracut-getarg: command not found
```

fix(dracut-functions): implement a cache for get_maj_min

On systems with a large number of devices, usually multipath devices,
dracut can spend a lot of time stat'ing the devices to collect the
major/minor numbers, leading to huge slowness rebuilding the initramfs
when stat'ing devices is slow (seen with oracleasm file systems in
particular).
This commit implements a basic cache stored in a file under
DRACUT_TMPDIR storing the major:minor corresponding to the specified
device.

Reproducer: create N loopback devices used as a LVM extension to volume
group hosting the root file system

  # LVMVG="rhel"
  # NDEVICES=200
  # mkdir devices; for i in $(seq 1 $NDEVICES); do
    truncate -s 10m devices/$i; losetup loop$i devices/$i
  done
  # vgextend $LVMVG $(/bin/ls -1 /dev/loop[0-9]*)

With standard code (tested with RHEL8.3 dracut):

  # dracut -f --debug /tmp/initramfs.img $(uname -r) >/tmp/debug 2>&1
  # grep -c "stat -L -c" /tmp/debug
  2440

With this code:

  # dracut -f --debug /tmp/initramfs.img $(uname -r) >/tmp/debug_optim 2>&1
  # grep -c "stat -L -c" /tmp/debug_optim
  205

Signed-off-by: Renaud Métrich <rmetrich@redhat.com>

fix(fips): add dh and ecdh ciphers

fix: shellcheck 0.7.2

github action `luizm/action-sh-checker@v0.2.2` uses `shellcheck-0.7.2`,
which detects more non-posix shell code and complains accordingly.

docs: install `which` in Arch container

feat: support ZSTD-compressed kernel modules

Modern Linux kernels support zstd-compressed modules, which was added
by commit 73f3d1b48f50 ("lib: Add zstd modules").

Commit c3d7ef377eb ("kbuild: add support for zstd compressed modules")
added support of compressing modules with zstd to kernel Makefiles.

libkmod >= 28 built with libzstd is also required.

docs: document how to run the test suite in podman on Fedora and Arch

style: make indent and let shfmt fail again

The bump of removed the `-d` option for `shfmt`. Readd it until upstream
is fixed.

See also:
https://github.com/luizm/action-sh-checker/issues/44

chore(tree): move package build files in their own directory

Creating pkgbuild directory and move relevant files there.

test(NFS): let it run in an Arch container

`dhclient` on Arch does not understand the `--timeout` parameter.

`/etc/virc` does not need to be installed in tests. This is a debugging
leftover.

fix: include `modules.builtin.alias` in the initramfs

Let's also resolve the compiled in aliases to builtin modules.

test(FULL SYSTEMD): try pacman rather than rpm on Arch

If there is no `rpm`, try `pacman` to get a full list of systemd files
to install into the real test root.

fix: install all depmod relevant configuration files

This is important for running `depmod` in the initrd.

fix: add `modules.builtin.modinfo` to the initramfs

This solves all issues, where builtin kernel modules are not recognized
as such.

Fixes: https://github.com/dracutdevs/dracut/issues/1146
Fixes: https://github.com/dracutdevs/dracut/issues/1099

fix(crypt): install all crypto modules in the generic initrd

Just install all `=crypto` drivers in the generic initramfs, because who
are we to decide which combinations are allowed in current and future
`cryptsetup`. We only could install blacklist filter in the future, if
there are modules, which are definetely not used and are huge in size.

feat: also restore the initramfs from /lib/modules

Fallback to /lib/modules/$(uname -r)/initrd, if present and all other
files don't exist.

chore: skip rpmbuild, if there is no rpmbuild installed

On non-rpm distributions this does not make sense.

chore: fix indent-c path for src directory

test: use `uname -m` to determine qemu-system

E.g. `uname -i` does not work in Arch Linux containers.

fix(systemd-sysusers): misc fixes and cleanup

- module-setup.sh file permission corrected
- comment section cleaned up
- removal of dependency on systemd module
- added inclution of the unit into the sysinit target
- removal of systemctl enablement of type unit

chore(tree): move src into their own src directory

Moving sources into their src directory

chore(tree): move tools into their own directory

Moving tools into their own directory

chore(tree): move docs into the docs directory

Consolidating all the projects documentation into the docs
directory with the exception of news and readme.

chore(tree): move kernel install files into its own directory

Move kernel install files into it's own directory within the tree.

chore(tree): move man pages into a man directory

Moving man pages into it's own man directory within the tree

chore(tree): move shell completion into a directory

Moving shell completion into it's own directory for a more organized and
cleaner tree.

fix(mdraid): remove dependency statements

mdadm 4.1 was released 2 years ago so it's safe to assume
that everyone are on 4.1.X branch now...

fix(systemd-resolved): remove nss libraries

Removing inclution of nss libraries since they are part of
the systemd module now.

fix(systemd): include all nss libraries

Include all nss libraries so other modules dont have to.

fix(systemd-udevd): add udev id program files

Adding missing udev id program files

fix(integrity): properly set up EVM when using an x509 cert

The current EVM script does not handle the EVM setup properly when X509
certificates are involved. In this patch we extend the setup and add
the necessary flags for support of EVM activation that include
x509 certificates, possibly in conjunction with an HMAC key. We also
first try activating EVM for x509 certificates using
EVM_ALLOW_METADATA_WRITES for newer kernels, then without it for older
ones that did not support this flag.

We add support for additional EVM activation bits to be set, such
as EVM_SETUP_COMPLETE (0x80000000) via the config file and
EVM_ACTIVATION_BITS variable.

To avoid error messages related to unloading the HMAC key if none is
used, only attempt to unload the HMAC key if one was actually set.

We add documentation about the variables that can be set in the EVM
config file.

Signed-off-by: Stefan Berger <stefanb@linux.ibm.com>
Reviewed-by: Mimi Zohar <zohar@linux.ibm.com>
Cc: Roberto Sassu <roberto.sassu@huawei.com>

fix(tpm2-tss): add tpm2 requirement

feat(tpm2-tss): introducing the tpm2-tss module

Introducing the tpm2-tss module

fix(udev-rules): remove sourcing of network link files

Removing sourcing of network link files from the udev-rules module.
What always should be included should be placed in the systemd-network
module and other modules that provide/require spesific link files
should add them, themselves via their relevant include section.

fix(systemd-udev): use global vars instead of fixed path

ci: switch to action-sh-checker v0.2.0

See also:
https://github.com/luizm/action-sh-checker/pull/40#issuecomment-829260125

ci: remove label cron job

With the event called pull_request_target added to GitHub Actions, the
cron job can be removed.

See:
https://www.jclem.net/posts/labeling-prs-on-public-github-repositories

fix(dracut): adding missing globalvars for udev

Adding missing global variables for udev
udevconfdir --> /etc/udev
udevrulesdir --> /usr/lib/udev/rules.d
udevrulesconfdir --> /etc/udev/rules.d

feat(systemd-udevd): introducing the systemd-udevd module

Introducing the systemd-udevd module

fix(network): use wicked unit instead of find_binary

dracut-install triggers "ERROR: installing '/usr/lib/wicked/bin/*'"
when find_binary is being used to determine if wicked is installed
so let's just check for the wicked type service unit instead.

fix(multipath): stop multipath before udev db cleanup

All device-mapper based devices, including device-mapper-multipath,
do reuse the udev db from the initramfs after switching to the root fs.

Therefore device-mapper devices have to be correctly initialized before
the udev daemon is stopped, to have the correct entries in the udev db.

See also https://bugzilla.redhat.com/show_bug.cgi?id=1949076

fix(network-legacy): add missing options to dhclient.conf

Adding the following commonly used options to dhclient.conf
- netbios-name-servers
- netbios-scope
- ntp-servers
- dhcp6.domain-search
- dhcp6.fqdn
- dhcp6.name-servers
- dhcp6.sntp-servers

fix(systemd-verity): incorrect reference to cryptsetup target

Incorrect include of remote-cryptsetup.target in hostonly.
Corrected to point to remote-veritysetup.target

fix(systemd-verity): re-naming module to veritysetup

Renaming the module from systemd-verity to systemd-veritysetup to be inline
with the systemd-cryptsetup module.

feat(systemd-verity): introducing the systemd-verity module

Introducing the systemd-verity module.

ci: reorder the tests

fix(iscsi): add iscsid.service requirements

Since Fedora 34, iscsid.service requires:
- iscsi-init.service
- iscsi-shutdown.service
- a non-empty /var/lib/iscsi/nodes/.dracut

test(ISCSI): fix the watchdog loop

Test for `pidof tgtd` and not the shell background jobs.

fix: search for btrfs devices from actual mount poiont

Currently when dracut search for btrfs device used for initramfs, it
assumes the mount points passed in with "--mount" are all mounted with
given mount path. If user want the device to be mounted to a different
location in initramfs, this will not be true.

eg. with "--mount '/dev/mapper/vol /sysroot btrfs rw,relatime,subvolid=256,subvol=/root'"
and having '/dev/mapper/vol' currently mounted on '/', will raise an
error:
    ERROR: cannot access '/sysroot': No such file or directory

So search for actual mount point of given device.

Signed-off-by: Kairui Song <kasong@redhat.com>

test: don't fail on modprobe btrfs in create-root.sh

ci: run all Fedora CI in a matrix

Also automatically cancel it, if the PR is updated

fix(iscsi): only rely on socket activiation

Only rely on socket activation. This speeds up in case iscsi isn't used
and also prevents failures, where iscsiuio stopping somehow disables
iscsi.

feat(systemd-initrd): add initrd-usr-fs.target

Adding a new systemd initrd-usr-fs.target to the systemd-initrd module

fix: quotes in systemd modules

Fixing quotes around *.conf in systemd modules

refactor: check() in systemd modules

Refactoring require_binaries in check() for systemd modules

fix(network-manager): set timeout via command line option

With Fedora 32, only the command line option works for `nm-online`.

feat(systemd-network-management): introducing systemd-network-management module

Introducing the systemd-network-management meta module which will
allow distribution users and vendors to easily include
systemd + systemd's network management modules by simply include this
module instead of systemd network modules individually.

Obviously if the intent is to glue together somekind of network stack
out of random existing modules such as NetworkManager and or Wicked,
this meta module should not be enabled.

fix(network): user variable for sdnetworkd instead of path

Use globalvariable for systemd networkd instead of path

fix(systemd-hostnamed): extra quote

fix(systemd-networkd): make systemd-networkd a proper network provider

Make systemd-networkd a proper network service provider. Fixes #737

feat(systemd-timedated): add systemd-timedated module to the spec file

feat(systemd-timedated): introducing the systemd-timedated module

Introducing the systemd-timedated module

fix(network-manager): run after dracut-cmdline

dracut-cmdline runs `nm-config.sh`, which generates the configurations.

Also remove the now unused `nm-run.service`.

fix(img-lib): ignored null byte in input

The system currently throws numerous nasty warning messages during
the boot, about ignored null bytes in input.

This patch adds a filter to the dd command, to filter these null
bytes out, and thus to prevent these warning messages.

Signed-off-by: Lev Veyde <lveyde@redhat.com>

fix(systemd-modules-load): misc repairs

- Removing dependency on the systemd meta module since it causes circular dependency,
  prevents the existance of multiple systemd based meta modules and is redunant.

- Removing directory creation for modules-load since it should not be
  necessary and if it turns out that it is, it will be re-introduced in the
  form of a systemd tmpfile instead of inst_dir.

- Add a missing inclusion of configuration files placed in /usr/lib/modules-load.d
  and /etc/modules-load.d ( hostonly ) directories.

- Fix a spelling error in the systemd type unit file conf directory overwrite
  in the hostonly section.

feat(systemd-resolved): introducing the systemd-resolved module

Introducing the systemd-resolved module

feat(systemd-hostnamed): introducing the systemd-hostnamed module

Introducing the systemd-hostnamed module.

feat(systemd-ac-power): introducing the systemd-ac-power module

Introducing the systemd-ac-power module

fix(systemd-modules): remove dependency on systemd meta module

Depending on systemd meta module causes circular dependency,
prevents the existance of multiple systemd based meta modules
and is redunant.

feat(systemd-timesyncd): introducing the systemd-timesyncd module

Introducing the systemd-timesyncd module

fix(network-manager): create /run directories

Create the `/run/NetworkManager/initrd` directory before creating
`/run/NetworkManager/initrd/neednet`. Somehow on Fedora 32 this
directory is missing, when the script is running.

This fixes all NetworkManager tests for Fedora 32.

ci: use /dev/disk/by-id

Due to parallel probing of the linux kernel `/dev/sd*` can't be used to
reliably address a hard disk. This can be seen by the many spurious
failures of the dracut CI, where `mdadm` failed with error 524 or tests
failed due to the success marker message written to the wrong disk.

* don't rely on `/dev/sd*` but use disk ids and `/dev/disk/by-id/ata-disk_<name>`

* specify the exact qemu machine architecture `-M q35` needed for the
  disk ids. A later patch will move this to `run-qemu`, when all tests are converted

* due to `-M q35` the interface names have changed from
  `ens2` -> `enp0s1` and `ens3` -> `enp0s2`

fix(systemd): include hosts and nsswitch.conf in hostonly mode

Adding /etc/hosts and /etc/nsswitch.conf to the hostonly install section.

fix(90kernel-modules): add watchdog drivers for generic initrd

The watchdog module pulls in the device specific watchdog if that
module is enabled, but in the case where we need a generic initrd
we don't get all watchdog drivers which means if we have a watchdog
enabled for that usecase it may get kicked too late in the boot
process so we need the drivers in the initrd for the generic case too.

Signed-off-by: Peter Robinson <pbrobinson@gmail.com>

fix(examples): remove the examples directory and reference to it

Let's leave it up to the yocto community to keep and maintain their own
examples.