systemd-analyze: add root to find and verify executable

path-util: teach find_executable_full how to look into the root directory

When the root parameter in find_executable_full is set, chase_symlinks prefixes this root
to every check of the path name to find the complete path of the execuatble in case the
path provided is not absolute. This is only done for the non NULL root because otherwise
the chase_symlinks function would alter the behavior of some of the callers which would
in turn alter the outputs in a way that is undesirable. The find_execuatble_full function is
invoked by the verify_executable function in analyze-verify.

systemd-analyze: support discrete images for 'verify' verb

Adding --image parameter for verify verb using the dissect image functionality

-----------------------------------------------------------------------------------
Example Run:

I created a unit service file testrun.service with an invalid key-value pairing
(foo = bar) and a squashfs image run.raw to test the code.

maanya-goenka@debian:~/systemd (img-support)$ cat <<EOF>img/usr/lib/systemd/system/testrun.service
> [Unit]
> foo = bar
>
> [Service]
> ExecStart = /opt/script0.sh
> EOF

maanya-goenka@debian:~/systemd (img-support)$ mksquashfs img/ run.raw
Parallel mksquashfs: Using 4 processors
Creating 4.0 filesystem on run.raw, block size 131072.
[==============================================================================================================================|] 6/6 100%

Exportable Squashfs 4.0 filesystem, gzip compressed, data block size 131072
        compressed data, compressed metadata, compressed fragments, compressed xattrs
        duplicates are removed
Filesystem size 0.60 Kbytes (0.00 Mbytes)
        52.32% of uncompressed filesystem size (1.14 Kbytes)
Inode table size 166 bytes (0.16 Kbytes)
        43.01% of uncompressed inode table size (386 bytes)
Directory table size 153 bytes (0.15 Kbytes)
        58.40% of uncompressed directory table size (262 bytes)
Number of duplicate files found 1
Number of inodes 12
Number of files 6
Number of fragments 1
Number of symbolic links  0
Number of device nodes 0
Number of fifo nodes 0
Number of socket nodes 0
Number of directories 6
Number of ids (unique uids + gids) 1
Number of uids 1
        maanya-goenka (1000)
Number of gids 1
        maanya-goenka (1000)
maanya-goenka@debian:~/systemd (img-support)$ sudo build/systemd-analyze verify --image=run.raw testrun.service
/tmp/.#systemd-analyzec71c7297a936b91c/usr/lib/systemd/system/testrun.service:2: Unknown key name 'foo' in section 'Unit', ignoring.
testrun.service: Failed to create testrun.service/start: Unit sysinit.target not found.

The 'Unit sysinit.target not found' error that we see here is due to recursive dependency searching during
unit loading and has been addressed in a different PR:
systemd-analyze: add option to return an error value when unit verification fails #20233

systemd-analyze: add --root option for 'verify' verb and allow path parsing

-------------------------------------------------------------------------------
Example Run:

foobar.service created below is a service unit file that has a non-existing key-value
pairing (foo = bar) and is thus, syntactically invalid.

maanya-goenka@debian:~/systemd (img-support)$ cat <<EOF>img/usr/lib/systemd/system/foobar.service
> [Unit]
> foo = bar
>
> [Service]
> ExecStart = /opt/script0.sh
> EOF

The failure to create foobar.service because of the recursive dependency searching and verification has been addressed
in a different PR: systemd-analyze: add option to return an error value when unit verification fails #20233

maanya-goenka@debian:~/systemd (img-support)$ sudo build/systemd-analyze verify --root=img/ foobar.service
/home/maanya-goenka/systemd/img/usr/lib/systemd/system/foobar.service:2: Unknown key name 'foo' in section 'Unit', ignoring.
foobar.service: Failed to create foobar.service/start: Unit sysinit.target not found.

systemd-analyze: validate root argument

units: added factory-reset.target

resolved: Don't omit AD bit in reply if DO is set in the query

Set the AD bit in the response if the data is authenticated and AD or DO is set in the query, as suggested by section 5.8 of RFC6840.

Fixes #20332

test: fix TEST-10-ISSUE-2467

Depending on the timing, socat will either get ECONNREFUSED oder EPIPE
from systemd. The latter will cause it to exit(1) and subsequently the
test to fail.
We are not actually interested in the return code of socat though. The
test is supposed to check, whether rate limiting of a socket unit works
properly.

So ignore any failures from the socat invocation and instead check, if
test10.socket is in state "failed" with result "trigger-limit-hit" after
it has been triggered.

TriggerLimitIntervalSec= by default is set to 2s. A "sleep 10" should
give systemd enough time even on slower machines, to reach the trigger
limit.

For better readability, break the test into separate ExecStart lines.

Fixes #19154.

update TODO

fstab-generator: put What= before Where=

All units in units/ follow this pattern, as do all other generators that we
provide. The question of the order was raised in
https://github.com/systemd/zram-generator/pull/90#discussion_r684965984,
and I think it's nice to make it consistent everywhere
(What= before Where= matches mount(8) and fstab(5)).

Merge pull request #19959 from yuwata/udev-reduce-loop

udev: reduce number of times checking event dependency

Merge pull request #20410 from yuwata/network-ndisc-cleanups

network: several NDisc cleanups

Merge pull request #19939 from yuwata/network-dhcp-client-use-request-queue

network: use request queue to configure DHCP clients

Merge pull request #19901 from yuwata/network-reconfigure-after-sleep

network: reconfigure interface after coming back from sleep

udev: skip event when its dependency cannot be checked

udev: do not try to find blocker again when no blocker found previously

list: introduce LIST_FOREACH_BACKWARDS() macro and drop LIST_FOREACH_AFTER/BEFORE()

udev: rename is_device_busy() -> event_is_blocked()

Also this rename delaying_seqnum -> blocker_seqnum.

udev: do not try to process events if there is no free worker

udev: propagate error on spawning a worker

udev: add usec_add() at one more place

udev: make event_queue_start() return negative errno on error

udev: make event_free() return NULL

udev: update log message to clarify that the error is ignored

udev: move several functions

No functional chage.

udev: also rename struct udev_ctrl -> UdevCtrl

udev: rename type name e.g. struct worker -> Worker

network: use usec_add() at several more places

network: make IPv6Token private, and ipv6token_new() static

network: ndisc: update a log message

Also slightly rename functions.

network: adjust log messages

Follow-up for #19944.

network: DHCP[46] -> DHCPv[46] in log messages

network: use request queue to configure DHCP{4,6} clients

Previously, when UUID is requested for DUID, then the clients are
configured in callback of bus methods.
But now, 'request queue' was implemented, so we can use it to wait until
the product UUID is obtained.

network: do not request UUID frequently on failure

If many interfaces request UUID, and networkd cannot get it for some
reasons, then previously we call the DBus method so frequently.

network: downgrade log level in dhcp6_configure()

And make the callers warn about failures.

network: downgrade log level in dhcp4_configure()

And make the callers warn about failures.

test-network: add a testcase to enter unmanaged state on reconfiguring

network: drop configurations in the previous .network file when entering unmanaged state

When reconfiguring an interface and it will enter unmanaged state,
let's drop configurations from the previously assigned .network file.

network: do not drop foreign configs for loopback and critical interfaces on carrier lost

network: do not drop foreign configs based on the previous .network file

`link_drop_foreign_config()` will be called later in link_configure().

network: start/stop LLDP client on carrier gained/lost

Then, link_acquire_dynamic_conf() matches link_stop_engines().
Previously, LLDP client is started on interface is up, and stopped
on both down and carrier loss.

network: reconfigure link after coming back from sleep

Previously, link was reconfigured with `link_carrier_reset()`, but it
just re-request to configure static addresses, routes, etc, and restart
engines (e.g. DHCP client).
However, after coming back from sleep, several link information may be
changed, especially the wifi access point may be different. So, we may
need to reconfigure the interface.

Update traditional Chinese Translation

Fix the wrong translation and fill in the new translation.

hwdb: Add Lenovo Thinkpad P14s Gen1/2 rule

test: use a correct kernel binary on ppc64le machines

Ubuntu calls the kernel binary as `vmlinux-*`, but RHEL/CentOS uses
the "standard" `vmlinuz-` prefix.

Follow-up to eaa602cb14217f2623c9c8c44b6f3012dc4d0b24.

timesync: add option to periodically save time

pid1: add support for cgroup.kill

Fix the "Failed to open random seed ..." message.

When boot ArchLinux from Ventoy, it always print `Failed to open random seed file: write protected.`
As Ventoy emulate the ISO file as a read-only CDROM, I didn't test with a real physical CDROM drive, but maybe it also has such problem.
As we use `EFI_FILE_MODE_WRITE`  to open the `loader\random-seed` file, so I think it's better to check the result with both  `EFI_WRITE_PROTECTED` and `EFI_NOT_FOUND`.

network: use monotonic instead of boot time to handle address creation/update timestamp

Follow-up for 25db3aeaf32ba95bad5e765720ebc23c8ef77a99 and 899034ba8167bd16e802cfbea29a9ee85dee5be5.

Fixes another issue in #20244.

Update 60-autosuspend-fingerprint-reader.hwdb to libfprint-1.92.1

man systemd-sysusers: fix password to passwd

Merge pull request #20395 from takaswie/topic/correct-ieee1394-hwdb-entries

hwdb: ieee1394-unit-function: correct entries for some models

Merge pull request #20399 from mrc0mmand/test-tweaks

test: yet another fix for ASan detection

test: skip a harmless ldd error when installing test libs

Skip a harmless error when running the tests on a system with a significantly
older systemd version (ldd tries to resolve the unprefixed RPATH for libsystemd.so.0,
which is in this case older than the already installed libsystemd.so.0 in $initdir).
The issue is triggered by installing test dependencies in install_missing_libraries().

Spotted on CentOS 8.

```
$ ldd /var/tmp/systemd-test.nZO11F/root/lib/systemd/tests/test-sd-device-thread
/var/tmp/systemd-test.nZO11F/root/lib/systemd/tests/test-sd-device-thread: /lib64/libsystemd.so.0: version `LIBSYSTEMD_240' not found (required by /var/tmp/systemd-test.nZO11F/root/lib/systemd/tests/test-sd-device-thread)
        linux-vdso64.so.1 (0x00007fffb79d0000)
        libclang_rt.asan-powerpc64le.so => /usr/lib64/clang/11.0.0/lib/linux/libclang_rt.asan-powerpc64le.so (0x00007fffb6ef0000)
        libsystemd.so.0 => /lib64/libsystemd.so.0 (0x00007fffb6d20000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fffb6cd0000)
        libc.so.6 => /lib64/libc.so.6 (0x00007fffb6ab0000)

$ LD_LIBRARY_PATH=/var/tmp/systemd-test.nZO11F/root/lib64/ ldd /var/tmp/systemd-test.nZO11F/root/lib/systemd/tests/test-sd-device-thread
        linux-vdso64.so.1 (0x00007fffaba80000)
        libclang_rt.asan-powerpc64le.so => /usr/lib64/clang/11.0.0/lib/linux/libclang_rt.asan-powerpc64le.so (0x00007fffaafa0000)
        libsystemd.so.0 => /var/tmp/systemd-test.nZO11F/root/lib64/libsystemd.so.0 (0x00007fffaa5f0000)
        libpthread.so.0 => /var/tmp/systemd-test.nZO11F/root/lib64/libpthread.so.0 (0x00007fffaa5a0000)
        libc.so.6 => /var/tmp/systemd-test.nZO11F/root/lib64/libc.so.6 (0x00007fffaa380000)

```

test: make busybox TEST-13-only dependency

to make running other tests a bit easier on distributions which don't have
busybox in repositories (CentOS).

test: yet another fix for ASan detection

This time for ppc64le:

```
100737c4: 5d 55 f9 4b  bl      10008d20 <00000024.plt_call.__asan_report_load8>
100737f4: 4d 55 f9 4b  bl      10008d40 <00000024.plt_call.__asan_handle_no_return>
10073884: 5d 50 f9 4b  bl      100088e0 <00000024.plt_call.__asan_init>
1007388c: 75 54 f9 4b  bl      10008d00 <00000024.plt_call.__asan_version_mismatch_check_v8>
100738a0: 41 36 f9 4b  bl      10006ee0 <00000024.plt_call.__asan_register_globals>
100738f0: 71 4c f9 4b  bl      10008560 <00000024.plt_call.__asan_unregister_globals>
```

test: attempt to install only kernel modules for each subsystem

When `linux-headers` is installed on Arch Linux, it stores the module
source tree in the kernel module directory, which is then picked up by
`find` and we get a lot of harmless but annoying errors:

```
...
modprobe: FATAL: Module Kconfig.iosched not found in directory /lib/modules/5.13.7-arch1-1
modprobe: FATAL: Module Kconfig not found in directory /lib/modules/5.13.7-arch1-1
modprobe: FATAL: Module Kconfig not found in directory /lib/modules/5.13.7-arch1-1
modprobe: FATAL: Module dm-mpath.h not found in directory /lib/modules/5.13.7-arch1-1
modprobe: FATAL: Module dm-bio-prison-v2.h not found in directory /lib/modules/5.13.7-arch1-1
modprobe: FATAL: Module raid0.h not found in directory /lib/modules/5.13.7-arch1-1
...
```

Let's fix this by trying to install only kernel modules (*.ko files with
an optional compression).

hwdb: ieee1394-unit-function: correct entries for eAR Master One and Terratec Aureon 7.1 FireWire

The configuration ROM of Acoustic Reality eAR Master One, Eroica, Figaro,
and Ciaccona has OUI for TerraTec Electronic GmbH in its vendor ID field.
As a result, modalias for the unit is the same as Terratec Electronic
Aureon 7.1 FireWire.

Linux FireWire subsystem adds the same modalias for units of the models.
ALSA bebob driver had duplicated entries for them and was changed at
Linux kernel v5.14 to remove the duplicated entries.

It's better to improve corresponding entries in systemd hwdb, while
it's impossible to distinguish the models by modalias and force to use
the same entry for them. As last resort, this commit selects more
popular model, Aureon 7.1 FireWire for ID_VENDOR_FROM_DATABASE and
ID_MODEL_FROM_DATABASE.

Reference: https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=a07ebc7e050ccdfec508449b2ef8f2b2aa90927b
Signed-off-by: Takashi Sakamoto <o-takashi@sakamocchi.jp>

hwdb: ieee1394-unit-function: correct comment for Mackie d.2 and d.2 Pro

I had misunderstanding that BridgeCo ASIC would be used for extension
option for Mackie d.2 and OXFW971 would be used for Mackie d.2 Pro like
Mackie d.4 Pro. However, it's clear that the latter is model with
pre-installed option.

This commit fixes commit to entry for Mackie d.2. I note that the modalias
of unit of Mackie d.4 Pro is still unidentified.

Signed-off-by: Takashi Sakamoto <o-takashi@sakamocchi.jp>

hwdb: ieee1394-unit-function: correct comment for Mackie Onyx-i series

Some Mackie Onyx-i models are known to have two revisions at least, which
use different ASICS; Oxford Semiconductor FW971 and TC Applied
Technologies TCD2210. I misunderstand that Onyx 1640i had not such
revisions.

This commit fixes comment to entry for the model.

Signed-off-by: Takashi Sakamoto <o-takashi@sakamocchi.jp>

hwdb: ieee1394-unit-function: correct entries for Phonic products

Some of Phonic Firefly series and Helix Board series have the same
combination of vendor ID, model ID, specifier ID, and software
version in their configuration ROM. On the other hand, the other models
have unique combination.

ALSA bebob driver in Linux kernel v5.14 was changed in its modalias table
for the models.

This commit fixes systemd hwdb for the models.

Reference: https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=1586d461f641b60040438275e14c7dbcec5907d6
Signed-off-by: Takashi Sakamoto <o-takashi@sakamocchi.jp>

Merge pull request #20384 from keszybz/udev-code-modernization

Various minor refactorings (basic/log, udev, cryptsetup-tokens)

udev/builtins: make skip_subsystem() and skip_virtio() alike

The two functions do not implement identical logic, so they shouldn't
have identical structure, but let's make them both a bit simpler and
more alike.

udev/builtins: inline iterator variables and other small modernizations

udev-builtin-input_ic: simplify loop in test_key()

We would update 'found' using bit operations, but studiously ignore the actual
value and treat it as boolean. So just use a boolean variable instead. Because
there is a double loop, we would break the inner loop, but repeat the outer
loop, even though the boolean was already set. Add '&& !found' in the loop
conditions to break iteration immediately.

test-log: move logging call where we can still see it

We crank the level up in the loop, so we wouldn't see message
from log_info_errno().

Also move the loop iterator declaration inline.

cryptsetup-tokens: inline one interator variable declaration

basic/log: invert loop to avoid repeated evaluation of condition

basic/log: use structured initialization, drop unused initialization

We had 'msghdr' and 'mh' in various places. Now 'const struct msghdr msghdr' is
used consistently. With structured init the variable is only used in the call
to sendmsg(), so let's make it a bit more descriptive.

sd-boot: time measurements for the ARM64
This adds assembly to read the platform timer from the CP15 coprocessor
register `cntpct_el0` and the frequency from `cntfrq_el0`

cryptsetup: validate optional tpm2 pcr bank field in token.

units: make sure systemd-tmpfiles-{setup,clean} don't survive switch-root

Normally, these services are killed because we run isolate. But I booted into
emergency mode (because of a futher bug with us timing out improperly on the
luks password prompt), and then continuted to the host system by running
'systemctl start systemd-switch-root.service'. My error, but the results are
confusing and bad: systemd in the host sees 'systemd-tmpfiles-setup.service'
as started successfully, and doesn't restart it, so the setup for /tmp/.X11 is
not done and gdm.service fails. So while we wouldn't encounter this during
normal successful boot, I think it's good to make this more robust.

The dep is added to systemd-tmpfiles-{setup,clean}, because /tmp is not
propagated over switch-root. /dev is, so I didn't touch
systemd-tmpfiles-setup-dev.service.

Merge pull request #20375 from yuwata/network-bridge-vlan-issue-20373

network: fix bridge and openvswitch issues

sd-dhcp6-client: do not ignore errors in client_receive_advertise()

This also adds several debug log messages.

Merge pull request #20381 from yuwata/cgroup-empty-to-root

core: use empty_to_root() for cgroup path in log messages

core: wrap cgroup path with empty_to_root() in log messages

This fixes e.g. the following log message:
---
systemd[1]: -.slice: Failed to migrate controller cgroups from , ignoring: Read-only file system
---

core/cgroup: fix error handling of cg_remove_xattr()

Merge pull request #20377 from yuwata/network-bridge-fdb-20305

network: always append new bridge FDB entries

Merge pull request #19944 from yuwata/network-radv-introduce-uplink-interface

network: introduce UplinkInterface= in [IPv6SendRA]

network: ignore errors on unsetting master ifindex

Fixes #20241.

test-network: add a test case for issue #20373

network: ignore errors on setting bridge config

For some setups, kernel refuses to set bridge configs with -EOPNOTSUPP.
See kernel's rtnl_bridge_setlink() in net/core/rtnetlink.c.

Fixes #20373.

network: add comments

test-network: add a testcase for UplinkInterface= in [IPv6SendRA]

network: introduce UplinkInterface= in [IPv6SendRA]

network: use request queue to configure IPv6 RA engine

network: update comment and man page

Merge pull request #18567 from Werkov/mkosi-opensuse-v9+

CI for openSUSE Tumbleweed

test-network: add a testcase for vxlan with IPv6 local address

ci: Add openSUSE Tumbleweed among tested distros

ci: Detect shell prompt with higher specificity

The current pattern '#' triggers on the openSUSE kernel version that is
printed early during boot when no actual prompt is ready
> [    0.000000] Linux version 5.12.10-1-default (geeko@buildhost) (gcc (SUSE Linux) 11.1.1 20210510 [revision 23855a176609fe8dda6abaf2b21846b4517966eb], GNU ld (GNU Binutils; openSUSE Tumbleweed) 2.36.1.20210326-4) #1 SMP Fri Jun 11 05:05:06 UTC 2021 (b92eaf7)

Instead wait for pattern that: a) should have fewer false positives, b)
still be with working on distro shells:

openSUSE (red color)
^[[1m^[[31mimage:~ #^[[m^O

arch
[root@image ~]#

debian
root@image:~#

ubuntu
root@image:~#

fedora
[root@image ~]#

ci: Do not require network in test images

The current boot test relies on terminal login, therefore network setup
inside image is unnecessary. This opens up possibility to test images
that don't support the network setup via veth devices.

ci: Bump mkosi version to v10

Use mkosi GH action that includes fixes for openSUSE builds. This
enables testing openSUSE builds in CI.

sd-netlink: always append new bridge FDB entries

This partially reverts 192a9d95ea3e058afd824d38a9cea16ad0a84a57 (#19432).

Fixes #20305.

network: use address_equal()/route_equal() to compare addresses or routes configured by NDisc

Fixes #20244.

Merge pull request #20372 from keszybz/veritysetup-help

Document veritysetup syntax

Merge pull request #20368 from keszybz/drop-assert-not-reached-text

Drop the text argument from assert_not_reached()

Merge pull request #20371 from bluca/coverity

Two small coverity fixes

man: describe veritysetup command syntax

It makes it easier to diagnose what the generated units actually do.

veritysetup: print help for --help/-h/help

In general our commands print help on --help, but here this would trigger
the error that two arguments are needed. Let's make this more user-friendly.