Merge pull request #27670 from poettering/switch-root-umount-all

umount all mounts during MS_MOVE switch root

core/device: downgrade error when units specified in SYSTEMD_WANTS= not found

Closes #27693.

unit: add conditions and deps to make oomd.socket and .service consistent

Fixes #27690.

Merge pull request #27686 from keszybz/make-boot-output-nicer

Make boot output nicer

hwdb: fix Positivo CG15D key toggle touchpad and programmable keys (#27689)

Merge pull request #27685 from keszybz/the-semiannual-excercise-in-output-narrowing

The semiannual excercise in output narrowing

Merge pull request #27684 from mrc0mmand/more-nspawn-tests

test: further extend systemd-nspawn coverage

integration test: pass 'noresume' to qemu

When running on Debian/Ubuntu, I get a minute delay or so on every boot
because the local initramfs tries to resume from hibernation. This is
not really useful here, so always skip it

test: wrap setfacl when running with ASan

oomd: shorten message

We can make the message shorter and more direct without changing
the meaning.

sd-bus,sd-event: allow querying of description even after fork

This in unnecessarilly unpleasant: the code might report about a bus
connection, e.g. in an error message or assert. Let's let it query
the name of the object.

This partially reverts f4b2933ee7890e5d414ab266d8586f19027a2bd9.

sd-bus: do not assert if bus description is not set

The code has an explicit fallback using runtime_scope_to_string(), which
is also documented in the man page. So -ENXIO should only be returned when
the fallback doesn't work, i.e. bus->runtime_scope == -EINVAL.

Fixup for f4b2933ee7890e5d414ab266d8586f19027a2bd9.

This should fix the following errors during boot:
May 18 16:05:37 fedora systemd-update-utmp[263]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:38 fedora systemctl[360]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:38 fedora systemctl[363]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:38 fedora systemd-update-utmp[372]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:38 fedora @ystemctl[387]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:40 fedora systemd-update-utmp[477]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:41 fedora systemd-homed[509]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:41 fedora systemd-logind[510]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:41 fedora systemd-update-utmp[529]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:42 fedora systemd-user-runtime-dir[531]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:42 fedora systemctl[542]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.
May 18 16:05:42 fedora systemd-hostnamed[556]: Assertion 'bus->description' failed at src/libsystemd/sd-bus/sd-bus.c:4201, function sd_bus_get_description(). Ignoring.

meson: rename "dist-check" suite to "dist"

*Now* one of those tests is the longest, let's make them a bit shorter.

meson: rename "fuzzers" suite to "fuzz"

Fuzz tests have all the longest names, so by making this name
shorter, we save three columns of screen real estate.

test: don't mount /sys & /proc if already mounted

nspawn: make the error message less confusing

by not printing (null) and dropping the extraneous slash, e.g.:

systemd-nspawn[2049]: Failed to resolve (null)//proc: Permission denied

test: add a couple of tests for nspawn config files

nspawn: correctly parse a list of interfaces

Interface=/MACVLAN=/IPVLAN= nspawn options take a _list_ of interface
names - this was recently enhanced by 2f091b1b49 to support interface
pairs. Unfortunately, this also introduced a regression where we don't
parse the list as a list, but just as a single value. For example,
having `Interface=sd-shared1 sd-shared2` in an nspawn config file would
throw:

systemd-nspawn[898]: Network interface, interface name not valid: sd-shared1 sd-shared2
systemd-nspawn[898]: /run/systemd/nspawn/testsuite-13.nspawn-settings.1po.nspawn:41: Failed to parse file: Invalid argument

Follow-up to 2f091b1b49.

test: create nspawn config files when collecting coverage

Which bind-mounts the $BUILD_DIR into the container. This whole coverage
thing is getting slightly ridiculous.

Follow-up to 3b2823a749, but for non-machinectl containers.

test: cover --bind-user=

test: add a couple of sanity tests for --port=

test: drop "check" from test case names

test: exercise a couple of error paths in nspawn's OCI code as well

nspawn: clean up & unify cleanup handlers

Also, make them follow our naming conventions.

fuzz: rename long samples

With those long filenames, output doesn't fit on the terminal.

mkosi: use wildcard to shorten things

Revert "resolved: address DVE-2018-0001"

DVE-2018-0001 has been fixed by the vendor, and this workaround is no longer
needed. Removal of this workaround improves performance as queries used to be
retried more than necessory.

This reverts 1ed4e584f3a03f47d2313314b6b5a78c9dc6f135.
This reverts https://github.com/systemd/systemd/pull/18638

Keep .clamp_feature_level_servfail name, as imho it is more descriptive than
just .clamp_feature_level, especially if we ever need to add similar
workarounds as the one we had for DVE-2018-0001.

However note that there is another retry which was added in
8a33aa199dc1cea14494469ac9d7d08dc6721df1 - seems to be working around Stubby
resolver behaviour.

Fixes: #26967

nspawn: use ASSERT_PTR() more

nss-resolve: report EAI_NODATA

busctl: Add space before "tree" paths for copying

This allows a double-click on the path in a terminal to select the
whole path. Otherwise the leading '-' character is also included in
the copied path.

```
New output:
./busctl tree org.freedesktop.network1
`- /org
  `- /org/freedesktop
    |- /org/freedesktop/LogControl1
    `- /org/freedesktop/network1
      |- /org/freedesktop/network1/link
      | |- /org/freedesktop/network1/link/_31
      | |- /org/freedesktop/network1/link/_32
```

Merge pull request #27673 from YHNdnzj/restartsteps-transient

core,bus-unit-util: add missing RestartSteps and RestartMaxDelaySec to bus_append_service_property

README: drop busybox requirement

Follow-up for 5656759d0617594ee8e850a258a21d3e187bf02c.

Merge pull request #27677 from mrc0mmand/test-followups

test: get rid of the busybox stuff

Revert (partially) "man: Clarify when OnFailure= activates after restarts (#7646)"

This reverts part of commit bd2538b50ba283c9ce39142d5d16d90184a55b90,
specifically changes to the description of service state between auto-restarts.

Fixes #27594

test: explicitly use bash

To avoid unexpected surprised in CIs with different default shell.

test: get rid of the busybox stuff

It already required a lot of workarounds, since the busybox utilities
often work differently than their "full" counterparts, and putting
the container together using our "tools" is quite simple anyway.

bus-unit-util: add missing RestartSteps and RestartMaxDelaySec to bus_append_service_property

Follow-up for be1adc27fc61ba723bd0392199f7b82ef9f1c970

core: rename RestartSecMax to RestartMaxDelaySec

test: mangle the machine ID only for the QEMU test part

systemd-nspawn doesn't like invalid machine IDs and refuses to boot with one:

TEST-74-AUX-UTILS RUN: Tests for auxiliary utilities
...
Spawning container TEST-74-AUX-UTILS--3 on /var/tmp/systemd-test-TEST-74-AUX-UTILS_3/root.
Press Ctrl-] three times within 1s to kill container.
Failed to read machine ID from container image: Structure needs cleaning
E: nspawn failed with exit code 1

Follow-up to b4d42a82eb.

Merge pull request #27669 from keszybz/man-fixes-254

Some simple man page fixes to reduce the list of issues tagged for v254

Merge pull request #27671 from keszybz/manpage-fixes-254-2

man: fixes for assorted issues reported by the manpage-l10n project

man: fixes for assorted issues reported by the manpage-l10n project

Fixes #26761.

man/tmpfiles: fix off-by-one in example

Reported and diagnosed by gitterman. Fixes #26617.

man: explain allowed values for /sys/power/{disk,state}

Also fix the grammar: "neither" can only be used with two values, and
here we have an inderminate number >= 1.

Fixes #26460.

man: say that ProtectClock= also affects reads

Fixes #26413: the docs said that the filter prevents writes, but it just a
filter at the system call level, and some of those calls are used for writing
and reading. This is confusing esp. when a higher level library call like
ntp_gettime() is denied.

I don't think it's realistic that we'll make the filter smarter in the near
future, so let's change the docs to describe the implementation.

Also, split out the advice part into a separate paragraph.

switch-root: when switching root via MS_MOVE unmount all remaining mounts first

Let's try to unmount anything left, since if we don't they will remain
as "shadow" mounts, hidden underneath our new root.

This is only necessary when we transition into a new root via MS_MOVE.
If we do so via pivot_root() this is not necessary as the kernel will
get rid of the mounts anyway for us.

test: add test for umount_recursive()

mount-util: make "prefix" parameter optional for umount_recursive()

When switching root via MS_MOVE there's no need to filter the mount
table by prefix

mount-util: extend umount_recursive() to optionally take list of dirs to exclude from the unmounting

mount-util: keep fd to /proc/self/mountinfo continously open in umount_recursive()

That way, if we end up unmounting /proc/ in our loop we can still
operate correctly, since we don't have to go through /proc/ again to
open the mount table again.

Merge pull request #27664 from mrc0mmand/test-merge

test: let's merge more tests together

test: move runas() to the shared utility library

test: make shellcheck happy again

No functional changes.

test: merge TEST-48-START-STOP-NO-RELOAD into TEST-23-UNIT-FILE

test: merge TEST-49-RUNTIME-BIND-PATHS into TEST-23-UNIT-FILE

test: clean up test artifacts

So we don't run into unexpected fails when two tests use the same paths.

test: merge TEST-28-PERCENTJ-WANTEDBY into TEST-23-UNIT-FILE

test: merge TEST-56-EXIT-TYPE into TEST-19-CGROUP

And clean it up a bit.

test: rename TEST-19-DELEGATE to TEST-19-CGROUP

And clean it up a bit.

test: introduce get_cgroup_hierarchy()

test: rename assert.sh to util.sh

So we can extend it with additional utility functions without making it
confusing.

No functional change.

test: merge TEST-33-CLEAN-UNIT into TEST-23-UNIT-FILE

test: merge TEST-27-STDOUTFILE into TEST-23-UNIT-FILE

test: merge TEST-14-MACHINE-ID into TEST-74-AUX-UTILS

man/systemd-sysext: correct explanation of confexts directories

switch-root: add a comment regarding the safety limits of rm_rf_children()

Merge pull request #27606 from YHNdnzj/loginctl-list-show-state

loginctl: list-{users,sessions}: add a column for showing state

Merge pull request #27655 from yuwata/udev-net-assign-alternative-names-only-on-add-event

udev/net: assign alternative names only on add event

Merge pull request #27651 from mrc0mmand/more-nspawn-tests

nspawn: OCI related fixes & tests

Merge pull request #27659 from yuwata/memfd-seal

memfd-util: handle F_SEAL_EXEC flag

Merge pull request #27638 from YHNdnzj/upheldby-unit-file

unit-file: support UpheldBy= in [Install] settings (adding Upholds= deps from .upholds/)

Merge pull request #27573 from poettering/sd-bus-description

sd-bus: pass bus description (and comm name) to per via socket address binding on AF_UNIX

Merge pull request #27648 from poettering/common-dissect-dir

pid1: add common root dir inode to mount disk images to in private namespaces

Merge pull request #27647 from poettering/mount-setup-tweaklets

mount-setup: minor tweaks

Merge pull request #27658 from poettering/base-fs-run

base-filesystem: also set up /run/ mount point if missing

man: indicate that the JOB parameter to "systemctl cancel" is optional

As per:

https://social.treehouse.systems/@grawity/110376583742207755

test: add test for state in loginctl list-{users,sessions}

loginctl: list-sessions: also show state

loginctl: list-sessions: minor modernization

loginctl: list-users: also show state

busctl: set a description for the bus connection

Unlike most other bus connections in our codebase this one is created
manually and every setting set invididually. It hence does not have a
description by default (as all automatic connections have). Set one
explicitly.

pid1: debug log client comm/description strings if available for incoming connections

Very useful for debugging, to see which clients actually connect.

test: add testcase for the new sockaddr metainfo logic

sd-bus: use the new information in the client's sockaddr in the creds structure

Now that clients might convey comm/description strings via the sockaddr,
let's actually use them on the other side, read the data via
getpeername() parse it, and include it in the "owner" creds (which is
how we call the peer's creds).

test: add basic test for memfd_set_sealed() and memfd_get_sealed()

memfd-util: set F_SEAL_EXEC flag if supported

memfd-util: memfd may also have F_SEAL_EXEC flag

Follow-up for c29715a8f77d96cd731b4a3083b3a852b3b61eb8.

Fixes #27608.

missing: add more F_SEAL_XYZ flags

base-filesystem: mention why we don't carry an entry for /tmp/ for now

nspawn: make sure the device type survives when setting device mode

base-filesystem: also set up /run/ mount point if missing

We don't support images without, hence create this one too, like we
create all other relevant mount points we definitely require for
booting.

test: add tests for renaming network interface

fuzz: update the base JSON for fuzz-nspawn-oci

test: add a couple of tests for nspawn's OCI stuff

nspawn: fix a global-buffer-overflow

Whoopsie.

=================================================================
==3789231==ERROR: AddressSanitizer: global-buffer-overflow on address 0x00000051d0b8 at pc 0x7f70850bc904 bp 0x7ffd9bbdf660 sp 0x7ffd9bbdf658
READ of size 8 at 0x00000051d0b8 thread T0
    #0 0x7f70850bc903 in json_dispatch ../src/shared/json.c:4347
    #1 0x4a5b54 in oci_seccomp_syscalls ../src/nspawn/nspawn-oci.c:1838
    #2 0x7f70850bd359 in json_dispatch ../src/shared/json.c:4395
    #3 0x4a668c in oci_seccomp ../src/nspawn/nspawn-oci.c:1905
    #4 0x7f70850bd359 in json_dispatch ../src/shared/json.c:4395
    #5 0x4a7d8c in oci_linux ../src/nspawn/nspawn-oci.c:2030
    #6 0x7f70850bd359 in json_dispatch ../src/shared/json.c:4395
    #7 0x4aa31c in oci_load ../src/nspawn/nspawn-oci.c:2198
    #8 0x446cec in load_oci_bundle ../src/nspawn/nspawn.c:4744
    #9 0x44ffa7 in run ../src/nspawn/nspawn.c:5477
    #10 0x4552fb in main ../src/nspawn/nspawn.c:5920
    #11 0x7f7083a4a50f in __libc_start_call_main (/lib64/libc.so.6+0x2750f)
    #12 0x7f7083a4a5c8 in __libc_start_main@GLIBC_2.2.5 (/lib64/libc.so.6+0x275c8)
    #13 0x40d284 in _start (/home/fsumsal/repos/@systemd/systemd/build-san/systemd-nspawn+0x40d284)

0x00000051d0b8 is located 40 bytes to the left of global variable 'bus_standard_errors_copy_0' defined in '../src/libsystemd/sd-bus/bus-error.h:57:1' (0x51d0e0) of size 8
0x00000051d0b8 is located 0 bytes to the right of global variable 'table' defined in '../src/nspawn/nspawn-oci.c:1829:43' (0x51d040) of size 120
SUMMARY: AddressSanitizer: global-buffer-overflow ../src/shared/json.c:4347 in json_dispatch
Shadow bytes around the buggy address:
  0x00008009b9c0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
  0x00008009b9d0: 00 00 00 00 f9 f9 f9 f9 00 00 00 00 00 00 00 00
  0x00008009b9e0: 00 00 f9 f9 f9 f9 f9 f9 00 00 00 00 00 00 00 00
  0x00008009b9f0: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
  0x00008009ba00: 00 f9 f9 f9 f9 f9 f9 f9 00 00 00 00 00 00 00 00
=>0x00008009ba10: 00 00 00 00 00 00 00[f9]f9 f9 f9 f9 00 f9 f9 f9
  0x00008009ba20: f9 f9 f9 f9 00 00 00 00 00 00 00 00 00 00 00 00
  0x00008009ba30: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
  0x00008009ba40: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
  0x00008009ba50: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
  0x00008009ba60: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
Shadow byte legend (one shadow byte represents 8 application bytes):
  Addressable:           00
  Partially addressable: 01 02 03 04 05 06 07
  Heap left redzone:       fa
  Freed heap region:       fd
  Stack left redzone:      f1
  Stack mid redzone:       f2
  Stack right redzone:     f3
  Stack after return:      f5
  Stack use after scope:   f8
  Global redzone:          f9
  Global init order:       f6
  Poisoned by user:        f7
  Container overflow:      fc
  Array cookie:            ac
  Intra object redzone:    bb
  ASan internal:           fe
  Left alloca redzone:     ca
  Right alloca redzone:    cb
==3789231==ABORTING

nspawn: fix inverted condition

nspawn: call json_dispatch() with a correct pointer

Otherwise hilarity ensues:

 AddressSanitizer:DEADLYSIGNAL
 =================================================================
 ==722==ERROR: AddressSanitizer: SEGV on unknown address 0xffffffff00000000 (pc 0x7f8d50ca9ffb bp 0x7fff11b0d4a0 sp 0x7fff11b0cc30 T0)
 ==722==The signal is caused by a READ memory access.
     #0 0x7f8d50ca9ffb in __interceptor_strcmp.part.0 (/lib64/libasan.so.8+0xa9ffb)
     #1 0x7f8d4f9cf5a1 in strcmp_ptr ../src/fundamental/string-util-fundamental.h:33
     #2 0x7f8d4f9cf5f8 in streq_ptr ../src/fundamental/string-util-fundamental.h:46
     #3 0x7f8d4f9d74d2 in free_and_strdup ../src/basic/string-util.c:948
     #4 0x49139a in free_and_strdup_warn ../src/basic/string-util.h:197
     #5 0x4923eb in oci_absolute_path ../src/nspawn/nspawn-oci.c:139
     #6 0x7f8d4f6bd359 in json_dispatch ../src/shared/json.c:4395
     #7 0x4a8831 in oci_hooks_array ../src/nspawn/nspawn-oci.c:2089
     #8 0x7f8d4f6bd359 in json_dispatch ../src/shared/json.c:4395
     #9 0x4a8b56 in oci_hooks ../src/nspawn/nspawn-oci.c:2112
     #10 0x7f8d4f6bd359 in json_dispatch ../src/shared/json.c:4395
     #11 0x4aa298 in oci_load ../src/nspawn/nspawn-oci.c:2197
     #12 0x446cec in load_oci_bundle ../src/nspawn/nspawn.c:4744
     #13 0x44ffa7 in run ../src/nspawn/nspawn.c:5477
     #14 0x4552fb in main ../src/nspawn/nspawn.c:5920
     #15 0x7f8d4e04a50f in __libc_start_call_main (/lib64/libc.so.6+0x2750f)
     #16 0x7f8d4e04a5c8 in __libc_start_main@GLIBC_2.2.5 (/lib64/libc.so.6+0x275c8)
     #17 0x40d284 in _start (/usr/bin/systemd-nspawn+0x40d284)
 AddressSanitizer can not provide additional info.
 SUMMARY: AddressSanitizer: SEGV (/lib64/libasan.so.8+0xa9ffb) in __interceptor_strcmp.part.0
 ==722==ABORTING

nspawn: all hooks should be arrays of objects, not just objects

See: https://github.com/opencontainers/runtime-spec/blob/v1.0.0/config.md#posix-platform-hooks

nspawn: use the just returned errno in the log message

Use the returned errno even though we are going to ignore it, otherwise
the log message is just confusing:

config.json:119:13: Failed to resolve device node 4:2, ignoring: Success

nspawn: disableOOMKiller should be boolean, not int

See: https://github.com/opencontainers/runtime-spec/blob/v1.0.0/config-linux.md#memory