core: escape ExecStart command-line received over d-bus

When some transient unit setting is received over D-Bus, we write it it to a
transient unit file. We escape backslashes and specifiers. For most settings
this is enough, because most settings only do parsing and interpolation of
specifiers. When systemd-run is called (or something equivalent that gives us a
command strv), we write ExecStart=, but when reading it, we not only do parsing
and interpolation of specifiers, but also split on semicolons and do variable
substitution. This results in an ugly situation where the commandline is
interpolated twice, once on the caller side, and once in the manager.

I think we need to treat this as a bug: current behaviour seems to be an
accident of implementation and hard to explain in a reasonable way. If we
*were* doing specifier expansion, then it'd be somewhat reasonable so say that
"the commandline is handled the same as ExecStart=". But since we explicitly
prevent specifier expansion, we best we could say is "the commandline has some
subset of features of ExecStart=". I think this is not useful, and unexpected
by users. Since most people use use a shell to call systemd-run, one level of
variable expansion is already done on the caller side, and having to take into
account another level of expansion (with slightly different rules), creates a
big mental overhead when the commandline needs to include a dollar character or
such. Not doing any expansion is much cleaner and easier to explain or use.
Thus I think it's better to change behaviour here, even though in principle
some people could be relying on current behaviour. I think it's more likely
that nobody noticed, because people generally don't use systemd-run for
complicated commandlines.

Thus this commit adds an additional mode of escaping that prevents variable
explansion and other elements of ExecStart= syntax. I looked over all the
places where unit_escape_setting() is called, and I think that only two need to
be changed to use the new flag.

Fixes #23631.

man/run: we accept relative paths for run

I think this is a left-over from before we changed ExecStart= to allow
non-absolute paths, *and* changed systemd-run itself to resolve paths too.

Merge pull request #24071 from bluca/path_trigger_report

path/timer units: export env vars and D-Bus properties with reason that triggered the job

virt: Support detection of Apple Virtualization.framework guests

check-os-release.py compatible with Python < 3.8

The ":=" operator was only added in Python 3.8 so splitting the line with it into two makes check-os-release.py actually fulfill its claim of working with any python version.

service: set TRIGGER_UNIT= and TRIGGER_TIMER_REALTIME_USEC/MONOTONIC_USEC on activation by timer unit

Same as path unit, best effort.

service: set TRIGGER_UNIT= and TRIGGER_PATH= on activation by path unit

When a service is triggered by a path unit, pass the
path unit name and the path that triggered it via env vars
to the spawned processes.
Note that this is best-effort, as there might be many triggers
at the same time, but we only get woken up by one.

core: add basic infrastructure to record unit activation information

Not wired in by any unit type yet, just the basic to allocate,
ref, deref and plug in to other unit types.
Includes recording the trigger unit name and passing it to the
triggered unit as TRIGGER_UNIT= env var.

glob: add glob_first(), returns first match

Note that which match is returned depends on the system and is
not guaranteed to be stable

test-63: convert to full shell script and generalize

Will add more path unit tests later

sleep: support acpi_btp and suspend system if enabled, skipping custom timer

journal: Add new _INITRD field

The _INITRD field is a boolean field (0 or 1) that specifies whether
a message was processed by systemd-journald in the initrd or not.

Merge pull request #24254 from medhefgo/mold

ci: Add mold to build tests

Merge pull request #24396 from poettering/no-more-dirname

stop using dirname()/dirname_malloc()

measure: fix minor memory leak

When using --current switch, copy in current hash, don't just reassign
buffers forgetting about the old.

While we are at it, allocate the local copy buffer later, in
measure_pcr() as we won#t need it in the --current case.

test: wait for the lodev to get properly initialized

Otherwise we might start writing to one of its partition before the
respective node is created under /dev, resulting in... interesting
stuff.

Resolves: #24390

mkosi: Ensure we build all features/components in mkosi

Explicitly enable all features/components in the mkosi build to
ensure they all get built and we get an error if they can't be built.

We also rework the packages sections of all mkosi configs to reduce
duplication and cover all the dependencies necessary to build/use all
systemd features.

Note that for the final image, since systemd is installed by default
in base images, we rely on that to install the base library dependencies
and we only list extra optional dependencies and tools that aren't already
installed by default into the base image.

We also drop the centos stream 8 mkosi build as dependencies on that
distro are too out-of-date to be able to build all systemd features.
Since centos stream 9 has been out for a while, let's focus on that
and leave it to downstream to keep systemd building on centos stream 8.

Finally, there's a few additions to the mkosi scripts to make sure
services don't start by default on boot.

update TODO

lgtm: dirname() is now icky

mkdir: don't allow us to get confused by symlinks in mkdir_p_root()'s chowning logic

bless-boot: remove a bunch of 'else'

docs: suggests people use path_extract_filename() + path_extract_directory()

path-util: drop the now unused dirname_malloc()

tree-wide: port things dirname_malloc() → path_extract_directory()

Merge pull request #24412 from keszybz/man-similarly

man: grammar cleanups

Merge pull request #23893 from yuwata/core-mount-re-read-mountinfo

core/mount: adjust deserialized state based on if the corresponding mountinfo entry exists or not

man/crypttab: rework formatting in "key acquisition section"

<example> without <title> was rendered as "Example 1.", which did not
look good. While at it, the text is rewored to be, I hope, a bit easier to
read.

test: install /etc/default/knot if available as well

The knot.service on Ubuntu Jammy loads an env file which we didn't
install, causing the service to fail:

```
knot.service: Will spawn child (service_enter_start_pre): /usr/sbin/knotc
knot.service: Failed to load environment files: No such file or directory
knot.service: Failed to run 'start-pre' task: No such file or directory
knot.service: Failed with result 'resources'.
knot.service: Service will not restart (restart setting)
```

man: similar → similarly

Something *is* similar
Something *works* similarly
Something does something, similarly to how something else does something

See https://sites.ulethbridge.ca/roussel/2017/11/29/similar-and-similarly-are-they-similar/
for a clear explanation.

Merge pull request #24352 from DaanDeMeyer/mkosi-opensuse

mkosi: Update to latest commit

fix typos

meson: Downgrade efi-ld warning

The warning isn't that serious and mostly there to inform the user that
lld/mold cannot build efi binaries. It is also better to build test with
fatal meson warnings.

ci: Add mold to build tests

fix typo

Allow uneven length BootXXXX variables

The BootXXXX variables may have an uneven length. Don't return error
in this case.

Signed-off-by: Goffredo Baroncelli <kreijack@inwind.it>

chase-symlinks: refuse more chase_symlink() flags in the open/stat flavours

These flags make no sense when we try to access the final inode, hence
refuse.

measure: add --current switch for "systemd-measure calculate"

This allows allows shortcutting measurements of the specified files and
use the information from /sys/ instead.

This is not too useful on its own given that "systemd-measure status"
already exists which displays the current, relevant PCR values. The main
difference is how "complete" the information is. "status" will detect if
the measurements make any sense, and show more than PCR 11. "calculate
--current" otoh only reads PCR 11 and uses that, and that's really it.

This is mainly preparation for later work to add PCR signing to the
tool, where usually it makes most sense to sign prepared kernel images,
but for testing it's really useful to shortcut signing to the current
PCR values instead

tree-wide: use path_join() instead of prefix_roota() in various cases

prefix_roota() is something we should stop using. It is bad for three
reasons:

1. As it names suggests it's supposed to be used when working relative
   to some root directory, but given it doesn't follow symlinks (and
   instead just stupidly joins paths) it is not a good choice for that.

2. More often than not it is currently used with inputs under control of
   the user, and that is icky given it typically allocates memory on the
   stack.

3. It's a redundant interface, where chase_symlinks() and path_join()
   already exist as better, safer interfaces.

Hence, let's start moving things from prefix_roota() to path_join() for
the cases where that's appropriate.

Merge pull request #24392 from poettering/chase-symlinks-more-stuff

some tweaks to chase_symlinks() and port some code from prefix_roota() over

test: make TEST-58-REPART support nspawn

test: merge test-repart.sh and TEST-58-REPART

test: modernize TEST-58-REPART

gpt: fix alignment

gpt: fix native uuids for s390x

__s390__ is defined for both s390 and s390x. Hence, we need to define
the native uuids for s390x at first.

udev: fix inversed inequality for timeout of retrying event

Follow-up for 5d354e525a56955ae7f68062e283dda85ab07794.

repart: drop doubled space

bash-completion: add systemd-sysext support

sysext: add missing COMMAND to the help output and man synopsis

Merge pull request #24385 from yuwata/hostname-chassis

hostname: fix fallback chassis type

ci: Drop `actions/setup-node` - unused

In `issue_labeler.yml` is no need for node.js runtime (`actions/setup-node`). It was accidentally added by `copy & paste` from another workflow.

conf-files: port conf_files_list() over to chase_symlinks() from prefix_roota()

hwdb-test: don't rely on --root= quirk

Previously, the test would rely on the fact that systemd-hwdb would
follow symlinks outside of the --root= hierarchy. That's a bug however,
and systemd-hwdb shouldn't do that. Hence let's remove the fact that the
test relies on it, so that we can then fix systemd-hwdb (specifically:
conf_files_list()) accordingly.

bootctl: port some more code over to chase_symlinks() from prefix_roota()

This is far from complete, but let's start moving this way.

chase-symlinks: add chase_symlinks_and_access() helper

This is similar to chase_symlinks_and_access() but wraps access() rather
than stat()

chase-symlinks: fix shortcut condition

chase-symlinks: honour CHASE_NOFOLLOW flag properly in some cases

test: add test case for chassis type

Add support for Fn+PrtSc on Thinkpads

This adds support for Fn+PrtSc on my Lenovo Thinkpad Extreme gen 2. Judging by the picture on the key, it should probably instead of prog2 be "selective_screenshot" (that is a possible value from judging this list https://gist.githubusercontent.com/samvel1024/02e5675e04f9d84f098e98bcd0e1ea12/raw/e18d950ce571b4ff5c832cc06406e9a6afece132/keynames.txt ) but that does not register with evtest at all. With this change, evtest reports:

```
Event: time 1661081631.027773, type 1 (EV_KEY), code 149 (KEY_PROG2), value 1
Event: time 1661081631.027773, -------------- SYN_REPORT ------------
Event: time 1661081631.027886, type 1 (EV_KEY), code 149 (KEY_PROG2), value 0
Event: time 1661081631.027886, -------------- SYN_REPORT ------------
```

I am not sure if systemd is the right place to add this, if not, please refer me somewhere else.

take jointly mounted controllers into account when migrate cgroups, otherwise "CGroupMask done" seems to be redundant.

hostname: make chassis type actually obtained from ACPI when nothing from DMI

Fixes a bug introduced by 8c8b1800e90d4307397300ef32b0f6d95efad057.

Fixes #24384.

Merge pull request #24379 from mrc0mmand/llvm-15

ci: build with clang-15; drop clang-12

mkosi: Install tests in final image

hashmap: use assert_se() to make clang happy

Otherwise it complains about a set but unused variable:

```
../src/basic/hashmap.c:1070:48: error: variable 'n_rehashed' set but not used [-Werror,-Wunused-but-set-variable]
        unsigned old_n_buckets, new_n_buckets, n_rehashed, new_n_entries;
                                                       ^
                                                       1 error generated.
```

coredump: drop an unused variable

network: drop an unused variable

machine: drop an unused variable

sd-journal: drop an unused variable

ci: build with clang-15; drop clang-12

Merge pull request #24378 from yuwata/test-network-issue-24377

test-network: add test case for issue #24377

test-network: add test for issue #24377

The issue has been already fixed by
b05e52000b4eee764b383cc3031da0a3739e996e (PR #24020).

test-network: add helper functions for reading logs of networkd

Merge pull request #24356 from keszybz/sd-netlink-api

Small improvements to the sd-netlink api

hwdb: Add Avita Liber NS13A2 (#24376)

This fixes the discrepancies in the coordinate ranges for the touchpad, touchpad in this device(NS13A2) is generic and the same one is used in most models.

measure: store bank name in PcrState structure

Let's not query/strdup()ascii_strlower() it all the time, but just cache
it once and use it.

test: wait for whole block device instead of partition

In 'udevadm lock' the device /dev/loopX is locked instead of
/dev/loopXp1. Hence, 'udevadm wait' should wait for /dev/loopX.

For some reasons, the kernel sometimes does not emit uevent for
partitions, and 'udevadm wait' for partitions may fail.

Fixes #24360.

test: correctly process multiline strings in $KERNEL_APPEND

Some tests (like TEST-02) set a multiline string to $KERNEL_APPEND
(which is a valid thing to do), unfortunately we'd use only the first
line of it and throw the rest away, e.g:

```
$ printf "%s" "$x"
hello

this is a multiline

kernel command line
$ read -ra out <<< "$x"
$ printf "%s" "${out[@]}"
hello
```

Let's use readarray/mapfile instead to avoid this:

```
$ readarray out <<< "$x"
$ printf "%s" "${out[@]}"
hello

this is a multiline

kernel command line

```

measure: add json output

Merge pull request #24368 from poettering/tpm2-json-pcr-array-rework

tpm2: add helpers for building/parsing JSON arrays of PCR indexes

Merge pull request #24350 from DaanDeMeyer/docs-pkexec

docs: Recommend pkexec over using an askpass program with sudo

tpm2-util: introduce tpm2_parse_pcr_argument() helper

Add a new tpm2_parse_pcr_argument() helper that unifies how we merge PCR
masks in a single function, we can use all over the place. Previously we
had basically the same code for this at 4 places.

rules: import previous SYSTEMD_READY state for suspended DM devices and skip other rules

We can't get any FS meta-data from a suspended device. Hence defer
making any plugged/unplugged decisions, i.e. we just import whatever was
previous state and skip processing all other rules.

Thanks Lennart Poettering <lennart@poettering.net> for suggesting this
solution.

tpm2-util: expose more hash algorithms

swtpm supports them, hence maybe support them in our codebase, too

tpm2-util: add TPM2_PCR_MASK_VALID() helper

sd-netlink: use SD_EVENT_ONESHOT for a time-based callback

mkosi: Drop workarounds

None of these should be necessary anymore with recent versions of
mkosi.

mkosi: Update to latest commit

Fixes #1128

TEST-70-TPM2: use "truncate" to generate disk image

Let'se operate on a sparse file here, to reuduce memory use.

Merge pull request #24362 from poettering/sha256-tweaks

some tweaks to the sha256 implementation

tpm2-util: also add helper for parsing PCR arrays

tpm2-util: split out helpers which format a PCR mask as a JSON array

This makes the code easier to read, and is something we can reuse later
on.

tree-wide: pass proper values (not bools) to sd_event_source_set_enabled()

Merge pull request #23653 from aafeijoo-suse/ask-for-recovery-key

cryptsetup: improve password prompt text

Add --efi-boot-option-description argument to bootctl to control the name of the boot
entry.

By default an entry named "Linux Boot Manager" is created (which is the
previous behavior). With the flag the name of the entry can be
controlled, which is useful when installing systemd-boot to multiple ESP
partitions and having uniquely named entries.

Fixes #17044.

TEST-70-TPM2: actually enable systemd-measure test

A bit emberassing that this never worked.

cryptsetup: make sure all token-based codepaths are effected by SYSTEMD_CRYPTSETUP_USE_TOKEN_MODULE env var

Previously the env var was only checked when conditionalizing use of our
own libcryptsetup loadable token modules.  But let's also use it for any
other kind of token module, including possible internal ones by
libcryptsetup.

cryptsetup: use right internal helper when checking whether to use tokens

The other codepaths get this right, the TPM2 one currently does not. Fix
that.

sha256: add sha256_direct()/SHA256_DIRECT() helpers

random-seed: use SHA256_DIGEST_SIZE

sha256: change digest buffer type to uint8_t[]

This way we can specify a size with "static". All users use uint8_t
already, hence this comes at no price.

sd-netlink: group message cons methods together