New PAM module: pam_systemd_loadkey

This module reads password from kernel keyring and sets it as PAM authtok.
It's inspired by gdm's pam_gdm, which reads the LUKS password stored by
systemd-cryptsetup, so Gnome Keyring can be automatically unlocked if set
to the same password (when autologin is enabled so the user doesn't enter
a password in gdm).

test-network: copy rules from source & build trees if needed

When running with --build-dir= we need to copy over udev rules from
$BUILD_DIR/udev.d/ and $SOURCE_TREE/udev.d/ to make stuff work as
expected.

test: add one missing cleanup

So the test doesn't fail when run multiple times with the same image.

secure-boot: print just before cold-resetting to help diagnose hangs

When testing the secureboot enroll feature, it can be hard to distinguish without
using the QMP API of QEMU whether we are in a hang situation of the UEFI firmware.

Making it clear that we reached the `ResetSystem` can be helpful towards that need.

sleep-config: allow setting empty HibernateMode= (use kernel default)

Both sleep_mode_supported and write_mode support this,
but parse_sleep_config currently prohibits this - it always
uses our default value if user specifies HibernateMode=<empty>.

Update TODO

doc: document explicitly when we require specific top-level mounts to be established

network: introduce SendHostname/Hostname DHCPv6 options

These options were previously reused by the DHCPv6 client from the
DHCPv4 client settings. Let's separate them for consistency.

update TODO

man: revise wording of cgtop -k and -P

Resolves: #29753

exec-invoke: don't double-close FDs on error

When a late error occurs in sd-executor, the cleanup-on-close of the
context structs happen, but at that time all FDs might have already
been closed via close_all_fds(), so a double-close happens. This
can be seen when DynamicUser is enabled, with a non-existing
WorkingDirectory.

Invalidate the FDs in the context structs if close_all_fds succeeds.

mkosi: Use cache and build subdirectories

Next release of mkosi will not use subdirectories under the cache
and build directory by default anymore, so let's make sure we already
start creating those ourselves.

Merge pull request #29740 from YHNdnzj/sleep-round-four

sleep: make sure we clear HibernateLocation on all error paths

tmpfiles: ignore EINVAL with --graceful

Add EINVAL to the list of ignored errnos, since acl_from_text() returns
EINVAL if it can't translate the given string.

~# cat /tmp/tmpfiles-test.conf
a+ /tmp/foo - - - - default:group:foo:rwx
~# build/systemd-tmpfiles /tmp/tmpfiles-test.conf --create --graceful
Failed to parse ACL "default:group:foo:rwx", ignoring: Invalid argument

Resolves: #29742

test: io.latency cgroup support might not be available, skip test

It doesn't seem to be enabled on Debian stable, and the test fails.

Follow-up for 5efc8183c9cf9b

namespace: normalize MountMode type a bit

Let's prefix it with a common prefix, and make sure the names are all
singular and the string table actually matches the names.

No change in behavour, just some rafactoring to make this enum a bit
less special, and make it follow our usual coding style more closely.

Merge pull request #29693 from rpigott/dhcp-rapid-commit

network: implement RFC4039 DHCP Rapid Commit

Merge pull request #29737 from glance-/tpm2-openssl

tpm2: fix build failure without openssl

Merge pull request #29734 from YHNdnzj/fstab-filter-options

fstab-generator: drop ignored mount options from mount unit Options=

Merge pull request #29745 from mrc0mmand/more-tests

test: cover more sd-executor related stuff

test: cover more sd-executor related stuff

Let's probe directives that have slightly more "complex" handling in
the serialization/deserialization machinery.

core: don't insert an extra space before each SocketBind{Allow,Deny}= item

The extra space was actually screwing up deserialization:

~# systemd-run --wait --pipe -p SocketBindAllow=any true
Running as unit: run-u167.service
Finished with result: exit-code
Main processes terminated with: code=exited/status=234
Service runtime: 1ms
CPU time consumed: 0
~# journalctl -b -p err
...
Oct 27 16:39:15 arch systemd-executor[5983]: Failed to deserialize: Invalid argument

Let's not do that by default and introduce a simple wrapper which
inserts the space after each item only when necessary.

test-network: add dhcp rapid commit test

core: actually set the CPU scheduling policy when deserializing it

sleep: make sure we clear HibernateLocation on all error paths

Also, let's say "sleep operation" rather than "sleep state",
the latter of which creates ambiguity with /sys/power/state.

fstab-generator: drop unapplicable mount options for / from mount unit Options=

Prompted by #29705

Note that x-systemd.wanted-by= and x-systemd.required-by= are not
dropped, since we ignore them because they are unnecessary rather
than unapplicable.

CI: add a build job with TPM but without OpenSSL

We keep introducing build failures with this combination due to the
high amount of changes, add a combination that covers it

resolved: fix build failure with gnutls

Follow-up for bd1ae178336a3d9143fe

tpm2: fix build failure without openssl

sleep: minor modernization for lock_all_homes

sleep: rework write_state and write_mode

sleep: update help text for suspend-then-hibernate

sleep: log about errno

sleep: drop unneeded includes

sleep: introduce sleep_operation_is_hibernation

fstab-generator: use RET_GATHER more

logind: fix abnormal switching causing the screen to go black

After logind receives the SIGRTMIN signal from the kernel, it will execute
manager_vt_switch---session_leave_vt---session_device_pause_all,The device
permissions of the session are removed here;under normal circumstances, the
tty value read from /sys/class/tty/tty0/active changes and switchesto a new
session,give the new session resume device permissions.
But under abnormal circumstances (such as switching quickly on a device using
wayland; and sometimes the kernel will suddenly send a SIGRTMIN signal, but
nothing changes),In these cases, logind does not give session resume device
permission, causing the device to have a black screen and suspended animation.

udev: fix typo for persistent flag

The 'parsistent' adjective is misspelt.

Merge pull request #29332 from esposem/ukify_simplify

ukify: automatically infer --signtool from the parameters given

fstab-generator: drop nofail and noauto options for critical mounts

Setting nofail for /usr mount doesn't make sense because without /usr we
can't really boot. However, having the flag set might cause races in
initrd where we could try to switchroot into rootfs before /usr is
actually mounted. Let's just ignore it so that we always have proper
mount unit ordering for /sysroot/usr mount.

network: implement RFC4039 DHCP Rapid Commit

This implements the DHCPv4 equivalent of the DHCPv6 Rapid Commit option,
enabling a lease to be selected in an accelerated 2-message exchange
instead of the typical 4-message exchange.

network: cleanup unreachable condition in dhcp client path

The client state is unconditionally set just above, making this
conditional unreachable.

editorconfig: add NEWS whitespace configuration

fd-uitl: rename PIPE_EBADF → EBADF_PAIR, and add EBADF_TRIPLET

We use it for more than just pipe() arrays. For example also for
socketpair(). Hence let's give it a generic name.

Also add EBADF_TRIPLET to mirror this for things like
stdin/stdout/stderr arrays, which we use a bunch of times.

nspawn: Make parameter provided_mac a const for setup_veth()

Merge pull request #29711 from berrange/tests-silverblue

Fix test suite when developing on Fedora SilverBlue (rpm-ostree) host

Merge pull request #29727 from aafeijoo-suse/default-tpm2-public-key-fix

tpm2: fixes related to `tpm2-pcr-public-key.pem`

core: do not post-process skipped mounts

When a mount is gracefully skipped (e.g.: BindReadOnlyPaths=-/nonexistent)
we still post-process it, like making it read-only. Except if nothing
has been mounted, the mount point will be made read-only for no reason.
Track when mounts are skipped and avoid post-processing.

One day we'll switch all of this to the new mount api and do these
operations atomically or not at all.

Fixes https://github.com/systemd/systemd/issues/29725

test: Skip test-recurse-dir on overlayfs

mkfs-util: Use actual UID/GID in protofile instead of root

repart: do not ignore `tpm2-pcr-public-key.pem`

If `--tpm2-public-key=` is not specified, but `tpm2-pcr-public-key.pem` exists
in /{etc,run,usr/lib}/systemd/, it's being ignored.

Fixes 9e437994

test-fstab-generator: skip test impacted by /mnt symlink

On rpm-ostree distributions such as Fedora SilverBlue /mnt
(and other well known paths) will be a symlink to a location
under /var. The fstab generator emits correct output in this
case, however, the data does not match the expected output
stored in the source tree.

Rather than trying to adapt the test data, just skip this
single test scenario when we see /mnt is a symlink.

Signed-off-by: Daniel P. Berrangé <berrange@redhat.com>

test-systemd-tmpfiles: skip when /tmp has unexpected ownership

The systemd-tmpfiles binary will report a fatal error if /tmp is not owned
either by root, or by the current user:

  Detected unsafe path transition /tmp (owned by nobody) →
    /tmp/test-systemd-tmpfiles.a8qc6n18 (owned by berrange)
    during canonicalization of
    tmp/test-systemd-tmpfiles.a8qc6n18/test-content.7chd7rdi

When doing development inside a 'toolbox' container (which is required
on a Fedora SilverBlue distro), /tmp is owned by 'nobody', because it
has been passed through from the host and host UID 0 gets mapped to
UID 65536 by usernamespaces. This triggers the unsafe path transition
error message.

Signed-off-by: Daniel P. Berrangé <berrange@redhat.com>

test-blockdev-util: avoid abort when /home is a symlink

On rpm-ostree distributions like Fedora SilverBlue /home (and various
other well known locations) are symlinks to somewhere beneath /var.

The path_is_encrypted() method uses O_NOFOLLOW and as a result will
return ELOOP on /home. This causes test-blockdev-util to abort.
Add ELOOP to the ignorable set of errnos for testing.

Signed-off-by: Daniel P. Berrangé <berrange@redhat.com>

logind: introduce CreateSessionWithPIDFD()

This new D-Bus API uses pidfd to refer to the session leader. Also,
pam_systemd will try to make use of it when pidfd support is available.

Merge pull request #29720 from poettering/cgls-fix-delegate

cgls: fix display of delegation flag

Merge pull request #29529 from yuwata/core-namespace-check-priv

core/namespace: check if we have enough privilege

cryptenroll: fix bind default TPM2 signed policy to PCR 11

If `--tpm2-public-key=` is not specified, but `tpm2-pcr-public-key.pem` exists
in /{etc,run,usr/lib}/systemd/, the default PCR 11 is not being set.

Fixes 9e437994

varlink: make sure 'incomplete' bool is nullable

This field is optional, it only makes sense for user records that
actually have a privileged part to set.

test: add a simple test for PrivateNetwork=

core/namespace: check if we have enough privilege to mount sysfs or procfs

If we do not have enough privilege to mount a new instance of sysfs or
procfs, units e.g. with PrivateNetwork=yes may fail.

Let's first try to mount sysfs or procfs anyway to check if we have enough
privilege.

Fixes #29526.

core/namespace: unify logic of mounting /proc and /sys

No functional change, just refactoring.

Merge pull request #29718 from yuwata/networkd-update-state-file-after-dhcp6-information-request

network: update state file when DHCPv6 reply for INFORMATION-REQUEST is received

cgroup-show: rework cgroup tree display to operate by fd only

This restores display of the "delegate" flag of a cgroup. Previously we
erroneously passed a full fs path where a cgroup path was expected (the
difference being the /sys/fs/cgroup/ prefix), which meant we never read
the xattr properly. Let's fix that by simply operating by fd on the
cgroup and using it for all operations.

cgroup-util: add cg_is_delegated_fd() helper

This is just like cg_is_delegate() but operates on an fd instead of a
cgroup path.

Sooner or later we should access cgroupfs mostly via fds rather than
paths, but we aren't there yet. But let's at least get started.

tree-wide: port various users over to the new getxattr_at_bool() call

xattr-util: add new getxattr_at_bool() helper

This carefully combines getxattr_at_malloc() and parse_bool(), which is
something we use at multiple places.

core/cgroup: ignore NFT sets for other sources

Partially fixes: #29678

core: do not reset tty if there's no tty configured

Otherwise a lock is taken, which can be taken by multiple units at the
same time, depending on each other, causing a deadlock.

Fixes https://github.com/systemd/systemd/issues/29682

inotify-util: drop to use pointer outside of the buffer

Hopefully fixes many Coverity issues.

tree-wide: fix typo

test-network: suppress too much outputs of state file

Follow-up for 0f9efffaeb84964a3ab0f32271fba38f3bee2394.

network: update state file when DHCPv6 reply for INFORMATION-REQUEST is received

Otherwise, received information, e.g. DNS servers, may not be saved in
the state file, and will not be propagated to clients like resolved.

Fixes the first issue of #29678.

dissect: insert missing space

Merge pull request #29708 from DaanDeMeyer/bootctl-always

Always build bootctl

Merge pull request #29710 from mrc0mmand/test-pcrextend

test: TEST-70-TPM2 shenagians

random-seed: terminate the option array

So we don't crash on invalid options:

$ build/systemd-random-seed --foo
Segmentation fault (core dumped)

man/systemd.unit: add PropagatesStopTo= to reverse property table

test: slightly extend systemd-tpm2-setup's coverage

tpm2-setup: drop the COMMAND placeholder from the help

Since systemd-tpm2-setup doesn't expect any arguments.

tpm2-setup: terminate the option array

Otherwise bad things happen:

$ build/systemd-tpm2-setup --foo
Segmentation fault (core dumped)

test: add a couple more tests for systemd-pcrextend

test: make the TPM event log checking a bit more robust

Don't hardcode the event number, so the test works correctly even if
someone wrote to the event log before us. Also, explicitly pick the
sha256 bank when checking digests, as the indexing may vary depending on
current TPM's capabilities.

meson: Always build systemd-measure

Same idea as with bootctl, we might be doing image builds from a
system that doesn't boot with UEFI but we still might want to measure
stuff for the image we're building so let's not gate this behind
ENABLE_BOOTLOADER.

meson: Always build bootctl

bootctl is rather useful to have, even if on a system without UEFI,
as it has a number of verbs that are unrelated to UEFI (e.g kernel-identify),
and more importantly, it supports --root to operate on directory trees
(which could be intended to be deployed on UEFI) so let's make sure we
always build it.

nspawn: allow user-specified MAC address on container side

Introduce the environment variable SYSTEMD_NSPAWN_NETWORK_MAC to allow
user-specified MAC address on container side.

test: split TEST-70-TPM2 into subtests

Merge pull request #29704 from mrc0mmand/cocci

Another round of Coccinelle tweaks

Merge pull request #29695 from poettering/repart-reduce-global-vars

repart,cryptenroll: three smaller tweaks

cryptsetup: remove redundant check

The immediately preceeding check already covered that.

This removes and addition made back in aae6eb96117acd54ce5ac572aac6a11b34c4ad99.

cc @williamcroberts

Merge pull request #29698 from poettering/tpm2-no-best-pcr

tpm2: minor tweaks

udev: strdupa() → strdupa_safe()

network: use timestamp_is_set() in one more place

network: ENOTSUP → EOPNOTSUPP

core,journal: drop unnecessary !! casts

coccinelle: don't run iovec-make on iovec_done{,_erase}

As the result is a bit funky (but still valid), i.e.:

 static inline void iovec_done_erase(struct iovec *iovec) {
         assert(iovec);

-        iovec->iov_base = erase_and_free(iovec->iov_base);
-        iovec->iov_len = 0;
+        *iovec = IOVEC_MAKE(erase_and_free(iovec->iov_base), 0);
 }

Merge pull request #29553 from keszybz/analyze-cat-config-tldr

analyze/cat-config: add switch to print only "interesting" parts of conffiles

tpm2-util: add line breaks in compound struct init, like we usually do

Merge pull request #29687 from yuwata/network-state-file-sync

network: several fixlets for state file

cryptenroll: validate positional arguments before looking at detail parameters

Let's switch the order in which we process positional arguments and
analyze/tweak detail parameters. Let's look at the positional arguments
first (i.e. the "big picture") and then look at the switches (i.e.
"little details").

THis doesn't matter much, but makes for better error messages I think.
At least I was very confused that a completely borked cmdline I passed
to cryptenrolled complained about some detail and let the major fuckup
pass...