core: Fail to start/stop/reload unit if frozen

Previously, unit_{start,stop,reload} would call the low-level cgroup
unfreeze function whenever a unit was started, stopped, or reloaded. It
did so with no error checking. This call would ultimately recurse up the
cgroup tree, and unfreeze all the parent cgroups of the unit, unless an
error occurred (in which case I have no idea what would happen...)

After the freeze/thaw rework in a previous commit, this can no longer
work. If we recursively thaw the parent cgroups of the unit, there may
be sibling units marked as PARENT_FROZEN which will no longer actually
have frozen parents. Fixing this is a lot more complicated than simply
disallowing start/stop/reload on a frozen unit

Fixes https://github.com/systemd/systemd/issues/15849

core: Rework recursive freeze/thaw

This commit overhauls the way freeze/thaw works recursively:

First, it introduces new FreezerActions that are like the existing
FREEZE and THAW but indicate that the action was initiated by a parent
unit. We also refactored the code to pass these FreezerActions through
the whole call stack so that we can make use of them. FreezerState was
extended similarly, to be able to differentiate between a unit that's
frozen manually and a unit that's frozen because a parent is frozen.

Next, slices were changed to check recursively that all their child
units can be frozen before it attempts to freeze them. This is different
from the previous behavior, that would just check if the unit's type
supported freezing at all. This cleans up the code, and also ensures
that the behavior of slices corresponds to the unit's actual ability
to be frozen

Next, we make it so that if you FREEZE a slice, it'll PARENT_FREEZE
all of its children. Similarly, if you THAW a slice it will PARENT_THAW
its children.

Finally, we use the new states available to us to refactor the code
that actually does the cgroup freezing. The code now looks at the unit's
existing freezer state and the action being requested, and decides what
next state is most appropriate. Then it puts the unit in that state.
For instance, a RUNNING unit with a request to PARENT_FREEZE will
put the unit into the PARENT_FREEZING state. As another example, a
FROZEN unit who's parent is also FROZEN will transition to
PARENT_FROZEN in response to a request to THAW.

Fixes https://github.com/systemd/systemd/issues/30640
Fixes https://github.com/systemd/systemd/issues/15850

Merge pull request #31109 from yuwata/nspawn-resolve-network-interface-before-move

nspawn: resolve network interface names before move to container namespace

Merge pull request #31120 from YHNdnzj/strv-env-non-pure

env-util: drop _pure_ for strv_env_get_n

Merge pull request #31124 from keszybz/various-small-tweaks

Various small tweaks

update TODO

man: document new user-scoped credentials

test: add integration test for per-user creds

creds: go via IPC service when unprivileged and trying to access services

Fixes: #30191

creds-util: add IPC client wrapper for new varlink apis

creds: allow Varlink clients to encrypt/decrypt their own credentials without polkit authentication

Now that we have the concept of scoped credentials, we can allow
unprivileged clients to encrypt/decrypt them as longed as they are
scoped to them.

creds-tool: add --user/--uid= to operate with scoped credentials

creds-util: add a concept of "user-scoped" credentials

So far credentials are a concept for system services only: to encrypt or
decrypt credential you must be privileged, as only then you can access
the TPM and the host key.

Let's break this up a bit: let's add a "user-scoped" credential, that
are specific to users. Internally this works by adding another step to
the acquisition of the symmetric encryption key for the credential: if a
"user-scoped" credential is used we'll generate an symmetric encryption
key K as usual, but then we'll use it to calculate

    K' = HMAC(K, flags || uid || machine-id || username)

and then use the resulting K' as encryption key instead. This basically
includes the (public) user's identity in the encryption key, ensuring
that only if the right user credentials are specified the correct key
can be acquired.

Merge pull request #31121 from YHNdnzj/notify-man

notify: a few cleanups

Merge pull request #31126 from poettering/sleep-error-msg

sleep: change log level of some log messages

varlink: add short comment that the log message is checked in test

Follow-up for 038e4554627c610ae6799d74f9f4bce530d7c283.

socket-util: check for sysconf() error before using value

Otherwise -1 will be casted to uint32_t. Found by coverity.

CID#1533989

Follow-up for 7e8aa5c2eebd86efe9bbf36d8db1e98964611aab

conf-parser: fix OOM check

nspawn: resolve network interface names before moving to container network namespace

To escape a kernel issue fixed by
https://github.com/torvalds/linux/commit/8e15aee621618a3ee3abecaf1fd8c1428098b7ef,
let's resolve provided interface names earlier, and adjust the interface
name pairs with the result.

Fixes #31104.

sd-device: use new interface name resolvers

sd-netlink: unify network interface name getter and resolvers

This makes rtnl_resolve_interface() always check the existence of the
resolved interface, which previously did not when a decimal formatted
ifindex is provided, e.g. "1" or "42".

sleep: upgrade fatal log message to LOG_ERR

sleep: upgrade some unexpected errors to LOG_WARNING log messages

sleep: remove redundant debug log message

sleep: add mising error message

man/networkd.conf: remove strange comment

Does anyone even read those pages‽

pstore: align table

journald: inline one variable declaration

shared/pretty-print: inline one more variable declaration

shared/pretty-print: use normal else-if cascade

This is not a hot path, but it seems silly to evalute subsequent branches,
which can never match once one has matched. Also, it makes the code harder to
read, because the reader has to first figure out that only one branch can
match.

bsod: do not use STRLEN

The compiler optimizes strlen away, so we can use the simplest form that is
type safe and more natural. STRLEN is only for array initialization.

basic/alloc-util: drop unnecessary parens

By definition, a parameter cannot contain a comma because commas
are used to delimit parameters. So we also don't need to use parens
when the use site is delimited by commas.

env-util: drop _pure_ for strv_env_get_n

This function calls getenv() internally, making it
non-pure, as envvars can change between two calls
even if passed arguments are the same.

env-util: don't use strlen_ptr if known non-NULL

notify: warn if notify msg specified along with --booted

notify: don't exit silently when --exec but no msg

Before this commit, if --exec is used but no message shall
be sent, we silently ignore --exec and exit, which is pretty
surprising. Therefore, let's emit clear error instead.

man/systemd-notify: don't say "the latter" if more than 2 options

notify: if execve() failed, always show original error

notify: deduplicate ppid handling

notify: minor modernizations

Merge pull request #31106 from poettering/bus-creds-pidref

sd-bus: port "sd_bus_creds" object to pidfds and use it everywhere

update TODO

man: document the new APIs

tree-wide: port various things over to new pidref helpers

THis not only mkaes a lot of code shorter, but also safer, as we pin the
clients via a pidfd.

bus-util: add helper for getting PidRef structs from bus

This adds two helpers: one for extracting a PidRef from an sd_bus_creds
object, and one from doing this from and sd_bus_message object.

sd-bus: tighten rules on sd_bus_query_sender_creds() a bit

Let's always derive credentials from a bus name or a conneciton fd if we
can, because they pin things.

Let's not go via PID really, because it's always racy to do so.

Note that this doesn't change much, since we wouldn't use such augmented
data for auth anyway (because it will be masked in the
sd_bus_creds.augmented mask as untrusted). But still, let's prefer
trusted data over untrusted data.

sd-bus: also read supplementary gids from bus driver

sd-bus: add pidfd to the sd_bus_creds structure

Let's continue with the pidfd'ification, and include pidfd in our
sd_bus_creds structure tha tracks a peers credentials.

socket-util: start SO_PEERGROUP loop with sysconf(_SC_NGROUPS_MAX), too

We do this for getgroups_malloc() hence we should do this here too,
after all whether we do it for a socket peer or for ourselves doesn't
make too much of a difference.

Fix bug where systemd-tmpfiles gets stuck on fifos in tmp.

Fixes #30690.

Merge pull request #31108 from yuwata/core-trivial-cleanups

core: several trivial cleanups

core/service: introduce SERVICE_STATE_WITH_{MAIN,CONTROL}_PROCESS()

core/socket: introduce SOCKET_STATE_WITH_PROCESS() helper function

core/unit: update outdated comment

Follow-up for 37eb258e91c780fd6fe5e44110abd9da71dce6de.

units: Order pcrlock services after systemd-remounts-fs.service

These write to /var and as such need to wait until after the rootfs
has been remounted read-write.

timesyncd: make the transmit timestamp in requests fully random

This improves security against off-path attackers, and avoids leaking
the current system time.

test: use lstat() instead of stat(follow_symlinks=False)

This makes the test compatible with Python 3.9, as the follow_symlinks
keyword was introduced in Python 3.10.

Merge pull request #31105 from mrc0mmand/test-nspawn

test: set -ex separately

update TODO

test: clean up the code a bit

packit: add a libarchive runtime dependency too

Addresses https://github.com/systemd/systemd/pull/31075#issuecomment-1911117026:

[   40.039232] testsuite-50.sh[624]: ++ systemd-dissect --make-archive /tmp/tmp.RZEq3t/minimal_0.raw
[   40.044745] testsuite-50.sh[625]: ++ sha256sum
[   40.066693] systemd-dissect[621]: libarchive.so.13 is not installed: libarchive.so.13: cannot open shared object file: No such file or directory
[   40.068577] systemd-dissect[621]: Archive support not available (compiled without libarchive, or libarchive not installed?).
[   40.092242] systemd-dissect[624]: libarchive.so.13 is not installed: libarchive.so.13: cannot open shared object file: No such file or directory
[   40.095716] systemd-dissect[624]: Archive support not available (compiled without libarchive, or libarchive not installed?).
[   40.100510] testsuite-50.sh[538]: + test e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 '!=' ''
[   40.100510] testsuite-50.sh[538]: + test e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 = e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855
[   40.108249] testsuite-50.sh[627]: + tar t
[   40.113791] testsuite-50.sh[626]: + systemd-dissect --make-archive /tmp/tmp.RZEq3t/minimal_0.raw
[   40.120300] testsuite-50.sh[628]: + grep etc/os-release
[   40.176288] systemd-dissect[626]: libarchive.so.13 is not installed: libarchive.so.13: cannot open shared object file: No such file or directory
[   40.180273] systemd-dissect[626]: Archive support not available (compiled without libarchive, or libarchive not installed?).
[   40.184017] testsuite-50.sh[627]: tar: This does not look like a tar archive
[   40.185430] testsuite-50.sh[627]: tar: Exiting with failure status due to previous errors

Follow-up for b68f4ca.

test: fix the container ID check

It never worked, but the fail was masked by missing set -e, see the
previous commit.

Also, throw env into the test container and dump the environment on
container start, to make potential failures easier to debug.

man: add working example for sd_bus_set_watch_bind()

This example is able to deal with D-Bus going away and reappearing,
like on soft-reboot, so link it in both manpages.

test: set -ex separately

We call the entrypoint.sh script using `bash entrypoint.sh`, so -ex from
the shebang won't be used in that case. Whoopsie.

core: add SYSTEMD_VERITY_SHARING env var for local development

When running an image that cannot be mounted (e.g.: key missing intentionally
for development purposes), there's a retry loop that takes some time
and slows development down. Add an env var to disable it.

Merge pull request #31095 from bluca/test_time_tz

test: unset TZ before timezone-sensitive unit tests are run

Merge pull request #31048 from YHNdnzj/fstab-modernization

fstab-util/generator: a few cleanups/improvements

sd-bus: fix exiting event loop when sd_bus_set_exit_on_disconnect is used

If sd_bus_set_exit_on_disconnect is used and the bus is part of an event
loop, and the D-Bus connection goes away (e.g.: soft-reboot), sd-bus
will always exit() the program instead of returning from the loop, as
the reference to the event is removed before it is checked.

Merge pull request #31092 from DaanDeMeyer/auto-features

mkosi: Use --auto-features=enabled for meson

CI: set TZ= in a unit test run to ensure tests don't break

test: unset TZ before timezone-sensitive unit tests are run

Some tests have hard-coded results that need to match, and change if
the caller has a timezone set via the TZ= environment variable, as it
is the case during reproducible build tests. Unset it.

mkosi: Use --auto-features=enabled for meson

Merge pull request #31083 from yuwata/core-several-cleanups

core: several cleanups

Merge pull request #31090 from poettering/bpf-lsm-rename

rename a bunch of bpf related .c/.h files, and functions there in to make naming of systematic

mkosi: Fix formatting in build script

dissect: add --make-archive option to convert DDI to tarball

man: Document ranges for distributions config files and local config files

Let's recommend that config files and drop-ins in /usr use the range
0-49 and config files in /etc and /run use the range 50-99 so that
files in /run and /etc will generally always override files from
/usr.

fstab-generator: drop unapplicable options for /usr/ too

We already drop these for /sysroot/usr/ in parse_fstab
(1e9b2e4fdd8d04e3fbfadbc0b92dc138c819c221). Let's make
things consistent, and do the same for /usr/ too (after
switch-root).

fstab-generator: modernize write_extra_dependencies

fstab-generator: add missing assertions

fstab-generator: drop unneeded initialization

fstab-util: clean up fstab_filter_options

Let's get rid of the confusing goto so that the flow is more
straightforward. Note that the behavior is slightly changed:
previously, ret_filtered would be an empty string even if
the original opts passed in is NULL, but after this commit
it returns NULL too. But this shouldn't matter, as all our
code handles NULL opts gracefully.

fstab-generator: drop assertions for mount opts

fstab_filter_options accepts NULL and (with later changes)
might even return NULL.

fileio: fputs_with_space → _with_separator and modernization

Merge pull request #31089 from keszybz/drop-syscall-filtering-and-new-syscalls

Drop syscall filtering and add new syscalls

core: introduce unit_unwatch_pidref_done() helper function

No functional change, just refactoring.

core/unit: split out unit_kill_one()

This also renames 'error' -> 'ret_error'.

No functional change, just refactoring.

core/unit: split out unit_kill_context_one()

No functional change, just refactoring.

Merge pull request #31082 from yuwata/network-cleanups-for-removing-routes

network: several cleanups for removing routes

update TODO

bpf-socket-bind: rename bpf_serialize_socket_bind() → bpf_socket_bind_serialize()

This function is the only outlier, all other BPF glue functions are
called bpf_<module>_xyz(). Hence swap this over here too.

core: rename restrict-ifaces.[ch] → bpf-restrict-ifaces.[ch]

Let's also clean-up naming of the "restrict-ifaces" BPF code. Let's name
the userspace glue analogous to the actual bpf code in src/core/bpf.

bpf-restrict-fs: also rename functions to bpf_restrict_fs_xyz()

Rename the functions too, to make clear this is really just about the
restrict-fs, and not generic LSM_BPF code.

loop-util: drop unused .uevent_seqnum_not_before and .timestamp_not_before fields

Merge pull request #31087 from YHNdnzj/logind-cleanup

logind: several cleanups

core: rename "bpf-lsm.[ch]" → "bpf-restrict-fs.[ch]"

This file is a bit misnamed. What it actually implements is one specific
BPF LSM module, that restricts file systems. As such it really should be
named after that, and not primarily by the mechanism it uses for that.

With this our glue code is now named the same way as the actual bpf code
files in src/core/bpf/, thus things become a bit more symmetric.

This is particular relevant as we'll soon have another BPF LSM in our
tree, see #26826, and we should be able to distinguish them by name.

This commit just renames the files and does some dumb search/replace of
the string. A follow-up commit will name some functions more expressively
inside the files.

Update syscalls lists

For discussion of listmount() and statmount(), see
https://lwn.net/Articles/950569/.

meson: drop arch filtering in syscall list

I added the filtering in 752fedbea7c02c82287c7ff2a4139f528b3f7ba8 as a way
to reduce the number of items in the tables. I thought it's "obvious", but
it might not be so.

One immediate problem is that the filter is broken, because on arm64,
os.uname().machine returns "aarch64", so we incorrectly filter out the arm
syscalls (there is just one: arm_fadvise64_64). Of course we could fix the
filter, but I think it's better to nuke it altogether. The filter on applies to
1 arm syscall and 5 s390 syscalls, and we have 500+ other syscalls, so this
"optimization" doesn't really matter. OTOH, if we get the filter wrong,
the result is bad. And also, the existence of the filter at all creates
problems for cross-builds.

I wanted to get rid of 'generate-syscall-list.py', but we need to generate a
backslash in the output. https://github.com/mesonbuild/meson/issues/1564 makes
this very very hard, since any attempt to put a backslash an inline argument
results in the backslash being replaces by a forward slash, which doesn't quite
have the same meaning. So let's use a standalone script until
https://github.com/mesonbuild/meson/issues/1564 is resolved.

meson: use a single line for one-item file lists

That file was mixing two styles, which looks ugly. Let's not make
the file unnecessarily long.

cgroup: don't enable bpf pseudo-controllers when doing a wildcard delegation

We can only delegate actual controllers, not the BPF pseudo-controllers
we defined as there's imply no concept for that. Hence, when users set
Delegate=yes to do a wildcard delegation, only delegate the regular
controllers.

This means that we won't bother with BPF stuff for such units where it's
entirelly unnecessary.