resolvectl: add basic ANSI markup to --help text

Underline the sections, as we nowadays do.

resolvectl: add JSON output support for "resolvectl query"

It's easy to add. Let's do so.

This only covers record lookups, i.e. with the --type= switch.

The higher level lookups are not covered, I opted instead to print a
message there to use --type= instead.

I am a bit reluctant to defining a new JSON format for the high-level
lookups, hence I figured for now a helpful error is good enough, that
points people to the right use.

Fixes: #29755

test: use a dropin for the journald snippet

The original way of appending to /etc/systemd/journald.conf doesn't work
anymore, since we no longer ship the default configs in /etc/.

man: always install bootctl

Since dedb925eafee8214ae565b861dfacfc02085f158 /usr/bin/bootctl is always built
so does its man page.

Merge pull request #30847 from keszybz/some-docs-updates

Some docs updates

update TODO

mkosi: Stop using file provides with CentOS/Fedora

dnf5 does not download filelists metadata by default anymore as this
consists of a pretty big chunk of the repository metadata. Let's make
sure the filelists metadata doesn't have to be downloaded by dnf5 by
removing any usage of file provides from our package lists.

homed: Add InhibitSuspend() method

This returns an FD that can be used to temporarily inhibit the automatic
locking on system suspend behavior of homed. As long as the FD is open,
LockAllHomes() won't lock that home directory on suspend. This allows
desktop environments to implement custom more complicated behavior

Merge pull request #31039 from AdrianVovk/slice-freeze-thaw

Rework slice recursive freeze/thaw

Merge pull request #30968 from poettering/per-user-creds

per-user encrypted credentials

meson: fix installation of html doc aliases

Apparently since 9289e093ae6fd5484f9119e1ee07d1dffe37cd10, "ln_s" takes
*absolute* paths only.

meson: don't install broken tmpfiles config with sshd?confdir == 'no'

20-systemd-ssh-generator.conf expands SSHCONFDIR, which is bogus when we
build with -Dsshconfdir=no. Similarly, avoid expanding SSHDCONFDIR in
20-systemd-userdb.conf when building with -Dsshconfdir=no.

Follow-up 6c7fc5d5f2.

test: explicitly set nsec3-iterations to 0

knot v3.2 and later does this by default. knot v3.1 still has the default set to
10, but it also introduced a warning that the default will be changed to 0 in
later versions, so it effectively complains about its own default, which then
fails the config check. Let's just set the value explicitly to zero to avoid
that.

~# knotc --version
knotc (Knot DNS), version 3.1.6
~# grep nsec3-iterations test/knot-data/knot.conf || echo nope
nope
~# knotc -c /build/test/knot-data/knot.conf conf-check
warning: config, policy[auto_rollover_nsec3].nsec3-iterations defaults to 10, since version 3.2 the default becomes 0
Configuration is valid

Follow-up to 0652cf8e7b.

core: Fail to start/stop/reload unit if frozen

Previously, unit_{start,stop,reload} would call the low-level cgroup
unfreeze function whenever a unit was started, stopped, or reloaded. It
did so with no error checking. This call would ultimately recurse up the
cgroup tree, and unfreeze all the parent cgroups of the unit, unless an
error occurred (in which case I have no idea what would happen...)

After the freeze/thaw rework in a previous commit, this can no longer
work. If we recursively thaw the parent cgroups of the unit, there may
be sibling units marked as PARENT_FROZEN which will no longer actually
have frozen parents. Fixing this is a lot more complicated than simply
disallowing start/stop/reload on a frozen unit

Fixes https://github.com/systemd/systemd/issues/15849

core: Rework recursive freeze/thaw

This commit overhauls the way freeze/thaw works recursively:

First, it introduces new FreezerActions that are like the existing
FREEZE and THAW but indicate that the action was initiated by a parent
unit. We also refactored the code to pass these FreezerActions through
the whole call stack so that we can make use of them. FreezerState was
extended similarly, to be able to differentiate between a unit that's
frozen manually and a unit that's frozen because a parent is frozen.

Next, slices were changed to check recursively that all their child
units can be frozen before it attempts to freeze them. This is different
from the previous behavior, that would just check if the unit's type
supported freezing at all. This cleans up the code, and also ensures
that the behavior of slices corresponds to the unit's actual ability
to be frozen

Next, we make it so that if you FREEZE a slice, it'll PARENT_FREEZE
all of its children. Similarly, if you THAW a slice it will PARENT_THAW
its children.

Finally, we use the new states available to us to refactor the code
that actually does the cgroup freezing. The code now looks at the unit's
existing freezer state and the action being requested, and decides what
next state is most appropriate. Then it puts the unit in that state.
For instance, a RUNNING unit with a request to PARENT_FREEZE will
put the unit into the PARENT_FREEZING state. As another example, a
FROZEN unit who's parent is also FROZEN will transition to
PARENT_FROZEN in response to a request to THAW.

Fixes https://github.com/systemd/systemd/issues/30640
Fixes https://github.com/systemd/systemd/issues/15850

Merge pull request #31109 from yuwata/nspawn-resolve-network-interface-before-move

nspawn: resolve network interface names before move to container namespace

Merge pull request #31120 from YHNdnzj/strv-env-non-pure

env-util: drop _pure_ for strv_env_get_n

Merge pull request #31124 from keszybz/various-small-tweaks

Various small tweaks

update TODO

man: document new user-scoped credentials

test: add integration test for per-user creds

creds: go via IPC service when unprivileged and trying to access services

Fixes: #30191

creds-util: add IPC client wrapper for new varlink apis

creds: allow Varlink clients to encrypt/decrypt their own credentials without polkit authentication

Now that we have the concept of scoped credentials, we can allow
unprivileged clients to encrypt/decrypt them as longed as they are
scoped to them.

creds-tool: add --user/--uid= to operate with scoped credentials

creds-util: add a concept of "user-scoped" credentials

So far credentials are a concept for system services only: to encrypt or
decrypt credential you must be privileged, as only then you can access
the TPM and the host key.

Let's break this up a bit: let's add a "user-scoped" credential, that
are specific to users. Internally this works by adding another step to
the acquisition of the symmetric encryption key for the credential: if a
"user-scoped" credential is used we'll generate an symmetric encryption
key K as usual, but then we'll use it to calculate

    K' = HMAC(K, flags || uid || machine-id || username)

and then use the resulting K' as encryption key instead. This basically
includes the (public) user's identity in the encryption key, ensuring
that only if the right user credentials are specified the correct key
can be acquired.

Merge pull request #31121 from YHNdnzj/notify-man

notify: a few cleanups

Merge pull request #31126 from poettering/sleep-error-msg

sleep: change log level of some log messages

varlink: add short comment that the log message is checked in test

Follow-up for 038e4554627c610ae6799d74f9f4bce530d7c283.

socket-util: check for sysconf() error before using value

Otherwise -1 will be casted to uint32_t. Found by coverity.

CID#1533989

Follow-up for 7e8aa5c2eebd86efe9bbf36d8db1e98964611aab

conf-parser: fix OOM check

nspawn: resolve network interface names before moving to container network namespace

To escape a kernel issue fixed by
https://github.com/torvalds/linux/commit/8e15aee621618a3ee3abecaf1fd8c1428098b7ef,
let's resolve provided interface names earlier, and adjust the interface
name pairs with the result.

Fixes #31104.

sd-device: use new interface name resolvers

sd-netlink: unify network interface name getter and resolvers

This makes rtnl_resolve_interface() always check the existence of the
resolved interface, which previously did not when a decimal formatted
ifindex is provided, e.g. "1" or "42".

sleep: upgrade fatal log message to LOG_ERR

sleep: upgrade some unexpected errors to LOG_WARNING log messages

sleep: remove redundant debug log message

sleep: add mising error message

man/networkd.conf: remove strange comment

Does anyone even read those pages‽

pstore: align table

journald: inline one variable declaration

shared/pretty-print: inline one more variable declaration

shared/pretty-print: use normal else-if cascade

This is not a hot path, but it seems silly to evalute subsequent branches,
which can never match once one has matched. Also, it makes the code harder to
read, because the reader has to first figure out that only one branch can
match.

bsod: do not use STRLEN

The compiler optimizes strlen away, so we can use the simplest form that is
type safe and more natural. STRLEN is only for array initialization.

basic/alloc-util: drop unnecessary parens

By definition, a parameter cannot contain a comma because commas
are used to delimit parameters. So we also don't need to use parens
when the use site is delimited by commas.

env-util: drop _pure_ for strv_env_get_n

This function calls getenv() internally, making it
non-pure, as envvars can change between two calls
even if passed arguments are the same.

env-util: don't use strlen_ptr if known non-NULL

notify: warn if notify msg specified along with --booted

notify: don't exit silently when --exec but no msg

Before this commit, if --exec is used but no message shall
be sent, we silently ignore --exec and exit, which is pretty
surprising. Therefore, let's emit clear error instead.

man/systemd-notify: don't say "the latter" if more than 2 options

notify: if execve() failed, always show original error

notify: deduplicate ppid handling

notify: minor modernizations

Merge pull request #31106 from poettering/bus-creds-pidref

sd-bus: port "sd_bus_creds" object to pidfds and use it everywhere

update TODO

man: document the new APIs

tree-wide: port various things over to new pidref helpers

THis not only mkaes a lot of code shorter, but also safer, as we pin the
clients via a pidfd.

bus-util: add helper for getting PidRef structs from bus

This adds two helpers: one for extracting a PidRef from an sd_bus_creds
object, and one from doing this from and sd_bus_message object.

sd-bus: tighten rules on sd_bus_query_sender_creds() a bit

Let's always derive credentials from a bus name or a conneciton fd if we
can, because they pin things.

Let's not go via PID really, because it's always racy to do so.

Note that this doesn't change much, since we wouldn't use such augmented
data for auth anyway (because it will be masked in the
sd_bus_creds.augmented mask as untrusted). But still, let's prefer
trusted data over untrusted data.

sd-bus: also read supplementary gids from bus driver

sd-bus: add pidfd to the sd_bus_creds structure

Let's continue with the pidfd'ification, and include pidfd in our
sd_bus_creds structure tha tracks a peers credentials.

socket-util: start SO_PEERGROUP loop with sysconf(_SC_NGROUPS_MAX), too

We do this for getgroups_malloc() hence we should do this here too,
after all whether we do it for a socket peer or for ourselves doesn't
make too much of a difference.

Fix bug where systemd-tmpfiles gets stuck on fifos in tmp.

Fixes #30690.

Merge pull request #31108 from yuwata/core-trivial-cleanups

core: several trivial cleanups

core/service: introduce SERVICE_STATE_WITH_{MAIN,CONTROL}_PROCESS()

core/socket: introduce SOCKET_STATE_WITH_PROCESS() helper function

core/unit: update outdated comment

Follow-up for 37eb258e91c780fd6fe5e44110abd9da71dce6de.

units: Order pcrlock services after systemd-remounts-fs.service

These write to /var and as such need to wait until after the rootfs
has been remounted read-write.

timesyncd: make the transmit timestamp in requests fully random

This improves security against off-path attackers, and avoids leaking
the current system time.

test: use lstat() instead of stat(follow_symlinks=False)

This makes the test compatible with Python 3.9, as the follow_symlinks
keyword was introduced in Python 3.10.

Merge pull request #31105 from mrc0mmand/test-nspawn

test: set -ex separately

update TODO

test: clean up the code a bit

packit: add a libarchive runtime dependency too

Addresses https://github.com/systemd/systemd/pull/31075#issuecomment-1911117026:

[   40.039232] testsuite-50.sh[624]: ++ systemd-dissect --make-archive /tmp/tmp.RZEq3t/minimal_0.raw
[   40.044745] testsuite-50.sh[625]: ++ sha256sum
[   40.066693] systemd-dissect[621]: libarchive.so.13 is not installed: libarchive.so.13: cannot open shared object file: No such file or directory
[   40.068577] systemd-dissect[621]: Archive support not available (compiled without libarchive, or libarchive not installed?).
[   40.092242] systemd-dissect[624]: libarchive.so.13 is not installed: libarchive.so.13: cannot open shared object file: No such file or directory
[   40.095716] systemd-dissect[624]: Archive support not available (compiled without libarchive, or libarchive not installed?).
[   40.100510] testsuite-50.sh[538]: + test e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 '!=' ''
[   40.100510] testsuite-50.sh[538]: + test e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 = e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855
[   40.108249] testsuite-50.sh[627]: + tar t
[   40.113791] testsuite-50.sh[626]: + systemd-dissect --make-archive /tmp/tmp.RZEq3t/minimal_0.raw
[   40.120300] testsuite-50.sh[628]: + grep etc/os-release
[   40.176288] systemd-dissect[626]: libarchive.so.13 is not installed: libarchive.so.13: cannot open shared object file: No such file or directory
[   40.180273] systemd-dissect[626]: Archive support not available (compiled without libarchive, or libarchive not installed?).
[   40.184017] testsuite-50.sh[627]: tar: This does not look like a tar archive
[   40.185430] testsuite-50.sh[627]: tar: Exiting with failure status due to previous errors

Follow-up for b68f4ca.

test: fix the container ID check

It never worked, but the fail was masked by missing set -e, see the
previous commit.

Also, throw env into the test container and dump the environment on
container start, to make potential failures easier to debug.

man: add working example for sd_bus_set_watch_bind()

This example is able to deal with D-Bus going away and reappearing,
like on soft-reboot, so link it in both manpages.

test: set -ex separately

We call the entrypoint.sh script using `bash entrypoint.sh`, so -ex from
the shebang won't be used in that case. Whoopsie.

core: add SYSTEMD_VERITY_SHARING env var for local development

When running an image that cannot be mounted (e.g.: key missing intentionally
for development purposes), there's a retry loop that takes some time
and slows development down. Add an env var to disable it.

Merge pull request #31095 from bluca/test_time_tz

test: unset TZ before timezone-sensitive unit tests are run

Merge pull request #31048 from YHNdnzj/fstab-modernization

fstab-util/generator: a few cleanups/improvements

sd-bus: fix exiting event loop when sd_bus_set_exit_on_disconnect is used

If sd_bus_set_exit_on_disconnect is used and the bus is part of an event
loop, and the D-Bus connection goes away (e.g.: soft-reboot), sd-bus
will always exit() the program instead of returning from the loop, as
the reference to the event is removed before it is checked.

Merge pull request #31092 from DaanDeMeyer/auto-features

mkosi: Use --auto-features=enabled for meson

CI: set TZ= in a unit test run to ensure tests don't break

test: unset TZ before timezone-sensitive unit tests are run

Some tests have hard-coded results that need to match, and change if
the caller has a timezone set via the TZ= environment variable, as it
is the case during reproducible build tests. Unset it.

mkosi: Use --auto-features=enabled for meson

Merge pull request #31083 from yuwata/core-several-cleanups

core: several cleanups

Merge pull request #31090 from poettering/bpf-lsm-rename

rename a bunch of bpf related .c/.h files, and functions there in to make naming of systematic

mkosi: Fix formatting in build script

dissect: add --make-archive option to convert DDI to tarball

man: Document ranges for distributions config files and local config files

Let's recommend that config files and drop-ins in /usr use the range
0-49 and config files in /etc and /run use the range 50-99 so that
files in /run and /etc will generally always override files from
/usr.

fstab-generator: drop unapplicable options for /usr/ too

We already drop these for /sysroot/usr/ in parse_fstab
(1e9b2e4fdd8d04e3fbfadbc0b92dc138c819c221). Let's make
things consistent, and do the same for /usr/ too (after
switch-root).

fstab-generator: modernize write_extra_dependencies

fstab-generator: add missing assertions

fstab-generator: drop unneeded initialization

fstab-util: clean up fstab_filter_options

Let's get rid of the confusing goto so that the flow is more
straightforward. Note that the behavior is slightly changed:
previously, ret_filtered would be an empty string even if
the original opts passed in is NULL, but after this commit
it returns NULL too. But this shouldn't matter, as all our
code handles NULL opts gracefully.

fstab-generator: drop assertions for mount opts

fstab_filter_options accepts NULL and (with later changes)
might even return NULL.

fileio: fputs_with_space → _with_separator and modernization

Merge pull request #31089 from keszybz/drop-syscall-filtering-and-new-syscalls

Drop syscall filtering and add new syscalls

core: introduce unit_unwatch_pidref_done() helper function

No functional change, just refactoring.

core/unit: split out unit_kill_one()

This also renames 'error' -> 'ret_error'.

No functional change, just refactoring.