journal: replace a bunch of assert() with friendlier checks

We should not rely that data stored in the journal files remains
entirely untouched at all times. Because we unallocate files, data might
go away any time. Hence, never assert() on any expectations on what the
file contains. Instead, handle it more gracefully as a corruption issue,
and return EBADMSG.

Fixes: #35229 #32436

journal: add 'const' at one more place

journal: determine compression once, not twice

This is just paranoia: let's determine the compression to use once,
instead of twice, after all te data is in journal files which might be
corrupted any time, and it would be weird if we came to different
results here each time.

journal: use EBADMSG for invalid data in file mmap

We must assume that any data in the mmap can change anytime because the
file is deallocated or similar. Let's strictly use EBADMSG for reporting
invalid file contents though (as opposed to using EINVAL if our own code
passes a wrong parameter somwhere).

core/varlink: split out dynamic-user stuff into its own source files

hwdb: Acer Nitro ANV15-51 Mic Toggle

mountfsd: support processing block devices with MountImage() (#37746)

Fixes: #35111

core: Various fixes for cgroup and pid namespaces (#36815)

meson: Don't fail install script if file doesn't exist

Depending on which optional features are enabled, the NSS module
might not have been built, which means the custom install script
will fail to remove the file. Let's pass -f so it succeeds regardless
of whether the file exists or not.

man: suggest using --unlock-tpm2-device=auto in cryptenroll example

When refreshing a tpm2 enrollment, it makes sense to use tpm2 to unlock
the device.

Fixes: #35279

meson: Add libmount feature

Let's reduce the dependencies required to build just libsystemd by
making libmount optional. The meson disabler feature makes this quite
trivial.

add CITATION.cff file

As per spec: https://citation-file-format.github.io/

Fixes: #35260

mountfsd: slightly relax check on image fds

Fixes: #35111

dissect-image: port to varlink_callbo_and_log()

varlink-util: format system errors via %m in varlink_call_and_log()

This kinda does what bee59ab901ca199d194f440cf37f7645004d3054 did for
varlinkctl also for the generic varlink_call_and_log() handler.

fixes for --machine= handling in run0 and journalctl (#37741)

Fixes: #32997

resolvectl: --raw improvements (#37743)

Fixes: #37737

core: rework how we track cgroup realized state (#37733)

sd-bus: treat '@' as equivalent to '@.host'

We allow omission of the part before and the part after the @. But so
far we didn't allow omitting both. There's no real reason for
disallowing that, hence be systematic and allow it.

sd-bus: port to split_user_at_host()

journalctl: politely refuse if non-root usernames are specified for --machine=

We currently cannot support that (supporting that would probably require
some active component in the machine, or alternatively idmapped mounts
or so), hence politely refuse it.

See: https://github.com/systemd/systemd/issues/32997#issuecomment-2127700945

run: chop off username from --machine= argument before calling OpenMachinePTY()

Let's be compatible with sd-bus' logic to talk to machine, and support
the usual user@host syntax. We only want the host part, hence chop if
off before passing it to OpenMachinePTY().

Fixes: #32997

machined: open up OpenMachinePTY() for unpriv clients

The method call already does a PK check, it was just forgotten to
allowlist this in the dbus policy. And in the dbus vtable for
OpenMachinePTY() call. (It was allowlisted in the per-machine
vtable…)

Anyway, clean this up.

hostname-util: add new helper split_user_at_host()

Let's introduce a common helper for splitting user@host specifications
like we use them for --machine=.

resolvectl: improve error message if we do not support dumping payload of RR

man: reword --raw= explanation a bit

Explain what we mean by "payload", and for which RR types this is
intended.

And don#t claim we'd output a full packet, because we don't. We output
only the RR in binary.

Fixes: #37737

resolvectl: output slightly more data when --raw=payload is used

Let's also show A/AAAA data in binary form if --raw=payload is used. For
these RR types there's only a single data field, hence it's obbviously
meant.

Inspired by: #37737

 core: Make sure we handle DelegateSubgroup= in combo with cgroupns

Currently, if we use a cgroup namespace together with DelegateSubgroup=,
the subgroup becomes the root of the cgroup namespace because we move the
service process to the subgroup before we unshare the cgroup namespace, and
the current cgroup becomes the root of the cgroup namespace when we unshare
the cgroup namespace.

Let's fix the problem by not moving the service process to the subgroup until
we've unshared the cgroup namespace. Note that this doesn't break the primary use
case of CLONE_INTO_CGROUP since we still use it to immediately clone into the service
main cgroup, just not anymore into the subgroup, but this shouldn't matter in practice.

Additionally, we need special handling for control processes, as those *do*
need to get spawned into the subcgroup immediately if delegation is configured to
avoid violating the cgroupsv2 "no inner processes" rule.

Effectively, this leaves us with the following logic:
- In exec_spawn(), spawn into subgroup if we're spawning a control process
  that needs to be spawned into a subgroup immediately. Otherwise, spawn into
  main service cgroup.
- In exec_invoke(), move into subgroup early if we don't need a cgroup namespace.
  Otherwise, move into subgroup after we've unshared the cgroup namespace.

core: Disable pid namespacing for control processes

PID namespaces frankly don't make any sense for control processes, so
let's gracefully degrade to no pid namespaces for control processes.

meson: Remove unnecessary deps from libsystemd-static build

blkid, libmount and openssl are not used in src/basic or src/libsystemd,
and so shouldn't be required as deps of libsystemd static, so let's drop
them.

ptyfwd: introduce pty_forward_set_window_title() helper function

hwdb: add support for Loupedeck devices

Razer has partnered with Loupedeck to develop some devices.

Add support for the following devices:
- Loupedeck CT
- Loupedeck Live
- Loupedeck Live S
- Razer Stream Controller
- Razer Stream Controller X

sd-daemon: add sd_pidfd_get_inode_id() (#37679)

vmspawn: fix call to GetUnitByPID

This commit also adds a handler for SIGRTMIN+4 which is another signal
used to shutdown systemd.

test-daemon: add test case for sd_pidfd_get_inode_id()

sd-daemon: add sd_pidfd_get_inode_id()

We nowadays expose pidfdid at various places, e.g. envvars
and dbus properties. Also the sd_notify() MAINPID= message
has been complemented with MAINPIDFDID=. But acquiring
pidfdid is actually non-trivial especially considering
the 32-bit case, hence let's introduce a public helper
in sd-daemon specifically for that purpose.

pidfd-util: extract pidfd_get_inode_id_impl() and make it thread safe

Preparation for later commits.

pidfd-util: open an internal pidfd if none is passed in pidfd_check_pidfs()

I'd like to introduce a libsystemd helper for acquiring pidfd
inode id, which however means the fd passed to pidfd_check_pidfs()
can no longer be trusted. Let's add back the logic of allocating
a genuine pidfd allocated internally, which was remove in
5dc9d5b4eacbe32f58ad6ca18d70931ab89ea409.

man/sd_pid_get_owner_uid: don't limit -EBADF to socket fds

sd-login: reject invalid pidfd with -EBADF consistently

We got it mostly right except for one function, fix it.

sd-login: various modernizations (#37728)

io-util: protect against INT_MAX overflow in flush_fd()

core/cgroup: make various functions static

Not used externally anymore with previous commits.

core/unit-printf: port to unit_get_cgroup_path_with_fallback()

core: rework how we track cgroup realized state

Prompted by https://github.com/systemd/systemd/pull/37646#discussion_r2126882561

Follow-up for 879952a85311ca375c673480d9718a9e0cd93c1d

Currently, almost all cgroup attr getters check cgroup_path for whether
cgroup is around. This is actually great, because we never want to expose
a non-existent cgroup path via IPC and such. However, it is spuriously
initialized at places where it shouldn't be, e.g. in unit_warn_leftover_processes().
This matters especially to units that *may* carry processes to run, but
not *always*, notably socket units. unit_warn_leftover_processes() is supposed
to be informative only and not try to set cgroup tracking to realized in
a half-assed way.

Hence, let's kill cgroup_realized field, and make sure cgroup_path is set
only if cgroup has been created. Be extra careful with deserialization
though, since the previous versions don't follow this rule and we need
to patch cgroup_path manually based on cgroup_realized we got from deserialization.

Calls to unit_watch_cgroup*() are dropped in cgroup_runtime_deserialize_one(),
because unit_deserialize_state() will invalidate cgroup realized state and
reapply later.

core/cgroup: don't ever try to get SPECIAL_ROOT_SLICE from Manager.cgroup_unit

This tries to query unit name in cgroup_unit hashmap, which
always returns NULL. Just return NULL directly instead.

core/unit-serialize: drop deserialization compat for state_change_timestamp

This was from v228, i.e. before cgroup v2 got introduced.
Nowadays cgroup v1 is outright rejected during initialization,
i.e. upgrading isn't possible whatsoever. Remove the compat glue there.

journal: make journal_file_copy_entry() robust towards copying invalid/half-written source journal files (#37732)

journal-file: let's make journal_file_copy_entry() robust against concurrent writing of the source

As usual, we need to protect ourselves against concurrent modification
of journal files. We a pretty good at that these days when reading
journal files. But journal_file_copy_entry() so far wasn't too good with
that. journal_file_append_data() so far returned EINVAL when you pass
invalid data to it. Since we pass the source data as-is in there, it's
going to fail if the journal source file is slightly invalid due to a
concurrent update.

Hence, we need to validate data gracefully here that we think comes from
a safe place, because actually it doesn't, it's directly copied from an
unsafe journal file.

Hence, let's introduce a clear error code here, and look for it in
journal_file_copy_entry(), and handle it gracefully.

Pretty sure this fixes #33372, but it's a race, so I don't know for
sure. If this remains reproducible we need to look at this again.

Fixes: #33372

compress: get rid of a bunch of 'else'

sd-login: port sd_peer_get_cgroup() to SO_PEERPIDFD

sd-login: place inner part of sd_login_monitor_new() by a table

sd-login: modernize return parameter handling

Let's rename the return parameters as "ret_xyz" systematically in
sd-login.

Also, let's make the return parameters systematically optional, like we
typically do these days. So far some where optional, other's weren't.
Let's clean this up.

test-network: extend comments how to run the test

Several follow-ups for userdb lookup from udevd and networkd (#37719)

update TODO

doc: tweaks to root storage daemon docs (#37727)

Bugprone argument comment 9 (#37712)

Follow up from https://github.com/systemd/systemd/pull/37678

copy: return immediately on fs-verity failures

Since 8065d02e263a ("copy: Fix error handling in fd_copy_directory()")
we immediately abort recursive copy operations on ENOSPC.  Let's also
abort on the common case of filesystems not supporting fs-verity: if
it's unsupported for one file, it's unlikely to work for the 1000s that
follow it.

We do this by mapping the two fs-verity "not supported" errors (ENOTTY,
EOPNOTSUPP) to ESOCKTNOSUPPORT as a special "fs-verity not supported
here" error.  When we see that error at the top level we exit
immediately.

This prevents us from having to see the same error message literally
thousands of time when using fsverity=copy with systemd-repart on a
filesystem which lacks the proper support.

Adjust the test-copy test case to expect the new errno.  Previously this
test case would output multiple failure lines per `copy_tree_at()`
invocation (for the failing cases) but now it only outputs one.

doc: clarify that root storage daemons need unit files

Fixes: #37700

doc: mention 'exitrd' term

Revert "github/mkosi: tentatively disable mkosi(opensuse) job"

This reverts commit 48a092afbb27b03daaeb2db938917eb98c82e366.

mkosi: install util-linux-systemd in SUSE

Some tools (findmnt, logger, lsblk, lslogins) got moved to a
new util-linux-systemd package in Tumbleweed so install it explicitly

TEST-17-UDEV: acquire SYS_UID_MAX/SYS_GID_MAX from userdbctl

Suse build systemd with -Dsystem-uid-max=499 -Dsystem-gid-max=499,
and seems to not provide /etc/login.defs file. See
https://github.com/bmwiedemann/openSUSE/blob/2dc224ae5d446e928519315f4d46f76d1e34b8a8/packages/s/systemd/systemd.spec

network: skip loading /etc/shadow

We only require UID/GID, hence not necessary to load information from shadow.

udev-rules: skip loading /etc/shadow

We only require UID/GID, hence not necessary to load information from shadow.

userdb: make ENOEXEC wins over ESRCH

Both ENOEXEC and ESRCH is a kind of error that indicate successful
lookup. ENOEXEC means the server found an entry but it does not
pass filter. ESRCH means the server could not find an entry.
Hence, ENOEXEC should have more information, and should be propagated to
the caller.

userdb: use RET_GATHER() at one more place and update comment

userdb: fix definition of USERDB_SYNTHESIZE_NUMERIC

Otherwise, we always synthesize numeric IDs.

Follow-up for e4d07d1a2d66fd200abdd977b70fc6ac69a369ce.

resolved: honour SD_RESOLVED_NO_CNAME flag when processing cache

Fixes: #33300
Replaces: #35102

treewide: correct argument comments for sd_event_add_time

treewide: correct argument comments for sd_netlink_call

treewide: correct argument comment to 'ret' where applicable

For functions with one return argument prefer 'ret' as argument comment.

ask-password-api: correct argument comment

Revert "coredump: lock down EnterNamespace= mount even more"

This reverts commit 4c9c8b8d09eff18df71ba4aa910df4201f9890a0.

Reverted change broke EnterNamespace= completely. For example, libdw
tries to access libc in /lib64 which points to usr/lib64 and that fails.
Similarly for binaries, we need to be able to resolve /bin to usr/bin
and /sbin to usr/sbin at the very least.

repart: correct argument comment

nsresourced: correct argument comments

sd-varlink: correct argument comment

homectl: rename 'emphasize_current' -> 'emphasize_current_password'

Other functions in this file use the same parameter naming.

generator: rename 'password' -> 'key_file'

Makes the header declaration and implementation consistent.

cgroup-util: rename 'fsfd' -> 'cgroups_fd'

Makes the header and implementation consistent.

man/pcrlock: fix typo

Follow-up for ccd2bf48b2d736e335f217d5621a817aa1b6beeb.

userdbctl: Label dynamic greeter users

doc: fix integration tests guide reference

core/varlink: use forward.h at two more places (#37716)

core/varlink: use forward.h at two more places

compress: avoid a bunch of div-by-zeroes

Follow-up for #37706. Implements the same logic for all compression
algorithms we have.

tpm2: various smaller fixes, mostly about better error messages and support checking (#37690)

Fixes: #35187
Fixes: #36743
Fixes: #37607

tpm2-util: guarantee that verb_has_tpm2_generic() returns usable exit status

tpm2-util: use BIT_FOREACH() more

tpm2: add a clear error message for all errors that suggest a PCR violation

Fixes: #35187

tpm2-util: add a brief summary of tpm2_unseal() return values in a comment

tpm2-util: also generate recognizable error if PolicyAuthorizeNV fails

pcrlock: also refuse lacking SHA-256 support early when creating policy

This will fail eventually, but let's be explicit early here.

pcrlock: make error messages more useful if PCR state doesn't match policy during PolicyOR

Fixes: #35187

measure: generate a more useful error in case SHA1 support is disabled by distro

Fixes: #36743

pcrlock: add "is-supported" verb that checks if the local TPM supports the commands we need for pcrlock

systemd-pcrlock requires support for the PolicyAuthorizeNV command,
which is not implemented in the first TPM2 releases. We also strictly
require SHA-256 support. Hence add a tool for checking for both of
these.

This is a tighter version of "systemd-analyze has-tpm2", that checks for
the precise feature that systemd-pcrlock needs, on top of basic TPM2
functionality.

Fixes: #37607

tpm2-util: correct copy/pasted error message

bus-unit-util: warn and ignore assignment of deprecated properties

With 5da476ac7728b91ad3a49c1b126b3559b4fbeed8, we refused to set the
properties, but this relaxes the behavior, and now commands warn and
ignore the assignment.

Also, assignment of CPUAccounting property is now warned and ignored,
which is deprecated by 29da53dde32a0097134f6c3ba5fb5220dd6e5423.

Prompted by https://github.com/systemd/systemd/pull/37665#discussion_r2115676993

repart: if partition already exists, required size may not be multiple of grain size

See partition_min_size_with_padding().
Fixes #37178.