test: add testcase that verifies we can safely delete subcgroups owned by other users if we own the parent

This is a test for the previous commits: we create an unpriv, delegated cgroup in
--user mode, then create a subcgroup that is owned by some other user
(to mimic the case where an unpriv user got a userns with delegated UIDs
assigned), and then try to stop the unit. traditionally this would fail,
because our unpriv systemd --user instance can't remove the subcrroup
owned by someone else. With the earlier patches this is addressed.

cgroup: when we fail to clean up a cgroup, let's ask PID 1 for help

pid1: add D-Bus API for removing delegated subcgroups

When running unprivileged containers, we run into a scenario where an
unpriv owned cgroup has a subcgroup delegated to another user (i.e. the
container's own UIDs). When the owner of that cgroup dies without
cleaning it up then the unpriv service manager might encounter a cgroup
it cannot delete anymore.

Let's address that: let's expose a method call on the service manager
(primarly in PID1) that can be used to delete a subcgroup of a unit one
owns. This would then allow the unpriv service manager to ask the priv
service manager to get rid of such a cgroup.

This commit only adds the method call, the next commit then adds the
code that makes use of this.

pid1: allow moving processes in a userns owned by the user, too

Let's liberalize process migration a bit. Previously, PID 1 would only
allow you to move processes into your own cgroups, if those processes
are owned by you too. This is now slightly relaxed: it's now also OK if
the processes are in a userns owned by you.

This makes process migration more useful in context of unpriv userns.

Simple pam_systemd clean-ups (#35919)

fmf: Only mess with /etc/yum.repos.d when running within testing farm

If running tmt locally to debug the test script, make sure we don't
mess with /etc/yum.repos.d.

Three fmf fixes (#35917)

logind: also potentially GC the session if we cannot send reply

logind: indicate that 'error' parameter is input by making it const

logind: split out logic that finds free session ID into helper call

Just some refactoring to make an overly large function a bit smaller.

logind: normalize parameter to create_session()

We can pass a properly typed Manager object here, no reason to pass it
as void*.

fmf: Fix glob

Globs inside quotes aren't expanded and we need the glob to be more
specific to avoid matching multiple entries inside the tmt source
directory.

fmf: Fix dist-git example

All that's needed is dist-git-source: true so remove the other settings
that aren't required.

fmf: Don't fail if we can't put selinux in permissive mode

The tests might be running unprivileged or in an environment without
selinux so let's not fail if we can't put it in permissive mode.

Stop installing some markdown docs/ files

These files are rendered on systemd.io and targeted at contributors, not
users, so it's not really useful to install them on a running system.

namespace-util: two new operations (#35833)

(This is preparation for #35685, but since it comes with nice test cases
should be safe to add on their own)

namespace-util: add process_is_owned_by_uid() helper

namespace-util: add helper to get base UID from userns

namespace-util: slightly tweak proc_mounted() handling in namespace_is_init()

Let's not sloppily eat up errors here.

namespace-util: return recognizable error if namespace_open_by_type() fails because ns type not supported

This makes sure the the codepath that derives an nsfd from a pid works
the same for the pidfd case and the non-pidfd case: if we can verify
that /proc/ is mounted but the /proc/$PID/ns/ files are missing, we can
assume the ns type is not supported by the kernel. Hence return the same
ENOPKG error in this case as we already do in the pidfd ioctl based
codepath.

Bump minimum kernel baseline to 5.4, recommended version to 5.7

As requested, a list of kernel version to feature mapping
for kernels older than minimum baseline is also included,
in order to ease potential backport work.

udev: introduce io.systemd.Udev varlink interface (#35721)

Replaces #25523.

resolve: fix typo in DNS_EDE_RCODE_PROHIBITIED constant name

Drop the extra `I` and rename the constant to DNS_EDE_RCODE_PROHIBITED
in accordance with the error code string.

mkosi: Bump device timeout back to default value

Hopefully fixes #35302

stdio-bridge: fix polled fds

Poll fds associated with the bus instead of hardcoding stdin/stdout.

This is consequential under socket activation, when the provided fd
should be used instead of stdin/stdout.

fmf: Check out target branch in packit

packit: Simplify configuration

obs: also trigger Fedora package builds

The package is logistically separated, as the rpm sources conflict from Fedora
conflict with the rpm sources from SUSE (some files have the same name and
location but different, incompatible content), so Fedora builds can't be
triggered from the same package. The result is the same.

ask-password: req must be non-NULL

After #35074, the parameter 'req' must be non-NULL.

Fixes CID#1586101, CID#1586102, and CID#1586103.

mkosi: Install which in build image

Required by gdb-add-index to find gdb and not declared as a dependency
of the package.

test: add test case for AddDependencyUnitFiles assert

Follow-up for d87dc74e8f1a30d72a0f202e411400bab34ab55a

units: introduce systemd-udevd-varlink.socket

Co-authored-by: David Tardon <dtardon@redhat.com>

udevadm: use varlink connection to send ping

udevadm-control: use varlink to send commands

udev-varlink: introduce io.systemd.Udev varlink interface

Co-authored-by: David Tardon <dtardon@redhat.com>

TEST-17-UDEV: wait for udevd being restarted after exit control command

Also wait for created devices being processed before running tests.

docs: Remove VIRTUALIZED_TESTING.md

Let's nuke this out-of-date doc in favor of HACKING.md.

repart: Use streq_ptr()

p->format is not guaranteed to be initialized.

machine: update log message and comments

Follow-up for 9af9d66184caf565805d0cabc1dd99de5469931e and
453f2359ffcafaafe10297319dd8f85a11a4e1c4.

xopenat(): introduce new XO_REGULAR flag (#35834)

This is something I think we should have added a long time ago: a
flavour of open() that safely ensures the inode we are opening is a
regular file, before we open it. It does this by means of pinning the
inode via O_PATH first, and after verification actually opening it.

This ports some code over to this, but sooner or later we should
probably use this a lot more, so that we don't accidentally open weird
stuff such as device nodes or pipes, where we should not.

pretty-print: drop extra ';' from progress reporting end sequence

This corrects the closing sequence for the ConEmu progress reporting
final sequence. We by mistake sent two final ;;, where only one was
expected. The terminals I tested this with didn't care, but Ghostty
apparently does. Let's fix things and generate the closing sequence as
per doc:

https://conemu.github.io/en/AnsiEscapeCodes.html#ConEmu_specific_OSC

process-util: a process from a foreign pidns is definitely not our child

Addresses: https://github.com/systemd/systemd/pull/35242#pullrequestreview-2531712318

basic/linux: update kernel headers from v6.13-rc6

This also removes README and moves the explanation about the header
modification to the script.

update TODO

copy: port things over to XO_REGULAR

machine: switch to using cleanup handling for child process cleanup

machine: transition back to host mount ns before copying files from/to container

When copying files from or to a container we so far opened the host side
fd first, then entered the container (specifically, joined it's mount
namespace) in a forked off child process, and opened the other side
there, followed by the (potentially slow) copying from inside the
container mount namespace.

This commit changes this so that we rejoin the host mount namespace
before doing the copying routine. This is relevant, so that we can rely
on /proc/self/fd/… to work, which is not the case otherwise, as we'll
see /proc/ from a pidns that is not our own, in wich case
/proc/self/fd/… is refused. By moving back to the host mount namespace
our own pidns and the pidns the /proc/ mount belongs to will be in sync
again, and all is good.

This is in particular preparation for the next commit, that makes the
copy routine strictly depending on /proc/ being accessible and working.

fs-util: add XO_REGULAR flag for xopenat()

If this flag is set we guarantee that the fd returned refers to a
regular file. If the file exists and is not one, fails.

machine: introduce io.systemd.Machine.{CopyFrom, CopyTo} methods (#34913)

This PR introduces io.systemd.Machine.CopyFrom and CopyTo method which
are DBus alternatives of:
- CopyFromMachine
- CopyToMachine
- CopyFromMachineWithFlags
- CopyToMachineWithFlags

The PR also contain tests

core: fix assert when AddDependencyUnitFiles is called with invalid parameter

unit_file_add_dependency() asserts, so check before calling it that the
type is expected, or return EINVAL to the caller.

root@localhost:~# busctl call org.freedesktop.systemd1 /org/freedesktop/systemd1 org.freedesktop.systemd1.Manager AddDependencyUnitFiles "asssbb" 0 uwhatm8 After 1 1

Broadcast message from systemd-journald@localhost (Mon 2025-01-06 18:12:14 UTC):

systemd[1]: Caught <ABRT>, from our own process.

Fixes https://github.com/systemd/systemd/issues/35882

hwdb: WALTOP International Corp. Slim Tablet Stylus

tree-wide: drop references to CentoS/RHEL 7 and 8 (#35881)

Two fmf fixes (#35879)

test-network: drop workaround for old CentOS release

test-network: nowadays it runs not only on CentOS

meson: drop workaround for CentOS 8

CentOS 8 and RHEL 8 reached EOL.

docs: replace link to RHEL7 document with RHEL9 documents

tools: drop workaround for CentOS 7

README: CentOS Stream 8 reached EOL

fmf: Support being used downstream in dist-git tests

We can use our upstream fmf definitions to run downstream tests in
the Fedora systemd dist-git repository
(https://src.fedoraproject.org/rpms/systemd). To have access to the
dist-git sources when running the tests, we enable dist-git-source: true
downstream which makes the sources available in $TMT_SOURCE_DIR so
let's make sure we use those sources if they're available.

fmf: Insist on mkosi sha being available

Let's assume the workflow file containing the mkosi always being
available.

Also fix the detection while we're at it by not leaving the systemd
directory.

machine: move io.systemd.Machine.Map* tests into right position

machine: tests for io.systemd.Machine.{CopyFrom, CopyTo} methods

machine: introduce io.system.Machine.{CopyFrom, CopyTo} methods

machine: use machine_copy_from_to() in dbus implementation

machine: introduce machine_copy_from_to() helper

machine: split operation initialization into two steps

machine: adjust operation callback logic for varlink

This is to simplyfy varlink callback. There is no use of this logic atm.
So, no harm.

sd-varlink: add flag for sd_varlink_server for creating connections w… (#35841)

…ith fd passing enabled

Let's add a simple flag that enables fd passing for all connections of a
server. It's much easier to use this than to install a connect handler
which manually enables this for each connection.

 mkosi: Migrate more deprecated options  (#35873)

CI: add OBS workflow integration to build packages on push to main

When main is updated, packages for Arch/Debian/Ubuntu/SUSE will be built and published
on OBS:

https://download.opensuse.org/repositories/home:/bluca:/systemd/
https://build.opensuse.org/project/show/home:bluca:systemd

ci: Rename qemu variable to vm

mkosi: Migrate more deprecated options

sd-device: fix validation for devices under /sys/firmware/ in sd_device_new_from_subsystem_sysname() (#35863)

Devices under /sys/firmware/ do not have subsystems. Hence, the
validation in sd_device_new_from_subsystem_sysname() ->
device_new_from_path_join() always failed.

Fixes a bug introduced by cd7c71154cd62d3f50c07ce387edd9c20aebd7bc
(v257).
Fixes #35861.

mkosi: replace deprecated settings and command with new ones

Follow-up for c008b703701e676a88e16de4c867b9fc4818070d.

These settings and command were deprecated by the following commit.
https://github.com/systemd/mkosi/commit/ebcd2efa03af5c04de91434634f2e4a956f7e53c

machine: several follow-ups for #35066 (#35868)

Addresses the post-merge review comments.

basic: port various pidfd/pidref helpers to PIDFD_GET_INFO and PIDFD_GET_*_NAMESPACE (#35242)

Supersedes #35308 (cherry-picked one commit and replaced the rest)

(I left a few comments that's folded by GitHub. Please make sure to
check them too.)

more pidref'ification (#35839)

This is split out of #35264, but makes a ton of sense on its own.

mountfsd,networkd,nsresourced: port over to new fd passing varlink server flags

tty-ask-password-agent: if we're spawning further agents, grant them notify access (#35855)

Alternative to #35853

cgroup-util: add remoteness checks to all cg_pidref_get_xyz() calls

sd-login: make use of getpeerpidref() and cg_pidref_get_*()

cgroup-util: add pidref counterparts for cg_pid_get_session() + cg_pid_get_owner_uid()

socket-util: introduce getpeerpidref()

This combines getpeercred() and getpeerpidfd() and returns a PidRef

sd-varlink: add flag for sd_varlink_server for creating connections with fd passing enabled

Let's add a simple flag that enables fd passing for all connections of a
server. It's much easier to use this than to install a connect handler
which manually enables this for each connection.

machine: comment source and destination must be absolute

Addresses the post-merge review comment:
https://github.com/systemd/systemd/pull/35066#discussion_r1901841247

machine: use json_dispatch_const_path() where applicable

Follow-up for #35066 and 3866e9ce9d34328460aee5ca01f6f1becfa200eb.

packit: Move fmf metadata into upstream (#35700)

This moves https://src.fedoraproject.org/tests/systemd into upstream so
it's one less moving piece that we need to remember.

packit: Move fmf metadata into upstream

This moves https://src.fedoraproject.org/tests/systemd into upstream
so it's one less moving piece that we need to remember. While we're at
it, do various cleanups as well:

- Remove non-packit logic
- Set NO_BUILD in mkosi.local.conf as it's not picked up from the
  process environment
- Don't set unused environment variables
- Remove workdir logic as we run in an ephemeral VM already
- Drop --verbose from meson test to reduce noise
  from passed tests
- Use mkosi sandbox and drop duplicated deps from metadata file
- Stop running the unit tests as they already run as part of the rpm
  build and as part of the integration tests.
- Various style fixes

mkosi: Make path exclude more generic

The systemd rpms we try to install in packit have /usr/bin/bash and
/usr/bin/python3 as dependencies which breaks dnf5 because mkosi
doesn't download filelists metadata and
https://bugzilla.redhat.com/show_bug.cgi?id=2263771 is still not fixed
almost a year after being reported.

mkosi: Update to latest

sd-device: fix validation for devices under /sys/firmware/ in sd_device_new_from_subsystem_sysname()

Devices under /sys/firmware/ do not have subsystems. Hence, the
validation in sd_device_new_from_subsystem_sysname() ->
device_new_from_path_join() always failed.

Fixes a bug introduced by cd7c71154cd62d3f50c07ce387edd9c20aebd7bc (v257).
Fixes #35861.

sd-device: add missing debugging log

It was unexpectedly dropped by 660087dc9c4a5c610da99e7b6b1772e371eb0a80.

mkosi: update debian commit reference

* 7dc7ee8007 d/rules: drop duplicated config flag
* 2f417d66d1 Install new files for upstream CI

analyze: fix URLs to DeviceAllow=, IPAddressDeny=

Signed-off-by: Chris Hofstaedtler <zeha@debian.org>

firewall-util: allow to override the table and map names through env var

Then, use test specific names to make the test not conflict with
networkd.

Hopefully fixes #35526.

cgroup-util: explain why cg_pidref_get_path() cannot be ported over to pidfd helpers (yet)

See also: https://github.com/systemd/systemd/pull/35242#issuecomment-2506686806

cgroup-util: introduce generic cg_path_from_cgroupid() helper

Taken from nsresourced/userns-registry.c userns_destroy_cgroup()

process-util: make pid_is_unwaited() wrapper around pidref version

process-util: port pidref_get_uid() and pidref_is_my_child() to pidfd helpers