fmf: Support being used downstream in dist-git tests

We can use our upstream fmf definitions to run downstream tests in
the Fedora systemd dist-git repository
(https://src.fedoraproject.org/rpms/systemd). To have access to the
dist-git sources when running the tests, we enable dist-git-source: true
downstream which makes the sources available in $TMT_SOURCE_DIR so
let's make sure we use those sources if they're available.

fmf: Insist on mkosi sha being available

Let's assume the workflow file containing the mkosi always being
available.

Also fix the detection while we're at it by not leaving the systemd
directory.

sd-varlink: add flag for sd_varlink_server for creating connections w… (#35841)

…ith fd passing enabled

Let's add a simple flag that enables fd passing for all connections of a
server. It's much easier to use this than to install a connect handler
which manually enables this for each connection.

 mkosi: Migrate more deprecated options  (#35873)

CI: add OBS workflow integration to build packages on push to main

When main is updated, packages for Arch/Debian/Ubuntu/SUSE will be built and published
on OBS:

https://download.opensuse.org/repositories/home:/bluca:/systemd/
https://build.opensuse.org/project/show/home:bluca:systemd

ci: Rename qemu variable to vm

mkosi: Migrate more deprecated options

sd-device: fix validation for devices under /sys/firmware/ in sd_device_new_from_subsystem_sysname() (#35863)

Devices under /sys/firmware/ do not have subsystems. Hence, the
validation in sd_device_new_from_subsystem_sysname() ->
device_new_from_path_join() always failed.

Fixes a bug introduced by cd7c71154cd62d3f50c07ce387edd9c20aebd7bc
(v257).
Fixes #35861.

mkosi: replace deprecated settings and command with new ones

Follow-up for c008b703701e676a88e16de4c867b9fc4818070d.

These settings and command were deprecated by the following commit.
https://github.com/systemd/mkosi/commit/ebcd2efa03af5c04de91434634f2e4a956f7e53c

machine: several follow-ups for #35066 (#35868)

Addresses the post-merge review comments.

basic: port various pidfd/pidref helpers to PIDFD_GET_INFO and PIDFD_GET_*_NAMESPACE (#35242)

Supersedes #35308 (cherry-picked one commit and replaced the rest)

(I left a few comments that's folded by GitHub. Please make sure to
check them too.)

more pidref'ification (#35839)

This is split out of #35264, but makes a ton of sense on its own.

mountfsd,networkd,nsresourced: port over to new fd passing varlink server flags

tty-ask-password-agent: if we're spawning further agents, grant them notify access (#35855)

Alternative to #35853

cgroup-util: add remoteness checks to all cg_pidref_get_xyz() calls

sd-login: make use of getpeerpidref() and cg_pidref_get_*()

cgroup-util: add pidref counterparts for cg_pid_get_session() + cg_pid_get_owner_uid()

socket-util: introduce getpeerpidref()

This combines getpeercred() and getpeerpidfd() and returns a PidRef

sd-varlink: add flag for sd_varlink_server for creating connections with fd passing enabled

Let's add a simple flag that enables fd passing for all connections of a
server. It's much easier to use this than to install a connect handler
which manually enables this for each connection.

machine: comment source and destination must be absolute

Addresses the post-merge review comment:
https://github.com/systemd/systemd/pull/35066#discussion_r1901841247

machine: use json_dispatch_const_path() where applicable

Follow-up for #35066 and 3866e9ce9d34328460aee5ca01f6f1becfa200eb.

packit: Move fmf metadata into upstream (#35700)

This moves https://src.fedoraproject.org/tests/systemd into upstream so
it's one less moving piece that we need to remember.

packit: Move fmf metadata into upstream

This moves https://src.fedoraproject.org/tests/systemd into upstream
so it's one less moving piece that we need to remember. While we're at
it, do various cleanups as well:

- Remove non-packit logic
- Set NO_BUILD in mkosi.local.conf as it's not picked up from the
  process environment
- Don't set unused environment variables
- Remove workdir logic as we run in an ephemeral VM already
- Drop --verbose from meson test to reduce noise
  from passed tests
- Use mkosi sandbox and drop duplicated deps from metadata file
- Stop running the unit tests as they already run as part of the rpm
  build and as part of the integration tests.
- Various style fixes

mkosi: Make path exclude more generic

The systemd rpms we try to install in packit have /usr/bin/bash and
/usr/bin/python3 as dependencies which breaks dnf5 because mkosi
doesn't download filelists metadata and
https://bugzilla.redhat.com/show_bug.cgi?id=2263771 is still not fixed
almost a year after being reported.

mkosi: Update to latest

sd-device: fix validation for devices under /sys/firmware/ in sd_device_new_from_subsystem_sysname()

Devices under /sys/firmware/ do not have subsystems. Hence, the
validation in sd_device_new_from_subsystem_sysname() ->
device_new_from_path_join() always failed.

Fixes a bug introduced by cd7c71154cd62d3f50c07ce387edd9c20aebd7bc (v257).
Fixes #35861.

sd-device: add missing debugging log

It was unexpectedly dropped by 660087dc9c4a5c610da99e7b6b1772e371eb0a80.

mkosi: update debian commit reference

* 7dc7ee8007 d/rules: drop duplicated config flag
* 2f417d66d1 Install new files for upstream CI

analyze: fix URLs to DeviceAllow=, IPAddressDeny=

Signed-off-by: Chris Hofstaedtler <zeha@debian.org>

firewall-util: allow to override the table and map names through env var

Then, use test specific names to make the test not conflict with
networkd.

Hopefully fixes #35526.

cgroup-util: explain why cg_pidref_get_path() cannot be ported over to pidfd helpers (yet)

See also: https://github.com/systemd/systemd/pull/35242#issuecomment-2506686806

cgroup-util: introduce generic cg_path_from_cgroupid() helper

Taken from nsresourced/userns-registry.c userns_destroy_cgroup()

process-util: make pid_is_unwaited() wrapper around pidref version

process-util: port pidref_get_uid() and pidref_is_my_child() to pidfd helpers

hostname: read hardware serial from device tree (#35797)

Closes #35792.

pidfd-util: introduce pidfd_get_{ppid,uid,cgroupid} which goes via PIDFD_GET_INFO too

pidfd-util: try to translate pidfd -> pid through ioctl(PIDFD_GET_INFO)

namespace-util: introduce pidref_in_same_namespace()

process-util: move namespace_get_leader() to namespace-util

This allows us to drop the hack for recursive includes.

various: add missing include for namespace-util.h

Preparation for later commits for removing inclusion
of namespace-util from process-util.h

namespace-util: hook pidref_namespace_open() up with pidfd_get_namespace()

Supersedes #35308

namespace-util: correct assertion in namespace_is_init()

Follow-up for 18ead2b03d9df251ab682539648a556ace239dc7

namespace-util: modernize fd_is_namespace() and is_our_namespace()

- Make fd_is_namespace() take NamespaceType
- Drop support for kernel without NS_GET_NSTYPE (< 4.11)
- Port is_our_namespace() to namespace_open_by_type()
  (preparation for later commits, where the latter
  would go by pidfd if available, avoiding procfs)

namespace-util: refuse remote pidref in pidref_namespace_open()

pidfd-util: introduce helper for obtaining ns fd using PIDFD_GET_*_NAMESPACE directly

errno-util: add ERRNO_IS_IOCTL_NOT_SUPPORTED that checks EINVAL additionally

core/socket: include peer pidfd id in socket service instance if available

pidref: move generic pidfd_get_inode_id() to pidfd-util

Prompted by https://github.com/systemd/systemd/pull/35224/commits/221d6e54c60389f26c2c79dbfa4e83204d2775d7

Also generalize pidfd_check_pidfs() and expose have_pidfs for later use.

basic: introduce missing_pidfd.h

process-util: extract pidfd-related funcs into pidfd-util.[ch]

tty-ask-password-agent: if we're spawning further agents, grant them notify access

Follow-up for 254649d5762540ade590909c70c27af86c7dfdac

Otherwise, systemd-ask-password-console.service times out
being started since the main process never delivers READY=1
notification.

Alternative to #35853

tty-ask-password-agent: coding style tweaks

tree-wide: make sigactions static const

signal-util: generalize sigaction_nop_nocldstop

ptyfwd: fix typo

Follow-up for 8224a48da94ed8bab706f04a35dd97d488c09539.

sd-varlink: introduce sd_varlink_get_current_method()

varlink: add comments for io.systemd.service interface

udev: split on_ctrl_msg() into small pieces (#35736)

varlink: several cleanups for io.systemd.service interface (#35733)

hostname: also read serial number from device tree

This makes hostnamed try to read hardware serial number from
/proc/device-tree/serial-number.

Closes #35792.

hostname: cache sd-device object for DMI

Also, always check if the obtained string is safe for passing through
DBus.
Just refactoring and preparation for later change.

mkosi: update debian commit reference

* 5d185f7901 Install new files for upstream CI
* c6484e14fc Update changelog for 257.1-7 release
* 543c1e6a42 d/t/tests-in-lxd: more fixes for debci compatibility
* a7d4a7ffa3 Add missing d/copyright file to signed template packages
* ab48efa495 Install new files for upstream CI
* d0cae6d06c Update changelog for 257.1-6 release
* 2fd23ffaaa Drop build dependency on libxen-dev on armhf, no longer available
* 35fbac92a5 d/t/upstream: update mkosi setting name
* 4d9862709e d/t/tests-in-lxd: drop auto-apt-proxy.conf from container
* cf133a8d32 Update changelog for 257.1-5 release
* 77ec315ec5 d/t/upstream: switch from btrfs to ext4 and use nspawn again
* 9c57f51fb8 d/t/upstream: do not mask machined and instead use mkosi workaround
* eb8b91d98b d/t/upstream: do not use --verbose with 'meson test'
* 21c65b7e22 d/t/tests-in-lxd: auto-apt-proxy is in universe in Ubuntu
* 081a78884b d/t/tests-in-lxd: install auto-apt-proxy in the nested container
* faa014a64e Update changelog for 257.1-4 release
* 4a48235928 Backport patch to workaround issue in new mdadm
* 005390f039 d/t/upstream: mask systemd-machined
* f7c86d8ec3 d/t/upstream: disable homed/userdbd in the test runner
* a1c30e55e0 d/t/upstream: do not use nspawn for tests
* 9bad1d3021 d/t/upstream: decrease parallelism to nproc - 1
* 7d1d583d7b Update changelog for 257.1-3 release
* dfe5996032 autopkgtest: mark tests-in-lxd as flaky
* 331567b13d d/t/upstream: disable ToolsTree= in mkosi config
* 04af5d8604 Update changelog for 257.1-2 release
* 2e58f0092c d/t/tests-in-lxd: use a single autopkgtest invocation
* 4b608de1d2 d/t/tests-in-lxd: prefer $AUTOPKGTEST_TMP to manual discovery
* fb4f3e4272 d/t/tests-in-lxd: do not fail if /etc/apt/sources.list.d/autopkgtest.list does not exist
* 385bbd0147 d/t/tests-in-lxd: set -x to get more logs
* ab678ff879 d/t/tests-in-lxd: quote variables to fix shellcheck warning
* 0d0eb96f16 d/t/tests-in-lxd: workaround broken os-release in sid
* 916a518d8e d/t/tests-in-lxd: use correct lxc image for debian
* 97deb28f99 Update changelog for 257.1-1 release
* 6276567a1d Install systemd-creds bash completion
* 084248775c Drop patches, merged upstream
* c4aa4ac6bd Update upstream source from tag 'upstream/257.1'
* dffde7eae8 d/watch: restrict to v257.x series
* 3c5143991c d/t/tests-in-lxd: fix autopkgtest source dir
* 5626a78ad1 systemd-ukify: recommend python3-cryptography
* ca5fdf7bc5 d/t/control: move tests-in-lxd above upstream suite
* 71c3f1014c d/systemd-resolved.postinst: copy existing /etc/resolv.conf on new installs
* 6ca4f4c1e5 d/control: make systemd-sysv Depends: on matching version of systemd
* eae57033c2 debian/control: add Breaks: systemd (<< ${binary:Version}) for udev
* 408cc1872c debian/systemd.postinst: Skip daemon-reexec and try-restarts during shutdown
* 6b3a01118b debian/tests/boot-and-services: drop test_no_failed
* 5a333eef8c d/t/tests-in-lxd: run some tests under LXD
* 882d221400 d/t/upstream: fix mkosi syntax warnings

udev-ctrl: refuse ENV control message with invalid environment assignment

Previously, udevd accepts an arbitrary pair of key and value.
Let's make the environment variable assignment more strict for safety.

Note, we already refuse environment variables with the same way in
net/link-config.c.

udev: introduce udev_property_name_is_valid() and friends

udev-config: split on_ctrl_msg() into small pieces

No functional change, just refactroing and preparation for later
commits.

varlink: invert uid check to reduce call of getuid()

sd-json: introduce json_dispatch_log_level()

Then, use it in io.systemd.service.SetLogLevel method.

sd-json: replace ASSERT_PTR() with assert_return() (#35849)

libsystemd: drop duplicated symbol

Follow-up for 107986a33e8fc356ddeda256d730921836f4b521.

sd-json,sd-varlink: trivial coding style fixlets

sd-json: replace ASSERT_PTR() with assert_return() in public functions

tpm2: tweaks to PCR mask parsing (#35835)

nspawn: move uid shift/chown() code into shared/

hwdb: Add newer System76 Pangolins

Signed-off-by: Tim Crawford <tcrawford@system76.com>

libsystemd: drop duplicated symbol

Follow-up for 107986a33e8fc356ddeda256d730921836f4b521.

ptyfwd: Add --read-only option

hwdb: Add micmute for System76

Signed-off-by: Tim Crawford <tcrawford@system76.com>

terminal-util: modernize vtnr_from_tty() a bit

mkosi: Handle directories in debian/not-installed correctly (#35832)

If a directory is specified without a glob pattern, we have to exclude
all files in that directory, so add a recursive glob to every directory
and enable the bash globstar feature when globbing to '**/*' matches all
files and directories beneath the given directory.

Introduce systemd-pty-forward (#35761)

This allows running a command with tinted terminal background.

mkosi: Warn on unpackaged files in the debian package build

TEST-74-AUX-UTILS: Use tee

Something is failing but we can't see what from the logs so let's use
tee so we can.

Introduce systemd-pty-forward

This allows running a command with tinted terminal background.

core: do not disconnect from bus when failed to install signal match (#35779)

If bus_add_match_full() is called without install callback and we failed
to install the signal match e.g. by timeout, then add_match_callback()
will disconnect from the bus. Let's use a custom install handler and
handle failures gracefully.

This does not *solve* the root cause of issue
https://github.com/systemd/systemd/issues/30573, but should improve the
situation when the issue is triggered.

dissect-image: rename ReplyParameters → MountImageReplyParameters

dissect: minor simplifications

sd-json: add json_dispatch_const_path() helper

The new json_dispatch_const_path() is to json_dispatch_path() what
sd_json_dispatch_const_string() is to sd_json_dispatch_ string(), i.e.
doesn't implicitly strdup() the string, but gives you the pointer into
the JSON structure, and thus requires you to keep it pinned.

dissect: minor additions to the systemd-dissect tool (#35829)

nspawn: trivial tweaklets (#35831)

hwdb: replace f20 by micmute in mm kbd database (#34325)

here's a (strawman for now) PR addressing #34323.

don't merge until there's consensus that it's the right time to address
this.

Fixes: #34323

vmspawn: Switch to virtconsole for headless console (#35836)

virtconsole is the modern way to set up a headless serial connection
to a virtual machine so let's make use of it instead of -serial. This
also allows us to get rid of the per architecture serial console device
names and makes vmspawn more consistent with mkosi qemu which already
uses
virtconsole.

machine: introduce io.systemd.Machine.BindMount method (#35066)

This PR introduces io.systemd.Machine.BindMount method which is
alternative to DBus's BindMountMachine.

fs-util: teach xopenat_full() to pick automatically if given as MODE_INVALID

nspawn: rework userns_mkdir() around chase()

mkosi: Handle directories in debian/not-installed correctly

If a directory is specified without a glob pattern, we have to exclude
all files in that directory, so add a recursive glob to every directory
and enable the bash globstar feature when globbing to '**/*' matches all
files and directories beneath the given directory.

udev: split udev_manager_init() and udev_manager_main() into small pieces (#35735)

fix: sd-measure `dtbauto` and `hwdids` arg parsing

Commit 630cf4e7dafb062588a2d9e09cf470806f00bb9e introduced `.dtbauto`,
but since it's before `.hwdids` commit 4c0b7f425024923f37c7e571fa563f602e8bf369
made `dtbauto` the last argument whereas it should have been `hwdids`.

Otherwise the code was measuring the content of hwdids into dtbauto
section and vice-versa.

Found this while adding the new `dtbauto` and `.hwdids` fields in the go
implementation of `sd-measure` at
https://github.com/siderolabs/talos/blob/main/internal/pkg/secureboot/measure/measure.go.

Signed-off-by: Noel Georgi <git@frezbo.dev>

hwdb: drop some now redundant mappings

According to @jwrdegoede these are now redundant, since the kernel
drivers map these correctly already now that the f20/f21/f23 tweaks are
gone.

Hence, let's just drop this.

All credit to Hans.

As per: https://github.com/systemd/systemd/pull/34325#pullrequestreview-2495482652

hwdb: f23 → touchpad_off

hwdb: f22 → touchpad_on