packit: Move fmf metadata into upstream

This moves https://src.fedoraproject.org/tests/systemd into upstream
so it's one less moving piece that we need to remember. While we're at
it, do various cleanups as well:

- Remove non-packit logic
- Set NO_BUILD in mkosi.local.conf as it's not picked up from the
  process environment
- Don't set unused environment variables
- Remove workdir logic as we run in an ephemeral VM already
- Drop --verbose from meson test to reduce noise
  from passed tests
- Use mkosi sandbox and drop duplicated deps from metadata file
- Stop running the unit tests as they already run as part of the rpm
  build and as part of the integration tests.
- Various style fixes

mkosi: Make path exclude more generic

The systemd rpms we try to install in packit have /usr/bin/bash and
/usr/bin/python3 as dependencies which breaks dnf5 because mkosi
doesn't download filelists metadata and
https://bugzilla.redhat.com/show_bug.cgi?id=2263771 is still not fixed
almost a year after being reported.

mkosi: Update to latest

mkosi: update debian commit reference

* 7dc7ee8007 d/rules: drop duplicated config flag
* 2f417d66d1 Install new files for upstream CI

analyze: fix URLs to DeviceAllow=, IPAddressDeny=

Signed-off-by: Chris Hofstaedtler <zeha@debian.org>

firewall-util: allow to override the table and map names through env var

Then, use test specific names to make the test not conflict with
networkd.

Hopefully fixes #35526.

hostname: read hardware serial from device tree (#35797)

Closes #35792.

ptyfwd: fix typo

Follow-up for 8224a48da94ed8bab706f04a35dd97d488c09539.

sd-varlink: introduce sd_varlink_get_current_method()

varlink: add comments for io.systemd.service interface

udev: split on_ctrl_msg() into small pieces (#35736)

varlink: several cleanups for io.systemd.service interface (#35733)

hostname: also read serial number from device tree

This makes hostnamed try to read hardware serial number from
/proc/device-tree/serial-number.

Closes #35792.

hostname: cache sd-device object for DMI

Also, always check if the obtained string is safe for passing through
DBus.
Just refactoring and preparation for later change.

mkosi: update debian commit reference

* 5d185f7901 Install new files for upstream CI
* c6484e14fc Update changelog for 257.1-7 release
* 543c1e6a42 d/t/tests-in-lxd: more fixes for debci compatibility
* a7d4a7ffa3 Add missing d/copyright file to signed template packages
* ab48efa495 Install new files for upstream CI
* d0cae6d06c Update changelog for 257.1-6 release
* 2fd23ffaaa Drop build dependency on libxen-dev on armhf, no longer available
* 35fbac92a5 d/t/upstream: update mkosi setting name
* 4d9862709e d/t/tests-in-lxd: drop auto-apt-proxy.conf from container
* cf133a8d32 Update changelog for 257.1-5 release
* 77ec315ec5 d/t/upstream: switch from btrfs to ext4 and use nspawn again
* 9c57f51fb8 d/t/upstream: do not mask machined and instead use mkosi workaround
* eb8b91d98b d/t/upstream: do not use --verbose with 'meson test'
* 21c65b7e22 d/t/tests-in-lxd: auto-apt-proxy is in universe in Ubuntu
* 081a78884b d/t/tests-in-lxd: install auto-apt-proxy in the nested container
* faa014a64e Update changelog for 257.1-4 release
* 4a48235928 Backport patch to workaround issue in new mdadm
* 005390f039 d/t/upstream: mask systemd-machined
* f7c86d8ec3 d/t/upstream: disable homed/userdbd in the test runner
* a1c30e55e0 d/t/upstream: do not use nspawn for tests
* 9bad1d3021 d/t/upstream: decrease parallelism to nproc - 1
* 7d1d583d7b Update changelog for 257.1-3 release
* dfe5996032 autopkgtest: mark tests-in-lxd as flaky
* 331567b13d d/t/upstream: disable ToolsTree= in mkosi config
* 04af5d8604 Update changelog for 257.1-2 release
* 2e58f0092c d/t/tests-in-lxd: use a single autopkgtest invocation
* 4b608de1d2 d/t/tests-in-lxd: prefer $AUTOPKGTEST_TMP to manual discovery
* fb4f3e4272 d/t/tests-in-lxd: do not fail if /etc/apt/sources.list.d/autopkgtest.list does not exist
* 385bbd0147 d/t/tests-in-lxd: set -x to get more logs
* ab678ff879 d/t/tests-in-lxd: quote variables to fix shellcheck warning
* 0d0eb96f16 d/t/tests-in-lxd: workaround broken os-release in sid
* 916a518d8e d/t/tests-in-lxd: use correct lxc image for debian
* 97deb28f99 Update changelog for 257.1-1 release
* 6276567a1d Install systemd-creds bash completion
* 084248775c Drop patches, merged upstream
* c4aa4ac6bd Update upstream source from tag 'upstream/257.1'
* dffde7eae8 d/watch: restrict to v257.x series
* 3c5143991c d/t/tests-in-lxd: fix autopkgtest source dir
* 5626a78ad1 systemd-ukify: recommend python3-cryptography
* ca5fdf7bc5 d/t/control: move tests-in-lxd above upstream suite
* 71c3f1014c d/systemd-resolved.postinst: copy existing /etc/resolv.conf on new installs
* 6ca4f4c1e5 d/control: make systemd-sysv Depends: on matching version of systemd
* eae57033c2 debian/control: add Breaks: systemd (<< ${binary:Version}) for udev
* 408cc1872c debian/systemd.postinst: Skip daemon-reexec and try-restarts during shutdown
* 6b3a01118b debian/tests/boot-and-services: drop test_no_failed
* 5a333eef8c d/t/tests-in-lxd: run some tests under LXD
* 882d221400 d/t/upstream: fix mkosi syntax warnings

udev-ctrl: refuse ENV control message with invalid environment assignment

Previously, udevd accepts an arbitrary pair of key and value.
Let's make the environment variable assignment more strict for safety.

Note, we already refuse environment variables with the same way in
net/link-config.c.

udev: introduce udev_property_name_is_valid() and friends

udev-config: split on_ctrl_msg() into small pieces

No functional change, just refactroing and preparation for later
commits.

varlink: invert uid check to reduce call of getuid()

sd-json: introduce json_dispatch_log_level()

Then, use it in io.systemd.service.SetLogLevel method.

sd-json: replace ASSERT_PTR() with assert_return() (#35849)

libsystemd: drop duplicated symbol

Follow-up for 107986a33e8fc356ddeda256d730921836f4b521.

sd-json,sd-varlink: trivial coding style fixlets

sd-json: replace ASSERT_PTR() with assert_return() in public functions

tpm2: tweaks to PCR mask parsing (#35835)

nspawn: move uid shift/chown() code into shared/

hwdb: Add newer System76 Pangolins

Signed-off-by: Tim Crawford <tcrawford@system76.com>

libsystemd: drop duplicated symbol

Follow-up for 107986a33e8fc356ddeda256d730921836f4b521.

ptyfwd: Add --read-only option

hwdb: Add micmute for System76

Signed-off-by: Tim Crawford <tcrawford@system76.com>

terminal-util: modernize vtnr_from_tty() a bit

mkosi: Handle directories in debian/not-installed correctly (#35832)

If a directory is specified without a glob pattern, we have to exclude
all files in that directory, so add a recursive glob to every directory
and enable the bash globstar feature when globbing to '**/*' matches all
files and directories beneath the given directory.

Introduce systemd-pty-forward (#35761)

This allows running a command with tinted terminal background.

mkosi: Warn on unpackaged files in the debian package build

TEST-74-AUX-UTILS: Use tee

Something is failing but we can't see what from the logs so let's use
tee so we can.

Introduce systemd-pty-forward

This allows running a command with tinted terminal background.

core: do not disconnect from bus when failed to install signal match (#35779)

If bus_add_match_full() is called without install callback and we failed
to install the signal match e.g. by timeout, then add_match_callback()
will disconnect from the bus. Let's use a custom install handler and
handle failures gracefully.

This does not *solve* the root cause of issue
https://github.com/systemd/systemd/issues/30573, but should improve the
situation when the issue is triggered.

dissect-image: rename ReplyParameters → MountImageReplyParameters

dissect: minor simplifications

sd-json: add json_dispatch_const_path() helper

The new json_dispatch_const_path() is to json_dispatch_path() what
sd_json_dispatch_const_string() is to sd_json_dispatch_ string(), i.e.
doesn't implicitly strdup() the string, but gives you the pointer into
the JSON structure, and thus requires you to keep it pinned.

dissect: minor additions to the systemd-dissect tool (#35829)

nspawn: trivial tweaklets (#35831)

hwdb: replace f20 by micmute in mm kbd database (#34325)

here's a (strawman for now) PR addressing #34323.

don't merge until there's consensus that it's the right time to address
this.

Fixes: #34323

vmspawn: Switch to virtconsole for headless console (#35836)

virtconsole is the modern way to set up a headless serial connection
to a virtual machine so let's make use of it instead of -serial. This
also allows us to get rid of the per architecture serial console device
names and makes vmspawn more consistent with mkosi qemu which already
uses
virtconsole.

machine: introduce io.systemd.Machine.BindMount method (#35066)

This PR introduces io.systemd.Machine.BindMount method which is
alternative to DBus's BindMountMachine.

fs-util: teach xopenat_full() to pick automatically if given as MODE_INVALID

nspawn: rework userns_mkdir() around chase()

mkosi: Handle directories in debian/not-installed correctly

If a directory is specified without a glob pattern, we have to exclude
all files in that directory, so add a recursive glob to every directory
and enable the bash globstar feature when globbing to '**/*' matches all
files and directories beneath the given directory.

udev: split udev_manager_init() and udev_manager_main() into small pieces (#35735)

fix: sd-measure `dtbauto` and `hwdids` arg parsing

Commit 630cf4e7dafb062588a2d9e09cf470806f00bb9e introduced `.dtbauto`,
but since it's before `.hwdids` commit 4c0b7f425024923f37c7e571fa563f602e8bf369
made `dtbauto` the last argument whereas it should have been `hwdids`.

Otherwise the code was measuring the content of hwdids into dtbauto
section and vice-versa.

Found this while adding the new `dtbauto` and `.hwdids` fields in the go
implementation of `sd-measure` at
https://github.com/siderolabs/talos/blob/main/internal/pkg/secureboot/measure/measure.go.

Signed-off-by: Noel Georgi <git@frezbo.dev>

hwdb: drop some now redundant mappings

According to @jwrdegoede these are now redundant, since the kernel
drivers map these correctly already now that the f20/f21/f23 tweaks are
gone.

Hence, let's just drop this.

All credit to Hans.

As per: https://github.com/systemd/systemd/pull/34325#pullrequestreview-2495482652

hwdb: f23 → touchpad_off

hwdb: f22 → touchpad_on

hwdb: f21 → touchpad_toggle

Similar to the previous commit.

hwdb: f20 → micmute

See: #34323

vmspawn: Switch to virtconsole for headless console

virtconsole is the modern way to set up a headless serial connection
to a virtual machine so let's make use of it instead of -serial. This
also allows us to get rid of the per architecture serial console device
names and makes vmspawn more consistent with mkosi qemu which already uses
virtconsole.

vmspawn: Use vmspawn in drive ID name instead of mkosi

update TODO

update TODO

tpm2-util: refuse hash algorithm/value specification when we only parse a mask

tpm2_parse_pcr_argument_to_mask() is supposed to parse a PCR mask
string, and uses the full blown tpm2_parse_pcr_argument() call at its
core, which parses more than just a mask, i.e. values and algorithms
too. Which is very confusing at times, because commands such as
"systemd-cryptenroll --tpm2-device=auto
--tpm2-public-key-pcrs=1:sha1=09dbdbc7f6cdd8029cc90b57a915c19a0ac21bce"
are very confusing, since they suggest enrollment with a specific
algorithm and has value, but this is not in fact what happens: both are
entirely ignored.

That this was accepted this way was more an accident than intended,
which is already visible in the fact that extensive test case entirely
ignores the fact that strings like this are accepted.

tpm2-util: optionally do wildcard hash check in tpm2_pcr_values_to_mask()

If TPM2_ALG_ERROR (aka "0") is specified as algorithm in
tpm2_pcr_values_to_mask() we'll simply match all algorithms. This allows
us to shorten tpm2_parse_pcr_argument_to_mask() a bit. The function
accepts but ignores a hash algorithm specification currently, hence this
should not really much effect.

tpm2-util: drop ret_x prefix from two arguments that are not just return but also input params

nspawn: improve log messages a bit

nspawn: drop some redundant {}

dissect: employ vpick also if we operate on a directory-based image

dissect: add a bit of color to --discover table

dissect: show all kinds of images in --discover

Given that systemd-dissect can nowadays operate on plain directories,
let's include directory images in the --discover output too.

Replace the filter with a filter for hidden images instead, as suddenly
the root fs image (which is a directory image ".host") otherwise shows up.

debug-generator: rework from post-merge review #35410 (#35696)

- https://github.com/systemd/systemd/pull/35410#discussion_r1893664993
- https://github.com/systemd/systemd/pull/35410#discussion_r1893667581

mkosi: Add docbook tools

tree-wide: Rename ret_slave to ret_peer

hwdb: Add macro keys for HP 430 Programmable Wireless Keypad

random-util: our baseline includes getrandom() (v3.17) now (#35816)

resolved: stop mdns/lnrr when config changes to disabled on reload

Currently on reload mdns/lnrr are enabled if they were disabled,
but not viceversa. Fix it.

Follow-up for 14a52176798bc2d013297b503ac6fa49a64e2725

Correct ACCEL_MOUNT_MATRIX for Chuwi Hi10 Max

terminal-util: introduce terminal_{new,detach}_session helpers (#35811)

network/dhcp: introduce global setting for DHCPv4 client identifier (#35783)

Typically, the same client identifier setting is used for all
interfaces. Hence, better to provide the system-wide setting to specify
the client identifier.

units: some improvements in breakpoint-* units.

- Set `RefuseManualStart=yes`.
- Order before shutdown.target and emergency.target.
- Remove wrong `Wants=remote-fs.target` dependency from
breakpoint-pre-switch-root.service.
- Remove unneeded `After=sysroot.mount` from breakpoint-pre-switch-root.service
(implied by initrd.target).

debug-generator: use helper to check breakpoint validity

terminal-util: introduce terminal_{new,detach}_session helpers

Prompted by #35761

terminal-util: regroup some functions

random-util: our baseline includes getrandom() (v3.17) now

Plus, linux/random.h never defined getrandom(), hence remove
the custom machinery for sys/random.h vs linux/random.h
in favor of single HAVE_GETRANDOM.

random-util: drop needless conditionalization of sys/auxv.h

We assume its existence in basic/build-path.c, shared/userdb.c,
and coredump/coredump.c already, for which nothing has been reported
so far. So this seems safe to drop.

missing_syscall: mandate __NR_memfd_create

Follow-up for 6db5a6e799db9d95185cd0c2a327109e80114aea

For basic system functionality we require memfd nowadays,
so fail the build if syscall number not available.

README: document kernel version for GRND_INSECURE and close_range()

shared/hibernate-util: handle the case where no swap has available backing dev (#35802)

Fixes https://github.com/systemd/systemd/issues/35798
Replaces https://github.com/systemd/systemd/pull/35801

ask-password: add varlink IPC interface and various other additions and fixes (#35074)

core/socket: several fixlets (#35637)

Fixes https://github.com/systemd/systemd/issues/35635

test: update README's Ubuntu CI section for mkosi changes

Two doc updates (#35810)

machine: tests for io.systemd.Machine.BindMount

machine: introduce io.systemd.Machine.BindMount method

test: add CI test validating the new varlink interface and more

ask-password: add comment with well-known errors from ask_password_auto()

ask-password: add Varlink API for querying passwords from the user

This turns systemd-ask-password into a small Varlink service, so that
there's an standard IPC way to ask for a password. It mostly directly
exposes the functionality of the Varlink service.

ask-password-api: add new "hup_fd" field to AskPasswordReq

This new field allows specification of an fd on which the password
prompt logic will look for POLLHUP events for, and if seen will abort
the query.

The usecase for this is that when we query for a pw on behalf of a
Varlink client we can abort the query automatically if the client dies.

ask-password-api: move timeout into AskPasswordRequest structure too

ask-password-api: move tty_fd into AskPasswordRequest structure, too

ask-password-api: move 'flag_file' from function parameter into AskPasswordRequest structure

ask-password-agent: send READY=1 when we established inotify watch

ask-password-agent: optionally read pw to reply from env var