hostname: also read serial number from device tree

This makes hostnamed try to read hardware serial number from
/proc/device-tree/serial-number.

Closes #35792.

hostname: cache sd-device object for DMI

Also, always check if the obtained string is safe for passing through
DBus.
Just refactoring and preparation for later change.

mkosi: update debian commit reference

* 5d185f7901 Install new files for upstream CI
* c6484e14fc Update changelog for 257.1-7 release
* 543c1e6a42 d/t/tests-in-lxd: more fixes for debci compatibility
* a7d4a7ffa3 Add missing d/copyright file to signed template packages
* ab48efa495 Install new files for upstream CI
* d0cae6d06c Update changelog for 257.1-6 release
* 2fd23ffaaa Drop build dependency on libxen-dev on armhf, no longer available
* 35fbac92a5 d/t/upstream: update mkosi setting name
* 4d9862709e d/t/tests-in-lxd: drop auto-apt-proxy.conf from container
* cf133a8d32 Update changelog for 257.1-5 release
* 77ec315ec5 d/t/upstream: switch from btrfs to ext4 and use nspawn again
* 9c57f51fb8 d/t/upstream: do not mask machined and instead use mkosi workaround
* eb8b91d98b d/t/upstream: do not use --verbose with 'meson test'
* 21c65b7e22 d/t/tests-in-lxd: auto-apt-proxy is in universe in Ubuntu
* 081a78884b d/t/tests-in-lxd: install auto-apt-proxy in the nested container
* faa014a64e Update changelog for 257.1-4 release
* 4a48235928 Backport patch to workaround issue in new mdadm
* 005390f039 d/t/upstream: mask systemd-machined
* f7c86d8ec3 d/t/upstream: disable homed/userdbd in the test runner
* a1c30e55e0 d/t/upstream: do not use nspawn for tests
* 9bad1d3021 d/t/upstream: decrease parallelism to nproc - 1
* 7d1d583d7b Update changelog for 257.1-3 release
* dfe5996032 autopkgtest: mark tests-in-lxd as flaky
* 331567b13d d/t/upstream: disable ToolsTree= in mkosi config
* 04af5d8604 Update changelog for 257.1-2 release
* 2e58f0092c d/t/tests-in-lxd: use a single autopkgtest invocation
* 4b608de1d2 d/t/tests-in-lxd: prefer $AUTOPKGTEST_TMP to manual discovery
* fb4f3e4272 d/t/tests-in-lxd: do not fail if /etc/apt/sources.list.d/autopkgtest.list does not exist
* 385bbd0147 d/t/tests-in-lxd: set -x to get more logs
* ab678ff879 d/t/tests-in-lxd: quote variables to fix shellcheck warning
* 0d0eb96f16 d/t/tests-in-lxd: workaround broken os-release in sid
* 916a518d8e d/t/tests-in-lxd: use correct lxc image for debian
* 97deb28f99 Update changelog for 257.1-1 release
* 6276567a1d Install systemd-creds bash completion
* 084248775c Drop patches, merged upstream
* c4aa4ac6bd Update upstream source from tag 'upstream/257.1'
* dffde7eae8 d/watch: restrict to v257.x series
* 3c5143991c d/t/tests-in-lxd: fix autopkgtest source dir
* 5626a78ad1 systemd-ukify: recommend python3-cryptography
* ca5fdf7bc5 d/t/control: move tests-in-lxd above upstream suite
* 71c3f1014c d/systemd-resolved.postinst: copy existing /etc/resolv.conf on new installs
* 6ca4f4c1e5 d/control: make systemd-sysv Depends: on matching version of systemd
* eae57033c2 debian/control: add Breaks: systemd (<< ${binary:Version}) for udev
* 408cc1872c debian/systemd.postinst: Skip daemon-reexec and try-restarts during shutdown
* 6b3a01118b debian/tests/boot-and-services: drop test_no_failed
* 5a333eef8c d/t/tests-in-lxd: run some tests under LXD
* 882d221400 d/t/upstream: fix mkosi syntax warnings

sd-json: replace ASSERT_PTR() with assert_return() (#35849)

libsystemd: drop duplicated symbol

Follow-up for 107986a33e8fc356ddeda256d730921836f4b521.

sd-json,sd-varlink: trivial coding style fixlets

sd-json: replace ASSERT_PTR() with assert_return() in public functions

tpm2: tweaks to PCR mask parsing (#35835)

nspawn: move uid shift/chown() code into shared/

hwdb: Add newer System76 Pangolins

Signed-off-by: Tim Crawford <tcrawford@system76.com>

libsystemd: drop duplicated symbol

Follow-up for 107986a33e8fc356ddeda256d730921836f4b521.

ptyfwd: Add --read-only option

hwdb: Add micmute for System76

Signed-off-by: Tim Crawford <tcrawford@system76.com>

terminal-util: modernize vtnr_from_tty() a bit

mkosi: Handle directories in debian/not-installed correctly (#35832)

If a directory is specified without a glob pattern, we have to exclude
all files in that directory, so add a recursive glob to every directory
and enable the bash globstar feature when globbing to '**/*' matches all
files and directories beneath the given directory.

Introduce systemd-pty-forward (#35761)

This allows running a command with tinted terminal background.

mkosi: Warn on unpackaged files in the debian package build

TEST-74-AUX-UTILS: Use tee

Something is failing but we can't see what from the logs so let's use
tee so we can.

Introduce systemd-pty-forward

This allows running a command with tinted terminal background.

core: do not disconnect from bus when failed to install signal match (#35779)

If bus_add_match_full() is called without install callback and we failed
to install the signal match e.g. by timeout, then add_match_callback()
will disconnect from the bus. Let's use a custom install handler and
handle failures gracefully.

This does not *solve* the root cause of issue
https://github.com/systemd/systemd/issues/30573, but should improve the
situation when the issue is triggered.

dissect-image: rename ReplyParameters → MountImageReplyParameters

dissect: minor simplifications

sd-json: add json_dispatch_const_path() helper

The new json_dispatch_const_path() is to json_dispatch_path() what
sd_json_dispatch_const_string() is to sd_json_dispatch_ string(), i.e.
doesn't implicitly strdup() the string, but gives you the pointer into
the JSON structure, and thus requires you to keep it pinned.

dissect: minor additions to the systemd-dissect tool (#35829)

nspawn: trivial tweaklets (#35831)

hwdb: replace f20 by micmute in mm kbd database (#34325)

here's a (strawman for now) PR addressing #34323.

don't merge until there's consensus that it's the right time to address
this.

Fixes: #34323

vmspawn: Switch to virtconsole for headless console (#35836)

virtconsole is the modern way to set up a headless serial connection
to a virtual machine so let's make use of it instead of -serial. This
also allows us to get rid of the per architecture serial console device
names and makes vmspawn more consistent with mkosi qemu which already
uses
virtconsole.

machine: introduce io.systemd.Machine.BindMount method (#35066)

This PR introduces io.systemd.Machine.BindMount method which is
alternative to DBus's BindMountMachine.

fs-util: teach xopenat_full() to pick automatically if given as MODE_INVALID

nspawn: rework userns_mkdir() around chase()

mkosi: Handle directories in debian/not-installed correctly

If a directory is specified without a glob pattern, we have to exclude
all files in that directory, so add a recursive glob to every directory
and enable the bash globstar feature when globbing to '**/*' matches all
files and directories beneath the given directory.

udev: split udev_manager_init() and udev_manager_main() into small pieces (#35735)

fix: sd-measure `dtbauto` and `hwdids` arg parsing

Commit 630cf4e7dafb062588a2d9e09cf470806f00bb9e introduced `.dtbauto`,
but since it's before `.hwdids` commit 4c0b7f425024923f37c7e571fa563f602e8bf369
made `dtbauto` the last argument whereas it should have been `hwdids`.

Otherwise the code was measuring the content of hwdids into dtbauto
section and vice-versa.

Found this while adding the new `dtbauto` and `.hwdids` fields in the go
implementation of `sd-measure` at
https://github.com/siderolabs/talos/blob/main/internal/pkg/secureboot/measure/measure.go.

Signed-off-by: Noel Georgi <git@frezbo.dev>

hwdb: drop some now redundant mappings

According to @jwrdegoede these are now redundant, since the kernel
drivers map these correctly already now that the f20/f21/f23 tweaks are
gone.

Hence, let's just drop this.

All credit to Hans.

As per: https://github.com/systemd/systemd/pull/34325#pullrequestreview-2495482652

hwdb: f23 → touchpad_off

hwdb: f22 → touchpad_on

hwdb: f21 → touchpad_toggle

Similar to the previous commit.

hwdb: f20 → micmute

See: #34323

vmspawn: Switch to virtconsole for headless console

virtconsole is the modern way to set up a headless serial connection
to a virtual machine so let's make use of it instead of -serial. This
also allows us to get rid of the per architecture serial console device
names and makes vmspawn more consistent with mkosi qemu which already uses
virtconsole.

vmspawn: Use vmspawn in drive ID name instead of mkosi

update TODO

update TODO

tpm2-util: refuse hash algorithm/value specification when we only parse a mask

tpm2_parse_pcr_argument_to_mask() is supposed to parse a PCR mask
string, and uses the full blown tpm2_parse_pcr_argument() call at its
core, which parses more than just a mask, i.e. values and algorithms
too. Which is very confusing at times, because commands such as
"systemd-cryptenroll --tpm2-device=auto
--tpm2-public-key-pcrs=1:sha1=09dbdbc7f6cdd8029cc90b57a915c19a0ac21bce"
are very confusing, since they suggest enrollment with a specific
algorithm and has value, but this is not in fact what happens: both are
entirely ignored.

That this was accepted this way was more an accident than intended,
which is already visible in the fact that extensive test case entirely
ignores the fact that strings like this are accepted.

tpm2-util: optionally do wildcard hash check in tpm2_pcr_values_to_mask()

If TPM2_ALG_ERROR (aka "0") is specified as algorithm in
tpm2_pcr_values_to_mask() we'll simply match all algorithms. This allows
us to shorten tpm2_parse_pcr_argument_to_mask() a bit. The function
accepts but ignores a hash algorithm specification currently, hence this
should not really much effect.

tpm2-util: drop ret_x prefix from two arguments that are not just return but also input params

nspawn: improve log messages a bit

nspawn: drop some redundant {}

dissect: employ vpick also if we operate on a directory-based image

dissect: add a bit of color to --discover table

dissect: show all kinds of images in --discover

Given that systemd-dissect can nowadays operate on plain directories,
let's include directory images in the --discover output too.

Replace the filter with a filter for hidden images instead, as suddenly
the root fs image (which is a directory image ".host") otherwise shows up.

debug-generator: rework from post-merge review #35410 (#35696)

- https://github.com/systemd/systemd/pull/35410#discussion_r1893664993
- https://github.com/systemd/systemd/pull/35410#discussion_r1893667581

mkosi: Add docbook tools

tree-wide: Rename ret_slave to ret_peer

hwdb: Add macro keys for HP 430 Programmable Wireless Keypad

random-util: our baseline includes getrandom() (v3.17) now (#35816)

resolved: stop mdns/lnrr when config changes to disabled on reload

Currently on reload mdns/lnrr are enabled if they were disabled,
but not viceversa. Fix it.

Follow-up for 14a52176798bc2d013297b503ac6fa49a64e2725

Correct ACCEL_MOUNT_MATRIX for Chuwi Hi10 Max

terminal-util: introduce terminal_{new,detach}_session helpers (#35811)

network/dhcp: introduce global setting for DHCPv4 client identifier (#35783)

Typically, the same client identifier setting is used for all
interfaces. Hence, better to provide the system-wide setting to specify
the client identifier.

units: some improvements in breakpoint-* units.

- Set `RefuseManualStart=yes`.
- Order before shutdown.target and emergency.target.
- Remove wrong `Wants=remote-fs.target` dependency from
breakpoint-pre-switch-root.service.
- Remove unneeded `After=sysroot.mount` from breakpoint-pre-switch-root.service
(implied by initrd.target).

debug-generator: use helper to check breakpoint validity

terminal-util: introduce terminal_{new,detach}_session helpers

Prompted by #35761

terminal-util: regroup some functions

random-util: our baseline includes getrandom() (v3.17) now

Plus, linux/random.h never defined getrandom(), hence remove
the custom machinery for sys/random.h vs linux/random.h
in favor of single HAVE_GETRANDOM.

random-util: drop needless conditionalization of sys/auxv.h

We assume its existence in basic/build-path.c, shared/userdb.c,
and coredump/coredump.c already, for which nothing has been reported
so far. So this seems safe to drop.

missing_syscall: mandate __NR_memfd_create

Follow-up for 6db5a6e799db9d95185cd0c2a327109e80114aea

For basic system functionality we require memfd nowadays,
so fail the build if syscall number not available.

README: document kernel version for GRND_INSECURE and close_range()

shared/hibernate-util: handle the case where no swap has available backing dev (#35802)

Fixes https://github.com/systemd/systemd/issues/35798
Replaces https://github.com/systemd/systemd/pull/35801

ask-password: add varlink IPC interface and various other additions and fixes (#35074)

core/socket: several fixlets (#35637)

Fixes https://github.com/systemd/systemd/issues/35635

test: update README's Ubuntu CI section for mkosi changes

Two doc updates (#35810)

machine: tests for io.systemd.Machine.BindMount

machine: introduce io.systemd.Machine.BindMount method

test: add CI test validating the new varlink interface and more

ask-password: add comment with well-known errors from ask_password_auto()

ask-password: add Varlink API for querying passwords from the user

This turns systemd-ask-password into a small Varlink service, so that
there's an standard IPC way to ask for a password. It mostly directly
exposes the functionality of the Varlink service.

ask-password-api: add new "hup_fd" field to AskPasswordReq

This new field allows specification of an fd on which the password
prompt logic will look for POLLHUP events for, and if seen will abort
the query.

The usecase for this is that when we query for a pw on behalf of a
Varlink client we can abort the query automatically if the client dies.

ask-password-api: move timeout into AskPasswordRequest structure too

ask-password-api: move tty_fd into AskPasswordRequest structure, too

ask-password-api: move 'flag_file' from function parameter into AskPasswordRequest structure

ask-password-agent: send READY=1 when we established inotify watch

ask-password-agent: optionally read pw to reply from env var

pcrextend: split out varlink server setup into its own function

sd-varlink: expose api to get input/output fd separately

docs: Update code coverage documentation

docs: Use mkosi sandbox in test documentation as well

Same change as in HACKING.md, but for running the integration tests.

shared/hibernate-util: drop support for kernels lacking /sys/power/resume_offset

The current fallback path is actually unreliable, given
the kernel *supports* setting the resume offset through
cmdline after all, but just not exposed under /sys/.
For v258 let's drop it hence.

I didn't bump the baseline to 4.17, but merely documented
new requirement in README, because there's certainly more
compat stuff to drop between 4.3 and 4.17, and README is
a useful list for things to kill. We'll get to 5.4 eventually.

README: document a bunch of new kernel APIs we utilize

shared/blockdev-util: shorten the code a bit

If btrfs_get_block_device_fd() returns 0, ret is already initialized.

shared/hibernate-util: handle the case where no swap has available backing dev

This also makes find_suitable_hibernation_device() report
more accurate error (ENOSPC -> ESTALE) if there's
no swap space on the system at all but resume= is set.

Fixes #35798
Replaces #35801

shared/hibernate-util: don't attempt to fiemap fd if no backing dev available

Prompted by #35798

Co-authored-by: Yu Watanabe <watanabe.yu+github@gmail.com>

systemctl: certainly ignore ENOENT in checking inhibitors

Fixes a bug caused by 804874d26ac73e0af07c4c5d7165c95372f03f6d.

Follow-up for 084f361b509cbffe7ffd5ab6085469f76f799fe5 and
a1417e5563acb73a0accdc12b3af91e4ec1c7f46.

Note, ERRNO_IS_NEG_DISCONNECT() includes ENONET rather than ENOENT...
So, ENOENT needs to be handled explicitly.

Fixes #35757 and #35806.

units/breakpoint-pre-basic.service: explicitly order it before sysroot.mount

If `rd.systemd.break=pre-mount` is not set during boot, there is no unit that
prevents sysroot.mount from being activated.

man/debug-generator: replace "main system" with "host"

mkosi: Allow disabling vcs-tag via environment variable

bash-completion/journalctl: list user units when --user is already specified (#35799)

Also, escape the current input before matching listed user units.

Fixes #35794.

errno-list: prefer strerrorname_np() as errno_to_name() provider

bash-completion/journalctl: also escape the current input of user unit

Follow-up for cec82cb943d0fd23dd09309be62c6bcde6b47839.

bash-completion/journalctl: list user units when --user is already specified

Follow-up for 52051dd84c45c745ca877d8893be6f71aa27bf97.
Fixes #35794.