test: Use virtio-scsi for keydev drive

Otherwise qemu defaults to ide for which the module isn't always
available (e.g. it's missing in the debian linux cloud images).

TEST-64-UDEV-STORAGE: Replace megasas2 controller with virtio scsi controller

The virtio-scsi driver is available in the KVM/cloud kernel
packages provided by distributions whereas the megasas2 driver is
not. Let's switch to virtio-scsi so we can switch back to the KVM/cloud
kernel packages.

Merge pull request #33065 from DaanDeMeyer/nspawn

test: Run tests that don't need a vm in systemd-nspawn

mkosi: Run integration tests as root

This allows running integration tests that support it in nspawn
instead of qemu. This both gives extra coverage and speeds things up.

test: Run tests that don't need a vm in systemd-nspawn

If we're not running the test as root, stick to using a virtual
machine, as mkosi can't do rootless nspawn yet.

mkosi: Disable iscsi service and socket

We'll always start these on demand in integration tests that need
them. No need to start them by default.

mkosi: Switch from btrfs to ext4

Mounting multiple btrfs filesystems with the same fsid only works
properly from kernel 6.7 onwards. Let's switch to ext4 for now which
does support this.

mkosi: update to latest

mkosi: Set EXTRA_CFLAGS on opensuse

The opensuse spec doesn't unconditionally set FORTIFY_SOURCE=2 anymore
so let's drop our workaround.

Merge pull request #32562 from Werkov/test-cgroup-opensuse

Revert "TEST-19-CGROUP: Skip on opensuse"

bpf: add helper to translate kernel error codes from libbpf

libbpf returns error codes from the kernel unmodified, and we don't understand
them so non-fatal ones are handled as hard errors.
Add a translation helper, and start by translating 524 to EOPNOTSUPP, which is
returned when nsresourced tries to use LSM BPF hooks that are not
implemented on a given arch (in this case, arm64 is misssing trampolines).

Fixes https://github.com/systemd/systemd/issues/32170

test-network: update comment about status of kernel regression

Merge pull request #33066 from YHNdnzj/logind-linger

logind-user: check linger file in user_wants_service_manager too

tmpfiles: improve warning message and use O_NOCTTY

Mention in the warning message for a failed open on a to be removed file
why systemd-tmpfiles tried to open it.

Also open the file with the O_NOCTTY flag, since it should never become
the controlling terminal.

logind-user: check linger file in user_wants_service_manager too

Follow-up for 5099a50d4398e190387d204f5df81cc176bd33e2

Fixes #33005

logind-user: add missing assertion for user_check_linger_file

Also make the function take const User*

test-network: tun/tap fd may be owned by tentative worker processes

PID1 may invoke a helper process, e.g. sd-close, during the test.
So, processes other than networkd and PID1 may be shown.
```
testtap99: tap pi multi_queue vnet_hdr persist filter
        Attached to processes:systemd-network(2852)(sd-close)(2863)systemd(1)
```

Closes #33055.

Merge pull request #33057 from poettering/partscan-no-part

blockdev-util: for partition block devices partition scanning is always off

man: capsule support was added in v256

The version info added directly to --capsule. If we add the
same switch in other places in the future, we will have to move
this.

Closes https://github.com/systemd/systemd/issues/33048.

Merge pull request #33063 from keszybz/wiki-links

Update wiki links

Merge pull request #33008 from fbuihuu/optionally-link-ssh-dropins

Optionally link ssh dropins

test: lock device when sfdisk or mkfs

Or, trigger devices after the command incase the device is dm or md.

Fixes #33056.

socket-util: use GREEDY_REALLOC_APPEND where appropriate

Also, previously GREEDY_REALLOC was used improperly,
causing the fds_array to be leaked when realloc() fails.

machined: downgrade warning if we cannot drop ref to systemd unit if disconnected from bus

if machined exits while a machine is still running, we'll issue the
UnrefUnit() call on the unit. This quite likely will fail if during
shutdown the bus connection is already down. But that's no reason to
warn at all, since the ref count will implicitly be dropped if our side
disappears from the bus. Hence, downgrade to LOG_DEBUG in case of
connection problems.

Merge pull request #33052 from yuwata/missing-loop

Fixlets for missing_loop.h

README: update link for backports

various: update links to usr-merge

docs: drop link to obsolete multiseat page

We link to the man page which replaced this historical document right above,
so just drop the whole paragraph.

man: update links to "API File Systems"

various: update links to more wiki pages

man: update links to "Inhibitor Locks"

man: update links to "Compatibility with SysV"

man: update links to "New Control Group Interfaces"

man: update links to catalog docs

docs/CONTRIBUTING.md: Fix links in CONTRIBUTING

Get them to point to the rendered version, instead of
letting Github thinks they are absolute links in the
repository. The rendered version is much more user-friendly.

test: add superficial test for partscan test

blockdev-util: partition block devices never have partition scanning enabled

test: suppress logs generated by journal tests

Note, journal_file_dump() is only used by tests.

Closes #33035.

test: wait for the kernel finishes to attach backing file to loop device

Fixes #32680.

missing_loop.h: fix LOOP_SET_STATUS_SETTABLE_FLAGS

See https://github.com/torvalds/linux/blob/v6.10-rc1/include/uapi/linux/loop.h

Fixes a bug in b3fe33ff52ece458a5b990a4a68d59aef7cae10b.

missing_loop: fix potential compile-time assertion

Fixes a bug introduced by 4d6437d33c45c3d31497f2e3bd8d415f775546b8.

hwdb: Lenovo IdeaPad Z500 Touchpad Toggle (#33039)

Map scancode f3 to KEY_F21.

cryptsetup: mention correct action in log message

meson: Run genkey command with --force

Sometimes meson decides to rerun the command even if the files already
exist. Let's run with --force so we don't fail if that's the case.

meson: don't put a symlink pointing to '20-systemd-userdb.conf' in /etc in all cases

It's only needed on distros where sshd doesn't support drop-ins in /usr, which
is not the case on SUSE.

meson: don't put a symlink pointing to '20-systemd-ssh-proxy.conf' in /etc in all cases

On distros like SUSE where ssh config dropins in /usr are supported, there's no
need for a symlink in /etc/ssh/ssh_config.d/ that points to the dropin
installed somewhere in /usr (that is not reachable by ssh).

Merge pull request #33038 from DaanDeMeyer/mkosi

Various integration test improvents

test: fix iscsi TEST-64-UDEV-STORAGE on Debian

test: Extend meson + mkosi integration test docs

Let's also put the meson + mkosi docs first to nudge readers towards
it instead of the old fashioned way to run the integration tests.

Rewrite testsuite README in markdown

Let's use markdown here like we do for everything else as well.

Merge pull request #33028 from yuwata/blockdev-util

blockdev-util: also check loop/partscan sysattr

meson: Add genkey target

Let's automatically generate keys instead of requiring developers to
do it manually.

meson: Look up mkosi once

executor: check for all permission related errnos when setting up IPC namespace

Denials from AppArmor are raised as EACCES, so EPERM is not enough. Do
the same check as PrivateNetwork above.

Fixes https://github.com/systemd/systemd/issues/31037

Related to 06384eb3c5044f632f50304a0210a402460f1189

docs: add note about URL where to find recent Ubuntu CI logs

Merge pull request #33013 from yuwata/journal-flush

journal: several fixlets for flushing runtime journal

man/run0: remove @ syntax for --machine=

For run0 (as opposed to systemd-run in general), connecting to
the system bus (of localhost or container) as a different user
than root and then trying to elevate privilege from that
makes little sense:
https://github.com/systemd/systemd/issues/32997#issuecomment-2127992973

The @ syntax is mostly useful when connecting to the user bus,
which is not a use case for run0. Hence, let's remove the example.
The syntax will be properly refused in #32999.

man/run0: remove -M alias for --machine=

run0 doesn't know about the former.

Merge pull request #33016 from YHNdnzj/transient-working-dir

core: several cleanups/fixes for WorkingDirectory= handling

blockdev-util: also check loop/partscan sysattr

With https://github.com/torvalds/linux/commit/b9684a71fca793213378dd410cd11675d973eaa1 (v5.19),
we cannot check partition scanning is enabled for a loopback block device
without checking the attribute.

blockdev-util: also check newer value of GENHD_FL_NO_PART flag

With https://github.com/torvalds/linux/commit/430cc5d3ab4d0ba0bd011cfbb0035e46ba92920c,
the value of GENHD_FL_NO_PART, previously named as GENHD_FL_NO_PART_SCAN,
is changed from 0x0200 to 0x0004. So, we need to check both flags.

run: also show a pretty string for main exit status, if any

This brings output on par with unit_log_process_exit().

blockdev-util: "partscan" sysattr now directly shows the enabled state

See also: https://lore.kernel.org/r/20240502130033.1958492-3-hch@lst.de

test: use SYSLOG_IDENTIFIER= filter instead of "journalctl -u"

"journalctl -u foo.service" may not work as expected, especially entries
for _TRANSPORT=stdout, for short-living services or when the service manager
generates debugging logs. Instead, SYSLOG_IDENTIFIER= should be reliable for
stdout. Let's use it.

An example case:
```
__CURSOR=s=06278e3bf011458e973c81d370a8f7a5;i=1e4dc;b=1b0258a5c78341609bf462c72d4541c3;m=308de65;t=6194c3895a13f;x=50c7e9af5b8cfc37
__REALTIME_TIMESTAMP=1716665017803071
__MONOTONIC_TIMESTAMP=50912869
_BOOT_ID=1b0258a5c78341609bf462c72d4541c3
SYSLOG_FACILITY=3
_UID=0
_GID=0
_MACHINE_ID=d3490e076ab24968bfa19a6aab26beb3
_HOSTNAME=H
_RUNTIME_SCOPE=system
_TRANSPORT=stdout
PRIORITY=6
_PID=2668
_STREAM_ID=3f9b8855636041988d003a9c63379b8a
SYSLOG_IDENTIFIER=echo
MESSAGE=foo
```
As you can see, there is no unit identifier.

core: introduce unit_verify_contexts

Refuse WorkingDirectory=~ both in that and exec_invoke()
when dynamic user is used.

core/unit: don't set missing_ok if WorkingDirectory=~ is explicitly requested

core/exec-invoke: add a comment that acquire_home uses result from get_fixed_user

Prompted by https://github.com/systemd/systemd/pull/33016#discussion_r1614848067

core/exec-invoke: drop unused param for acquire_home, prefix out param with ret_

core/dbus-execute: don't trigger assertion if WorkingDirectory="" or "-"

Follow-up for 14631951cea807de2d482a430841c604c2040718

Before this commit, if WorkingDirectory= is empty or literally "-",
'simplified' is not populated, resulting in the ASSERT_PTR
in unit_write_settingf() below getting triggered.

Also, do not accept "-", so that the parser is consistent
with load-fragment.c

Fixes #33015

core/dbus-execute: use correct char for representing WorkingDirectory=home

core/load-fragment: also clear missing_ok when WorkingDirectory=""

Merge pull request #33019 from yuwata/tpm2-unseal

tpm2: several fixlets

cryptenroll: upgrade log level of critical failure

cryptenroll: do not pass an empty pcrlock policy

Otherwise, tpm2_uneal() -> tpm2_build_sealing_policy() ->
tpm2_deserialize() will trigger assertion.

Prompted by #33017.

cryptsetup: use TPM2_FLAGS_USE_PCRLOCK at one more place

Follow-up for 404aea7815595c1324947ed7f2a7502b17d3cc01.

NEWS: mention backward incompatibility of IP forwarding

Closes #33004.

test: enable persistent storage for journal in TEST-82-SOFTREBOOT

unit: also stop systemd-journal-flush.service on soft-reboot

After soft-reboot, /var/log/journal may be initially read-only,
and becomes writable a bit later. In such case, runtime journal is
initially opened by journald. Hence, we need to flush to /var when it is
ready.

journald: always unset flushed flag when the runtime journal is opened

If the runtime journal is opened, we will anyway write journal entries
to the runtime journal, even if the persistent journal is writable.
Hence, we need to flush the runtime journal file later.

journald: log removal of runtime journal directories

journald: close runtime journal earlier

Then, we can use SD_JOURNAL_ASSUME_IMMUTABLE flag, and the performance
of reading runtime journal should be improved.

test: applying timezone is asynchronous

So, we need to try to read timezone several times.
Also, on failure, show journal of timedated instead of hostnamed,
as the timezone is handled by timedated.

Hopefully fixes #33007.

Merge pull request #33011 from yuwata/machine-id-setup-follow-ups

machine-id-setup: several follow-ups for #32915

machine-id-setup: update comment

If an initrd has an empty or uninitialized /etc/machine-id file,
then PID1 write a valid machine ID. So, the logic is important only on
soft-reboot. Let's mention that explicitly.

Follow-up for 16718dcf78a90faf8c5f53d7bf63e3575bc78be7.

man: update machine-id-setup(1)

- mention that /run/machine-id is used if exist.
- mention system.machine_id credential,
- credential, VM uuid, and container uuid are not read when --root=
  is specified or running in a chroot environment.

machine-id-setup: use isempty() instead of empty_or_root()

This effectively reverts ba540e9f1c29b430ac916918410c27171d14ab95.

https://github.com/systemd/systemd/pull/32915#discussion_r1608258136
> In many cases we allow --root=/ as a mechanism for forcing an "offline" mode,
> while still operating on the root dir. if we do the getenv_for_pid() thing
> below I'd claim this is very much an "online" operation, and hence --root=/
> should really disable that.

update TODO

Merge pull request #32994 from keszybz/kernel-install-parsing

Improve parsing of kernel/install.conf

man: mention that NFTSet is only available for system services

Merge pull request #32993 from poettering/cryptenroll-no-pcr

cryptenroll: make sure enrolling signed PCR policy without literal PCR policy works correctly

TODO: drop implemented entry

Revert "TEST-19-CGROUP: Skip on opensuse"

This reverts commit 60d064d3fdfc21d9209d81ed8b29fe0d90891ebf.

The logged test failure was because of missing memory controller in
testing cgroup. With the test fixed in previous commit, memory
attributes are delegated as expected.

Ref: #32439

test: Ensure delegation test unit has memory controller

When the test used to be run on distro that doesn't enable memory
accounting by default (such as openSUSE TW), there is no guarantee that
testing unit has memory.* cgroup attributes and delegation test would
fail if they are missing.

Require memory controller explicitly inside the unit so that test can
work in any environment.

shared/conf-parser: do not print "(null)" as section name

Before:
/etc/kernel/install.conf:6: Unknown key name 'asdf' in section '(null)', ignoring.
After:
/etc/kernel/install.conf:6: Unknown key 'asdf', ignoring.

Also make the message a bit better.

kernel-install,bootctl: unify the config parsing procedure

Fixes https://github.com/systemd/systemd/issues/32992.

update TODO

tpm2-util: improve compat with older unlocking tools

Let's only generate the pin and pcrlock booleans if they are enabled, in
order to not unnecessarily confuse older unlocking tools.

tpm2-util: do not serialize tpm2 bank if none is specified

If both literal and signed PCR bindings are not used then we won't
determine a PCR bank to use, and hence we shouldnt attempt to serialize
it either.

Hence, if the bank is zero, skip serialization.

(And while we are at it, also skip serialization of the primary
algorithm if not set, purely to make things systematic).

[This effectively results in little change, as previously we'd then
seralize a json "null", while now we simply won't genreate the field]

cryptenroll: explicitly pick PCR bank if literal PCR binding is off, but signed PCR binding is on

We so far derived the PCR bank to use from the PCR values specified fr
literal PCR binding. However, when that's not used then we left the bank
uninitialized – which will break if signed PCR binds are used (where we
need to pick a bank too after all).

Hence, let's explicitly pick a bank to use if literal PCR values are not
used, to make things just work.

Fixes: #32946

NEWS: finalize for v256~rc3