tpm2: add tpm2_index_to_handle() and tpm2_index_from_handle()

Adjust the tpm2_esys_handle_from_tpm_handle() function into better-named
tpm2_index_to_handle(), which operates like tpm2_get_srk() but allows using any
handle index. Also add matching tpm2_index_from_handle().

Also change the references to 'location' in tpm2_persist_handle() to more
appropriate 'handle index'.

tpm2: add tpm2_serialize() and tpm2_deserialize()

Add functions to perform serialization and deserialization of ESYS_TR objects.

tpm2: add tpm2_marshal_blob() and tpm2_unmarshal_blob()

Add functions to marshal and unmarshal our 'blob' object.

tpm2: move measurement log to /run/log/ (from /var/log/)

I have no idea what went on in my mind when I used a path in /var/ for
the tpm2 event log we now keep for userspace measurements. The
measurements are only valid for the current boot, hence should not be
persisted (in particular as they cannot be rotated, hence should not
grow without bounds).

Fix that, simply move from /var/log/ to /run/log/.

Merge pull request #29193 from keszybz/path-util-adjustment

Make unit mangling follow paths

Merge pull request #29241 from poettering/pidref-watch

pid1: move unit_watch_pid()/unit_unwatch_pid() logic over to PidRef

ukify: explicitly import attribute

* Explicitly import attributes rsa and serialization from cryptography.hazmat

Signed-off-by: Valentin Lefebvre <valentin.lefebvre@suse.com>

Merge pull request #29183 from ddstreet/tpm2_openssl_functions

Add openssl functions for use by TPM2 sealing calculations

automount: fix unused value coverity warnings

'r' is no longer used, so no point in setting it before returning

CID#1522310
CID#1522312

Follow-up for bfeb10911e58bf8890eb7687cf12eddb09ab0c5d

fix: do not check/verify slice units if recursive errors are to be ignored

Before this fix, when recursive-errors was set to 'no' during a systemd-analyze
verification, the parent slice was checked regardless. The 'no' setting means that,
only the specified unit should be looked at and verified and errors in the slices should be
ignored. This commit fixes that issue.

Example:

Say we have a sample.service file:

[Unit]
Description=Sample Service

[Service]
ExecStart=/bin/echo "a"
Slice=support.slice

Before Change:

systemd-analyze verify --recursive-errors=no maanya/sample.service
Assertion 'u' failed at src/core/unit.c:153, function unit_has_name(). Aborting.
Aborted (core dumped)

After Change:
systemd-analyze verify --recursive-errors=no maanya/sample.service
{No errors}

update TODO

core: move pid watch/unwatch logic of the service manager to pidfd

This makes sure unit_watch_pid() and unit_unwatch_pid() will track
processes by pidfd if supported. Also ports over some related code.
Should not really change behaviour.

Note that this does *not* add support waiting for POLLIN on the pidfds
as additional exit notification. This is left for a later commit (this
commit is already large enough), in particular as that would add new
logic and not just convert existing logic.

test-watch-pid: use a real PID, not a made up one

This matters once we track processes with pidfds rather than just pid_t,
because made up PIDs likely won't exist.

The essence of the test remains unmodified, we just use a real, existing
PID instead of 4711.

pidref: add pidref_verify() helper

This new helper can be used after reading process info from procfs, to
verify that the data that was just read actually matches the pidfd, and
does not belong to some new process that just reused the numeric PID of
the process we originally pinned.

pidref: add pidref_hash_ops

This adds a "hash_ops" structure, which allows using PidRef structures
as keys in Hashmap and Set objects.

pidref: add helpers for managing PidRef on the heap

Usually we want to embed PidRef in other structures, but sometimes it
makes sense to allocate it on the heap in case it should be used
standalone. Add helpers for that.

Primary usecase: use as key in Hashmap objects, that for example map
process to unit objects in PID 1.

This adds pidref_free()/pidref_freep() for freeing such an allocated
struct, as well as pidref_dup() (for duplicating an existing PidRef
on the heap 1:1), and pidref_new_pid() (for allocating a new PidRef from a
PID).

pidref: add PIDREF_MAKE_FROM_PID()

This helper truns a pid_t into a PidRef. It's different from
pidref_set_pid() in being "passive", i.e. it does not attempt to acquire
a pidfd for the pid.

This is useful when using the PidRef as a lookup key that shall also
work after a process is already dead, and hence no conversion to a pidfd
is possible anymore.

cgroup-util: add cg_read_pidref() helper

Just like cg_read_pid() but returns a PidRef

Merge pull request #29249 from poettering/pid1-error-message

pid1: refactoring of unit state machine logging and unit timer refactoring

resolved: register ipv4only.arpa are private domain

From RFC 8880:

Because the 'ipv4only.arpa' zone has to be an insecure delegation,
DNSSEC cannot be used to protect these answers from tampering by
malicious devices on the path.

Consequently, the 'ipv4only.arpa' zone MUST be an insecure delegation to
give DNS64/NAT64 gateways the freedom to synthesize answers to those
queries at will, without the answers being rejected by DNSSEC-capable
resolvers. DNSSEC-capable resolvers that follow this specification MUST
NOT attempt to validate answers received in response to queries for the
IPv6 AAAA address records for 'ipv4only.arpa'. Note that the name
'ipv4only.arpa' has no use outside of being used for this special DNS
pseudo-query used to learn the DNS64/NAT64 address synthesis prefix, so
the lack of DNSSEC security for that name is not a problem.

See: https://datatracker.ietf.org/doc/html/rfc8880#name-security-considerations

openssl: add kdf_ss_derive()

Add function to perform KDF-SS ("concat" KDF).

While Openssl allows a digest, HMAC, or KMAC for the auxiliary function H, this
currently only allows using a digest for H.

openssl: add ecc_edch()

Add function to perform ECC EDCH.

openssl: add openssl_cipher_many()

Add function to perform openssl cipher operations.

openssl: add kdf_kb_hmac_derive()

Add function to perform key-based (KB) key derivation function (KDF) using
hash-based message authentication code (HMAC).

Also alphabetize openssl-util.c header list, and include string-util.h.

openssl: add rsa_oaep_encrypt_bytes()

Add function to encrypt bytes, similar to rsa_encrypt_bytes() but using OAEP
(Optimal Asymmetric Encryption Padding).

openssl: add openssl_hmac_many()

Add function to perform HMAC on multiple buffers.

Also update test-openssl with associated testing, and replace some memcmp()
with memcmp_nn().

openssl: replace openssl_hash() with openssl_digest()

The openssl_hash() function was used only by string_hashnum(); change it to use
openssl_digest() instead.

openssl: add openssl_digest_many()

Add function to perform openssl digest calculation on multiple buffers.

openssl: add openssl_digest_size()

Add function to get digest hash size for provided digest name.

Merge pull request #29361 from keszybz/kernel-install-work

Advertise installkernel ↔ kernel-install duality

Remove json_variant_merge_pair() in favor of json_variant_set_field_non_null()

Merge pull request #28545 from bluca/softreboot_survive

pid1: add SurviveFinalKillSignal= to skip units on final sigterm/sigkill spree

kmod-setup: Load virtiofs and virtio_pci early

There's no way for us to wait for specific virtiofs tags to appear,
so we have to try and make sure that the tags are all available by
the time we try to mount any virtiofs tag. Let's try to do that by
loading the necessary modules as early as we can.

show-logs: add assert and fix local variable type

Follows-up for: 0693e6b246053d31c0eb405c6abe9db8a4d00aaf

#29355

core: mark units as need daemon-reload if unit file operations are
performed

systemctl would issue daemon-reload after unit file operations
(enable/disable/preset/...) succeed. However, such operations
are not atomic, meaning that the unit file state could still change
even if the operation generally fails, and the unit_file_state
cached by manager becomes outdated.

Fixes #29341

core: improve error message when setting up service mounts

Right now we include the private working directory when we say some files
where not found, which is confusing. Strip it from the error string.

For example, with a BindPaths=/var/bar that does not exist on the host:

Before:

  foo.service: Failed to set up mount namespacing: /run/systemd/unit-root/var/bar: No such file or directory

After:

  foo.service: Failed to set up mount namespacing: /var/bar: No such file or directory

Merge pull request #29295 from valentindavid/valentindavid/sysupdate-patterns-in-directory

sysupdate: Allow patterns to match path with directories

Merge pull request #29359 from poettering/bootctl-uki-measured

bootctl: show whether we booted in a measured UKI in status output (plus some minor other stuff)

docs: note root storage daemons can now also use SurviveFinalKillSignal=yes

test: check soft-reboot behavior wrt argv[0][0] == '@'

pid1: add SurviveFinalKillSignal= to skip units on final sigterm/sigkill spree

Add a new boolean for units, SurviveFinalKillSignal=yes/no. Units that
set it will not have their process receive the final sigterm/sigkill in
the shutdown phase.

This is implemented by checking if a process is part of a cgroup marked
with a user.survive_final_kill_signal xattr (or a trusted xattr if we
can't set a user one, which were added only in kernel v5.7 and are not
supported in CentOS 8).

update TODO

Rework unit_name_mangle_with_suffix() to (very slightly) simplify the path

'systemctl status /../dev' now looks for 'dev.mount', not '-..-dev.service',
and 'systemctl status /../foo' looks for 'foo.mount', not '-..-foo.service'. I
think this much more useful. I think the escaping is not very useful, so I plan
to submit a later series which changes that behaviour. But I think this first
step here is already useful on its own.

Note that the patch is smaller than it seems: before, is_device_path() would
return true only for absolute paths, so moving of is_device_path() under the
path_is_absolute() conditional doesn't influence the logic.

exec-util: print executed commands in do_execute()

kernel-install uses do_execute(). We would log whenever a spawned child
finished, but we would not log anything when the child is launched. When the
children log output without a prefix (as the kernel-install plugins do), it
is hard to see where that output is coming from.

kernel-install: describe usage as installkernel

For us, this is a compatibility mode, but most likely it is there to stay: the
kernel Makefile's install target expects to be able to call /bin/installkernel.
We want people who build their own kernels to use this, so that they use
kernel-install and get support for all the functionality provided by it,
including building of UKIs and other new features. So let's actually advertise
that this exists and works.

resolved: never respond to .alt pseudo-TLD.

From RFC 9476:

Because names beneath .alt are in an alternative namespace, they have no
significance in the regular DNS context. DNS stub and recursive
resolvers do not need to look them up in the DNS context.

See: https://datatracker.ietf.org/doc/html/rfc9476#name-the-alt-namespace

bootctl: highlight SecureBoot enabled state in green

bootctl: if we can't access the ESP, show this in regular status output

Merge pull request #29333 from YHNdnzj/systemctl-warn-half-masked

systemctl-enable: warn if disabled/masked unit has active triggering units

sysupdate: Add documentation for new MatchPattern behavior

sysupdate: Allow patterns to match path with directories

`MatchPattern` for regular-file and directory as target can now match
subdirectories This is useful to install files for examples in `.extra.d`
directories:

```
[Target]
Type=regular-file
Path=/EFI/Linux
PathRelativeTo=boot
MatchPattern=gnomeos_@v.efi.extra.d/apparmor.addon.efi
```

The if the directories in the path do not exist, they will be created.  Whereas
the part in `Path` is not created.

bootctl: report if have been booted with a measured UKI

Just expose the result of efi_measured_uki() to the user.

systemctl-enable: warn if disabled/masked units has active triggering units

Closes #311

systemctl-start: suppress the triggering unit warning when --no-warn

systemctl: clean up check_triggering_units

Preparation for #311

systemctl: make unit_is_masked always query manager

systemctl: don't duplicate string needlessly

systemctl: reflect that statically enabled units can be in .upholds/

Follow-up for 38f901791f3c4b1cbd04b71323bbef2fdab65f83

Merge pull request #29353 from YHNdnzj/nft-followup

man/org.freedesktop.systemd1: add version info for NFTSet

Merge pull request #29265 from YHNdnzj/sleep-util-refactor

sleep-util: split into three and first round of cleanups

man/org.freedesktop.systemd1: add version info for NFTSet

Follow-up for dc7d69b3c1eb4aa78a5ba2791c6e146a365c4092

core/unit: use RET_GATHER in one more function

test: testing for core NFTSet= feature

core: add user and group to NFTSet=

The benefit of using this setting is that user and group IDs, especially dynamic and random
IDs used by DynamicUser=, can be used in firewall configuration easily.

Example:

```
[Service]
NFTSet=user:inet:filter:serviceuser
```

Corresponding NFT rules:

```
table inet filter {
        set serviceuser {
                typeof meta skuid
        }
        chain service_output {
                meta skuid @serviceuser accept
                drop
        }
}
```

```
$ cat /etc/systemd/system/dunft.service
[Service]
DynamicUser=yes
NFTSet=user:inet:filter:serviceuser
ExecStart=/bin/sleep 1000

[Install]
WantedBy=multi-user.target
$ sudo nft list set inet filter serviceuser
table inet filter {
        set serviceuser {
                typeof meta skuid
                elements = { 64864 }
        }
}
$ ps -n --format user,group,pid,command -p `systemctl show dunft.service -P MainPID`
    USER    GROUP     PID COMMAND
   64864    64864   55158 /bin/sleep 1000
```

core: firewall integration of cgroups with NFTSet=

New directive `NFTSet=` provides a method for integrating dynamic cgroup IDs
into firewall rules with NFT sets. The benefit of using this setting is to be
able to use control group as a selector in firewall rules easily and this in
turn allows more fine grained filtering. Also, NFT rules for cgroup matching
use numeric cgroup IDs, which change every time a service is restarted, making
them hard to use in systemd environment.

This option expects a whitespace separated list of NFT set definitions. Each
definition consists of a colon-separated tuple of source type (only "cgroup"),
NFT address family (one of "arp", "bridge", "inet", "ip", "ip6", or "netdev"),
table name and set name. The names of tables and sets must conform to lexical
restrictions of NFT table names. The type of the element used in the NFT filter
must be "cgroupsv2". When a control group for a unit is realized, the cgroup ID
will be appended to the NFT sets and it will be be removed when the control
group is removed.  systemd only inserts elements to (or removes from) the sets,
so the related NFT rules, tables and sets must be prepared elsewhere in
advance.  Failures to manage the sets will be ignored.

If the firewall rules are reinstalled so that the contents of NFT sets are
destroyed, command systemctl daemon-reload can be used to refill the sets.

Example:

```
table inet filter {
...
        set timesyncd {
                type cgroupsv2
        }

        chain ntp_output {
                socket cgroupv2 != @timesyncd counter drop
                accept
        }
...
}
```

/etc/systemd/system/systemd-timesyncd.service.d/override.conf
```
[Service]
NFTSet=cgroup:inet:filter:timesyncd
```

```
$ sudo nft list set inet filter timesyncd
table inet filter {
        set timesyncd {
                type cgroupsv2
                elements = { "system.slice/systemd-timesyncd.service" }
        }
}
```

update TODO

core: generalize service_arm_timer() for all unit types

scope: also modernize state machine logging

path: also modernize path state machine logging

timer: also modernize timer state machine error logging

automount: also modernize log logic

swap: also modernize state engine log message generation

mount: also rework log message generation

socket: clean up error message generation/fail paths also for the socket state engine

socket: modernize socket_acquire_peer() a bit

socket: drop redundant TAKE_FD(cfd) line

In the only two codepaths we reach this place we know that cfd is
already invalidated. In the Accept=yes case there's already a
TAKE_FD() a few lines further up, and in the Accept=no case there is no
connection fd anyway.

service: add error handling for all service_arm_timer() invocations

Let's clean this up a bit, and catch all errors and do something
reasonable in case this happens.

service: clean up logging a bit

This rearranges various cases of "goto fail" in service.c: sometimes the
whole "goto fail" logic was redundant, since only jumped to form a
single place. Sometimes the log message was generated in the fail
section, instead of the place jumped to from, which resulted in
duplicate or misleading error messages.

No real codeflow changes, just refactoring primarily around log
messages.

Merge pull request #29345 from poettering/measured-uki-condition

pid1: introduce ConditionSecurity=measured-uki

sleep-config: add explanatory comment on "modes"

sleep-config: several cleanups

* Rename free_sleep_config to sleep_config_free
* Rearrange functions
* Make SleepConfig.modes and .states only contain
  operations that needs configuration
* Add missing assert

sleep/battery-capacity: rearrange functions

sleep/battery-capacity: drop unused error-handling

sleep/battery-capacity: don't report we have trip alarm if no battery is found

sleep-util: split into sleep-config and hibernate-util

sleep-util: split battery-capacity into sleep/

This is only used by sleep.c. Let's start shrinking down
the "mixed" sleep-util.

sleep: rebreak lines in check_wakeup_type

sleep-util: move check_wakeup_type to sleep/sleep

Merge pull request #29134 from nabijaczleweli/short-iso-timestamp

journalctl -o short-iso[-precise]: timezone as +02:00 instead of +0200

Merge pull request #29296 from yuwata/sd-journal-several-cleanups-for-boot-id

test: introduce TEST-09-REBOOT

To test stuff involving state preserved across (multiple) reboots, like
journal boot IDs.

Merge pull request #29296 from keszybz/make-cryptsetup-offical-and-add-docs

Make cryptsetup offical and add docs

units/blockdev@.target: conflict with umount.target

Follow-up for d120ce478dc0043c89899799b5c1aaf62901bea9

blockdev@.target is used as a synchronization point between
the mount unit and corresponding systemd-cryptsetup@.service.
After the mentioned commit, it doesn't get a stop job enqueued
during shutdown, and thus the stop job for systemd-cryptsetup@.service
could be run before the mount unit is stopped.

Therefore, let's make blockdev@.target conflict with umount.target,
which is also what systemd-cryptsetup@.service does.

Fixes #29336

update TODO

efi-loader: add caching to efi_measured_uki()

EFI variable access is slow, hence let's avoid it if there's no need.
Let's cache the result of efi_measured_uki() so that we don't have to go
to the EFI variables each time.

This only caches in the yes/no case. If we encounter an error we don't
cache, so that we go to disk again.

This should optimize things a bit given we now have a bunch of services
which are conditioned with this at boot.

units: move units over to ConditionSecurity=measured-uki

condition: add ConditionSecurity=measured-uki

We have various services that should only run in a measured UKI
environment. Let's add an explicit high-level check for that.

efi-loader: rename efi_stub_measured() → efi_measured_uki()

Let's say "uki" rather than "stub", since that is just too generic, and
we shouldn't limit us to our own stub anyway, but generally define a
concept of a "measured UKI", which is a UKI that measures its part to
PCR 11.

This is mostly preparation for exposing this check to the user via
ConditionSecurity=.

ndisc: Also set link hoplimit

The per route hop limit does not place the hop limit in the IPv6 header.
https://github.com/systemd/systemd/issues/28437#issuecomment-1711055181

Revert "userdbd: Order systemd-userdbd.service after systemd-remount-fs.service"

This reverts commit 9dd88582813b6dbeea6ce336f70cae681e6cbfc6.