Enhance docs for ukify and direct kernel boots (#39516)

man: say "systemd-boot" instead of "sd-boot" consistently

As requested in

https://github.com/systemd/systemd/pull/39516#pullrequestreview-3407564896.

man/ukify: mention all functionality in intro, add example of direct boot

Over the time, the functionality in ukify has grown. This should all be briefly
mentioned in the first section so the user does't have to read the whole page
to figure out what types of functionality are implemnted.

Also add an example of direct kernel boot. It's a nifty technology (and frankly
underutilized, considering how cool it is is).

man/sd-boot: add some meat to the direct kernel boot example

Unfortunately qemu still default to BIOS boot, so for the direct kernel
boot with an efi file to be of any use, the complex param used to switch
to UEFI mode needs to be provided.

Also add some links to qemu and OVMF.

rules.d/60-block.rules: fix typo

Several OpenSSL related cleanups (#39455)

repart: support "nodatacow" in btrfs subvolumes

In btrfs-progs 6.15 it is planned to add a new parameter in mkfs.btrfs
--inode-flags, that can set attributes for subvolumes, directories, and
files.

The current supported attributes are "nodatacow", to disable CoW, and
"nodatasum", to disable the checksum.

This commit extend the "Subvolunes=" option to understand the
"nodatacow" flag for subvolums only.

If RepartOffline is enabled it will build the image without loopback
devices, using the correct --inode-flags parameters.

If RepartOffline is disabled it will use loopback devices and set the
btrfs attributes accordingly.

Signed-off-by: Alberto Planas <aplanas@suse.com>

repart: fix typo

Follow-up for 15734190c7cbfe5aed90647179e7dbbca592c8c5.

resolvectl: fix typo

Follow-up for 7517e41a49d9fa7d79567ec293fe0a353bd1441b.

openssl-util: drop unnecessary functions when OpenSSL support is disabled

openssl-util: sort cleanup functions

repart: drop OpenSSL specific logics when OpenSSL support is disabled

repart: merge common conditions

No functional change, just refactoring.

repart: make sign_verity_roothash() take Context

No functional change, just refactoring.

repart: load x509 certificate and private key after Context is allocated

This splits out context_load_keys() from parse_argv().
No functional change, just refactoring.

bootctl: return earlier when secure boot auto-enrollment is requested but OpenSSL support is disabled

bootctl: move conditions into corresponding functions

openssl-util: drop unused fake type definitions when OpenSSL is disabled

pe-binary: drop pe_hash() and friends when OpenSSL support is disabled

These three functions are currently only used by sbsign, which requires
OpenSSL. Moreover, pe_hash() and uki_hash() anyway do not work if
OpenSSL is disabled. Let's only declare them when OpenSSL support is
enabled.

openssl-util: drop unused string_hashsum() and friends when OpenSSL is disabled

resolvectl: return earlier from openpgp command when OpenSSL support is disabled

When OpenSSL is disabled, string_hashsum_sha256()/_sha224() in
resolve_openpgp() will fail anyway. Let's return earlier.

coredump: several cleanups, modernizations, fixlets for corner cases (#39418)

docs: add comment about requiring the mount hierarchy to be mounted MS_SHARED

This has been tripping up container manager people. let's document this
explicitly.

(Note that the container interface could really use some updates, i.e.
it was written before a time where cgroup namespacing was a thing. But I
am too lazy to fix that now, so let's just add this once facet.)

Several cleanups for libcryptsetup dependency (#39452)

repart: varlink support (#39421)

Split out of #38764

Replaces: #33741

doc: indicate Type=oneshot also detects invocation failures

Type `simple` explicitly mentions that invocation failures like a missing binary
or `User=` name won’t get detected – whereas type `exec` mentions that it does.

Type `oneshot` refers to being similar to `simple`, which could lead one to
assume it doesn’t detect such invocation failures either – it seems however it
does.

Indicate this my changing its wording to be similar to `exec`.

Signed-off-by: Christoph Anton Mitterer <mail@christoph.anton.mitterer.name>

ci: add testcases for recently added stuff

repart: report vendor/model/subsystem fields in ListCandidateDevices

Prompted by: #39435

blockdev-list: switch to log_device_xyz() style logging

udev: introduce ID_BLOCK_SUBSYSTEM property

Virtual block devices are a bit weird: they have no parent device, and
thus cannot be related to the subsystem they belong to, except by
pattern matching their name. This is OK to do if one knows what to look
for. However for tools that do not want to carry a list of known
subsystems with their appropriate matching patters this sucks. Let's
introduce a new ID_BLOCK_SUBSYSTEM property we can set on block devices
that carries an explicit string for this. Do so for a small number of
key subsystems: DM, loopback and zram.

repart: sort input before output parameters in varlink IDL

repart: add knobs for automatically deferring all partitions marked as empty or for factory reset

repart: send out progress information via varlink (if more flag is given)

And while we are at it, also send it out via sd_notify()

repart: add Varlink call that runs repart's engine

repart: if device node is specified as "-", calculate needed disk space

So far repart always required specification of a device node. And if
none was specified, then we'd fine the node backing the root fs. Let's
optionally allow that the device node is explicitly not specified (i.e.
specified as "-" or ""), in which case we'll just print the size of the
minimal image given the definitions.

repart: split out main function that ponders about placement of partitions

Let's move the key code that places partitions into a function of its
own. That will make it easier to call this via varlink.

repart: move definitions + dry_run + empty fields into Context

This is preparation for making this eventually available via Varlink,
where we'd like to create Context object for each call that we can free
once it is done, but not inherit state from an earlier call.

Also fixes a couple of cases where we accessed arg_node, but where we
should have accessed the Context-specific copy in .node.

repart: use SD_JSON_BUILD_UNSIGNED for disk sizes, as we should

sd-varlink: fix sd_varlink_collect() with empty replies

Follow-up for: 48c64813ec6bdbe536b7a62281292ea5981295ba

man: add documentation for the various sd_json_dispatch_xyz() calls

Now that we comprehensively return accept null it's a good idea to
document which function maps null to what.

cryptsetup-util: sym_crypt_free() and friends are unused when libcryptsetup is disabled

cryptsetup-util: sort loaded function prototypes

libcryptsetup: drop several unnecessary checks for existences of functions by libcryptsetyp

The functions crypt_set_metadata_size() and friends are supported since
libcryptsetup-2.0.

This also merges checks for functions used for supporting libcryptsetup
plugins with others.
Moreover, check existence of one more function (crypt_logf) that is used in
libcryptsetup plugins.

sd-json: parse signals also in string format

sd-json: parse uid_t/gid_t as uint32_t first

Let's use the proper uint32_t parsers initially, so that the usual logic
of formatting integers as decimal strings, works too for uids/gids. Not
because it made any sense to encode them like that, but just to be
systematic here.

sd-json: make sure all dispatch helpers do something sensible in case of "null" JSON value

Most of our dispatch helpers already do something useful in case they
are invoked on a null JSON value: they translate this to the appropriate
niche value for the type, if there is one.

Add the same for *all* dispatchers we have, to make this fully
systematic.

For various types it's not always clear which niche value to pick. I
opted for UINT{8,16,32,64}_MAX for the various unsigned integers, which
maps our own use in most cases. I opted for -1 for the various signed
integer types. For arrays/blobs of stuff I opted for the empty
array/blob, and for booleans I opted for false.

Of course, in various cases this is not going to be the right niche
value, but that's entirely fine, after all before a json value reaches a
dispatcher function it must pass one of two type checks first:

1. Either the .type field of sd_json_dispatch_field must be
   _SD_JSON_VARIANT_TYPE_INVALID to not do a type check at all

2. Or the .type field is set, but then the SD_JSON_NULLABLE flag must be
   set in .flags.

This means, accidentally generating the niche values on null is not
really likely.

Ignore --now when systemctl enable is called in a chroot (#39456)

parse-util: Add parse_capability_set()

Let's extract common capability parsing code into a generic function
parse_capability_set() with a comprehensive set of unit tests.

We also replace usages of UINT64_MAX with CAP_MASK_UNSET where
applicable and replace the default value of CapabilityBoundingSet
with CAP_MASK_ALL which more clearly identifies that it is initialized
to all capabilities.

AI (copilot) was used to extract the generic function and write the
unit tests, with manual review and fixing afterwards to make sure
everything was correct.

test: migrate test-load-fragment to use ASSERT_* macros

Replace all assert_se() calls with appropriate ASSERT_* macros from tests.h:
- assert_se(r >= 0) → ASSERT_OK(r)
- assert_se(r == 0) → ASSERT_OK_ZERO(r)
- assert_se(r == -ERR) → ASSERT_ERROR(r, ERR)
- assert_se(expr == value) → ASSERT_EQ(expr, value)
- assert_se(str1, str2) → ASSERT_STREQ(str1, str2)
- assert_se(ptr) → ASSERT_NOT_NULL(ptr)
- assert_se(!ptr) → ASSERT_NULL(ptr)
- assert_se(expr) → ASSERT_TRUE(expr)
- assert_se(!expr) → ASSERT_FALSE(expr)

Also added unsigned suffixes (U) to numeric literals in comparisons with
unsigned types (size_t, rlim_t) to eliminate signedness warnings.

This code was written with the help of AI.

test: add test case for verity deferred removal without sharing

I recently found out (the hard way) that on an older version
there was a bug when the verity sharing is disabled: the
deferred close flag was not set correctly, so verity devices
were leaked.

This is not an issue in main currently, but add a test case
to cover it just in case, to avoid future regressions.

resolvectl: do not use strjoina() on user provided strings

systemctl: downgrade or silence warnings for --now

When calling systemctl enable/disable/reenable --now, we'd always fail with
error when operating offline. This seemly overly restricitive. In particular,
if systemd is not running at all, the service is not running either, so
complaining that we can't stop it is completely unnecessary. But even when
operating in a chroot where systemd is not running, let's just emit a warning
and return success. It's fairly common to have installation or package scripts
which do such calls and not starting/restarting the service in those scenarios
is the desired and expected operation. (If --now is called in combination
with --global or --root=, keep returning an error.)

Also make the messages nicer. I was adding some docs to tell the user to run
'systemctl enable --now', and checked how the command can fail, and the error
message that the user might see in some common scenarios was too complicated.
Split it up to be nicer.

systemctl: convert return value of install_client_side() to enum

The checks are reordered to do checks that don't require interacting with the
system first.

build(deps): bump softprops/action-gh-release from 2.2.2 to 2.4.1

Bumps [softprops/action-gh-release](https://github.com/softprops/action-gh-release) from 2.2.2 to 2.4.1.
- [Release notes](https://github.com/softprops/action-gh-release/releases)
- [Changelog](https://github.com/softprops/action-gh-release/blob/master/CHANGELOG.md)
- [Commits](https://github.com/softprops/action-gh-release/compare/da05d552573ad5aba039eaac05058a918a7bf631...6da8fa9354ddfdc4aeace5fc48d7f679b5214090)

---
updated-dependencies:
- dependency-name: softprops/action-gh-release
  dependency-version: 2.4.1
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump redhat-plumbers-in-action/advanced-issue-labeler

Bumps [redhat-plumbers-in-action/advanced-issue-labeler](https://github.com/redhat-plumbers-in-action/advanced-issue-labeler) from 3.2.2 to 3.2.3.
- [Release notes](https://github.com/redhat-plumbers-in-action/advanced-issue-labeler/releases)
- [Commits](https://github.com/redhat-plumbers-in-action/advanced-issue-labeler/compare/0db433d412193574252480b4fc22f2e4319a4ea3...e38e6809c5420d038eed380d49ee9a6ca7c92dbf)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/advanced-issue-labeler
  dependency-version: 3.2.3
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

discover-image: introduce bus_property_get_image_is_read_only() with BUS_DEFINE_PROPERTY_GET() macro

This also makes image_is_read_only() return bool.

Follow-up for ee327e086e0534645d1c8cb9daa49cd8d7d68d51.

Several cleanups around strv_extendf() (#39508)

core: Add RootDirectoryFileDescriptor= (#39480)

RootDirectory= but via a open_tree() file descriptor. This allows
setting up the execution environment for a service by the client in a
mount namespace and then starting a transient unit in that execution
environment using the new property.

We also add --root-directory= and --same-root-dir= to systemd-run to
have it run services within the given root directory. As systemd-run
might be invoked from a different mount namespace than what systemd is
running in, systemd-run opens the given path with open_tree() and then
sends it to systemd using the new RootDirectoryFileDescriptor= property.

analyze: add missing help entry

Follow-up for 0fe29d0672d8c7ad422ca88ad12d10f08f3f2a05.

core/exec-invoke: correct fd array size for collect_open_file_fds()

Follow-up for f70346fb87052f37d446d2e9ccf915e5289b2b87

man: fix outdated link to freedesktop.org documentation (#39511)

Freedesktop changed their link format.

reread-partition-table: take exclusive lock when requested

Before aa47d8ade18cc4a079fef5a1aaa37d763507104e, we took an exclusive lock
for the whole block device, but with the commit, a shared lock is taken.
That causes, during we requesting the kernel to reread partition table,
udev workers can process the block device or its partitions.

Let's make udev workers not process block devices during rereading
partition table again.

Follow-up for aa47d8ade18cc4a079fef5a1aaa37d763507104e.

vmspawn: replace strv_extendf() with strv_extend_joined() when concatenating strings

vmspawn: use strv_extendf() at one more place

dns-rr: use strv_extendf() at one more place

core/exec-invoke: use heap allocation to build environment variables

We sometimes forget to increase the size N_ENV_VARS. Let's use heap
allocation.

strv: introduce strv_extend_joined() and strv_extend_joined_with_size()

string-util: introduce strextendv_with_separator()

strv: introduce strv_extendf_with_size()

core: Add RootDirectoryFileDescriptor=

RootDirectory= but via a open_tree() file descriptor. This allows
setting up the execution environment for a service by the client in
a mount namespace and then starting a transient unit in that execution
environment using the new property.

We also add --root-directory= and --same-root-dir= to systemd-run to
have it run services within the given root directory. As systemd-run
might be invoked from a different mount namespace than what systemd is
running in, systemd-run opens the given path with open_tree() and then
sends it to systemd using the new RootDirectoryFileDescriptor= property.

Various --bind-user= fixes (#39498)

network: do not restart DHCPv4 client on stopping/restarting networkd

Follow-up for fc35a9f8d1632c4e7a279228f869bfc77d8f5b9c (v255).
Fixes #39299.

importd: support OS tree "mangling" unpriv too (#39406)

Split out of #38728

(background: os tree "mangling" is what we do if a tarball with an OS
image inside it if is nested inside an extra top-level dir inside the
tarball, which we need to "mangle" and move everything inside one level
up)

network: propagate error in link_carrier_lost()

Follow-up for 07021ed4f5ee5e34b06fcba97cab2c6214f601c9 (v258).

nspawn/vmspawn: Add --bind-user-group= option

Useful to add the bound users to the wheel group.

nspawn-bind-user: Write membership records

userdbctl: Write empty JSON object into membership files

TEST-87-AUX-UTILS-VM: Propagate SYSTEMD_PAGER at one more place

userdb: Add missing .membership extension to membership files

Follow up for fe0342edf4693ac14c8cb9a977afa09e4acd4daf

This also drops the mkosi testuser from the wheel and systemd-journal
groups as the integration tests rely on the testuser not being to read
the full journal.

nspawn: Fix docs

man: clarify quoting of `$` in command lines (#39494)

When the special executable prefix `:` is used, `$$` yield the literal `$$`.

man: clarify requirements for BridgeVLAN to work

mount-setup: Add memory_hugetlb_accounting to cgroupfs mount (#39486)

This mount option will count HugeTLB memory usage towards the cgroup’s
overall memory usage for the memory controller.

See
https://lore.kernel.org/all/20231006184629.155543-4-nphamcs@gmail.com/T/#u
for the patch introducing the new mount option.

core: Rename bus_set_transient_std_fd() and remove unused name argument

import: make sure image mangling works unpriv too

import-common: rework import_mangle_os_tree() to operate based on fd to tree

os-util: add fd_is_os_tree() which is like path_is_os_tree() but operates on an fd

mount-setup: Add memory_hugetlb_accounting to cgroupfs mount

This mount option will count HugeTLB memory usage towards the cgroup’s
overall memory usage for the memory controller.

See https://lore.kernel.org/all/20231006184629.155543-4-nphamcs@gmail.com/T/#u
for the patch introducing the new mount option.

mount-setup: Add optional function which provides extra mount options

importd: port export-tar code to use the one systemd-dissect already uses (#39405)

Split out of #38728.

(Testcase is part of that PR)

mount-setup: Reformat table

Preparation for the next commit.

core: several cleanups/fixes for fd passing (#39491)

core/exec-invoke: switch keep_fds to heap allocation

Hardcoding total size of the array is error-prone, especially
considering the exeuctable_fd is added far below, so the '4' is
not entirely obvious. Also we seldomly do VLAs.

core/exec-invoke: store all stashed fds in ExecParameters, incl. OpenFile= ones

Keeping a half-detached counter around brings nothing
but confusion, and leads to fd leak in error paths.

core/exec-invoke: do not discard stashed fds when stdio is connected to socket

This makes zero sense. Not sure how it got introduced...

core/service: also pass sockets to control processes when stdio is named fd

core/service: only pass socket fds to control processes

If socket is used as stdio, we'd currently imply EXEC_PASS_FDS
and dump the whole set of fds to the control processes. This is
pretty much unexpected and unnecessary though, instead let's
pass only the socket fds.

Yes, this is a compat break, but a relatively minor one I'd
argue. And we can always revisit things if users do complain.

core/execute: merge n_storage_fds and n_extra_fds into stashed_fds

The distinction between fdstore and extra fds is only meaningful
to struct Service. As far as executor is concerned they're just
some fds to pass to the service. Let's just merge it hence,
for the sake of simplicity.

core/execute: serialize fd_names only if there're fds to pass

core/execute: reorder ExecParameters fields