cryptenroll: validate positional arguments before looking at detail parameters

Let's switch the order in which we process positional arguments and
analyze/tweak detail parameters. Let's look at the positional arguments
first (i.e. the "big picture") and then look at the switches (i.e.
"little details").

THis doesn't matter much, but makes for better error messages I think.
At least I was very confused that a completely borked cmdline I passed
to cryptenrolled complained about some detail and let the major fuckup
pass...

cryptenroll: add section headers to --help text

cryptenroll: add addition asserts

repart: reduce scope of two variables

This replicates what 475c473d328c12f5e9fd43cee959154a0d0c78a4 did for
cryptenroll for repart, which has very similar code for this.

execute: log about failures when opening a terminal to reset

mount-util: add one more const

update TODO

Merge pull request #29689 from mrc0mmand/test-shutdown

test: shorten service stop/abort timeouts for TEST-69-SHUTDOWN

Merge pull request #29677 from keszybz/rewinddir-alternative-fix

Rewind dir fd before using it for cleanup

sleep-config: make hybrid sleep always use 'suspend' disk mode

If user requests hybrid sleep, we should always use 'suspend'
disk mode. If that's not supported, let's correctly report it
so they can choose plain hibernation instead. HybridSleepMode=
serves no purpose in this case and should be removed.

Addresses https://github.com/systemd/systemd/pull/29681#discussion_r1369812785

shared/copy: rewind dir fd before using it for cleanup

This seems to be the only place where rm_rf_children() is called with a
possibly used fd, which is then passed through to rm_rf_children_impl().

This also fixes #29606.
(Tested on Fedora rawhide with kernel 6.5.6-300.fc39.x86_64.)

Merge pull request #29601 from yuwata/mmap-check-overflow

mmap: check offset and size more carefully

test: shorten service stop/abort timeouts for TEST-69-SHUTDOWN

In several Ubuntu CI jobs I noticed timeouts in TEST-69, which are
apparently caused by a very stubborn bash/login process:

$ journalctl -o short-monotonic --no-hostname --file artifacts/TEST-69-SHUTDOWN.journal
[ 2011.698430] systemd[1]: shutdown.target: starting held back, waiting for: veritysetup.target
[ 2011.698473] systemd[1]: sysinit.target: stopping held back, waiting for: user@0.service
[ 2045.884982] systemd[1]: systemd-oomd.service: Got notification message from PID 54 (WATCHDOG=1)
[ 2071.576424] systemd[1]: Received SIGCHLD from PID 65 (bash).
[ 2071.576941] systemd[1]: Child 65 (bash) died (code=killed, status=1/HUP)
[ 2071.577026] systemd[1]: session-13.scope: Child 65 belongs to session-13.scope.
[ 2071.577100] systemd[1]: session-13.scope: cgroup is empty
[ 2071.577249] systemd[1]: session-13.scope: Deactivated successfully.

$ journalctl -o short-monotonic --no-hostname --file artifacts/TEST-69-SHUTDOWN.journal _PID=65
[ 3038.661488] login[65]: ROOT LOGIN  on '/dev/pts/0'

Since, in this case, we really care only about the actual shutdown,
let's shorten the service stop/abort timeouts to let systemd SIGKILL all
remaining processes in the 60s `expect` window.

test: introduce $TEST_SKIP_SHUTDOWN

To get rid of some boilerplate.

Merge pull request #29685 from poettering/cryptenroll-reduce-scope

cryptenroll: two minor simplifications

Merge pull request #29681 from YHNdnzj/sleep-round-three

sleep-config: cleanup round three

Merge pull request #29679 from keszybz/drop-iovec-null

Drop IOVEC_NULL

basic/iovec-util: use FOREACH_ARRAY in one more place

basic/iovec-util: drop TAKE_IOVEC

As suggested in
https://github.com/systemd/systemd/pull/29679#discussion_r1368678932.

cryptenroll: merge two if checks with same condition

This removes a duplicate condition check by adding a common surrounding
if block.

This also change a confusing if check: "(X && Y) && Z" to simply "X && Y && Z"

cryptenroll: reduce scope of two global variables

No change in behaviour

systemctl: fallback if logind doesn't support new flag

Follow-up for 665a3d6d15c09428

Merge pull request #29633 from yuwata/dhcp-ipv6-only-mode-follow-ups

dhcp: several follow-ups for IPv6 only mode

sleep-config: check sleep mode only when hibernation

With the previous change, this should only be used when
doing hibernation.

sleep-config: remove HibernateState= & HybridSleepState=, restrict
SuspendState= not to include "disk"

I don't know why these existed in the first place, but as I
justified in the comments, it's simply not sensible to allow
HibernateState= or HybridSleepState= to take values other than
'disk'. So let's just remove those options. Also, SuspendState=
should not contain 'disk'.

hibernate-util: add missing assertion

hibernate-resume: add missing static for arg_info

timedatectl: add missing commands to the help output

Follow up to 159a855b34c35484c28cf4b0178f93bc16447fac

basic/iovec-util: drop IOVEC_NULL

The macro isn't very useful, we can just use the direct setting to increase
readability.

basic/iovec-util: always call the iovec "iovec"

We were using "i", "iov", and "iovec" in variuos places. Let's be
consistent.

Revert "rm-rf: Make sure we rewinddir() before readdir()"

This reverts commit 6bbb893b90e2dcb05fb310ba4608f9c9dc587845.

Let's try a different approach where we make sure that all callers only pass in
a fd that is "clean", i.e. at offset 0. The majority of callers of this function
(both direct and indirect) pass a freshly-opened fd, so the rewind call is not
needed.

Merge pull request #29674 from poettering/unexport-marshal-blob

tpm2-util: make tpm2_marshal_blob()/tpm2_unmarshal_blob() static

glyph-util: add 'full block' glyph

pcrextend: split out word to measure code into shared helper file

Let's split out the logic that actually generates the word to measure to
PCRs into a new helper file pcrextend-util.[ch].

This we can later reuse to calculate PCR measurement predictions ahead
of time.

efi-api: export UUID converter calls

(while exporting, do some minor simplifications)

tpm2-util: make tpm2_read_public() static, as we use it only internally in tpm2-util.c

tpm2-util: make tpm2_marshal_blob()/tpm2_unmarshal_blob() static

These are not used outside of tpm2-util.[ch], and the way they merge
public/private key pair into one blob is kinda specific to our
implementation, hence better should be hidden away, and not used for new
code anyway.

creds-utils: fix read_full_file_full call in read_credential_with_decryption

data was passed as a null pointer when an address was expected.
As a result, the assert was always tripped.

docs: correct parenthesis placement in 'man/tmpfiles.d.xml'

Correct the parenthesis placement in 'man/tmpfiles.d.xml' to prevent the
following formatting:

> lock ( shared or exclusive) is

tpm2-util: rename tpm2_calculate_name() → tpm2_calculate_pubkey_name()

We'll soon have a function for determining the name of an NV index,
hence let's rename the existing function for the same of a public key to
make clear it's about public keys only.

Merge pull request #29382 from YHNdnzj/sleep-round-two

shared/sleep-config,hibernate-util: cleanup round two

units: modprobe@.service: don't unescape instance name

modprobe treats "-" and "_" interchangeably, thereby avoiding frequent
errors because some module names contain dashes and others underscores.

Because modprobe@.service unescapes the instance name, an attempt to
start "modprobe@dm-crypt.service" will run "modprobe -abq dm/crypt",
which is doomed to fail. "modprobe@dm_crypt.service" will work as
expected. Thus unescaping the instance name has surprising side effects.
Use "%i" instead.

test: install af_packet kernel module on openSUSE

Currently needed by test-dhcp-server unit test, af_packet is not built-in on
openSUSE distributions.

Merge pull request #29652 from yuwata/dhcp-cleanup-headers

dhcp: cleanup headers

Merge pull request #29650 from YHNdnzj/more-followup

Some more follow-ups for recent PRs

shared/mount-util: log correct errno

Follow-up for 5f48198af82e5a6f40adf887291fdd47bcecf64c

man,docs: suffix directories with /

core/execute: use FOREACH_ARRAY and free_many more

network,dhcp: restart client with 'networkctl renew' when delayed by IPv6 only mode

This is convenient when the server supports IPv6 only mode.
Otherwise, we cannot request a new address during the client is waiting an
IPv6 connectivity. Note, the minimal timespan is 5min, and a server may
send a quite large value.

dhcp: split dhcp-internal.h into two

sd-dhcp-client: always use sd_dhcp_client.timeout_ipv6_only_mode for delaying subsequent task

Otherwise, sd_dhcp_client_set_ipv6_connectivity() may not work, as it
checks if the timer event source is enabled or not.

dhcp: move DHCP client specific definitions to dhcp-client-internal.h

sd-dhcp-client: add a short comment about IPv6 only mode

sd-dhcp-client: only send RENEW message when the client is in bound state

Fixes an issue reported at
https://github.com/systemd/systemd/pull/29544#issuecomment-1762742561.

sd-dhcp-client: simplify the condition in sd_dhcp_client_get_lease()

The condition was outdated, e.g. SELECTING state does not have a lease.
See client_handle_offer() and client_enter_requesting().

The condition based on the state may become much complex in the future.
Let's use simpler condition.

dhcp: split out dhcp-network.h from dhcp-internal.h

dhcp: move DHCPState to dhcp-client-internal.h

All other definitions in dhcp-protocol.h are common for client and
server. Let's move DHCP client specific definitions.

fuzz: include library headers first

hibernate-util: introduce hibernation_is_safe

After 7470b80763ac0f598ca1ef73d44763967119c18d, we refuse
to hibernate if we fail to write HibernateLocation EFI
variable and resume= is not set. Let's teach sleep_supported
to follow the practice too.

hibernate-util: rework find_hibernate_location

* "HibernateLocation" struct is renamed to HibernationDevice
  to avoid ambiguity with the EFI variable. Also, it no longer
  takes the reference to a SwapEntry object, since it's really
  unnecessary (only SwapEntry.path is used), but increases complexity.
* SwapEntry is no longer used externally.
* find_hibernate_location is split into read_swap_entries and
  find_suitable_hibernation_device. The former reads all swap entries
  into SwapEntries object for later use.
* Make use of btrfs_get_file_physical_offset_fd

Closes #25130

hibernate-util: read_fiemap: add missing asserts

sleep-config: introduce sleep_supported_full that returns a reason

Preparation for later commits.

Also some other cleanups:
* Add assertions
* Use FOREACH_ARRAY

sleep-config: minor cleanup for can_sleep_{state,disk}

* Rename to sleep_{state,mode}_supported
* Treat unreadable/unwriable sysfs files as error

test-btrfs-physical-offset: log correct errno

stub: Ignore the boot counter when looking for .extra.d directory

If `foo+3-0.efi` is booted when there are some files in `foo.efi.extra.d`,
those files are ignored. But after the boot is blessed and the system rebooted,
those file are taken into account, and the boot is different from first
boot. This behavior is a bit puzzling.

Instead we now ignore the counter and always look for the extra files in
`foo.efi.extra.d` and always boot the same way.

mkfs-util: set timezone to UTC when copying files into fat partition

mcopy will set the modification time of created directories to the mtime
of the source directories but converts it to the timezone of the host.
This behavior is identical to Windows / DOS:

>  The FAT file system stores time values based on the local time of the computer.

-- https://learn.microsoft.com/en-us/windows/win32/sysinfo/file-times

To achieve reproducible builds, mcopy should be invoked with TZ=UTC.

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

tpm2: move event tag sd-boot/sd-stub to make measurements with into src/fundamental/

Ultimately we want to be able to recognize these in userspace, hence
make them available in both UEFI mode and userspace.

While we are at it, let's rename the fields a bit, reflecting more what
they measure, not what the metadata is that we store about them.

sort-utils: add generic uint16_t comparison call

format-table: add new table_get_current_column() helper

format-table: add new uint32_t hex field type

Merge pull request #29644 from poettering/json-iovec

add iovec/base64 json helpers and other iovec tweaks

Merge pull request #29630 from DaanDeMeyer/manager-json

Various refactoring in preparation for adding JSON dump to pid 1

Merge pull request #29626 from bluca/auto_soft_reboot

systemctl: automatically softreboot/kexec if set up on reboot

repart: port to new "struct iovec" JSON + primitive helpers

json: add helpers for dispatching/building JSON with base64 struct iovecs

iovec-util: add some useful helpers for dealing with iovecs that refer to dynamic memory

tpm2-util: add line break where appropriate

tpm2-util: add a bunch of line breaks for an overly long bitmask

json: Introduce JSON_BUILD_CALLBACK

json: Introduce JSON_BUILD_STRING_SET

hashmap: Add extra uncounted entry to returned array from hashmap_dump_sorted()

This allows using the returned array as a strv.

manager: Introduce manager_get_progress() helper

unit: Move three helpers to unit.h

timer: Add two more helper functions

swap: Move two functions to swap.h

socket: Add one more helper

mount: Add more helpers

execute: Add more helper functions

core: Add two more to_string() functions

Add unit_type_to_capitalized_string()

Merge pull request #29627 from poettering/io-split

split up io-util.[ch], and some clean-ups

rm-rf: Make sure we rewinddir() before readdir()

We don't know what state the passed in file descriptor is in. Let's
make sure we rewind it before iterating over it.

Fixes #29606

systemctl: automatically softreboot/kexec if set up on reboot

Automatically softreboot if the nextroot has been set up with an OS
tree, or automatically kexec if a kernel has been loaded with kexec
--load.

Add SYSTEMCTL_SKIP_AUTO_KEXEC and SYSTEMCTL_SKIP_AUTO_SOFT_REBOOT to
skip the automated switchover.

credentials: document that their path is stable for system services

mkosi: Use RuntimeTrees= to mount sources

Instead of using ExtraTrees=, let's use the new RuntimeTrees= option
to mount the full repository into the VM/container. Let's also store
the sources under /usr/src/systemd and update the gdbinit file and
vscode HACKING guide section to match the new location.

netif-naming-scheme: disable NAMING_BRIDGE_MULTIFUNCTION_SLOT

This effectively reverts 66425daf2c68793adf24a48a26d58add8662e83f.

The commit assumes that if the network interface has multifunctions,
then the function fields of the pci devices under the same PCI bridge
device are unique.
But it seems not, at least on some setups. See issue #28929.
Let's revert the change, and always refuse to set slot base naming if
a PCI bridge is detected.

Fixes #28929.

Merge pull request #29618 from bonktree/fchmodat2

seccomp: get `fchmodat2(2)` covered by `RestrictSUIDSGID=`

man: document the order in which we talk to DNS servers

io-util: split out iovw_xyz into iovec-wrapper.h

Let's split these APIs out, they are kinda their own thing.

iovec-util: make IOVEC_INCREMENT a regular function too

Even more than with the previous commit, this is not a trivial function
and there's no reason to believe this will actually be inlined nor that
it would be beneficial.