test-network: split out qdisc and wait-online tests from NetworkdNetworkTests

test-network: split test_qdisc() and test_qdisc2()

And check module availability in each tests.

This also sorts qdisc tests.

test-network: check qdisc feature by module existence

test-network: rename tun99 and tap99

The names seem to be used in AWS.

This also merges test_tun() and test_tap().

test-network: show stdout and stderr on failure in check_output()

test-network: drop unused text= arguments

test-network: also run timesyncd under sanitizer or valgrind

test-network: use timedatectl in build directory

network/teql: wait for corresponding teql interface to be available

network/qdisc: introduce is_ready() in qdisc vtable

Preparation for next commit.

core/cgroup: use bus locator (#24251)

tree-wide: use bus locator (#24252)

This modifies some sd_bus calls to equivalent bus calls.

sysusers: properly process user entries with an explicit GID

This tweaks user creation logic to properly take into consideration
an explicitly requested GID.
It fixes a bug where the creation flow would mistakenly fall back
to use the username instead, resulting in wrong lookups in case of
users and groups using the same name.

sysusers: only check whether the requested GID is available

This relaxes the availability check when creating a group, if an
explicit GID has been requested.
It avoids mixing up users and groups entries with valid and unique
UIDs/GIDs, but each having the same ID number.

Merge pull request #24244 from yuwata/device-enumerator

sd-device-enumerator: fix sysattr match

kmod-setup: load dmi-sysfs if it's a module

test: add tests for sd_device_enumerator_add_match_sysattr/property()

sd-device-enumerator: FOREACH_DEVICE_PROPERTY() does not provide NULL value

Hence, when sd_device_enumerator_add_match_property() called with NULL
for value, then the filter always unmatches with the device.

sd-device-enumerator,monitor: fix sysattr match

Previously, if sd_device_enumerator_add_match_sysattr() is called for
the same sysattr with different values, then no device passed the filter.

Now, the accepted values (or patterns) are stored in strv, and if the
sysattr value of a device matches with the strv, then the device passes
the filter.

cryptsetup: support keyfile-timeout for using a device as the key file

Closes https://github.com/systemd/systemd/issues/21993

Merge pull request #24221 from yuwata/dhcp-client-cleanups

dhcp: use struct hw_addr_data

hash-funcs: introduce string_hash_ops_free_strv_free

Merge pull request #23511 from diabonas/tpm2-pin-systemd-gpt-auto-generator

cryptsetup: make systemd-gpt-auto-generator work with TPM2 and PIN

Merge pull request #24220 from yuwata/on-ac-power

udev-util: assume running on AC power when no battery found

stub: Use EfiLoaderCode for kernel memory

Fixes: #24237

Merge pull request #24044 from dtardon/default-device-timeout

Add a configuration option for setting default device timeout

Fix issue with system time set back (#24131)

Fixes #6036

shared/generator: Ensure growfs unit runs after repart

When deploying an image using systemd-repart and systemd-growfs one
should have the image expanded entirely and ready to use after the first
boot. This ensures that growfs does not occur before repart, thus
requiring a second boot.

update TODO

dhcp: add assertions about client state

docs: mkosi-13 or newer required

boot: Build with at least -O1 as workaround

Fixes: #24202

dhcp: fix potential buffer overflow

Fixes a bug introduced by 324f818781a250b60f2fcfa74ff1c9101d2d1315.

This also renames several macros for DHCP packet size.

dhcp: make dhcp_network_bind_raw_socket() take struct hw_addr_data

dhcp: make dhcp_identifier_set_duid() take struct hw_addr_data

dhcp: make dhcp_identifier_set_iaid() take struct hw_addr_data

sd-dhcp6-client: use hw_addr_set()

sd-dhcp-client: use struct hw_addr_data to store MAC and broadcast address

ether-addr-util: introduce hw_addr_set() helper function

dhcp4: stop client before updating MAC address

sd-netlink: rename NLType and friends

In sd-netlink, we use 'type' for naming many variables with different type,
and worst of all, function like `type_get_type()` exists. That makes the
code hard to understood.

Let's rename
- NLType -> NLAPolicy
- NLTypeSystem -> NLAPolicySet
- NLTypeSystemUnion -> NLAPolicySetUnion
- type_get_type() -> policy_get_type()
- type_get_type_system() -> policy_get_policy_set(), and so on.

This also changes the type of attribute taken by e.g.
`sd_netlink_message_append_string()` from `unsigned short` -> `uint16_t`
to make the variable size clearer.

udev-util: assume system is running on AC power when no battery found

Fixes #24214.

udev-util: align string table

Merge pull request #23340 from yuwata/network-check-sr-iov-pf-state

network: check SR-IOV PF state

Merge pull request #23508 from yuwata/core-device

core/device: fix devlink handling

mkosi: Add package libfdisk to Ubuntu dependencies (#24211)

* mkosi: Add package libfdisk to Ubuntu dependencies

The libfdisk package is needed by systemd-repart.

bus: use inline trace argument for ANONYMOUS auth

Rather than using a separate DATA round to transmit the trace-string of
the ANONYMOUS authentication scheme, transmit it inline as argument.
This requires a refactor of the client-side SASL parser, as we now have
a different set of replies depending on the mode used.

This fixes an issue where libdbus-1 does not query for trace-strings if
not transmit inline as AUTH-ANONYMOUS argument. It is unclear from the
wording of the spec whether this is a violation by libdbus-1. However,
we can work around it by simply changing our mode of transmittal.

Merge pull request #24216 from poettering/ispowerof2

add ISPOWEROF2() macro and use it

man,journalctl: introduce man/--help sections

So far the --help text and the man page of journactl were mostly a large
pile of options shown next to each other. Let's add some basic
structure, and group switches by sections such as "Filtering Options",
"Output Options" and so on.

Do this the same way in the --help text and in the man page.

Since this moves everything around anyway, I also opted to rebreak all
paragraphs in the man page. This makes the patch larger than necessary,
but given that this whole patch doesn't really change contents besides
section titles I figured this would be OK.

man: update dbus docs

man: document DefaultDeviceTimeoutSec=

core/device: add comments for boolean arguments

core/device: always accept syspath change

When multiple devices have the same devlink, then
adding/updating/removing one of the device may cause syspath change.

Fixes the following issue in
https://github.com/systemd/systemd/issues/23208#issue-1217909746
> the above shows an inconsistency between udev's and systemd's handling
> of the two different devices having the same alias. While udev replaces
> the by-uuid symlink which now points to sdh1 rather than sdd1, systemd
> keeps the previous mapping to sdd1 and emits a warning. This is not the
> problem cause but worth mentioning.

core/device: move several functions

No functional change. A preparation for later commits.

core/device: store the original path

The unit name may be hashed. Hence, we cannot obtain the original path
from the unit name.

The path will be used in the later commits.

core: replace m->honor_device_enumeration with MANAGER_IS_SWITCHING_ROOT()

core: introduce MANAGER_IS_SWITCHING_ROOT() helper function

Will be used by the following commit.

network: also check SR-IOV PF port and other VF ports before configuring

When a PF port becomes down (this can happens e.g. the PF port is joining
a bond interface), some drivers make its VF ports also become down, and
may cause failures in configuring VF ports.

Similary, when a VF port become down, some drivers make its PF port and
other VF ports down.

Let's configure SR-IOV ports (both PF and VFs) after all link-layer
settings of all ports being applied.

Fixes #23315.

network: manage SR-IOV PF and VF ports

network: split out link_is_ready_to_create_stacked_netdev()

Preparation for later commits.

network: check link state with link_is_ready_to_configure() before configuring DHCP client or friends

Otherwise, DHCP client or friends may started before link-layer properties,
e.g. MAC address, being configured or the link being activated.

network: drop carrier check for unmanaged interface from link_is_ready_to_configure()

Preparation for later commits. No functional change.

network: refuse to configure anything on pending or initialized state

network: unset master ifindex only when necessary

network: wiphy: use ERRNO_IS_DEVICE_ABSENT()

udev: ignore empty SR-IOV VF suffix

It should not happen. Just for safety.

sd-device: introduce sd_device_new_child()

ci: set a timeout for each mkosi stage

Work around #24202 so we don't wait ~6 hours for a stuck QEMU job.

macro: use ISPOWEROF2() at various places

macro: add macro for checking if integer is power of 2

core: allow to set default timeout for devices

Fixes: #19879

cryptsetup: test unlocking using a TPM2 LUKS2 token plugin with a PIN

Test the functionality implemented in the previous commit ("cryptsetup: ask for
PIN when trying to activate using a LUKS2 token plugin"): when "tpm2-device" is
not specified, systemd-cryptsetup calls crypt_activate_by_token_pin() to try to
unlock using a LUKS2 token plugin, test whether this is able to obtain the
provided PIN.

cryptsetup: ask for PIN when trying to activate using a LUKS2 token plugin

crypt_activate_by_token() fails with ENOANO if the token is protected with a
PIN, in this case we need to call crypt_activate_by_token_pin() with a PIN.
This logic is already implemented in
crypt_activate_by_token_pin_ask_password().

This code path is relevant when using systemd-gpt-auto-generator because there
is no a priory information about the type of the used security device, so
systemd-cryptsetup tries to unlock the volume using the corresponding
cryptsetup plugin.

cryptsetup-token-systemd-fido2: use crypt_normalize_pin

Use the helper function introduced in the previous commit ("cryptsetup:
implement cryptsetup_token_open_pin for systemd-tpm2 LUKS2 token") for
cryptsetup-token-systemd-tpm2.

cryptsetup: implement cryptsetup_token_open_pin for systemd-tpm2 LUKS2 token

This finishes the implementation started in commit
1f895adac287b5f1b6b854caa586093616ccc172 ("cryptsetup: add libcryptsetup TPM2
PIN support").

Note that the previous implementation took a shortcut by returning EOPNOTSUPP
instead of the correct ENOANO as per the cryptsetup documentation. This meant
that systemd-cryptsetup fell back to the non-plugin implementation in order to
ask for the PIN. Since this does not happen any more when returning ENOANO, we
need to ask for the PIN in attach_luks2_by_tpm2_via_plugin() instead like
attach_luks2_by_fido2_via_plugin() does.

cryptsetup: refactor asking for a PIN into a more generic function

This functionality will be useful for other LUKS2 token types as well in the
future.

Merge pull request #23367 from yuwata/core-mount

core/mount: fix dependency issues

test-network: support the case that l2tp module is not supported

Hopefully fixes the issue reported at
https://github.com/systemd/systemd-centos-ci/pull/517#issuecomment-1205399798.

test: add test case for mount unit dependencies

core/mount: make device deps from /proc/self/mountinfo and .mount unit file exclusive

Before this commit, when a .mount unit file is loaded, the device
dependencies from the unit file are automatically added. If a device
that is different from which specified in .mount unit file is mounted
on the path, then the device dependencies about the device are also added.
Hence, the unit has device dependencies about two (or more) different
devices. Hence, if one of the devices are unplugged, even if another one
is mounted on the path, then the path is unmounted.

This commit makes device dependencies from two different sources
exclusive, and always regenerate the dependencies when one of the
information is updated.

Fixes #19983 and #23552.

core/mount: also remove default deps from /proc/self/mountinfo when it is updated

The dependencies tagged with UNIT_DEPENDENCY_MOUNTINFO_DEFAULT depend
on both /proc/self/mountinfo and corresponding .mount unit file.
Hence, if some information from mountinfo is updated, e.g. device mounted
on the path, we need to update the dependencies.

core/mount: set Mount.from_proc_self_mountinfo flag before adding default dependencies

When the function mount_setup_new_unit() is called, the corresponding
.mount unit file is not loaded. Hence, Mount.from_fragment is false.
To add default dependencies to e.g. .device units, it is necessary that
the Mount.from_proc_self_mountinfo flag is set. However, the flag was
not set even the unit has information from /proc/self/mountinfo.

Partially fixes #19983.

core: unit_name_from_path() does not return -ENAMETOOLONG anymore

Follow-ups for a7fb1f2eae3314c28d451822302283a7ab1bc1c0 and
1d0727e76fd5e9a07cc9991ec9a10ea1d78a99c7.

core/mount: use set_put_strdup_full()

Merge pull request #24189 from medhefgo/boot-secure

boot: Follow-up fixes for #20255

pull: fix PullFlags numbering

analyze: Migrate to bus-locator.h

Migrated analyze-security to use new API bus_call_method instead of sd_bus_call_method.

scope: allow unprivileged delegation on scopes

Previously it was possible to set delegate property for scope, but you
were not able to allow unprivileged process to manage the scope's cgroup
hierarchy. This is useful when launching manager process that  will run
unprivileged but is supposed to manage its own (scope) sub-hierarchy.

Fixes #21683

test: skip the relevant test case if systemd-measure is not present

systemd-measure is not built without gnu-efi, which is the case, for
example, on ppc64le. Let's skip the relevant test case in this case
instead of failing.

```
The Meson build system
Version: 0.58.2
...
Host machine cpu family: ppc64
Host machine cpu: ppc64le
...
Message: Skipping systemd-measure.1 because HAVE_GNU_EFI is false
...
[  115.711775] testsuite-70.sh[745]: + cat
[  115.741996] testsuite-70.sh[832]: + /usr/lib/systemd/systemd-measure calculate --linux=/tmp/tpmdata1 --initrd=/tmp/tpmdata2
[  115.754015] testsuite-70.sh[833]: + cmp - /tmp/result
[  115.758004] testsuite-70.sh[832]: /usr/lib/systemd/tests/testdata/units/testsuite-70.sh: line 56: /usr/lib/systemd/systemd-measure: No such file or directory
[  115.773851] testsuite-70.sh[833]: cmp: EOF on - which is empty
[  115.983681] sh[835]: + systemctl poweroff --no-block
```

docs: add disabled PR template for code freeze

To be enabled on rc1, and disabled again after the final release.
Gives contributors a clear warning that new features/APIs will be
postponed.

boot: Skip safety countdown when running in a VM

man: Add instructions for Microsoft secure boot keys

Adding Microsoft keys by default is recommended because firmware drivers
might be signed by it.

This also changes the file ending from .esl to .auth as that is used by
sign-efi-sig-list manpage and other sources.

repart: Only lock block device once

Let's lock the backing fd instead of locking/unlocking multiple
times when doing multiple operations with repart. It doesn't make
much sense for anything else to touch the block device while there
are still repart operations pending on it. By keeping the lock over
the full duration of repart, we avoid anything else from interfering
with the block device inbetween operations.

Merge pull request #24141 from DaanDeMeyer/dissect-umount

dissect: Add systemd-dissect --umount

integritysetup: do not use crypt_init_data_device after crypt_init

crypt_init_data_device() replaces the crypt_device struct with a
new allocation, losing the old one, which we get from crypt_init().
Use crypt_set_data_device() instead.

Enhance the test to cover this option too.

man: Clarify that tools should prefer mount units over editing fstab

dissect: Add systemd-dissect --umount

This command takes a mountpoint, unmounts it and makes sure the
underlying partition devices and block device are removed before
exiting.

To mirror the --mount operation, we also add a --rmdir option which
does the opposite of --mkdir, and a -U option which is a shortcut
for --umount --rmdir.

blockdev-util: Add block_device_remove_all_partitions()

This function takes a block device, uses sd-device to iterate all
the partitions, and removes them one by one.

loop-util: Add loop_device_unrelinquish()

Allows taking ownership of a loop device which makes sure that
loop_device_unrefp() will try to destroy it when it runs.

blockdev-util: Introduce block_device_add/remove_partition()

Extracted from dissect-image.c.