test: shorten code a bit

test: add more node enumerator tests

Merge pull request #20981 from poettering/glibc-less-internal

various clean-ups: use less glibc internal symbols, modernize some other stuff

Merge pull request #20965 from poettering/getdents

recurse-dir: use getdents64()

Merge pull request #20970 from poettering/token-timeout

cryptsetup: add a timeout for waiting for FIDO2/PKCS#11/TPM2 devices

virt: Fix Xen PV detection when nested inside another hypervisor

Currently, when Xen PV domains are nested within a hypervisor which is
detected through CPUID (such as VMware), the detected hypervisor might
not be Xen, because we don't check for Xen until after the CPUID check.

This change moves the Xen check before CPUID checks to fix the issue,
and moves Dom0 checking to detect_vm_xen so that we keep ignoring Xen
when we are in Dom0.

sd-stub: Provide initrd with LINUX_EFI_INITRD_MEDIA_GUID

Register a LINUX_EFI_INITRD_MEDIA_GUID DevicePath with a LoadFile2Protocol interface and serve the initrd to a supported Linux kernel (Version 5.8+)
Leave the x86 code for older kernels in place until supported kernels become more mainstream

sort-util: avoid using glibc's internal __compar_d_fn_t type

recuse-dir: rework to use getdents64() instead of readdir()

Let's use the underlying Linux API directly, instead of
opendir()/readdir(). This makes it possible for us to do a single memory
allocation for all directory entries in common cases, instead of one for
each entry.

test-recurse-dir: output some simple timing info, comparing recurse_dir() and nftw()

missing: add getdents64() syscall wrapper

glibc 2.30 (Aug 2019) added a wrapper for getdents64(). For older
versions let's define our own.

(This syscall exists since Linux 2.4, hence should be safe to use for
us)

localed: use PROJECT_FILE rather than __FILE__ for logging

All our log.h code uses PROJECT_FILE for this, let's hence use it here
too.

ethtool-util: let's use userspace types in userspace code

Using kernel types __u32 is fine for headers shared by the kernel, but
if we define something in userspace and only use it in userspace, in our
own .c files, let's stick to userspace fixed-length types.

tree-wide: use C99 __func__ rather than obsolete __FUNCTION__

We use __func__ almost everywhere, but there are some holdouts. Fix
that.

network: use official bswap_32() rather than inofficial __bswap_32()

The former is a macro for the latter, but let's use the official API
(the one that has an API).

macro: also use trailing __ for alignof use in attributes

While the underscore is optional, the docs say we should suffix and we
do that everywher else. Do so here too.

stub: also move magic string in stub into .sdmagic PE section

We already did that for sd-boot, hence do it for sd-stub the same way.

Also, move the __attribute__ stuff to the beginning of the statement,
rather than the middle. Mostly just because we usually put it first for
implementations for identifiers (for prototypes we put it last).

sort-util: use comparison_fn_t instead of __compar_fn_t

Let's avoid using the internal type of glibc, and rather use the one
they officially export.

https://www.gnu.org/software/libc/manual/html_node/Comparison-Functions.html

signal-util: don't introduce symbols with double underscores

ANSI C reserves identifiers beginning with an underscore for compiler
internal stuff. We already invade that namespace plenty and probably
should not. But even going for the doubly underscore prefixed namespace
is a bit too much. Let's just rename the offending table as
"static_signal_table[]", since it lists the static defined signals
rather than the "dynamic" RTSIGMIN/RTSIGMAX signals.

Merge pull request #20979 from poettering/ac-power-tweak

tweaks to ac_power()

util: invert ac_power() source type check

So far we assumed every power source was a battery except for the ones
which definitely are not. I think this logic makes little sense, as
"battery" is kinda the exceptional case here, not the other way round.
Hence let's invert the type check, and denylist "Battery" devices rather
than allowlist "Mains" devices.

This should increase compatibility with alternative types of power
sources, in particular USB ones.

This takes into account that additional power types have been added
since we wrote the original code, and in particular should cover the
siutation discussed here OK:

https://sources.debian.org/src/powermgmt-base/1.36/power_supply.txt/#L31
https://sources.debian.org/src/powermgmt-base/1.36/on_ac_power/#L25

Also, modernizes the code in various was ways.

Inspired by and fixes: #20964

docs: document $SYSTEMD_CRYPTSETUP_USE_TOKEN_MODULE

man: document new token-timeout= setting

cryptsetup: minor modernizations

cryptsetup: add a configurable token waiting timeout

Let's add  configurable timeout how long to wait for FIDO2/PKCS#11
devices to show up. Once the timeout is hit, let's automatically revert
to querying via passphrase.

Fixes: #19739

cryptsetup: before querying user for a PIN, check if a FIDO2 device is actually plugged in

Before we'd already ask for a PIN just because we know we'll need it
when the token is plugged in. We'd only the try to talk to the device
and notice it actually isn't plugged in. This is quite confusing, as
querying for the PIN suggests we already had a device we are talking to.

Let's hence check if there's actually device before we ask the PIN
question. And if there is none, let's immediately inform the caller, so
that they watch udev and retry once a device has shown up.

libfido2-util: add helper that checks whether a FIDO2 device is plugged in

cryptsetup: optionally turn off token module support in libcryptsetup

This is useful for debugging purposes.

cryptsetup: don't repeat exact same code twice

let's move turning off of the cache bit into the for loop, so that we
can eliminate a copy of the loop body.

fileio: add read_virtual_file_at() flavour that takes dir_fd/path pair

Merge pull request #20744 from yuwata/udev-netlink

udev: use netlink more aggressively

I'm pasting the comment from https://github.com/systemd/systemd/pull/20744#issuecomment-934485287
which is quite informative. The code wasn't changed significantly since then:

atenart commented 6 days ago:
> I ran tests without (93caec7) and with this PR (06735f2) on Fedora, having a few udev rules
> using attributes eligible to be cached and creating 50 veth on 4 CPUs. Although the time spent
> running the test is variable between runs, I generally saw an improvement when using this PR, e.g:
>
> 249-910-g93caec7:
> real 0m3.691s
> user 0m0.022s
> sys 0m1.338s
>
> 249-920-g06735f2:
> real 0m2.950s
> user 0m0.005s
> sys 0m0.399s
>
> On a different system than the one used above, I even saw a 40% improvement; results depend
> on many parameters (distro, udev rules, concurrent daemons accessing sysfs, etc.).
>
> Because it's quite hard to measure the improvement here (as the kernel behave differently between
> the two test cases), I also ran tests using a modified kernel not hitting the trylock logic. There was
> an improvement with this PR as well. (Take this with a grain of salt though, as the kernel was
> modified not using patches approved upstream).

macro: fix ALIGN_TO() to use ULLONG_MAX instead of ULONGLONG_MAX

<limits.h> calls this ULLONG_MAX. It's not clear to me where ULONGLONG_MAX
can be found. This seems to be just a mistake.

Fixes: c7ed7187203c ('macro: handle overflow in ALIGN_TO() somewhat reasonably')

Merge pull request #20973 from yuwata/busctl-trivial-cleanups

busctl: trivial cleanups

Avoid passing NULL to underlying fprintf() in sysusers (#20974)

test: add a test for parsing xml obtained by DBus Introspect method

busctl: add missing header

busctl: shorten code a bit

busctl: use set_ensure_consume()

Merge pull request #20969 from poettering/cryptenroll-no-homed

cryptenroll: politely refuse enrolling keys into homed volumes

Merge pull request #20915 from bluca/libsystemd_openssl

libsystemd/sd-id128: use only internal hmac, remove khash/OpenSSL support

test: set 5 minute timeout on TEST-11-ISSUE-3166 and TEST-50-DISSECT

When they work they finish quickly in under two minutes on slow machines, when
soft lock ups happen in the nested virt machine each test can run for like 5
hours clogging up CI infrastructure. It's best to fail quicker than that when
qemu or kernel are broken.

update TODO

cryptenroll: politely refuse enrolling keys into homed volumes

People should use homectl to enroll tokens into home directories, hence
point them there. Otherwise the auth data for the account and for the
LUKS volume will end up being different.

homed: don't forget to look at all enrolled tokens

We accidentally increased the token index twice whenever we found our
token. Fix that.

homed: use crypt_token_max() where appropriate

Let's use the new crypt_token_max() API in systemd-homework too, to cut
iteration of tokens short.

We already use it in cryptenroll/cryptsetup, so let's use it here too.

cryptsetup: also define crypt_token_max() as fallback locally, not just sym_crypt_token_max()

Our code that links directly against libcryptsetup, and doesn't use
dlopen() might want to use this fallback glue function too.

tree-wide: assorted Coccinelle fixes

It's that time of year again.

Add benchmark for sha256 calculations

test-id128: split into functions and add the usual headers

basic: remove khash helpers

No longer used anywhere. So long, and thanks for all the hashes!

libsystemd/sd-id128: use only internal hmac, remove khash/OpenSSL support

Using OpenSSL brings in an additional dependency for all users of
libsystemd.so even though it's just one API that makes use of it.

The khash implementation is awkward as it requires context switches and
computation inside the kernel, thus leaving the process.

Remove both from libsystemd.so, and use exclusively the internal hmac fallback.
While this is not optimized, the sd-id128 API is not used in
performance-critical contexts where hardware acceleration would make a
noticeable difference.

basic: add hmac_sha256 implementation

Based on the FIPS 198 specification. Not optimized and probably
completely unsafe, to be used only for non-strong-cryptographic
purposes when OpenSSL cannot be used.

boot/sha256: sd-ify and move to src/fundamental

fundamental: define size_t and memcpy for sd-boot

Merge pull request #20962 from poettering/dttoif

Some tweaks to dirent-util.c

dirent-util: tweak readdir_ensure_type() a bit

So far we ignored if readdir_ensure_type() failed, the .d_type would
then still possibly report DT_UNKNOWN, possibly confusing the caller.

Let's make this safer: if we get an error on readdir_ensure_type() then
report it — except if it is ENOENT which indicates the dirent vanished
by now, which is not a problem and we should just skip to the next
entry.

dirent-util: use statx() in readdir_ensure_type()

Let's ask exactly for the one field we actually want to know, i.e.
STATX_TYPE.

(While we are at it, also copy over the inode number, if we have it,
simply to report the most recent info we have)

(Also, see AT_NO_AUTOMOUNT, so that we don't trigger automounts here.
After all, if we want to know the inode type of a dirent here, then
there's not need to trigger the automount, the inode type is not going
to change by that.)

dirent-util: get rid of stat_mode_to_dirent_type()

Apparently glibc already has a helper for this. (Not in the man pages
for Linux, but FreeBSD does document these cryptic helpers, and its
exported by glibc. That should be good enough for us.)

dissect: print more useful error messages for two more error cases

coredump: Add --all option

This option has coredumpctl look at all journals instead of only the
local ones. This allows coredumpctl to show information about remote
coredumps if the coredumps are made available in /var/lib/systemd/coredump
and the corresponding journals are made available in /var/log/journal.

This is already possible using the --directory option but --all makes it
more user friendly since users don't have to enter the journal directory
anymore as long as it's available under /var/log/journal.

Merge pull request #20910 from poettering/nftw-no-more

basic: add recurse_dir() function as modern replacement for nftw()

network: assert on dereferenced pointer

CID#1462762

Merge pull request #20778 from yuwata/network-ipv6-token

network: rework IPv6 address generation mode

homed: typo fix

update TODO

Merge pull request #20948 from poettering/cgls-xattr

cgls: show cgroup id and xattr info in output

update TODO

mount-setup: port from nftw() to recurse_dir()

kbd-util: port from nftw() to recurse_dir()

cgroup-util: port from nftw() to recurse_dir()

kmod-setup: port from nftw() to recurse_dir()

tests: add test for recurse_dir()

basic: add new recurse_dir() tool as replacement for nftw()

libc nftw() shows its age a bit, let's replace it with a more moden
infra that is built around openat(), O_PATH, statx(). This makes the
interface less prone to races and cleans up the API a bit adding
substantially more functionality.

tree-wide: remove a few unnecessary inclusions of ftw.h

fileio: add shortcut for xopendirat() when called in opendir() compatible mode

dirent-util: split out new function stat_mode_to_dirent_type()

This contains the mapping between mode_t inode type flags and dirent's
d_type. Splitting this out allows us to use the mapping elsewhere later.

bash-completion: add the two new switches to systemd-cgls

(completion hookup for zsh doesn't appear to exist, hence not adding
there.)

man: document the two new switches for systemd-cgls

cgls: enable cgroupid/xattr output by default (but make it configurable)

cgroups-show: optionally show cgroup xattrs + cgroup id in cgroup tree output

cgroups-show: use path_join() when concatenating cgroup paths

cgroups-show: validate specified hostname before including it in fs path

let's make sure the specified hostname is really valid before we build
an fs path from it. Just as a safety future, so that people can't trick
us with hostnames including "/../" or so.

cgroup-util: add reusable union type for cgroupfs file_handle structs

That way we can easily call name_to_handle_at() on cgroupfs2 elsewhere.

xattr-util: merge various getxattr()/listxattr() helpers into getxattr_at_malloc() + listxattr_at_malloc()

Unfortunately fgetxattr() and flistxattr() don't work via O_PATH fds.
Let's thus add fallbacks to go via /proc/self/fd/ in these cases.

Also, let's merge all the various flavours we have here into singular
implementations that can do everything we need:

1. malloc() loop handling
2. by fd, by path, or combination (i.e. a proper openat() like API)
3. work on O_PATH

test: make OpenSSL checks optional in TEST-50-DISSECT

If the packages are built without libssl simply skip the signature
checks.

Oct 06 21:21:32 H systemd[1]: systemd 249.1249.gcc4df1f787.0 running in system mode (+PAM +AUDIT +SELINUX +APPARMOR +IMA +SMACK +SECCOMP +GCRYPT +GNUTLS -OPENSSL
...
Oct 06 21:22:21 H systemd[459]: Activation of signed Verity volume worked neither via the kernel nor in userspace, can't activate.

Follow-up for #20691

Merge pull request #20926 from yuwata/udev-net-wol-sopass

udev/net: introduce WakeOnLanPassword=

test: test udev with a _very_ long device name

Let's attempt to provide some coverage for #16161, #6867, and similar.

coredump: Don't log an error if D-Bus isn't running

coredumpctl could be used in a chroot where D-Bus isn't running. If
that's the case, we shouldn't consider it an error if we can't connect
to the D-Bus daemon so let's reduce the severity of the error we log
when we can't connect to D-Bus because the socket doesn't exist.

Merge pull request #20935 from unusual-thoughts/fix-empty-argv

Fix #20933

udev/net: introduce WakeOnLanPassword=

Closes #20913.

test-network: add tests for Token= in [IPv6Prefix]

test-network: replace deprecated settings

network: make generate_eui64_address() static

network: introduce Token= setting in [IPv6Prefix]

Closes #20149.

network: extend Token= setting in [DHCPv6PrefixDelegation]

Now the setting supports the same syntax as the one in the [IPv6AcceptRA]
section.

network: introduce Token=eui64

So, now user can explicitly request EUI-64 algorithm to generate addresses.

network: rename IPv6Token= in [Network] -> Token= in [IPv6AcceptRA]

The token is only used by received prefixes through RA.

network: address-genereation: introduce generate_addresses()

Preparation for later commits. This does not change functionality.

network: address-generation: use in6_addr_hash_ops_free

Also, downgrade error level, and caller logs the error.

network: address-generation: modernize config_parse_address_generation_type()

- drop unused _NONE type,
- rename IPv6Token::prefix -> IPv6Token::address,
- clear unused part of IPv6Token::address,
- use Set, instead of OrderedSet.