dirent-util: tweak readdir_ensure_type() a bit

So far we ignored if readdir_ensure_type() failed, the .d_type would
then still possibly report DT_UNKNOWN, possibly confusing the caller.

Let's make this safer: if we get an error on readdir_ensure_type() then
report it — except if it is ENOENT which indicates the dirent vanished
by now, which is not a problem and we should just skip to the next
entry.

dirent-util: use statx() in readdir_ensure_type()

Let's ask exactly for the one field we actually want to know, i.e.
STATX_TYPE.

(While we are at it, also copy over the inode number, if we have it,
simply to report the most recent info we have)

(Also, see AT_NO_AUTOMOUNT, so that we don't trigger automounts here.
After all, if we want to know the inode type of a dirent here, then
there's not need to trigger the automount, the inode type is not going
to change by that.)

dirent-util: get rid of stat_mode_to_dirent_type()

Apparently glibc already has a helper for this. (Not in the man pages
for Linux, but FreeBSD does document these cryptic helpers, and its
exported by glibc. That should be good enough for us.)

coredump: Add --all option

This option has coredumpctl look at all journals instead of only the
local ones. This allows coredumpctl to show information about remote
coredumps if the coredumps are made available in /var/lib/systemd/coredump
and the corresponding journals are made available in /var/log/journal.

This is already possible using the --directory option but --all makes it
more user friendly since users don't have to enter the journal directory
anymore as long as it's available under /var/log/journal.

Merge pull request #20910 from poettering/nftw-no-more

basic: add recurse_dir() function as modern replacement for nftw()

network: assert on dereferenced pointer

CID#1462762

Merge pull request #20778 from yuwata/network-ipv6-token

network: rework IPv6 address generation mode

homed: typo fix

update TODO

Merge pull request #20948 from poettering/cgls-xattr

cgls: show cgroup id and xattr info in output

update TODO

mount-setup: port from nftw() to recurse_dir()

kbd-util: port from nftw() to recurse_dir()

cgroup-util: port from nftw() to recurse_dir()

kmod-setup: port from nftw() to recurse_dir()

tests: add test for recurse_dir()

basic: add new recurse_dir() tool as replacement for nftw()

libc nftw() shows its age a bit, let's replace it with a more moden
infra that is built around openat(), O_PATH, statx(). This makes the
interface less prone to races and cleans up the API a bit adding
substantially more functionality.

tree-wide: remove a few unnecessary inclusions of ftw.h

fileio: add shortcut for xopendirat() when called in opendir() compatible mode

dirent-util: split out new function stat_mode_to_dirent_type()

This contains the mapping between mode_t inode type flags and dirent's
d_type. Splitting this out allows us to use the mapping elsewhere later.

bash-completion: add the two new switches to systemd-cgls

(completion hookup for zsh doesn't appear to exist, hence not adding
there.)

man: document the two new switches for systemd-cgls

cgls: enable cgroupid/xattr output by default (but make it configurable)

cgroups-show: optionally show cgroup xattrs + cgroup id in cgroup tree output

cgroups-show: use path_join() when concatenating cgroup paths

cgroups-show: validate specified hostname before including it in fs path

let's make sure the specified hostname is really valid before we build
an fs path from it. Just as a safety future, so that people can't trick
us with hostnames including "/../" or so.

cgroup-util: add reusable union type for cgroupfs file_handle structs

That way we can easily call name_to_handle_at() on cgroupfs2 elsewhere.

xattr-util: merge various getxattr()/listxattr() helpers into getxattr_at_malloc() + listxattr_at_malloc()

Unfortunately fgetxattr() and flistxattr() don't work via O_PATH fds.
Let's thus add fallbacks to go via /proc/self/fd/ in these cases.

Also, let's merge all the various flavours we have here into singular
implementations that can do everything we need:

1. malloc() loop handling
2. by fd, by path, or combination (i.e. a proper openat() like API)
3. work on O_PATH

test: make OpenSSL checks optional in TEST-50-DISSECT

If the packages are built without libssl simply skip the signature
checks.

Oct 06 21:21:32 H systemd[1]: systemd 249.1249.gcc4df1f787.0 running in system mode (+PAM +AUDIT +SELINUX +APPARMOR +IMA +SMACK +SECCOMP +GCRYPT +GNUTLS -OPENSSL
...
Oct 06 21:22:21 H systemd[459]: Activation of signed Verity volume worked neither via the kernel nor in userspace, can't activate.

Follow-up for #20691

Merge pull request #20926 from yuwata/udev-net-wol-sopass

udev/net: introduce WakeOnLanPassword=

test: test udev with a _very_ long device name

Let's attempt to provide some coverage for #16161, #6867, and similar.

coredump: Don't log an error if D-Bus isn't running

coredumpctl could be used in a chroot where D-Bus isn't running. If
that's the case, we shouldn't consider it an error if we can't connect
to the D-Bus daemon so let's reduce the severity of the error we log
when we can't connect to D-Bus because the socket doesn't exist.

Merge pull request #20935 from unusual-thoughts/fix-empty-argv

Fix #20933

udev/net: introduce WakeOnLanPassword=

Closes #20913.

test-network: add tests for Token= in [IPv6Prefix]

test-network: replace deprecated settings

network: make generate_eui64_address() static

network: introduce Token= setting in [IPv6Prefix]

Closes #20149.

network: extend Token= setting in [DHCPv6PrefixDelegation]

Now the setting supports the same syntax as the one in the [IPv6AcceptRA]
section.

network: introduce Token=eui64

So, now user can explicitly request EUI-64 algorithm to generate addresses.

network: rename IPv6Token= in [Network] -> Token= in [IPv6AcceptRA]

The token is only used by received prefixes through RA.

network: address-genereation: introduce generate_addresses()

Preparation for later commits. This does not change functionality.

network: address-generation: use in6_addr_hash_ops_free

Also, downgrade error level, and caller logs the error.

network: address-generation: modernize config_parse_address_generation_type()

- drop unused _NONE type,
- rename IPv6Token::prefix -> IPv6Token::address,
- clear unused part of IPv6Token::address,
- use Set, instead of OrderedSet.

network: address-generation: mask prefix with prefixlen for safety

network: address-generation: always start DAD counter from zero

The token is stored in Network, and the .network file may be applied to
multiple links.

network: address-generation: always use the first 64 bits of the prefix

Hopefully, the prefix length is usually 64.

Previously, if the prefix length is smaller than 64, the result address
was undefined.

network: ndisc: ignore autonomous prefix with prefix length larger than 64

network: radv: ignore Assign= if prefixlen is larger than 64

network: make generate_ipv6_eui_64_address() take prefix

Also, rename the function.

network: fix prefixlen for reserved subnet anycast address

Then, the prefixlen is not a multiplier of 8, we need to use
in6_addr_prefix_covers().

This also constify the reserved addresses, and rename macros.

network: move address generation methods to network-address-generation.[ch]

in-addr-util: introduce in{4,6}_addr_prefix_covers()

in-addr-util: do not shift 8 or more for uint8_t

See ISO/IEC 9899:TC3 § 6.5.7.3.

in-addr-util: introduce in{4,6}_addr_mask()

in-addr-util: introduce in6_addr_hash_ops_free

network: radv: reorder functions

In other files, we usually (but not always) place functions in the following order:
- network_adjust_xxx(), which applies default or updates settings
  specified in .network files,
- link_xxx_enabled(), which checks if the functionality is enabled,
- xxx_new() and xxx_free(), allocator and deallocator for sections,
- functions which apply/update/remove configs
- validators of section,
- conf parsers.

This does not change each function, but just changes the order.

Merge pull request #18145 from kinvolk/iaguis/lsm-bpf

Add RestrictFileSystems= property using LSM BPF

user-record: disable two pbkdf fields that don't apply for pkbdf2

Fixes: #20830

ethtool-util: make ethtool_set_wol() take password

ethtool-util: do not try to enable unsupported WoL options

ethtool-util: make wol_options_to_string() not return all flag strings

Update 60-sensor.hwdb

#20287 was wrong.
Y Axis was only reversed on Arch Linux because of a problem with iio-sensor-proxy
This restores before the patch.

core/service: also check path in exec commands

man: add discussion of read-only filesystem support in daemons

This is inspired by https://bugzilla.redhat.com/show_bug.cgi?id=1853293.  Let's
mention that applications should be prepared for /var being read-only.

man: document systemd-analyze filesystems

analyze: add filesystems command

README: document LSM BPF requirements

test: add test-bpf-lsm

man: document EXIT_BPF status

man: add RestrictFileSystems= documentation

mkosi: add libbpf dependency

For distros that ship libbpf >=0.2.0.

core: add dbus RestrictFileSystems= properties

core: add RestrictFileSystems= fragment parser

It takes an allow or deny list of filesystems services should have
access to.

core: use LSM BPF functions to implement RestrictFileSystems=

It attaches the LSM BPF program when the system manager starts up.

It populates the hash of maps BPF map when services that have
RestrictFileSystems= set start.

It cleans up the hash of maps when the unit cgroup is pruned.

To pass the file descriptor of the BPF map we add it to the keep_fds
array.

core: add BPF LSM functions

This adds 6 functions to implement RestrictFileSystems=

* lsm_bpf_supported() checks if LSM BPF is supported. It checks that
  cgroupv2 is used, that BPF LSM is enabled, and tries to load the BPF
  LSM program which makes sure BTF and hash of maps are supported, and
  BPF LSM programs can be loaded.
* lsm_bpf_setup() loads and attaches the LSM BPF program.
* lsm_bpf_unit_restrict_filesystems() populates the hash of maps BPF map with the
  cgroupID and the set of allowed or denied filesystems.
* lsm_bpf_cleanup() removes a cgroupID entry from the hash of maps.
* lsm_bpf_map_restrict_fs_fd() is a helper function to get the file
  descriptor of the BPF map.
* lsm_bpf_destroy() is a wrapper around the destroy function of the BPF
  skeleton file.

shared/bpf-dlopen: expose more libbpf functions

They're needed for the LSM BPF feature.

exit-status: add EXIT_BPF

It will be used later.

cgroup-util: add cg_path_get_cgroupid()

It returns the cgroupID from a cgroup path.

bpf: add restrict_fs BPF program

It hooks into the file_open LSM hook and allows only when the filesystem
where the open will take place is present in a BPF map for a particular
cgroup.

The BPF map used is a hash of maps with the following structure:

    cgroupID -> (s_magic -> uint32)

The inner map is effectively a set.

The entry at key 0 in the inner map encodes whether the program behaves
as an allow list or a deny list: if its value is 0 it is a deny list,
otherwise it is an allow list.

When the cgroupID is present in the map, the program checks the inner
map for the magic number of the filesystem associated with the file
that's being opened. When the program behaves as an allow list, if that
magic number is present it allows the open to succeed, when the program
behaves as a deny list, it only allows access if the that magic number
is NOT present. When access is denied the program returns -EPERM.

The BPF program uses CO-RE (Compile-Once Run-Everywhere) to access
internal kernel structures without needing kernel headers present at
runtime.

basic: use filesystem database

basic: add filesystem database

Stores filesystem_name -> magic_number(s).

missing_magic: add several filesystems

They were failing on CI.

basic: move CIFS magic number to missing_magic.h

It fits better there.

unit-file: tighten unit file discovery checks

Only accept DT_REG/DT_LNK/DT_DIR entries, ignore all others.

Only accpet DT_REG/DT_LNK for file names that are valid unit file names.

Only accept DT_DIR for filenames that are valid unit file names which
are suffixed by .d, .wants, .requires

This doesn't really fix any bugs, but tightens what we insert into the
lookup tables.

Merge pull request #20937 from poettering/sync-split

split up a few files in src/basic/

basic/env-util: correctly parse extended vars after non-extended vars (#20941)

repart: use right error variable

basic: move chase_symlinks_and_fopen_unlocked() → chase-symlinks.[ch]

core: fix SIGABRT on empty exec command argv

This verifies that the argv part of any exec_command parameters that
are sent through dbus is not empty at deserialization time.

There is an additional check in service.c service_verify() that again
checks if all exec_commands are correctly populated, after the service
has been loaded, whether through dbus or otherwise.

Fixes #20933.

basic: spit out chase_symlinks() from fs-util.[ch] → chase-symlinks.[ch]

basic: split out inotify-related calls from fs-util.h → inotify-util.h

basic: split out glyph/emoji related calls from locale-util.[ch] into glyph-util.[ch]

These functions are used pretty much independently of locale, i.e. the
only info relevant is whether th locale is UTF-8 or not. Hence let's
give this its own pair of .c/.h files.

basic: split out sync() family of calls from fs-util.[ch] into new c/h file

No changes in code, just some splitting out.

Merge pull request #20893 from poettering/per-user-oom-score

default to higher oom scores for user sessions

Merge pull request #20892 from yuwata/test-network-preferred-lifetime-zero

network: drop and warn duplicated address settings

test: create and merge code coverage reports in integration tests

If -Db_coverage=true is used at build time, then ARTIFACT_DIRECTORY/TEST-XX-FOO.coverage-info
files are created with code coverage data, and run-integration-test.sh also
merges them into ARTIFACT_DIRECTORY/merged.coverage-info since the coveralls.io
helpers accept only a single file.

man: document the new DefaultOOMScoreAdjust= setting

units: run user service managers at OOM score adjustment 100

Let's make it slightly more likely that a per-user service manager is
killed than any system service. We use a conservative 100 (from a range
that goes all the way to 1000).

Replaces: #17426

Together with the previous commit this means: system manager and system
services are placed at OOM score adjustment 0 (specifically: they
inherit kernel default of 0). User service manager (both for root and
non-root) are placed at 100. User services for non-root are placed at
200, those for root inherit 100.

Note that processes forked off the user *sessions* (i.e. not forked off
the per-user service manager) remain at 0 (e.g. the shell process
created by a tty or ssh login). This probably should be
addressed too one day (maybe in pam_systemd?), but is not covered here.

core: add a new setting DefaultOOMScoreAdjust= and set it to 100 above service manager's by default

Let's make our service managers slightly less likely to be killed by the
OOM killer by adjusting our services' OOM score adjustment to 100 above
ours. Do this conservatively, i.e. only for regular user sessions.