userdb: replace recursion lock

Previously we'd used the existance of a specific AF_UNIX socket in the
abstract namespace as lock for disabling lookup recursions. (for
breaking out of the loop: userdb synthesized from nss → nss synthesized
from userdb → userdb synthesized from nss → …)

I did it like that because it promised to work the same both in static
and in dynmically linked environments and is accessible easily from any
programming language.

However, it has a weakness regarding reuse attacks: the socket is
securely hashed (siphash) from the thread ID in combination with the
AT_RANDOM secret. Thus it should not be guessable from an attacker in
advance. That's only true if a thread takes the lock only once and
keeps it forever. However, if a thread takes and releases it multiple
times an attacker might monitor that and quickly take the lock
after the first iteration for follow-up iterations.

It's not a big issue given that userdb (as the primary user for this)
never released the lock and we never made the concept a public
interface, and it was only included in one release so far, but it's
something that deserves fixing. (moreover it's a local DoS only, only
permitting to disable native userdb lookups)

With this rework the libnss_systemd.so.2 module will now export two
additional symbols. These symbols are not used by glibc, but can be used
by arbitrary programs: one can be used to disable nss-systemd, the other
to check if it is currently disabled.

The lock is per-thread. It's slightly less pretty, since it requires
people to manually link against C code via dlopen()/dlsym(), but it
should work safely without the aforementioned weakness.

nss-systemd: skip /etc/gshadow look-ups when we just need the GID of a group

util: add dlfcn-util.h

This just adds a _cleanup_ helper call encapsulating dlclose().

This also means libsystemd-shared is linked against libdl now. I don't
think this is much of an issue, since libdl is part of glibc anyway, and
anything from exotic. It's not an optional part of the OS (think: NSS
requires dynamic linking), hence this pulls in no deps and is almost
certainly loaded into all process' memory anyway.

[zj: use DEFINE_TRIVIAL_CLEANUP_FUNC().]

doc: Try to clarify automount dependency confusion

Arch recently upgraded systemd to 245.6. Shortly afterwards, users began
reporting[0] that systemd detected an ordering cycle, and they were
unable to log in. The reason they were unable to log in was because of
ordering cycle resolution:

    [...]
    systemd[1]: sysinit.target: Job systemd-tmpfiles-setup.service/start deleted to break ordering cycle starting with sysinit.target/start
    systemd[1]: sysinit.target: Job systemd-update-done.service/start deleted to break ordering cycle starting with sysinit.target/start
    systemd[1]: sysinit.target: Job systemd-journal-catalog-update.service/start deleted to break ordering cycle starting with sysinit.target/start
    systemd[1]: sysinit.target: Job local-fs.target/start deleted to break ordering cycle starting with sysinit.target/start
    systemd[1]: sysinit.target: Job systemd-tmpfiles-setup.service/start deleted to break ordering cycle starting with sysinit.target/start
    [...]

Whether the resolution did the right thing here or not is a longer-term
discussion, but in the interim we should at least make this distinction
between automount dependencies and mount dependencies clearer in the
documentation, so that users and distribution maintainers know what's
acceptable. In this case Arch actually backed out b3d7aef5 entirely and
released a new version due to the confusion.

Also see https://github.com/systemd/systemd-stable/issues/69.

0: https://bugs.archlinux.org/task/66908

docs: use bool in varlink interface definition

Boolean type in varlink is named bool, not boolean.

Merge pull request #16074 from msekletar/freezer-test-flakes

Freezer test flakes

hwbd entry for  Dell Inspiron Chromebook 14 2-in-1 sensor (#16109)

login: allow individual USB ports to be assigned to seats

Assigning seats to specific USB ports lets the devices plugged into them
inherit the port's seat assignment.

Merge pull request #16080 from YmrDtnJu/9p

9p is a network filesystem

core: let user define start-/stop-timeout behaviour

The usual behaviour when a timeout expires is to terminate/kill the
service. This is what user usually want in production systems. To debug
services that fail to start/stop (especially sporadic failures) it
might be necessary to trigger the watchdog machinery and write core
dumps, though. Likewise, it is usually just a waste of time to
gracefully stop a stuck service. Instead it might save time to go
directly into kill mode.

This commit adds two new options to services: TimeoutStartFailureMode=
and TimeoutStopFailureMode=. Both take the same values and tweak the
behavior of systemd when a start/stop timeout expires:

 * 'terminate': is the default behaviour as it has always been,
 * 'abort': triggers the watchdog machinery and will send SIGABRT
   (unless WatchdogSignal was changed) and
 * 'kill' will directly send SIGKILL.

To handle the stop failure mode in stop-post state too a new
final-watchdog state needs to be introduced.

Merge pull request #16073 from keszybz/shell-completion

Bash completion for homectl and help improvement for kernel-install

Merge pull request #15953 from keszybz/gdb-script

Update gdb script to match current sources and other hashmap improvements

Merge pull request #16047 from poettering/udev-ro-block

udev: optionally mark all block devices popping up read-only by default

update TODO

Merge pull request #16085 from ssahani/network-client-id

networkctl: add support to display DHCPv4 client ID

Add 'bitlk' option to mount Bitlocker drives with cryptsetup.

mount-tool: Replace fstype_is_{network,api_vfs} with fstype_is_blockdev_backed

Not every filesystem that is not a network filesystem and also not an API VFS
filesystem has a corresponding block device.

basic: New function fstype_is_blockdev_backed for fstypes that need a blockdev

The function returns true if the specified filesystem requires a block device.

hwdb: add HP Spectre x360's mic mute switch

Tested on HP Spectre x360 Convertible 13-aw0xxx

Merge pull request #16092 from yuwata/network-accept-local-16090

network: introduce IPv4AcceptLocal= setting

man: single-char parameters take no '='

The suggested syntax is simply not valid and results in an error.

units: tweak udev unit descriptions

udev: optionally mark all block devices read-only as they pop up

networkctl: Display DHCP4 client ID

sd-network: Introduce API to access DHCP4 client ID

network: DHCP4 client ID save in state file

test-network: add test for IPv4AcceptLocal=

network: introduce IPv4AcceptLocal= setting

Closes #16090.

homed help --uid short option

test: avoid failing due to unexpected precision

After today's Arch Linux image update, there seems to be a slight change
in delay reporting which breaks some asserts in
systemd-networkd-tests.py:

Expected:
        limit 100 delay 50.0ms  10.0ms loss 20%
Current:
        limit 100 delay 50ms  10ms loss 20%

Merge pull request #16033 from poettering/parse-int-fixlets

various fixes and tweaks for integer parsing

resolve: enable RES_TRUSTAD towards the 127.0.0.53 stub resolver

glibc 2.31 strips the AD flag, unless either the application specifies
RES_TRUSTAD or the options in resolv.conf contain trust-ad.

See https://sourceware.org/git/?p=glibc.git;a=blob_plain;f=NEWS;hb=HEAD

lldp: fix assertion checking argument for sd_lldp_set_neighbors_max()

Fixes: 34437b4f9c9c ('sd-lldp: rework sd-lldp API')

man: fix typo Takse -> Takes

shell-completion: add homectl for bash

The difference between verbs that take one user and multiple users is not
handled. I don't know how to do this.

kernel-install: extend --help

Merge pull request #15378 from msekletar/udev-kill-signal

udev:  make signal that we use to kill workers on timeout configurable

core: fix the return value in order to make sure we don't dipatch method return too early

Actually, it is the same kind of problem as in d910f4c . Basically, we
need to return 1 on success code path in slice_freezer_action().
Otherwise we dispatch DBus return message too soon.

Fixes: #16050

tests: sleep a bit and give kernel time to perform the action after manual freeze/thaw

Fixes: #16050

test: add test for parse_uid_range()

tests: beef up integer parsing tests

parse-util: also parse integers prefixed with 0b and 0o

Let's adopt Python 3 style 0b and 0x syntaxes, because it makes a ton of
sense, in particular in bitmask settings.

parse-util: rewrite parse_uid_range() on top of parse_uid()

parse_uid() does so many safety checks we want, hence rewrite
parse_uid_range() on top of parse_uid() instead of parse_range().

user-util: be stricter in parse_uid()

Let's refuse "+" and "-" prefixed UIDs. Let's refuse whitespace-prefixed
UIDS, Let's refuse zero-prefixed UIDs. Let's be safe than sorry.

parse-util: rewrite parse_mode() on top of safe_atou_full()

Parsing is hard, hence let's use our own careful wrappers wherever
possible.

parse-util: make return parameter optional in safe_atou16_full()

All other safe_atoXYZ_full() functions have the parameter optional,
let's make it optoinal here, too.

parse-util: allow '-0' as alternative to '0' and '+0'

Let's allow "-0" as alternative to "+0" and "0" when parsing integers,
unless the new SAFE_ATO_REFUSE_PLUS_MINUS flag is specified.

In cases where allowing the +/- syntax shall not be allowed
SAFE_ATO_REFUSE_PLUS_MINUS is the right flag to use, but this also means
that -0 as only negative integer that fits into an unsigned value should
be acceptable if the flag is not specified.

parse-util: allow tweaking how to parse integers

This allows disabling a few alternative ways to decode integers
formatted as strings, for safety reasons.

See: #15991

test: add integration test for udev event timeout

Note that run_test() calls coredumpctl in a loop because in certain
environments (1 vCPU unaccelerated QEMU VM) it might take quite a
while to process the coredump.

udev: make signal that we use to kill workers on timeout configurable

Merge pull request #15466 from elmarco/dhcp-leases

networkctl: print DHCP leases

turn off fuzzit

It seems it went down yesterday and it's not clear how long it will
take to bring it back.

networkctl: print DHCP leases

networkctl: factor out link_get_property()

The next patch is going to reuse it.

sd-dhcp-client: add sd_dhcp_client_id_to_string()

Add a human-friendly pretty-printer for client ID.

macro.h: add sizeof_field() helper

Similar to kernel FIELD_SIZE()

sd-dhcp-client: make struct sd_dhcp_client_id reusable

networkd: expose DHCPServer interface on links

networkd: start a DBus interface for the DHCP server

Add a "org.freedesktop.network1.DHCPServer" DBus interface that will be
added on a link path where a DHCP server is provided.

Currently, it only exposes a "Leases" property, although there are plans
to expand it further. The property is updated thanks to the
dhcp_server_callback().

sd-dhcp-server: notify callback on lease changed

sd-dhcp-server: add sd_dhcp_server_set_callback()

network: make link become configured state when at least one dynamic protocol provide an address

Before this, to speed up the system boot with IPv4 only network,
we need to specify `IPv6AcceptRA=no`, as it is enabled by default.

Closes #15469.

change fs/file-max to LONG_MAX instead of ULONG_MAX

Since this has been changed in: https://github.com/systemd/systemd/commit/6e2f78948403a4cce45b9e34311c9577c624f066, the change should be synchronized.

Merge pull request #16057 from keszybz/resolvectl-sorted-no-nta

Drop NTA lists from resolvectl status and sort output by link number

Merge pull request #15171 from ssahani/tc-qfq

network: TC- Introduce Quick Fair Queueing (QFQ)

Merge pull request #16056 from keszybz/minor-doc-updates

Minor doc updates

seccomp: filter openat2() entirely in seccomp_restrict_sxid()

core: remove support for ".include" stanza

Six years ago we declared it obsolete and removed it from the docs
(c073a0c4a5ffbf6677dd6af02e7c7d59b2b901ab) and added a note about it in
NEWS. Two years ago we add warning messages about it, indicating the
feature will be removed (41b283d0f1f4abd85d0bbeeb7f71bb30f87cfab9) and
mentioned it in NEWS again.

Let's now kill it for good.

network: read driver name from ethtool

To make Driver= in [Match] section work in containers.

Note that ID_NET_DRIVER= property in udev database is set with the
result of the ethtool. So, this should not change anything for
non-container cases.

Closes #15678.

basic/sort-util: adorn qsort_safe with a prefix underscore

It should not be used directly since we have typesafe_qsort(), so
let's mark it appropriately.

pstore: use typesafe_qsort

Also move "allocated" above "n", since, conceptually, it is modified
earlier (and that is the definition order we normally use).

resolvect: sort status output by link number

This makes the output more predictable. Also, interesting interfaces
are often the low-numbered ones (actual hardware links, not virtual
devices stacked on top), and this makes them more visible.

resolvectl,systemctl: reduce scope of variables

Introduce strcasecmp_ptr() and use it in a few places

resolvectl: do not show NTA lists in status

Those lists are very long and use up a significant chunk of screen real estate.
But the contents are mostly static (usually they just reflect built-in
configuration). Let's just not show them in 'status' output. They can still
be viewed with 'nta' verb.

test-network: add tests for QFQ

network: tc: introduce [QuickFairQueueingClass] section

network: tc: introduce Quick Fair Queueing (QFQ)

sd-netlink: add netlink properties of Quick Fair Queueing (QFQ)

Merge pull request #16048 from poettering/conf-parser-mtime

conf-parser: automatically pick up newest mtime when parsing configuration files

core: set source_mtime after load dropins

Dropins may specify SourcePath= too, but we would do the stat only
after loading the main fragment, before loading of the drop-ins.

Fixes #13634.

conf-parser: return mtime in config_parse() and friends

This is a follow-up for 9f83091e3cceb646a66fa9df89de6d9a77c21d86.

Instead of reading the mtime off the configuration files after reading,
let's do so before reading, but with the fd we read the data from. This
is not only cleaner (as it allows us to save one stat()), but also has
the benefit that we'll detect changes that happen while we read the
files.

This also reworks unit file drop-ins to use the common code for
determining drop-in mtime, instead of reading system clock for that.

conf-parse: fix pretty bad typo

fs-util: add stat_warn_permissions() that operates on struct stat instead of fd

Merge pull request #15996 from yuwata/network-dhcp6-route-metric-15295

network: add RouteMetric= in [DHCPv6] section

basic/efivars: try re-reading efivars without delay first

Quoting https://github.com/systemd/systemd/issues/14828#issuecomment-635212615:

> [kernel uses] msleep_interruptible() and that means when the process receives
> any kind of signal masked or not this will abort with EINTR.  systemd-logind
> gets signals from the TTY layer all the time though.

> Here's what might be happening: while logind reads the EFI stuff it gets a
> series of signals from the TTY layer, which causes the read() to be aborted
> with EINTR, which means logind will wait 50ms and retry. Which will be
> aborted again, and so on, until quite some time passed. If we'd not wait for
> the 50ms otoh we wouldn't wait so long, as then on each signal we'd
> immediately retry again.

fd-util: be more careful with fclose() errnos

This might fix #15859, a bug which I find very puzzling.

update TODO

man: add note that emergency.target inherits mount state

Based on an internal discussion whether emergency.target should remount disks
ro, or maybe remount them rw, or do nothing. In some cases people want to boot
ro, and always remounting rw would break that. In other cases, remounting disks
ro after they have already been mounted rw is mostly pointless and might even
not be possible. So let's just document that we don't change the state.

Also: any→other, since emergency.service *is* pulled in.

Also: just advertise "emergency" as the way to boot into the target.
We are not going to remove this option, and it's way easier to type than
"systemd.unit=emergency.target".

units: uppercase the description

https://github.com/systemd/systemd/pull/15982#pullrequestreview-422536495

man,mkosi: bump Fedora version

test: temporarily block test 48 on Ubuntu's autopkgtest

This test runs fine locally (both on Qemu and nspawn) but sporadically fails on
autopkgtest for some reason.
Disable it while the issue is investigated to reduce noise.

network: drop an unused function

network: move DHCPv6 related conf parsers to networkd-dhcp6.c

network: set both dhcp_route_metric and dhcp6_route_metric by DHCP.RouteMetric= for backward compatibility

But [DHCPv4] or [DHCPv6] section take precedence.
This also update so for UseDNS= and UseNTP=.

network: add DHCPv6.RouteMetric=

Hopefully fixes #15295.

network: use uint32_t instead of unsigned for route priority

Merge pull request #16030 from yuwata/network-read-mtime-of-dropin-configs-15521

network: also read mtime of drop-in configs

Merge pull request #15991 from keszybz/uids-gids-only-decimal

Only use base 10 for numeric uids/gids

network: also read mtime of drop-in configs

Fixes #15521.