Merge pull request #30739 from poettering/pam-util-many

pam-util: add pam_get_item_many() to shorten some code

homed: when empty username is passed to bus calls, operate on client's UID

homed: fix home_count_bad_authentication() counting

We want to cover not only regular bad password entries, but also bad
recovery key entries. Hence let's move the list of errors into the
function, and add more.

homed: tone down log message about bad passwords a bit

We usually start out out authentication cycles with an "empty" password
attempt, to give homed the chance to authenticated via any plugged in
tokens. Hence frequently the first attempt will just fail, which is no
reason to complain about.

Merge pull request #30610 from YHNdnzj/logind-serialize-pidref

logind: serialize session leader pidfd to fdstore

network/route: make the route section invalid when an invalid MTUBytes= is specified

We usually set the invalid flag for a section if a setting in the section has
an invalid value. Let's also do the same thing for MTUBytes= in [Route].

Merge pull request #30578 from bluca/polkit-varlink

varlink: add glue to allow authenticating varlink connections via polkit

update-man-rules: skip over standard-conf.xml

bc6fdcbf5d switched its doctype to refentry, so the script started
picking it up and complaining that it's missing required stuff. Since
this file is only included from other man pages, let's skip it when
putting together a list of valid targets.

Resolves: #30715
Follow-up for: bc6fdcbf5d

Merge pull request #30736 from YHNdnzj/loginctl-self

man/loginctl: some improvements

homed: add missing bus call to homed access policy

pam_systemd: drop unnecessary strempty() of 'tty' variable

This probably predates our introduction of streq_ptr(). Let's drop this
now however, as we actually want this to be NULL, further down, and
handle that just fine. In particular as all the special cases we have
explicitly set this to NULL anyway.

No real change in behaviour, just some normalization of handling.

execute: make sure Type=exec and PAMName= work together

If PAMName= is used we'll spawn a PAM session for the service, and leave
a process around that closes the PAM session eventually. That process
must close the "exec_fd" that we use to implement Type=exec. After all
the logic relies on the fact that execve() will implicitly close the
exec_fd, and the EOF seen on it is hence indication for the service
manager that execve() has worked. But if we keep an fd open in the PAM
service process, then this is not going to work.

Hence close the fd explicitly so that it definitely doesn't stay pinned
in the child.

Fix typo in verb_make_policy explanation

Signed-off-by: Alberto Planas <aplanas@suse.com>

Merge pull request #30725 from YHNdnzj/string-util

string-util,strv: follow-ups

network/netdev: call done() per netdev kind before freeing netdev name or so

Otherwise, log_netdev_xyz() does not provide netdev name if it is called
in done(). It is hard to debug.

This should not change any effective behavior, at least with the current
implementation of done() per netdev kind.

tpm2-generator: sort includes

logind: use FOREACH_ARRAY() where appropriate

pam_systemd_home: port over to pam_get_item_many()

pam_systemd: move over to pam_get_item_many()

man/loginctl: document "self" and "auto" special session IDs

session-status automatically uses "auto" if no ID is specified,
but show-session shows the manager's properties. Let's document
these special values so that users of show-session can benefit too.

pam-util: add pam_get_item_many() helper that gets many PAM items at once

Just to shorten a bit of code.

man/loginctl: use <literal> to quote possible values of --kill-whom=

TEST-35-LOGIN: enable FileDescriptorStorePreserve= for coldplug test

Merge pull request #30513 from rpigott/resolved-ede

resolved: support RFC 8914 EDE error codes

strv: rename strv_endswith to endswith_strv and dedup ENDSWITH_SET

string-util: move startswith_strv to strv

string-util: use strneq

string-util-fundamental: postfix -> suffix, use streq

logind-session: watch pidfd in session_set_leader_consume

logind: serialize session leader pidfd to fdstore

process-util: ensure pidref_is_alive only return ESRCH if not set

logind-session: use one_zero where appropriate

logind-session: be tolerant if we failed to remove leader from hashmap

If something wrong happened before hashmap_put(), session_free()
may be called through gc logic, and the assertion is triggered.

logind: use RET_GATHER more, return first error

resolved: add transaction result for upstream failures

This new transaction result is emitted when the upstream server
indicates a fatal error that we will not try to recover from.

Currently, it is emitted when a validating recursive resolver reports an
error validating dnssec records for a domain. The extended error message
should help give context to the admin.

resolved: support RFC 8914 EDE error codes

If the server is able to indicate an extended error to us, using a
degraded feature set is unlikely to help.

resolved: delay server feature detection

Some fields of the DnsPacket are not populated until we extract an
answer, like p->opt, despite being referenced by macros like
DNS_PACKET_RCODE. We can reorder some of the basic checks to follow
dns_packet_extract.

dns: remove some magic numbers

Let's use enum values for the EDNS codes now that we have them, for
readability.

dns: introduce more EDNS codes from IANA

Merge pull request #26663 from poettering/vpick

add new "vpick" concept for automatically picking newest resource from .v/ dir containing versioned files

Merge pull request #28797 from Werkov/eff_limits

Add MemoryMaxEffective=, MemoryHighEffective= and TasksMaxEff…  …ective= properties

logind: don't setup idle session watch for lock-screen and greeter

Reason to skip the idle session logic for these session classes is that
they are idle by default.

basic: fix overflow detection in sigbus_pop

The current check checks for n_sigbus_queue
being greater than or equal to SIGBUS_QUEUE_MAX,
when it should be just greater than as
n_sigbus_queue being SIGBUS_QUEUE_MAX indicates
that the queue is full, but not overflowed.

Merge pull request #30710 from YHNdnzj/logind-ret-gather

logind-session: modernization

test: temporarily adjust the default mount rate limit

(Hopefully) a temporary workaround for #30573 where starting a user
session when PID 1 is rate limited stalls even after it leaves the rate
limited state:

[   11.658201] H systemd[1]: Sent message type=signal sender=n/a destination=n/a path=/org/freedesktop/systemd1 interface=org.freedesktop.systemd1.Manager member=UnitRemoved cookie=4208 reply_cookie=0 signature=so error-name=n/a error-mes>
[   11.658233] H systemd[1]: Event source 0x559babdd8bb0 (mount-monitor-dispatch) left rate limit state.
[  101.562697] H busctl[784]: Failed to get credentials: Transport endpoint is not connected
[  101.563480] H systemd[1]: systemd-journald.service: Got notification message from PID 300 (WATCHDOG=1)
[  101.563725] H testsuite-74.sh[784]: BusAddress=unixexec:path=systemd-run,argv1=-M.host,argv2=-PGq,argv3=--wait,argv4=-pUser%3dtestuser,argv5=-pPAMName%3dlogin,argv6=systemd-stdio-bridge,argv7=-punix:path%3d%24%7bXDG_RUNTIME_DIR%7d/bus
[  101.564136] H systemd[1]: Successfully forked off '(sd-expire)' as PID 787.
[  101.564754] H systemd[1]: Successfully forked off '(sd-expire)' as PID 788.
[  101.564831] H testsuite-74.sh[381]: + echo 'Subtest /usr/lib/systemd/tests/testdata/units/testsuite-74.busctl.sh failed'

The issue appeared after ee07fff03b which does a bunch of mounts/umounts
that get PID 1 into a rate limited state, and is frequent enough to be
annoying, so let's temporarily bump the rate limit to alleviate that.

test: install correct kpartx udev rules on Debian

Resolves: #30703

Merge pull request #30532 from yuwata/udev-extend-timeout-kill-worker

udev: extend timeout to prevent kill worker

Merge pull request #28836 from msekletar/aux-scope

core/manager: add dbus API to create auxiliary scope from running service

Fix KeepCarrier tun/tap device option

When KeepCarrier is set, networkd doesn't close tun/tap file descriptor
preserving the active interface state, but doesn't disable its queue
which makes kernel to think that it's still active and send packets to
it.

This patch disables the created queue right after tun/tap interface
creation.

Here is the steps to reproduce the bug:

Having:

systemd/network/10-tun-test.netdev:

    [NetDev]
    Name=tun-test
    Kind=tun

    [Tun]
    MultiQueue=yes
    KeepCarrier=yes

systemd/network/10-tun-test.network:

    [Match]
    Name=tun-test

    [Network]
    DHCP=no
    IPv6AcceptRA=false

    LLMNR=false
    MulticastDNS=false

    Address=172.31.0.1/24

app.c:

    #include <fcntl.h>
    #include <stdio.h>
    #include <string.h>
    #include <unistd.h>
    #include <linux/if.h>
    #include <sys/ioctl.h>
    #include <linux/if_tun.h>

    int main() {
        int fd;
        struct ifreq ifr;

        memset(&ifr, 0, sizeof ifr);
        strcpy(ifr.ifr_name, "tun-test");
        ifr.ifr_flags = IFF_TUN | IFF_NO_PI | IFF_MULTI_QUEUE;

        if((fd = open("/dev/net/tun", O_RDWR)) < 0) {
            perror("Open error");
            return 1;
        }

        if(ioctl(fd, TUNSETIFF, &ifr)) {
            perror("Configure error");
            return 1;
        }

        puts("Ready.");

        char buf[1500];

        while(1) {
            int size = read(fd, buf, sizeof buf);
            if(size < 0) {
                perror("Read error");
                return 1;
            }
            printf("Read %d bytes.\n", size);
        }

        return 0;
    }

Run:
* gcc -o app app.c && ./app
* ping -I tun-test 172.31.0.2

Before the patch the app shows no pings, but after it works properly.

update TODO

tests: add integration tests for vpick logic

man: document the new vpick concept

discover-image: add support for vpick

execute: teach RootDirectory= and RootImage= the new vpick logic

dissect: port to vpick for selecting image

nspawn: hook up --image=/--directory=/--template= with vpick logic

vpick: add new tool "systemd-vpick" which exposes vpick on the command line

Usecase:

    $ du $(systemd-vpick /srv/myimages.v/foo___.raw)

In order to determine size of newest image in /srv/myimages.v/

shared: add new "vpick" concept for ".v/" directories that contain versioned resources

This adds a new concept for handling paths. At appropriate places, if a
path such as /foo/bar/baz.v/ is specified, we'll
automatically enumerate all entries in /foo/bar/baz.v/baz* and then
do a version sort and pick the newest file.

A slightly more complex syntax is available, too:

/foo/bar/baz.v/quux___waldo

if that's used, then we'll look for all files matching
/foo/bar/baz.v/quux*waldo, and split out the middle, and version sort
it, and pick the nwest.

The ___ wildcard indicates both a version string, and if needed an
architecture ID, in case per-arch entries shall be supported.

This is a very simple way to maintain versioned resources in a dir, and
make systemd's components automatically pick the newest. Example:

    /srv/myimages.v/foobar_1.32.65_x86-64.raw
    /srv/myimages.v/foobar_1.33.45_x86-64.raw
    /srv/myimages.v/foobar_1.31.5_x86-64.raw
    /srv/myimages.v/foobar_1.31.5_arm64.raw

If now nspawn is invoked like this:

    systemd-nspawn --image=/srv/myimages.v/foobar___.raw

Then it will automatically pick
/srv/myimages.v/foobar_1.33.45_x86-64.raw as the version to boot on
x86-64, and /srv/myimages.v/foobar_1.31.5_arm64.raw on arm64.

This commit only adds the basic implementation for picking files from a
dir, but no hook-up anywhere.

stat-util: add inode_type_from_string() helper

string-util: add strrstr() helper

strv: add new strv_endswith() helper

Merge pull request #29940 from poettering/stub-confext-pickup

stub/sysext: pick up confexts from ESP, too

Merge pull request #30194 from poettering/tpm-target

units: add a tpm2.target synchronization point and small generator that pulls in

logind-session: use RET_GATHER more

logind-session-device: trivial modernizations

labeler: add matches for login and logind

Merge pull request #30704 from yuwata/sd-dhcp-server-lease

dhcp-server: use sd_dhcp_client_id and split out lease handling to sd-dhcp-server-lease.[ch]

Merge pull request #30697 from yuwata/network-address-remove-and-cancel

network/address: several cleanups for address removal

tpm2-util: handle TPMs gracefully that do not support ECC and return TPM2_RC_VALUES

If a TPM doesn't do ECC it could either return zero curves when asked
for it, or it could simply fail with TPM2_RC_VALUES because it doesn't
recognize the capability at all.

Handle both cases the same way.

Fixes: #30679

tests: add test for StartAuxiliaryScope()

core/manager: add dbus API to create auxiliary scope from running service

This commit introduces new D-Bus API, StartAuxiliaryScope(). It may be
used by services as part of the restart procedure. Service sends an
array of PID file descriptors corresponding to processes that are part
of the service and must continue running also after service restarts,
i.e. they haven't finished the job why they were spawned in the first
place (e.g. long running video transcoding job). Systemd creates new
scope unit for these processes and migrates them into it. Cgroup
properties of scope are copied from the service so it retains same
cgroup settings and limits as service had.

update TODO

units: add a tpm2.target synchronization point and small generator that pulls in

Distributions apparently only compile a subset of TPM2 drivers into the
kernel. For those not compiled it but provided as kmod we need a
synchronization point: we must wait before the first TPM2 interaction
until the driver is available and accessible.

This adds a tpm2.target unit as such a synchronization point. It's
ordered after /dev/tpmrm0, and is pulled in by a generator whenever we
detect that the kernel reported a TPM2 to exist but we have no device
for it yet.

This should solve the issue, but might create problems: if there are TPM
devices supported by firmware that we don't have Linux drivers for we'll
hang for a bit. Hence let's add a kernel cmdline switch to disable (or
alternatively force) this logic.

Fixes: #30164

test-64: only look at plugged devices, not all of them

cgroup: Restrict effective limits with global resource provision

Global resource (whole system or root cg's (e.g. in a container)) is
also a well-defined limit for memory and tasks, take it into account
when calculating effective limits.

test: Add effective cgroup limits testing

test: Convert rlimit test to subtest of generic limit testing

No functional change intended. Preparation for new tests.

cgroup: Add EffectiveMemoryMax=, EffectiveMemoryHigh= and EffectiveTasksMax= properties

Users become perplexed when they run their workload in a unit with no
explicit limits configured (moreover, listing the limit property would
even show it's infinity) but they experience unexpected resource
limitation.

The memory and pid limits come as the most visible, therefore add new
unit read-only properties:
- EffectiveMemoryMax=,
- EffectiveMemoryHigh=,
- EffectiveTasksMax=.

These properties represent the most stringent limit systemd is aware of
for the given unit -- and that is typically(*) the effective value.

Implement the properties by simply traversing all parents in the
leaf-slice tree and picking the minimum value. Note that effective
limits are thus defined even for units that don't enable explicit
accounting (because of the hierarchy).

(*) The evasive case is when systemd runs in a cgroupns and cannot
reason about outer setup. Complete solution would need kernel support.

resolve/mdns: do not append goodby packet entries to known answers section

When we receive a goodby packet about a host, and we have a cache entry about
the host, we do not immediately remove the cache entry, but update it with TTL 1.
See RFC 6762 section 10.1 and 3755027c2cada70345c96787a9b5569994dd23ed.

If we receive a request soon after the goodby packet, previously the
entry was included in the known answers section of the reply. But such
information should not be appended.

Follow-up for 3755027c2cada70345c96787a9b5569994dd23ed.

varlink: avoid logging content of message if it contains sensitive data

This is important now that creds are sent via varlink

 systemd-creds[463]: varlink-3: Sending message: {"parameters":{"data":"Zm9vYmFyCg=="}}
 systemd-creds[462]: varlink-3: New incoming message: {"method":"io.systemd.Credentials.Encrypt","parameters":{"data":"Zm9vYmFyCg=="}}

json: add JSON_FORMAT_REFUSE_SENSITIVE to json_variant_format()

Returns -EPERM if any node in the variant is marked as sensitive,
useful to avoid leaking data to log messages and so on

creds: open up access to clients via Polkit

Use auth_admin_keep, so that users don't have to re-auth interactively
again and again when encrypting/decrypting batches of credentials.

bus-polkit: port polkit_registry to use value destructors in hash_ops

bus-polkit: add support for authenticating varlink peers via polkit

This extends our current polkit logic, so that we can in a very similar
fashion as we already can authenticate dbus peers authenticate varlink
connection peers.

polkit natively speaks dbus and can authentication dbus peers. To get
the same level of support for varlink we'll use authentication by
pidfd+uid. This requires polkit v124, and if that's not available it
will fallback to authorizing root only as before.

Co-authored-by: Luca Boccassi <bluca@debian.org>

Merge pull request #30694 from yuwata/sd-netlink-move-macro-and-introduce-tos-getter

sd-netlink: two cleanups

Merge pull request #30686 from poettering/uki-measured-check-imply-tpm2

efi-loader: when detecting if we are booted in UKI measured boot mode, imply a check for TPM2

confext: make sure we pick up configuration extensions passed to us from the stub

With fixes from Maanya Goenka.

stub: pick up confexts from the ESP as well

This does what we do for system extension also for configuration
extension.

This is complicated by the fact that we previously looked for
<uki-binary>.d/*.raw for system extensions. We want to measure sysexts
and confexts to different PCRs (13 vs. 12) hence we must distinguish
them, but *.raw would match both kinds.

This commit solves this via the following mechanism: we'll load confexts
from *.confext.raw and sysexts from *.raw but will then enclude
*.confext.raw from the latter. This preserves compatibility but allows
us to somewhat reasonable distinguish both types of images.

The documentation is updated not going into this detail though, and
instead now claims that sysexts shall be *.sysext.raw and confexts
*.confext.raw even though we actually are more lenient than this. This
is simply to push people towards using the longer, more descriptive
suffixes.

I added an XML comment (<!-- … -->) about this to the docs, so that
whenever somebody notices the difference between code and docs
understands why and leaves it that way.

sd-dhcp-server: rename DHCPLease -> sd_dhcp_server_lease

Then, move basic functions for the object to sd-dhcp-server-lease.[ch].

No effective funcional changes.

sd-dhcp-server: use sd_dhcp_client_id

fundamental: prefer byte swap builtins over byte swapping manually

This builtin reduces complexity and GCC/Clang have supported these builtins for a long time.

Merge pull request #30702 from yuwata/sd-dhcp-client-id

dhcp: introduce sd_dhcp_client_id and relevant functions

backlight: supprt ID_LEDS_CLAMP udev property for leds subsystem devices

Closes #30507.

udev/dmi-memory-id: update table with latest SMBIOS specification

Closes #30699.

Merge pull request #30700 from yuwata/storagetm-fixlets

storagetm: several trivial fixlets

network/route: drop TTL propagate support for MPLS routes

This effectively reverts 9b88f20aba6a78baf18d89e99ff31d5ee40856b8.

We do not support MPLS routes, only IPv4 or IPv6 routes are supported.

network/queue: fix potential double-free on oom

Currently, link_queue_request_safe(), which is a wrapper of
request_new(), is called with a free function at
- link_request_stacked_netdev() at netdev/netdev.c,
- link_request_address() at networkd-address.c,
- link_request_nexthop() at networkd-nexthop.c,
- link_request_neighbor() at networkd-networkd.c.

For the netdev case, the reference counter of the passed object is increased
only when the function returns 1. So, on failure (with -ENOMEM)
previously we unexpectedly dropped the reference of the NetDev object.
Similarly, for Address and friends, the ownership of the object is moved to the
Request object only when the function returns 1. And on failure, previously
the object was freed twice.

Also, netdev_queue_request(), which is another wrapper of request_new()
potentially leaks memory when the same NetDev object is queued twice.
Fortunately, that should not happen as the function is called only once
per object.

This fixes the above issue, and now the ownership or the reference
counter of the object is changed only when it is succeeded with 1.

Merge pull request #30691 from yuwata/resolve-ipv6

resolve: do not listen to IPv6 when disabled by sysctl

test: rewrite test-exec-deserialization.py

Rewrite the test in bash and make it part of our integration test suite,
so it's actually executed in all our upstream CI environments.

The original test is flaky in environments where daemon-reload might
occur during the test runtime (e.g. when running the test in parallel
with the systemd-networkd test suite). Also, it was run only in CentOS
CI in limited way (i.e. without sanitizers), since it tests the host's
systemd, instead of the just built one.

Resolves: #29943

various: unexport a few internal structs

We don't expose destructors for these internal structs already.
Let's make the struct itself implementation detail too.