Merge pull request #30541 from yuwata/network-address-empty

network/address: make Address= in [Network] support an empty string

Merge pull request #30575 from arthurzam/bash

bash-completion: add some missing options

Merge pull request #30284 from YHNdnzj/fstab-wantedby-defaultdeps

fstab-generator: disable default deps if x-systemd.{wanted,required}-by= is used

Merge pull request #28658 from H5117/enroll_with_ec

cryptsetup: Add support for EC keys in PKCS#11 tokens

Merge pull request #30547 from poettering/uid0

add new "uid0" command as alternative multi-call interface for systemd-run, as sudo replacement

Drop /dev test in test-mountpoint-util

Even /dev isn't always guaranteed to be a mount point, so let's drop
this part of the test.

bash-completion: add missing option to systemd-confext

Signed-off-by: Arthur Zamarin <arthurzam@gentoo.org>

bash-completion: add missing option to systemd-cgls

Signed-off-by: Arthur Zamarin <arthurzam@gentoo.org>

bash-completion: add missing option to systemd-cat

Signed-off-by: Arthur Zamarin <arthurzam@gentoo.org>

Merge pull request #30568 from poettering/creds-varlink

creds: add varlink interface to encrypt/decrypt credentials

Merge pull request #30566 from poettering/varlink-inval-param

add a new helper varlink_error_invalid_parameter_name(), and make more use of the existing varlink_error_invalid_parameter()

polkit: simplify bus_verify_polkit_async() + drop auth-by-cap dbus feature

This simplifies bus_verify_polkit_async() and related calls quite a bit:

1. This removes any support for authentication-by-Linux-capability. This
   is ultimately a kdbus leftover: with classic AF_UNIX transports we
   cannot authenticate by capabilities securely (because we cannot
   acquire it from the peer without races), hence we never actually did.
   Since the necessary kernel work didn't materialize in the last 10y,
   and is unlikely to be added, let's just kill this context. We cannot
   quite remove the caps stuff from sd-bus for API compat, but for our
   polkit logic let's kill it.

2. The "good_uid" and "interactive" params are only necessary in very
   few cases, hence let's move them to a new call
   bus_verify_polkit_async_full() and make bus_verify_polkit_async() a
   wrapper around it without those two parameters.

This also fixes a bunch of wrong uses of the "interactive" bool. The
bool makes no sense today as the ALLOW_INTERACTIVE_AUTHORIZATION field
in the D-Bus message header replaces it fully. We only need it to
implement method calls we introduced prior to that header field becoming
available in D-Bus. And it should only be used on such old method calls,
and otherwise always be set to false.

This does not change behaviour in any way. Just simplifies stuff.

Fixes: #21586

varlink: make use of varlink_error_invalid_parameter() helper where appropriate

varlink: add helper varlink_error_invalid_parameter_name()

test: add simple creds/varlink integration test

creds: add varlink API for encrypting/decrypting credentials

varlink: add helper varlink_error_invalid_parameter_name()

update TODO

test: add minimal integration test coverage for uid0 tool

man: try to improve wording on --slice-inherit docs

run/uid0: tint the terminal background color (and add new --background= switch)

This adds a new --background= switch that allows specifiying a
background color for the terminal while the tool runs.

It also teaches the tool when invoked as uid0 to tint the terminal in a
reddish hue when operating as root, and in a yellowish hue when
operating as any other user.

This should highlight nicely when the user is operating with elevated
privileges, or changed privileges.

color-util: add helper to convert RGB → HSV

We already have HSV → RGB, add the opposite operation.

color-util: split out HSV color conversion into color-util.[ch]

ptyfwd: optionally, change ANSI background color of forwarded terminals

As the bytes flow through our terminal forwarder we can color the
background of the terminal with a color of our choices, if that's
desired.

This will later allow us to color the background of the uid0 tool when
running as root with a slightly alarming red color.

This does two things:

1. When an ANSI sequence is seen that resets the background color, it is
   extended to immediately set the color to our choice.
2. When a newline is seen it is immeidately extended to set the
   background color again and clear the current line till the end.

Net effect: all lines written while we forward the ttys will be shown
with the background color of choice.

terminal-util: add helper that determines terminal default bg color

terminal-util: add helper for disabling terminal echo in termios struct

mkosi: don't turn off installation of our PAM snippets

Otherwise we don't get the new PAM snippet for the uid0 PAM stack
installed.

run: optionally set the "ignore-failure" flag for ExecStart= lines

run: when invoked as "uid0", expose some sudo-like behaviour

This turns "systemd-run" into a multi-call binary. When invoked under
the name "uid0", then it behaves a bit more like traditional "sudo".
This mostly means defaults appropriuate for that, for example a PAM
stack, interactivity and more.

Fixes: #29199

env-util: add strv_env_assignf() helper

Merge pull request #30567 from yuwata/hashmap_isempty

tree-wide: use hashmap_isempty() and friends

Merge pull request #30564 from poettering/varlink-log-tweaks

varlink: minor fixes & tweaks

Merge pull request #30563 from poettering/socket-tweaks

two minor tweak to socket-util.c

sd-journal: use FOREACH_ARRAY() at one more place

tree-wide: use hashmap_isempty() and friends

varlink: check state rather than flags to determine whether it makes sense to reply

We already checked the flags before, and updated the state accordingly,
hence let's only look at the state afterwards. This allows us to use the
same expressions for all cases where we want to reply automatically to
clients.

varlink: add an extra assert encoding our assumption that ucred is valid here

varlink: never turn method call handler errors into connection errors

Let's make sure method call handlers failing will result in that very
method call failing but not the whole connection. We mostly got that
right, except for "oneway" calls where the method reply is supposed to
be eaten up, but wasn't. Fix that.

varlink: switch various log calls to the local log helpers

Most code in varlink.c got that right, but some didn't. Fix that.

socket-util: remove unnecessary variable

socket-util: make sure SO_PEERSEC returned string is always NUL terminated

it's not entirely clear to me if the manual NUL termination is
necessary, but let's better be safe than sorry, since this is apparently
up to the LSMs, and I am not sure we can trust them all.

A lot of other code (such as dbus-broker) patches in the NUL byte, hence
let's be rather safe-then-sorry, it's trivial after all.

dbus-execute: use new exec_context_get_set_login_environment() helper also as backing for dbus property

Note sure why it didn't occur earlier to me, but now that we have this
nice helper to get the effective value of the set_login_environment
field instead of just falling back to "false".

Follow-up for: #30552

resolved: actually check authenticated flag of SOA transaction

Fixes #25676

core: imply SetLoginEnvironment= if PAMName= is set

This geneally makes sense as setting up a PAM session pretty much
defines what a login session is.

In context of #30547 this has the benefit that we can take benefit of
the SetLoginEnvironment= effect without having to set it explicitly,
thus retaining some compat of the uid0 client towards older systemd
service managers.

test-network: add test case of an empty string assignment for Address=

test-network: use the main .network file

These tests are not interested in most addresses specified in the .network file.
As 10-many-address.conf drop-in config for the .network file contains so
many addresses, hopefully this improves test performance.

network/address: make Address= in [Network] support an empty string

Closes #30485.

network: also log drop-in config files

We have already show used drop-in config files in networkctl, but
also showing that in log may be useful.

Closes #30483.

Merge pull request #30548 from yuwata/analyze-check-all-executables

analyze: check all executables

network/neighbor: fix log message and comment

systemctl: configure boot loader options only when going through firmware

Fixes #30497

Merge pull request #30538 from poettering/ptyfwd-reset-color

ptyfwd: reset colors when we exit the pty forwarding logic

Merge pull request #30543 from YHNdnzj/execute-cleanup

core/execute: trivial cleanup

analyze-verify: verify all executables

ExecStart= and friends for .service and .socket can be specified
multiple times.
This also checks all commands for .mount and .swap, not only for the
current control command.

TEST-65-ANALYZE: only mount /usr if necessary

Follow-up for 8f764b32eabd3d39abfc0f4eaffd282223df4768.

Otherwise, we fail to umount several directories on shutdown.
---
[   15.684430] systemd[1]: Failed unmounting tmp-root-proc.mount.
[   15.689379] systemd[1]: Failed unmounting tmp-root-run.mount.
[   15.710572] systemd[1]: Failed unmounting tmp-root-sys-fs-cgroup.mount.
[   15.913953] systemd[1]: Failed unmounting tmp-root-dev.mount.
[   15.924603] systemd[1]: Failed unmounting tmp-root-sys.mount.
[   15.938207] systemd[1]: Failed unmounting tmp-root.mount.
[   15.952395] systemd[1]: Failed unmounting tmp.mount.

ptyfwd: make sure pty_forward_free() follows our usual semantics regarding NULL

ptyfwd: reset colors when we exit the pty forwarding logic

Just in case there was still a color set, make sure to reset things.

Merge pull request #30537 from poettering/run-arg-service-type-fix

run: arg_service_type is not supposed to be allocated from heap

Merge pull request #30536 from yuwata/network-bridge-vlan-debugging-logs

network/bridge-vlan: add debugging logs and documentation update

core/execute: use assertion for _done function

As per our usual coding style.

core/execute: remove unneeded brackets

I did not merge the if-s, since I think it's easier to read
in the current form with those long socketpair() calls.

bootctl: update/list/remove all instances of systemd-boot in /EFI/BOOT

systemd-boot might be installed in /EFI/BOOT under more names than
just /EFI/BOOT/BOOTX64.efi. The prime example is shim which loads
its second stage binary from /EFI/BOOT/grubx64.efi. To accomodate
use cases where systemd-boot is installed as /EFI/BOOT/grubx64.efi,
let's always check the entire /EFI/BOOT directory for binaries that
identify as systemd-boot and list/update/remove those as well.

Let's keep this somewhat generic though and not install ourselves as
grubx64.efi since that would mean having to check for shim which is
a can of worms we probably don't want to open.

rules: set up tty permissions and group for /dev/hvc* nodes

Before b4bf9007cbe, the permissions and group of the hypervisor consoles were
set by agetty(8).

Merge pull request #30525 from YHNdnzj/networkctl-mask

networkctl: introduce verb mask and unmask

run: underline section titles in --help as we usually do

run: arg_service_type is not supposed to be allocated from heap

network/bridge-vlan: add debugging logs about set or removed VLAN IDs

Addresses https://github.com/systemd/systemd/pull/29987#issuecomment-1863937968.

man,NEWS: mention that all previously assigned VLAN IDs are cleared

Addresses https://github.com/systemd/systemd/pull/29987#issuecomment-1863934902.

man: fix indentation

Merge pull request #30534 from yuwata/man-page-update-and-fix-typo

Man page update and fix typo

test: trigger /boot mount if it's an automount

If the target mount point is an automount, checking it for writeability
without triggering it first is iffy and yields different results based
on kernel version:

~# systemd-run --wait --pipe -p ProtectSystem=yes bash -xec 'uname -r; mount -l | grep boot; test ! -w /boot'
Running as unit: run-u36.service; invocation ID: f948ff4f3c8e4bcfba364ead94bd0ad9
+ uname -r
4.18.0-529.el8.x86_64
+ mount -l
+ grep boot
systemd-1 on /boot type autofs (rw,relatime,fd=43,pgrp=1,timeout=120,minproto=5,maxproto=5,direct,pipe_ino=356096)
+ test '!' -w /boot
Finished with result: exit-code
Main processes terminated with: code=exited/status=1

~# systemd-run --wait --pipe -p ProtectSystem=yes bash -xec 'uname -r; mount -l | grep boot; test ! -w /boot'
Running as unit: run-u274.service; invocation ID: ccc53ed63c3249348cf714f97a3a7026
+ uname -r
6.6.7-arch1-1
+ mount -l
+ grep boot
systemd-1 on /boot type autofs (rw,relatime,fd=95,pgrp=1,timeout=120,minproto=5,maxproto=5,direct,pipe_ino=730583)
+ test '!' -w /boot
Finished with result: success
Main processes terminated with: code=exited/status=0

One solution would be to use /boot/ instead of just /boot, which triggers
the automount during the check, but in that case the mount would happen
_after_ we apply the ProtectSystem= stuff, so the mount point would
be unexpectedly writable:

~# systemd-run --wait --pipe -p ProtectSystem=yes bash -xec 'uname -r; mount -l | grep boot; test ! -w /boot/ || mount -l | grep boot'
Running as unit: run-u282.service; invocation ID: 2154f6b4cbd34ddeb3e246cb7c991918
+ uname -r
6.6.7-arch1-1
+ mount -l
+ grep boot
systemd-1 on /boot type autofs (rw,relatime,fd=95,pgrp=1,timeout=120,minproto=5,maxproto=5,direct,pipe_ino=730583)
+ test '!' -w /boot/
+ mount -l
+ grep boot
systemd-1 on /boot type autofs (rw,relatime,fd=95,pgrp=1,timeout=120,minproto=5,maxproto=5,direct,pipe_ino=730583)
/dev/vda2 on /boot type vfat (rw,nosuid,nodev,noexec,relatime,nosymfollow,fmask=0077,dmask=0077,codepage=437,iocharset=ascii,shortname=mixed,utf8,errors=remount-ro)

Let's just trigger the (possible) automounts explicitly before we do any
checks to avoid all this stuff.

Also, when at it, check that ProtectSystem=yes|full correctly protects
the ESP mount as well.

Follow-up for 97bbb9cfbd.

TEST-24-CRYPTSETUP: add test for PKCS#11 tokens

Introduces new dependencies on SoftHSM, OpenSC and GnuTLS for the test.

userdb: fix typo

Follow-up for 523121d543bb1f32dca48d62e1a88cc204e5bb96.

man: environment value -> udev property

These are not environment variables, but udev properties.

Follow-up for 3b2e7dc5a285edbbb1bf6aed2d88b889d801613f.

networkctl: introduce verb mask and unmask

Suggested in https://github.com/systemd/systemd/pull/29928#discussion_r1386626565

networkctl-config-file: check for masked config before editing/showing

networkctl-config-file: split out reload_daemons

networkctl-cat: insert a newline between different config files

networkctl: split out networkctl-config-file.[ch]

shared/install: use RET_GATHER more

Merge pull request #30493 from teknoraver/main

Add verbose output on unit start #5717

test: reset systemd-resolved.service's restart counter

Otherwise we might occasionally hit the start rate limit, as we restart
the service a bunch of times:

[ 3702.280886] testsuite-75.sh[1135]: + tee /tmp/tmp.wUL8bkJwrt
[ 3702.283684] testsuite-75.sh[1135]: {}
[ 3702.284254] testsuite-75.sh[46]: + restart_resolved
[ 3702.284302] testsuite-75.sh[46]: + systemctl stop systemd-resolved.service
[ 3702.310678] testsuite-75.sh[1140]: + systemctl is-failed systemd-resolved.service
[ 3702.316766] testsuite-75.sh[1141]: inactive
[ 3702.316998] testsuite-75.sh[46]: + systemctl start systemd-resolved.service
[ 3702.322315] systemd[1]: systemd-resolved.service: Start request repeated too quickly.
[ 3702.322343] systemd[1]: systemd-resolved.service: Failed with result 'start-limit-hit'.
[ 3702.322609] systemd[1]: Failed to start systemd-resolved.service - Network Name Resolution.
[ 3702.323619] systemctl[1142]: Job for systemd-resolved.service failed.
[ 3702.323839] systemctl[1142]: See "systemctl status systemd-resolved.service" and "journalctl -xeu systemd-resolved.service" for details.
[ 3702.325035] systemd[1]: testsuite-75.service: Failed with result 'exit-code'.
[ 3702.325391] systemd[1]: Failed to start testsuite-75.service - Tests for systemd-resolved.

Follow-up for b1384db11b and 6ef512c0bb.

varlink: these two errors where added to the spec, we aren't squatting the namespace anymore

https://github.com/varlink/varlink.github.io/commit/4443c57f1ed0f340ec82c925d69181e4b8db7ceb

Merge pull request #30531 from yuwata/trivial-cleanups

Trivial cleanups

signal-util: align table

time-util: make usleep_safe() return earlier if 0 is passed

Merge pull request #30527 from DaanDeMeyer/sys

test: Skip various tests when /sys is not mounted

test: Skip various tests when /sys is not mounted

When running tests in a container, /sys might not be mounted, so
let's make sure we skip tests that depend on /sys in this case.

test: Make sure SYSTEMD_HWDB_UPDATE_BYPASS is disabled in the hwdb test

Let's make this test independent on what's in the environment.

mkosi: Add strace and gdb to base image build packages

For debugging failing tests in combination with mkosi's --debug-shell.

systemctl: show success messages when showing transaction

Extend `--show-transaction` so it shows a success message when an unit
is successfully started.

dbus-wait-for-jobs: change 'quiet' flag to enum

Change the 'quiet' flag to `bus_wait_for_jobs()` to an enum, so we can
select with more granularity the type of information logged.

Revert "mkosi: pin CentOS8 kernel to working version"

A fixed kernel finally landed on mirrors, so let's revert the C8S kernel
pin.

This reverts commit a64398b2ca1cdaee291550face0d1ce5f8ea52f6.

find-esp: add debugging log about failure in parsing env variable

Addresses https://github.com/systemd/systemd/pull/30321#discussion_r1429716344.

udev: allow/denylist for reading sysfs attributes when composing a NIC name

Users can currently pick specific versions of NIC naming, but that
does not guarantee that NIC names won't change after the kernel adds
a new sysfs attribute.

This patch allows for an allow/deny list of sysfs attributes
that could be used when composing the name.

These lists can be supplied as an hwdb entry in the form of
/etc/udev/hwdb.d/50-net-naming-allowlist.hwdb
net:naming:drvirtio_net
  ID_NET_NAME_ALLOW=0
  ID_NET_NAME_ALLOW_ACPI_INDEX=1
  ID_NET_NAME_ALLOW_ADDR_ASSIGN_TYPE=1
  ID_NET_NAME_ALLOW_ADDRESS=1
  ID_NET_NAME_ALLOW_ARI_ENABLED=1
  ID_NET_NAME_ALLOW_DEV_PORT=1
  ID_NET_NAME_ALLOW_FUNCTION_ID=1
  ID_NET_NAME_ALLOW_IFLINK=1
  ID_NET_NAME_ALLOW_INDEX=1
  ID_NET_NAME_ALLOW_LABEL=1
  ID_NET_NAME_ALLOW_PHYS_PORT_NAME=1
  ID_NET_NAME_ALLOW_TYPE=1

cryptsetup: convert a EC point to compressed format if required by a token

cryptsetup: Add support for EC keys in PKCS#11 tokens

Since EC keys doesn't support encryption directly, we use ECDH protocol.
We generate a pair of EC keys in the same EC group, then derive a shared secret using the generated private key and the public key in the token.
The derived shared secret is used as a volume key. The generated public key is stored in the LUKS2 JSON token header area. The generated private key is erased.
To unlock a volume, we derive the shared secret with the stored public key and a private key in the token.

Co-authored-by: MkfsSion <mkfssion@mkfssion.com>

cryptenroll, homectl: deduplicate generation of LUKS2 volume keys

Merge pull request #30491 from fbuihuu/vconsole-handle-kd-grahpics-mode

vconsole-setup: handle the case where the vc is in KD_GRAPHICS mode m…

siphash: make sure siphash24_compress_usec_t() works the same on LE/BE archs

Let's be systematic here, and always hash LE values. It doesn't matter
in our current codebase, but it might one day.