Merge pull request #32336 from teknoraver/foreach_element

Foreach element

Merge pull request #32144 from bluca/portable_clean

portablectl: add --clean parameter for detaching

man/systemd-stub: fix typo

use FOREACH_ELEMENT

Use FOREACH_ELEMENT where possible. Generated with this command,
and checked manually:

    git grep -l 'FOREACH_ARRAY.*ELEMENTSOF' | \
    xargs sed -ri 's/FOREACH_ARRAY\((.*), (.*), (ELEMENTSOF.*)\)/FOREACH_ELEMENT(\1, \2)/'

introduce FOREACH_ELEMENT

Add a FOREACH_ELEMENT() macro which just passes ELEMENTSOF(v)
as third argument to FOREACH_ARRAY().

Merge pull request #32328 from YHNdnzj/deserialize-objective

core: follow-ups for objective serialization

Merge pull request #32330 from poettering/status-invocation

systemctl: show invocation ID in unit status output

Merge pull request #32335 from DaanDeMeyer/fix

mkosi: undefine FORTIFY_SOURCE instead of setting it zero

mkosi: undefine FORTIFY_SOURCE instead of setting it zero

Newer gcc complains if FORTIFY_SOURCE=0 is set so just undefine it
instead.

core/manager: log about previous objective

Addresses https://github.com/systemd/systemd/pull/32320#discussion_r1569192295

core/manager-serialize: serialize objective string

Follow-up for 8c15bf36e117054cf54b4f0cca59615b7531a545

I just realized that we should not serialize the number
of internal enum, as that's subject to changes and such
changes would be hard to notice. Let's serialize strings
properly instead.

core/manager: introduce ManagerObjective string table lookup

core/manager: also log soft-reboot count along with timespan

core: switch j->unit->manager to j->manager

mkosi: Disable bash debugging in Arch build script

Merge pull request #32333 from DaanDeMeyer/mkosi

mkosi: Various improvements

boot: fix assignment of ret_* variables in `initrd_prepare()`

Merge pull request #32326 from jonathan-conder/man_pam_loadkey

man: pam_system_loadkey additions and fixes

udev: permanent symlinks with USB revision for /dev/media*

As a follow-up in the style of:
  873be895ed ("udev: add USB revision in ID_PATH")
this patch adds a second symlink for media controllers, this time
including the USB revision.

This means that in addition to persistent symlinks like:
  pci-0000:04:00.3-usb-0:1:1.0-media-controller -> ../../media0

We now also get:
  pci-0000:04:00.3-usbv2-0:1:1.0-media-controller -> ../../media0

...which helps distinguish media devices plugged into different USB root
hubs provided by the same PCI card, at least as long as they are for
different USB revisions.

Fixes: 04f19d6735 ("udev: Add /dev/media/by-path symlinks for media controllers")

systemctl: add --clean= values to documentation and shell completion

mkosi: Install debug packages when WITH_DEBUG=1 is enabled

When we're building debuginfo packages, the original binaries and
libraries are stripped so make sure we install the debuginfo
packages to make sure debugging in the container/VM still works.

mkosi: Setup --ffile-prefix-map= for opensuse as well

This doesn't actually work because the opensuse spec doesn't allow
adding extra build flags, but I'm working on fixing that, so let's
already set things up for later.

mkosi: Undefine FORTIFY_SOURCE before setting it again

Otherwise we get warnings from gcc.

mkosi: Install more packages

Let's install everything we can to get more coverage and make sure
all build outputs are available in mkosi containers or VMs.

mkosi: Drop systemd-repart from package lists

This is just a Provides for systemd-udev.

mkosi: Update to latest

bash completion: add missing parameters for portablectl

portablectl: add --clean parameter for detaching

Calls CleanUnit on each portable service being removed, after it has
stopped

NEWS: mention GNOME Foundation in contributors list

Sponsored work on homed

systemctl: show invocation ID in unit status output

I think we should put more emphasis on the invocation ID as a handle for
a specific runtime cycle of a unit. Let's start with actually showing it
to users.

See: #16035

man: document other keyname options for pam_systemd_loadkey

Merge pull request #32324 from mrc0mmand/more-website-fixes

docs: use absolute links for our pages

doc: fix .ssh credential examples

Let's create the .ssh dir with the right perms first.

Suggested by @gcb.

Fixes: #28172

docs: Add note on packages produced by mkosi builds

udev: fix assignment of ret_truncated

Follow-ups for 089bef66316e5bdc91b9984148e5a6455449c1da.

blockdev-util: fix typo

Follow-up for 33ff155957327f51dde740a7a75f19122bff1ebc.

Merge pull request #32192 from yuwata/part-scan

blockdev-util: fix detection of partscan

Merge pull request #32249 from CodethinkLabs/vmspawn/predicatable_tap_names

vmspawn: generate predicatable TAP device names and MAC addresses

blockdev-util: also read 'ext_range' sysattr to check if the partscan is enabled

The 'capability' sysattr was deprecated by
https://github.com/torvalds/linux/commit/e81cd5a983bb35dabd38ee472cf3fea1c63e0f23 (v6.3).

sd-device: introduce device_get_sysattr_unsigned_full()

man: fix wrong version info (#31949)

Fixes #31920.

systemctl: allow user to suppress output when no action scheduled (#32278)

journalctl: update help to say "priority range" (#32323)

Clarify that `-p, --priority=` always treats its option as a priority range, even when given
a single log level per the full man page description.

Co-authored-by: Mike Yuan <me@yhndnzj.com>

Merge pull request #32308 from yuwata/sd-ndisc-disable-timer-on-recv

sd-ndisc: disable one more timer event source

Merge pull request #32318 from YHNdnzj/skip-leading-char

journal-gatewayd: use skip_leading_chars

man: add pam_gnome_keyring to auth section after pam_systemd_loadkey

This is required because pam_sm_open_session [1] only looks at
gkr_system_authtok, which is copied from the kernel keyring in
pam_sm_authenticate.

[1] https://gitlab.gnome.org/GNOME/gnome-keyring/-/blob/46.1/pam/gkr-pam-module.c?ref_type=tags

Merge pull request #32320 from bluca/softreboot_serialize

Soft reboot timestamp follow-ups

man: mention that sd_journal_test_cursor() needs a positioning call

Fixes #30331.

Merge pull request #32317 from DaanDeMeyer/mkosi

mkosi: Set up -ffile-prefix-map= correctly when building debuginfo packages

docs: use absolute links for our pages

Since 56b2970 has proven to be a no-go for us, as it breaks existing
links, let's embrace the trailing slash and use absolute links
everywhere for our pages. This way we'll get around browser cleverly
appending the relative link to the current location (since it ends with
a slash), and given our docs/ layout is flat it's not much of a hassle
either.

Converted using this beauty:
  $ sed -ri 's/(\[.+\]\()([A-Z_]+\))/\1\/\2/g' *.md

Resolves: #32088 (again) and #32310

Revert "docs: don't suffix page permalink with a slash"

This breaks existing links with a trailing slash, so it's a no-go.

This reverts commit d1a7e030c5daa4a09ee93b8af6b28ecaac5d34d0.

core: rename SoftRebootStartTimestamp -> ShutdownStartTimestamp and generalize

Follow-up for 54f86b86ba8168faccbfc2ad16ceeccefde98a51

manager: serialize current objective

So that we can tell what happened before the exec. It is overwritten
shortly after deserialization. Use it to bump the soft reboots counter.

Merge pull request #32315 from poettering/hwdb-256

hwdb/autosuspend/NEWS update for 256-rc1

Merge pull request #31648 from neighbourhoodie/review-content

I did the merge manually to resolve a trivial conflict.

mkosi: Drop workarounds

With the latest Github Actions image release none of these should
be required anymore (20240414.1.1).

mkosi: Switch to O0 and disable FORTIFY_SOURCE

-Og still causes a lot of "<optimized out>" in GDB so let's use -O0
instead and disable FORTIFY_SOURCE as it doesn't work without
optimizations enabled.

Merge pull request #32143 from yuwata/magic

basic/linux: copy magic.h from kernel to our code

NEWS: prepare -rc1

autosuspend: update for v256

hwdb: update for v256

Merge pull request #32311 from YHNdnzj/write-ellipsis

Some minor cleanup for string-util (ellipsis)

mkosi: Disable DWARF debug info optimization

We care more about fast builds in this case so disable the DWARF
debug optimization that's done by default.

NEWS: udev and networkd pick up more things from creds

journal-gatewayd: use skip_leading_chars where appropriate

Prompted by c5d675472588815dedf67af8c36da0fac398fb3e

journal-gatewayd: add missing assertions

mkosi: Override build_cflags instead of _distro_extra_cflags

The latter is not supported on CentOS Stream 9.

journal-gatewayd: remove duplicate call to `startswith()`

mkosi: Set up -ffile-prefix-map= correctly when building debuginfo packages

This makes sure that the debuginfo files contain source files pointing
to the source files shipped by the debugsource package.

Normally this should be done automatically by rpm invoking debugedit
but for some unknown reason debugedit refuses to rewrite the source
files in our binaries.

Given that debugedit is completely undebugable (does not generate any
logs at all, and its source code is ridiculously obtuse), let's set
-ffile-prefix-map= when building instead which achieves the same
effect.

build(deps): bump pkg/debian from `e477254` to `30c77a7`

Bumps pkg/debian from `e477254` to `30c77a7`.

---
updated-dependencies:
- dependency-name: pkg/debian
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

core/show-status: use strlen where appropriate

We don't use sizeof() outside of array definitions
these days. The compiler should be capable of
optimizing this out.

string-util: use mempcpy where appropriate

string-util: use special_glyph() at one more place

No functional change, just refactoring.

fuzz-ndisc-rs: also test packets with sd-radv

Addresses https://github.com/systemd/systemd/pull/32267#discussion_r1566715787.

Suggested-by: Evgeny Vereshchagin <evvers@ya.ru>

test: fix typo

Follow-up for 236634c82c56e280348f9452129f3cdfd1fb7a45.

sd-ndisc: improve debugging logs

sd-ndisc: disable one more timer event source

Otherwise, even if we have already received RA, timeout callback will be
called. Currently, networkd mostly does nothing on timeout, hence should
not change any effective behavior.

Follow-up for e7cb80474d4e580f7cc7c8645e1412e4a59f7588.

Merge pull request #32300 from mrc0mmand/assorted-tweaks

test: split TEST-50-DISSECT into smaller parts

Merge pull request #32303 from CodethinkLabs/push_down_disk_partitioning

test-64-udev-storage: Push disk partitioning into the testsuite itself

cryptenroll: Use CTAP2.1 credProtect extension

When enrolling a new FIDO2 token with a client PIN, this tells the authenticator to require the PIN on all uses.

It also collects a PIN before attempting to create a credential.

Works around #31443 in most (not all) scenarios.

test-64-udev-storage: partition disk inside testcase - testcase_multipath_basic_failover

test-64-udev-storage: partition disk inside testcase - testcase_virtio_scsi_identically_named_partitions

test-64-udev-storage: partition disk inside testcase - testcase_long_sysfs_path

Merge pull request #32302 from DaanDeMeyer/mkosi

Various mkosi improvements

Merge pull request #32236 from poettering/journalctl-list-namespace-followup

journalctl: --list-namespaces followup

mkosi: Add support for building debug packages

This allows building debug packages by setting WITH_DEBUG=1. This
slows down the build a lot so it's opt in. We don't yet install
these but can do so in a future commit.

mkosi: Add --noclean when running rpmbuild

The entire build environment is ephemeral anyway so everything is
cleaned regardless. By specifying --noclean, we make debugging
easier as the rpm build root can be inspected when using --debug-shell.

mkosi: Install which in image

gdb-headless in Fedora is missing a dependency on which:
https://bugzilla.redhat.com/show_bug.cgi?id=2275274

This happens all the time so let's make sure which is always installed
in the image.

Update debugging with vscode section

- We have ssh-generator now, so need for mkosi's Ssh= option anymore.
- By enabling RuntimeBuildSources= by default, we don't need the gdb
  config file in the image anymore, since the build and source
  directories will be mounted at the expected locations.

test: rework systemd-sysext test

Let's rework the test a bit, namely:
  - condense the code a bit
  - drop unnecessary braces around variables
  - drop unnecessary explanations around `touch` calls
  - drop/rename functions to make the code more self-explanatory
  - simplify cleanup a bit
  - create R/O bind mounts directly (supported since util-linux 2.27)

test: simplify unit check

test: split some overly long lines

Let's get the line count back up again by splitting some overly long
lines in hopes to make the code slightly more readable.

test: split TEST-50-DISSECT into smaller parts

As the current version has almost 2k lines.

journalctl: tighten rules on parsing namespace journal dir suffixes

The dot must follow the machine ID immediately, let's check for that.
Also, I think it's generally better to parse the machine ID and then
comparing it, instead of comparing the string representation. That's
more in line how we usually do it, as we parse 128bit IDs generally
case-insensitively.

journalctl: show human readable text if no namespace is found

The common case will be that no namespaces are defined, hence by default
we'd just output "NAMESPACE" and exit, which is very confusing.

Generate a nice message instead, how many of our tools do it. Suppress
it on --quiet however.

journalctl: add missing --help line for --list-namespaces

Follow-up for: #32236 68f66a171398e27280a95e58ae7464219cccaaec

shared/vpick: also align function params in header

Follow-up for 6d8690ecd34a6c9450e78e242e07b1a4479d6d27

Merge pull request #32289 from bluca/counter

soft-reboot counter follow-ups

Merge pull request #32294 from yuwata/network-generator-creds

network-generator: also load drop-ins for networkd.conf from credentials

Merge pull request #32297 from yuwata/networkctl-cat-without-args

networkctl: allow to call 'networkctl cat' without arguments