test/repart: add test case for hash size derived from max data size

repart: derive hash partition size from SizeMaxBytes= of data sibling

This change makes it possible for repart to create dm-verity hash
partitions for a custom amount of protected data. When the property
`SizeMaxBytes=` is specified for a dm-verity data partition, the size
of the corresponding hash partition is set to accommodate hash data
for this maximum size, rather than the actual contents its data
sibling. However, the contained hash data continues to be generated
from said sibling.

Merge pull request #34679 from DaanDeMeyer/bus-log

Various logging improvements

Merge pull request #34656 from yuwata/private-users

core: drop implicit support of PrivateUsers=off

Merge pull request #34651 from yuwata/polkit-transient-unit

dbus: pass transient unit name metadata to polkit

hwdb: move key 66/65 handling from specific to generic HP laptop coverage

This takes the idea from #18595 and implements it based on our current
hwdb: the original PR suggested the keys 66/65 are a generic HP thing,
and not limited to specific laptops. The current specific laptop entries
do not contradict that claim.

Hence, let's move them from the specific sections matching some HP
laptops to the generic section matching all.

This uses the correct key names, which have long been fixed (which used
to be a problem our CI was tripped off by).

This is not tested, but I think fairly risk-less, and should allow us to
get rid of a really old PR.

Replaces: #18595

core: Log in more scenarios about which process initiated an operation

Exit/Reboot/Poweroff and similar operations are invasive enough that
logging about who initiated them is very useful to debug issues.

core: Bump log level of reexecute request to notice

A daemon-reload is important enough to deserve logging at notice
level.

bus-util: Log more information when connecting to a bus socket fails

Let's log about which bus we're trying to connect to and what transport
we're using to do it.

Merge pull request #34593 from Werkov/deprecate-aux-scopes

core/manager: Deprecate StartAuxiliaryScope() method

Merge pull request #34671 from yuwata/memory

tree-wide: several memory accounting cleanups

NEWS: announce the F20/F21/F22/F23 key mangling removal scheduled for v258

As per: https://github.com/systemd/systemd/pull/34325
And: https://github.com/systemd/systemd/issues/34323

update TODO

core: drop implicit support of PrivateTmp=off

Follow-up for 0e551b04efb911d38b586cca1a6a462c87a2cb1b.

Similar to the previous commit, but for PrivateTmp=.

core/dbus: pass transient unit name metadata to polkit

Fixes #17224

core/dbus: add assertions

core/dbus: introduce bus_verify_manage_units_async_impl()

Then, make bus_verify_manage_units_async() and _full() inline.

Co-authored-by: Renjaya Raga Zenta <ragazenta@gmail.com>

core/dbus: move bus_verify_xyz() to dbus-util.c

mount: optimize mountinfo traversal by decoupling device discovery

In mount_load_proc_self_mountinfo(), device_found_node() is synchronously called
during the traversal of mountinfo entries. When there are a large number of
mount points, and the device types are not significantly different, this results
in excessive time consumption during device discovery, causing a performance
bottleneck. This issue is particularly prominent on servers with a large number
of cores in IDC.

This patch decouples device discovery from the mountinfo traversal process,
avoiding redundant device operations. As a result, it significantly improves
performance, especially in environments with numerous mount points.

Signed-off-by: Chen Guanqiao <chen.chenchacha@foxmail.com>

core: drop implicit support of PrivateUsers=off

Follow-up for fa693fdc7e17618958c505af4b2f39ecd1c3363e.

The documentation says the option takes a boolean or one of the "self"
and "identity". But the parser uses private_users_from_string() which
also accepts "off". Let's drop the implicit support of "off".

oomd: separate entries with comma for readability

oomd: update system context when oomctl is invoked

Otherwise, oomctl shows 0 memory and swap usage when swap monitoring
is not enabled.
=======
$ oomctl
Dry Run: no
Swap Used Limit: 90.00%
Default Memory Pressure Limit: 60.00%
Default Memory Pressure Duration: 20s
System Context:
        Memory: Used: 0B Total: 0B
        Swap: Used: 0B Total: 0B
Swap Monitored CGroups:
Memory Pressure Monitored CGroups:
...
======

oomd: drop unused usec_now

systemctl: separate memory usage with comma

Just for readability.

Before:
$ build/systemctl status -n 0 systemd-networkd.service | grep Memory:
     Memory: 4.7M (peak: 14.3M swap: 1M swap peak: 1.1M)

After:
$ build/systemctl status -n 0 systemd-networkd.service | grep Memory:
     Memory: 4.7M (peak: 14.3M, swap: 1M, swap peak: 1.1M)

core: suppress one debugging log

Otherwise, the log is shown even when getting properties.
Even though it is in the debug level, that's quite noisy.

[  338.785847] TEST-55-OOMD.sh[1624]: Oct 07 16:35:15 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.786985] TEST-55-OOMD.sh[1624]: Oct 07 16:35:17 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.787412] TEST-55-OOMD.sh[1624]: Oct 07 16:35:20 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.791776] TEST-55-OOMD.sh[1624]: Oct 07 16:35:22 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.792938] TEST-55-OOMD.sh[1624]: Oct 07 16:35:24 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.793225] TEST-55-OOMD.sh[1624]: Oct 07 16:35:26 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.793424] TEST-55-OOMD.sh[1624]: Oct 07 16:35:28 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.796448] TEST-55-OOMD.sh[1624]: Oct 07 16:35:31 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.797997] TEST-55-OOMD.sh[1624]: Oct 07 16:35:33 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount
[  338.799206] TEST-55-OOMD.sh[1624]: Oct 07 16:35:35 H systemd[1]: TEST-55-OOMD-testmunch.service: Unit not running in private mount namespace, cannot live mount

Merge pull request #34675 from poettering/dupfd-query

fd-util: use F_DUPFD_QUERY for same_fd()

Merge pull request #34674 from yuwata/reallocarray

tree-wide: replace reallocarray() with GREEDY_REALLOC()

Merge pull request #34672 from yuwata/timestamp

analyze: fix timestamp

core/manager: Deprecate StartAuxiliaryScope() method

The method was added with migration of resources in mind (e.g. process's
allocated memory will follow it to the new scope), however, such a
resource migration is not in cgroup semantics. The method may thus have
the intended users and others could be guided to StartTransientUnit().

Since this API was advertised in a regular release, start the removal
with a deprecation message to callers.
Eventually, the goal is to remove the method to clean up DBus API and
simplify code (removal of cgroup_context_copy()).

Part of DBus docs is retained to satisfy build checks.

Merge pull request #34678 from kalrish/documentation-fixes

Fix little errors in man pages `machinectl(1)` and `systemd-nspawn(1)`

man: `machinectl(1)`: Fix description of subcommand `poweroff`

man: `systemd-nspawn(1)`: Fix some typos

Merge pull request #34556 from ryantimwilson/extra-fds

Add ExtraFileDescriptor property to StartTransientUnit dbus API

fd-util: use F_DUPFD_QUERY for same_fd()

Catch up with the nice little toys the kernel fs developers have added
for us. Preferably, let's make use of the new F_DUPFD_QUERY fcntl() call
that checks whether two fds are just duplicates of each other
(duplicates as in dup(), not as in open() of the same inode, i.e.
whether they share a single file offset and so on).

This API is much nicer, since it is a core kernel feature, unlike the
kcmp() call we so far used, which is part of the (optional)
checkpoint/restore stuff.

F_DUPFD_QUERY is available since kernel 6.10.

fd-util: introduce fd_validate() helper

It just uses F_GETFD to validate an fd. it's a bit easier to read
though, and handles the < 0 case internally.

tree-wide: replace reallocarray() with GREEDY_REALLOC()

sd-bus: introduce bus_process_cmsg()

- Close all fds on failure.
- Close pidfd on success.

analyze: use RET_GATHER()

test: add test cases for timestamp with time zone

time-util: copy input string before fork()

Fixes #34670.

time-util: fix parsing timestamp with NZ timezone

Fixes a bug caused by ef658a63f8163607d9e04f710cd26c0d36ff68ce.

core: use memdup_suffix0() at one more place

prioq: use GREEDY_REALLOC() and structured initializer

No functional change, just refactoring.

Merge pull request #34669 from bluca/semaphore

Update mkosi debian ref and try to speed up semaphore build

mkosi: mark test as skipped when QEMU crashes

On Ubuntu/Debian infrastructure QEMU crashes a lot, so mark the test
as skipped in that case as there's nothing we can do about it and
we shouldn't mark runs as failed

semaphore: do not build docs

There are other CI runs that build manpages, speed up build which is close to 1hr limit

semaphore: stop building and running extra unit tests

This slows down the build, which is often near the 1hr limit. There are
other jobs running the extra unit tests.

mkosi: update debian commit reference

* 51389fefca Upstream profile: skip dh_strip_nondeterminism
* 647fd0d40c Install kernel-install uki.conf example
* ddfeb24f55 autopkgtest: skip gdm3 on armel for smoke tests

Add ExtraFileDescriptor property to StartTransientUnit dbus API

This adds the ExtraFileDescriptor property to StartTransient dbus API
with format "a(hs)" - array of (file descriptor, name) pairs. The FD
will be passed to the unit via sd_notify like Socket and OpenFile.

systemctl show also shows ExtraFileDescriptorName for these transient
units. We only show the name passed to dbus as the FD numbers will
change once passed over the unix socket and are duplicated, so its
confusing to display the numbers.

We do not add this functionality for systemd-run or general systemd
service units as it is not useful for general systemd services.
Arguably, it could be useful for systemd-run in bash scripts but we
prefer to be cautious and not expose the API yet.

Fixes: #34396

Merge pull request #34472 from ikruglov/ikruglov/io-systemd-Machine

machine: implement varlink interfaces io.systemd.Machine.{List, Unregister, Terminate, Kill}

Semaphore: switch from /tmp to /var/tmp to avoid disk space issues

Builds have been failing as we run out of space in /tmp/, move to
/var/tmp

machine: tests for varlink interfaces

- io.systemd.Machine.List
- io.systemd.Machine.Kill
- io.systemd.Machine.Terminate
- io.systemd.Machine.Register
- io.systemd.Machine.Unregister

machine: extend io.systemd.Machine.List output with sshPrivateKeyPath field

Effectivelly, this is an implementation of GetMachineSSHInfo in dbus.

machine: use JSON_BUILD_PAIR_STRING_NON_EMPTY() in io.systemd.Machine.List output

machine: introduce io.systemd.Machine.Kill varlink method

machine: introduce io.systemd.Machine.Terminate varlink method

machine: introduce io.systemd.Machine.Unregister varlink method

machine: io.systemd.Machine.List supports 'pid' filter

Merge pull request #34644 from yuwata/udev-node-diskseq

udev-node: do not create stack directory for by-diskseq symlink

test: set TEST_NESTED_KVM as default

mkosi: Switch to Fedora 41

It's due for release soon and will fix the flakyness of TEST-58-REPART
so let's bump the Fedora 40 job to Fedora 41.

sd-json: use sd_json_dispatch_const_string() in sd_json_dispatch_string()

Also, do similar for json_dispatch_user_group_name().

tree-wide: drop doubled empty lines

network: use Network.name for bus path

No functional change, just refactoring.

networkctl: sort ifindexes in status command

Before:
$ networkctl status
● Interfaces: 372, 368, 373, 375, 376, 377, 378, 379, 381, 391, 3, 1201, 1202, 1184, 1610, 9, 8, 1340, 2, 1, 1256, 7

After:
$ networkctl status
● Interfaces: 1, 2, 3, 7, 8, 9, 368, 372, 373, 375, 376, 377, 378, 379, 381, 391, 1184, 1201, 1202, 1256, 1340, 1610

homectl: drop unnecessary brackets

Follow-up for 164ca24d7464253e5f8375226b792ef8f6eaffd0.

Merge pull request #34491 from AdrianVovk/sysupdate-fixups

Quick sysupdate fixups

po: Translated using Weblate (Kabyle)

Currently translated at 3.1% (8 of 253 strings)

Co-authored-by: ButterflyOfFire <butterflyoffire@protonmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/kab/
Translation: systemd/main

Merge pull request #34408 from Werkov/fix-device-limits

core/cgroup: Apply IODevice*= directives in configured order

core: warn if a generator is world-writable

... because that is obviously a security risk.

hwdb: add SCAI SKU prefix for Samsung keyboard mapping (#34648)

udev-node: introduce node_remove_symlink()

Also
- make the failure propagated,
- remove /dev/block or /dev/char if empty.

Hopefully, no effective functionality changed. Just refactoring.

udev-node: rename node_symlink() -> node_create_symlink()

Also adds short comment for the NULL arguments.

No functional change, just refactoring.

test: add test case for issue #34637

udev-node: skip stack directory creation for diskseq

The disk/by-diskseq symlink should not be shared with multiple block
devices. Hence, it is not necessary to create stack directory for the
symlink that manages which device owns the symlink.

This is not just a optimization.
If a service unit tries to mount a disk image but the service fails, then
the diskseq of the loop device for the image may be continuously increased
during restart, and inodes in /run may increase rapidly, as the stack
directories are cleaned up only when udev queue is empty.

Fixes #34637.

TODO: fix typo

Follow-up for 26e6986527fe553edf35a442a520deb10c45a155.

Merge pull request #34432 from YHNdnzj/path-lookup-refactor

path-lookup: several cleanups

busctl: Support file descriptors in busctl

Previously using file descriptors as input arguments in busctl was
unsupported with "UNIX file descriptor not supported as type."

We fix this by parsing the file descriptor as an integer and verifying
it is an available file descriptor in busctl.

Fixes: #14954
Replaces: #34551

shutdown: In sync_with_progress(), log first then send SIGKILL

The order of these 2 lines was swapped in commit
758760a3610e3c6674de8a1d51b12b991eafef7c. Put them in the right order,
and take yuwata's comment into account.

sd-json: reorder enum so that SD_JSON_FORMAT_OFF is first

This doesn't really matter, all bits in a word are created equal, but having
the "off" value in the middle seems strange.

path-lookup: move xdg_user_dirs() to xdg-autostart-generator

This is the only place where xdg_user_dir() is needed and
makes sense. All other invocations have been replaced with
user_search_dirs() - see previous commits for details.

path-lookup: refactor lookup_paths_init() search paths handling

* Rename user_dirs() -> user_unit_search_dirs() and port to
  user_search_dirs()
* Use STRV_IFNOTNULL to guard paths that could be NULL,
  assert otherwise

path-lookup: introduce user_search_dirs() (shall replace xdg_user_dirs())

xdg_user_dirs() doesn't seem well-organized currently.
In all other xdg_user_*() funcs we assume /etc/xdg/systemd
to be a symlink to /etc/systemd/, hence it is the odd one out.
Also, when the relevant envvar is unset, it only returns
the global search dirs.

sd_path_lookup() actually covers this nicely with SD_PATH_SEARCH_*,
where the combined search paths (from user home and system) are used.
Therefore, let's introduce a wrapper for that, and deprecate xdg_user_dirs()
(would be removed in later commits).

path-lookup: assert that LOOKUP_PATHS_{EXCLUDE,TEMPORARY}_GENERATED are not used in conjunction

path-lookup: unify *_generator_binary_paths()

path-lookup: modernize get_paths_from_environ()

Use retval rather than additional param to indicate
whether the normal paths shall be appended.

path-lookup: shortcut patch_root_prefix() if no root_dir

path-lookup: unify acquire_{config,control,attached}_dir()

Note that -ENXIO reported by xdg_user_config_dir() is now properly
propagated rather than ignored, as unlike XDG_RUNTIME_DIR, XDG_CONFIG_HOME
has a default value hence ENXIO is not really expected.

path-lookup: use path_strv_contains() rather than strv_contains()

path-lookup: clean up acquire_{generator,transient}_dirs() a bit

path-lookup: modernize runtime_directory() too

path-lookup: deduplicate xdg_user_*() with sd_path_lookup()

While at it, place ret param at last.

path-lookup: move from basic/ to libsystemd/

So that sd_path_lookup() can be utilized to replace
duplicate functions.

path-lookup: move find_portable_profile() to portable-util

path-lookup: move NETWORK_DIRS to network-util.h

unit-file: make unit_type_may_{alias_template} static inline

basic/unit-file: move to shared/

Preparation for later commits, where path-lookup would be
moved into libsystemd.

Note that it currently includes sd-id128.h, hence shared/
seems more appropriate anyway.

Use case insensitive comparison for the machine's architechture

boot loader specification states:

architecture: refers to the architecture this entry is for. The argument
should be an architecture identifier, using the architecture vocabulary
defined by the EFI specification (i.e. IA32, x64, IA64, ARM, AA64, …).
If specified and it does not match the local system architecture this
entry should be hidden. The comparison should be done case-insensitively.

Example: architecture aa64

https://uapi-group.org/specifications/specs/boot_loader_specification/#type-1-boot-loader-entry-keys

Merge pull request #34638 from YHNdnzj/laccess-error-check

various: correct laccess() error check

Merge pull request #34639 from DaanDeMeyer/repart-fix

Two repart fixes