string-util: accept ":" when stripping ANSI color sequences

Since 6eabe9f2ff48c1b6924724d5afe64e7b661ccdbf we generate sequences
with ":", hence we better also know how to strip them.

(Without this patch we'd strip simple ANSI colors, but not RGB ones that
use ":" syntax).

(While we are at it, also drop a duplicate "0" in the list of valid
chars)

ansi-color: convert one more ANSI sequence from ";" to ":" separators

This is a follow-up for 6eabe9f2ff48c1b6924724d5afe64e7b661ccdbf where
one sequence was forgotten.

socket: turn of loud logging when setting up sockopts in container fails due to privs

Various socktops will fail if we run in a container, due to lack of
privs (for example SO_RECVFORCE as used by the journald sockets). That's
typically not a big issue. Hence downgrade the log level.

Follow-up for: f7df0eab8d9520f37a2feaecf532d78de6ab6b7d

hostnamectl: tweak three chassis emojis

mkfs-utils: also set $E2FSPROGS_FAKE_TIME if $SOURCE_DATE_EPOCH is set

Follow-up for 7bf0d0c46e39966ad6080aa3f25eed65bd57ad4b.

To support e2fsprogs older than v1.47.1 (released 2024-05-21).

Suggested-by: ZauberNerd <zaubernerd@zaubernerd.de>

hwdb: make three more hwdb files parsed by parse_hwdb.py

This also makes 70-lights.hwdb installed. The file was introduced by
106f64cbd66b8aa76333c3f11177f53e79e2cd82, but never installed.

Moreover, this makes the parser also check bluetooth modalias patterns.

boot: change some `log_error` -> `log_warning` where appropriate

This is a small followup for
https://github.com/systemd/systemd/pull/40344#discussion_r2695031041
(thanks Daan and Lennart!).

There are quite a few places in the code that currently log a
`log_error()` when a `log_warning()` is more appropriate because
the error is ignored. This commit now shows those as warnings.

udev/net: support more ethtool features

Closes #39318.

conf-files: several cleanups and fixlets (#40290)

Fixes #40313.
Closes #40285.

Also drop SysV rc.local script support (#40295)

Continuation of #39770.

update TODO

update TODO

dissect: support mount options when going through mountfsd, requiring privileges via polkit (#39394)

RootImageOptions=/ExtensionImages=/MountImages= all support custom
mount options, but mountfsd does not support it. Add varlink
parameters to allow callers to specify mount options so that
those directives can work as expected. Require additional privs via
polkit.

conf-files: introduce CONF_FILES_WARN flag and set it at various places

Closes #40285.

udevadm: log path prefixed with the specified root directory

udevadm: gracefully handle when a maked file is specified to udevadm verify/cat

Previously, since 7cb4508c5af465ab1be1b103e6c2b613eb58e63c, if a masked
file is specified, the commands failed.
Let's warn that the file is masked and ignore the file.

test: add test case for masked files in cat_files()

Add a test case to verify that cat_files() correctly handles symlinks
to /dev/null (masked configuration files) and returns success (0)
instead of failing.

This test complements the fix for issue #40313.

Co-authored-by: Yu Watanabe <watanabe.yu+github@gmail.com>

pretty-print: do not fail when cat_files() tries to show a masked file

Before 661b5bfd216e383ac7836261eea9671875e6709b, cat_files() does not
check if a file is regular. If the file is a symlink to /dev/null, then
cat_files() simply shows an empty contents for the file.
With the offending commit, as the CHASE_MUST_BE_REGULAR flag is set,
hence when we found a masked file, the function fails.

Fixes #40313.
Fixes regression caused by 661b5bfd216e383ac7836261eea9671875e6709b.

Co-authored-by: gvenugo3 <gvenugo3@asu.edu>

conf-files: make conf_file_new() take ConfFilesFlags rather than ChaseFlags

No functional change, preparation for later commit.

conf-files: use empty_to_root()

No functional change. For consistency with conf_file_chase_and_verify().

conf-files: split out several helper functions from files_add()

No functional change, preparation for later commit.

NEWS: mention about the removal of sysv init script support

Drop support for SysV rc-local script support

As already announced for several years.

mkosi: update debian commit reference to 93a222266c23ff73720f4de009a027d3556baee4

* 93a222266c Do not install rc-local generator in upstream build

Drop remaining references about sysv script support

Follow-up for 986fee6217051ce1ffdb53de45fdf9d7bae611ce.

core/dbus-manager: propagate meaningful dbus errors from EnqueueMarkedJobs

Previously, when `systemctl reload-or-restart --marked` failed the following
error was shown:

  Failed to start jobs: Failed to enqueue some jobs, see logs for details: Invalid argument

but no details were actually logged.

This change records failure reasons in the journal to help users identify root causes:

  # journalctl -b -e
  [...]
  systemd[1]: Queuing reload/restart jobs for marked units…
  systemd[1]: Operation refused, unit klogd.service may be requested by dependency only (it is configured to refuse manual start/stop).

hwdb: Add GPD Pocket 4 chassis quirk

See https://github.com/systemd/systemd/issues/7390#issuecomment-573607402

sd-varlink: Add SD_VARLINK_ANY

This allows representing fields that can be either an integer or
a string, like the "value" field we'll be adding in
https://github.com/systemd/systemd/pull/39202.

Upstream spec change: https://github.com/varlink/varlink.github.io/pull/43

Split up the giant switch statement in homectl's parse_argv (#40059)

This is in preparation for later changes. The 1500+ line switch statement was very
hard to work with and had quite a bit of duplicated code. This is a rework that
splits outs parts into functions. I split this up into a bunch of commits so that it
can be reasonably reviewed. When viewed as one giant commit, diff just shows
a giant block of removed code and a giant block of added code.

In some cases I wasn't sure why one or the other of the identity arrays is used…
I preserved existing behaviour in all cases.

manager: add EnqueueMarkedJobs varlink method

Same as the D-Bus method. Returns array of job IDs.

vpick: Fix pick_filter_image_any

Currently, pick_filter_image_any matches any image
with any suffix, which is way more than it should
be doing. It should only be matching images with
the .raw suffix.

Let's address this shortcoming by allowing to pass
multiple filters to path_pick(), and define
pick_filter_image_any as the combination of the
raw and directory image filters.

Fixes #40083

sd-boot: allow setting the `timeout` via SMBIOS 11

Allow configuring the menu timeout used by sd-boot by setting
`io.systemd.boot.timeout=<value>` as SMBIOS type 11 string.

This takes precedence over the setting from the config file
and the EFI var.

Useful for e.g. integration tests that want to control that
a generic image boots faster.

tree-wide: lock in all memory pages when mlockall() is utilized, and on demand

When employing MCL_FUTURE we don't actually want it to impose
immediate population of malloc()-ed pages. Hence let's set
MCL_ONFAULT everywhere.

Additionally, specify MCL_CURRENT to ensure future memory allocations
on already mapped pages are covered too. (Addresses
https://github.com/systemd/systemd/pull/40319#discussion_r2693726196)

Note that in shutdown the mlockall() is done to avoid keeping swap space
busy, hence a dedicated call w/ MCL_CURRENT and w/o MCL_ONFAULT is made.

core: only activate transaction that contain useful jobs

If no real jobs were added to the transaction, do not activate it.
The JOB_NOP anchor does not perform any useful work and activating
such transaction only wastes resources.

Fixes #9751

man/systemd.service: Expand docs on RestartSteps (#40309)

boot/initrd: fix typo

Follow-up for 80ab99d4d200c29727b573df6bccc49cc9dca6a4

hwdb: add HP EliteBoard Mic mute key mapping

efi: use 'struct iovec' more, pass initrds down with it

mailmap: deduplicate some frequent contributors

docs: Document practice of using comments for argument names

integration tests: do not adjust log level of udevd in the test script

Similar to 5c60d3011feac20dcc3c66fe2bcafa0a889e33d1, but for udevd.

network: drop fallback logic for kernel older than v5.6

Now our baseline is kernel v5.10.

udev: silence notification failures (#40275)

Closes #39943.

man: fix copy/paste issue in systemd-vmspawn.xml

The systemd-vmspawn man page has a note that the `--notify-ready`
defaults to "true" and then says that this is unlike "systemd-vmspawn"
where it defaults to "false". This appears to be a copy/paste issue
and here we want "unlike systemd-nspawn".

man: drop duplicate "the"

homectl: add argument comments

homectl: let drop_from_identity take multiple args

The only functional change should be that we deduplicate arg_identity_filter.

homectl: trivial simplification

homectl: split out helpers parse_uid_field

Yet another very similar function, but without generics it's hard to deduplicate
those.

homectl: split out helpers parse_{fido2_device,pkcs11_token_uri}_field

Both implement the 'list' verb.

homectl: split out helper parse_tmpfs_limit_field

homectl: split out helper parse_capability_set_field

homectl: split out helper parse_rebalance_weight

homectl: split out helper parse_auto_resize_mode_field

homectl: split out helpers parse_{time,timestamp}_field

homectl: split out helper parse_group_field

homectl: split out helper parse_weight_field

homectl: split out helpers parse_{disk,sector}_size_field

homectl: split out helper parse_language_field

homectl: split out helper parse_environment_field

homectl: split out helper parse_rlimit_field

homectl: fix confusion between "FOO" and "RLIMIT_FOO" as json keys

We parse RLIMIT_FOO, FOO, and LimitFOO all the same. But the keys in the
JSON dict are supposed to be "RLIMIT_FOO". We were creating such keys,
but then filtering them using "FOO", i.e. the filtering was not effective.

Using strjoina since both strings are under our control.

homectl: split out helper parse_nice_field

homectl: split out helpers that extend parse_string_field

homectl: split out helper parse_mode_field

homectl: split out helper parse_boolean_field

homectl: split out helpers parse_{unsigned,u64,size}_field

Bump kernel requirements to >= 5.10, and recommend >= 5.14 (#38977)

Then, this drops several unnecessary code for older kernels.

basic: move BPF_JMP_A to override/linux/bpf_insn.h

Move the BPF_JMP_A macro from override/linux/bpf.h to
override/linux/bpf_insn.h. The bpf.h override conflicts with libbpf's
-I/usr/include/bpf/uapi include path. Since bpf_insn.h is not typically
installed at /usr/include/linux/ or /usr/include/bpf/uapi/linux/, the
override works without conflicts.

Fixes #40331

process-util: drop unnecessary E2BIG error handling

E2BIG is returned when the kernel does not support CLONE_INTO_CGROUP,
but the flag is supported since kernel v5.7.

mount-setup: memory_recursiveprot is supported since kernel v5.7

Our baseline on kernel is 5.10. Hence we can unconditionally use it.

fd-util: drop close_all_fds_by_proc()

With the previous commit, now the function is used only on OOM.
In that case, let's do like close_all_fds_without_malloc().

fd-util: close_range() is available since kernel 5.9

Our baseline on kernel is 5.10, hence we can always use it.

stat-util: STATX_TYPE and STATX_INO should be always set

fd-util,mountpoint-util: STATX_MNT_ID is supported since kernel 5.10

Our baseline on kernel is 5.10, hence we can assume it works.

mountpoint-util: make is_mount_point_at() take usual dir_fd + path style arguments

tree-wide: statx() supports STATX_ATTR_MOUNT_ROOT since kernel 5.8

Our baseline on kernel is 5.10, hence we can unconditionally use it.

random-util: assume getrandom(GRND_INSECURE) works

GRND_INSECURE was added in kernel 5.6, and our baseline on kernel is
5.10. Let's assume it always works. Even if it does not work, we have
further fallback logics. So, this should be safe.

Bump required minimum kernel version to 5.10 and the recommended baseline to 5.14.

The previous minimum required version 5.4 will be EOL on 2025-12.
Let's bump the required minimum kernel version to the next LTS release 5.10
(released on 2020-12-13, EOL on 2026-12, CIP support until 2031-01).

The new recommended baseline 5.14 is the version that CentOS 9 uses.
CentOS 9 will EOL on 2027-05.

See also #38608.

units: Fix the missing dependency in systemd-pcrproduct

NvPCR need to read from /var/lib/nvpcr and the current unit file is
executed before /var is mounted. This adds the dep back so its always
runs after /var is mounted like systemd-tpm2-setup.service

stub: Fix NULL pointer deref when there are no initrds

When n_all_initrds == 0, then all_initrds is unmodified from its initial
value of:

_cleanup_free_ struct iovec *all_initrds = NULL;

and in the else block of the "if (n_all_initrds > 1)" the NULL is
dereferenced:

final_initrd = all_initrds[0];

Leading to the stub crashing due to a NULL pointer deref.

Fix this by initializing final_initrd to all 0s and only
running the else block if (n_all_initrds == 1).

network: ignore -EINVAL from bpf_get_current_comm()

Hopefully fixes #40051.

tree-wide: use full paths to tools defined in config.h

machined: Don't insist on 0:0 for the state directory

We now support running machined unprivileged, so don't pass in 0:0
as the uid/gid unconditionally but just use the UID/GID we're running
as.

mkfs-util: set hash_seed to seed derived value for reproducibility

When creating ext2/ext3/ext4 filesystems, mke2fs generates a random
hash_seed for htree directory indexing. This causes non-reproducible
images even when SOURCE_DATE_EPOCH is set and the same filesystem UUID
is used.

Set the hash_seed explicitly to match the filesystem UUID, ensuring
that repeated builds with the same seed produce bit-for-bit identical
images.

Also add a test case in TEST-58-REPART to verify ext4 reproducibility
by creating the same partition twice and comparing the results.

See https://vdwaa.nl/mkosi-reproducible-arch-images.html

I used claude ai to help me with this change.

homectl: split out helper parse_string_field

homectl: split out parser parse_ssh_authorized_keys

The idea is to split out helpers to make parse_argv() itself more
manageable. If possible, the helpers will be reused in many places. But
even if not, as in this case, it seems good to split out the code for a
specific option. Always, the sd_json_variant** pointer or pointers that
are operated on are selected in the caller. This way it is easier to see
which of the identity variables is used and if two different ones are
used.

man: fix indentation

mkosi: /bin/bash -> /usr/bin/env bash

This is analogous to a change in mkosi[1] with the same motivation: some
scripts are run to bootstrap the distribution tree and are thus running
directly on the host system which may not have `/bin/bash` (e.g. NixOS).

As with the `mkosi` change, do that for each shebang for consistency
reasons.

[1] https://github.com/systemd/mkosi/commit/8d2cd50e5192cada7211724ecff3514f0c85cf0f

man/systemd.service: Note RestartSteps only works with RestartSec= set

Setting Restart=0 seems reasonable to have no delay on the first
restart, if you do not realize this is impossible with an exponential
restart. So explicitly mention that RestartSec must be set.

man/systemd.service: Note RestartSteps are exponential

core: fix typo

Follow-up for 32614b9aab5a5c9b5be22b635fefdbccef90adc3.

meson: do not install standalone binaries if the meson option is disabled

A recent commit made the standalone binaries always buildable
on demand, but as a side effect due to how 'meson install' works,
they are always built and installed by 'meson install' even
if the standalone-binaries= option is disabled.
Fix it so that 'meson install' only installs them if the
option is explicitly enabled, while still allowing
building them on demand.

Follow-up for 54492552a1ba96e5160a8e9f867e1c49ffc87bc0

dissect: support mount options when going through mountfsd

RootImageOptions=/ExtensionImages=/MountImages= all support
custom mount options, use the new mountfsd parameters to
configure them if they are specified.

This requires additioanl privileges via polkit due to security
implications of mount options, so document an example policy
that allows to use the nosuid mount option.

mountfsd: add support for mount options

RootImageOptions=/ExtensionImages=/MountImages= all support custom
mount options, but mountfsd does not support it. Add varlink
parameters to allow callers to specify mount options so that
those directives can work as expected.

Given the security implications of some mount options (e.g.: ACLs,
SELinux), require additional privileges to use custom mount options.
Pass the list of requested options to polkit details, so that the
policy can check the exact details if needed, for example to only
allow nosuid and reject the rest.

man: do not manually update man/rules/meson.build

Follow-up for 25393c7c907b2c460a8a34d7dc6a1bdbcac8e9d4.

core: change mount options settings so that last defined wins (#39449)

Drop support for sysvinit scripts (#39770)

As announced by a few releases now, finally drop support for sysvinit scripts.

NEWS: note mount image options rule changes

core: change mount options settings so that last defined wins

Currently mount options are handled in such a way that the first
definition for a given partition wins, and documented as such.
Change them so that they behave like other options, and the
last specified wins.
Applies to RootImageOptions=, MountImages= and ExtensionImages=.
Switch from a linked list to an array indexed by the partition
specifier to store them.