repart: Run most repart integration tests without root privileges

To make sure rootless mode keeps working, let's run all repart
integration tests that we can without root privileges. The only ones
we need to keep running with root privileges are the tests that operate
on a block/loop device and those that use --image=.

repart: Don't use loop devices when we're not operating on a block device

When repart is not operating on a block device, if we avoid using
any loop devices at all, it becomes possible to run repart without
needing root privileges.

Note that this also depends on the filesystems in use to support
population without needing root privileges (specifically, squashfs,
ext4 or btrfs).

repart: Change mode of temporary root to 755

Let's make sure regular users can access read/execute files when
we're populating from a temporary root.

repart: Fail early if no sources are provided for a read-only filesystem

repart: Skip partition_populate_directory() if no sources are provided

repart: Fail early if we're missing privileges to populate a filesystem

repart: Ensure files end up owned by root in generated filesystems

By forking off a user namespace before running mkfs and ID mapping
the user running repart to root in the user namespace, we can make
sure that files in the generated filesystems are all owned by root
instead of the user running repart.

To make this work we have to make sure that all the files in the
root directory that's passed to the mkfs binary are owned by the
user running repart, so we have to drop the shortcut for only a
single root directory in partition_populate_directory().

repart: Fix copy failure error message

repart: Move verity sig formatting into data partition functions

Refactoring to make implementing rootless repart easier.

repart: Move verity hash formatting into data partition functions

Refactoring to make implementing rootless repart easier.

repart: Do offline encryption instead of online

Offline encryption can be done without mounting the luks device. For
now we still use loop devices to split out the partition we want to
write to but in a later commit we'll replace this with a regular file.

For offline encryption, we need to keep 2x the luks header size space
free at the end of the partition, so this means our encrypted partitions
will be 16M larger than before.

repart: Let libcryptsetup calculate the volume key

We also bump the volume key size to 512 bits.

mkfs-util: Add support to populate vfat without mounting using mcopy

mkfs.vfat doesn't support specifying a root directory to bootstrap
the filesystem from (see https://github.com/dosfstools/dosfstools/issues/183).
Instead, we can use the mcopy tool from the mtools package to copy
files into the vfat filesystem after creating it without needing to
mount the vfat filesystem.

mkosi: Add mkfs tools to mkosi image

Useful for testing systemd-repart

mkfs-util: Add root support for ext and btrfs

For these filesysrems, it's useful to provide the filesystem upfront
so that we don't have to mount it later which requires root privileges.

mkfs-util: Make argument handling for mkfs binaries more flexible

Preparation for the next commit.

btrfs-util: Remove bogus assert()

If size is zero, BTRFS_IOC_CLONE_RANGE will copy until the end of
the source file.

Merge pull request #25001 from DaanDeMeyer/repart-filter

repart: Add --include/--exclude-partitions

repart: Add integration test for --include/--exclude-partitions

repart: Add --include/--exclude-partitions

Let's allow filtering the partitions to operate on by partition
type UUID. This is necessary when building bootable images with a
verity protected root/usr partition as we can only build the UKI
image when we have the verity roothash which means we cannot populate
the EFI partition yet when we run repart initially to determine the
verity roothash.

repart: Use first unused partition number for new partitions

If we skip some partition types in a first run of systemd-repart,
we don't want their partition numbers to be different than usual,
so let's change the allocation of partition numbers to account for
that.

gpt: Expose GptPartitionType and get rid of SECONDARY/OTHER

Instead of exposing just the partition type UUID, let's expose the
GptPartitionType struct, which has a lot more information available
in a much more accessible way.

Also, let's get rid of SECONDARY/OTHER in PartitionDesignator. These
were only there to support preferred architectures in dissect-image.c,
but we can easily handle that by comparing architectures when we decide
whether to override a partition. This is done in a new function
compare_arch().

repart: Remove the repeated ';' from code (#25386)

Merge pull request #24908 from DaanDeMeyer/repart-minimize

repart: Add Minimize setting

repart: Add Minimize= integration test

Merge pull request #25327 from keszybz/mkosi-less-work

Skip mkosi runs on docs-only changes and some small cleanups

Merge pull request #25361 from bluca/readme

README: note a couple more kconfigs

measure: fix section names in 'objcopy' example in systemd-measure man

A copy paste error has crippled in the objcopy example in 'systemd-measure'
manual,  "--change-section-vma" should reference the section being added,
not ".splash". When used as-is, the resulting UKI is unbootable.

Signed-off-by: Vitaly Kuznetsov <vkuznets@redhat.com>

README: note Kconfig for verifying DDIs via MoK keys

Also note them in the mkosi.build kernel config list

mkosi: drop spaces after shell redirection operator

ci: use mkosi executable directly

systemctl: do not show unit properties with --all

Fixes a bug introduced by a6e334649d4bdff0c6f664e98666b2223aa21a8b.

Fixes #25343.

tmpfiles: log at info level when some allowed failures occur

In provision.conf we ship:

d- /root :0700 root :root -
d- /root/.ssh :0700 root :root -

These are allowed to fail, for example on a read-only filesystem. But they still
log at error level, which is annoying and gets flagged. Tune those specific errors
down to info.

There are likely more that could be tuned down, but the important thing is to cover
the tmpfiles.d that we ship right now.

Before:

$ echo -e "d- /root :0700 root :root - \nd- /root/.ssh :0700 root :root -" | SYSTEMD_LOG_LEVEL=err build/systemd-tmpfiles --root=/tmp/img --create -
Failed to create directory or subvolume "/tmp/img/root": Read-only file system
Failed to open path '/tmp/img/root': No such file or directory
$

After:

$ echo -e "d- /root :0700 root :root - \nd- /root/.ssh :0700 root :root -" | SYSTEMD_LOG_LEVEL=err build/systemd-tmpfiles --root=/tmp/img --create -
$

module-util: use the blacklist from module_blacklist= in cmdline

When a module is blacklisted using module_blacklist=
we shouldn't fail with 'Operation not permitted'.
Instead we check for it and skip it if this is the case.

Merge pull request #25368 from yuwata/bootctl-ignore-invalid-boot-entries

bootctl: ignore invalid boot entries

Merge pull request #25373 from medhefgo/boot-fixes

boot: Small fixes

dissect-image: do not try to close invalid fd

Fixes a bug introduced by f7725647bb41c3398a867f139efe526efe8aa1b3.

Hopefully fixes #25348.

boot: Fix error message

boot: Silence driver reconnect errors

Merge pull request #25338 from DaanDeMeyer/at-fixes

Followups for #24813

Merge pull request #25339 from dtardon/vertical-tables

Port more tools to vertical table

localectl: port to vertical table

hostnamectl: port to vertical table

analyze-inspect-elf: port to vertical table

analyze-timespan: port to vertical table

analyze-timestamp: port to vertical table

analyze-calendar: port to vertical table

analyze-calendar: avoid unnecessary abbreviation

Merge pull request #25360 from poettering/strv-fixes

nulstr fixes

Merge pull request #25355 from poettering/chase-symlinks-no-symlink

chase_symlinks(): add CHASE_PROHIBIT_SYMLINKS

Merge pull request #25349 from poettering/table-header-rework-only

format-table: add TABLE_HEADER cell table

bootctl,bootspec: make use of CHASE_PROHIBIT_SYMLINKS whenever we access the ESP/XBOOTLDR

Let's make use of the new flag whenever we access the ESP or XBOOTLDR.
The resources we make use of in these partitions can't possibly use
symlinks (because UEFI knows no symlink concept), and they are untrusted
territory, hence under no circumstances we should be tricked into
following symlinks that shouldn't be there in the first place.

Of course, you might argue thta ESP/XBOOTLDR are VFAT and thus don#t
know symlinks. But the thing is, they don#t have to be. Firmware can
support other file systems too, and people can use efifs to gain access
to arbitrary Linux file systems from EFI. Hence, let's better be safe
than sorry.

chase-symlinks: add new flag for prohibiting any following of symlinks

This is useful when operating in the ESP, which is untrusted territory,
and where under no circumstances we should be tricked by symlinks into
doing anything we don't want to.

tests: add tests for various corner cases of nulstr

nulstr-util: fix corner cases of strv_make_nulstr()

Let's change the return semantics of strv_make_nulstr() so that we can
properly distuingish the case where we have a no entries in the nulstr
from the case where we have a single empty string in a nulstr.

Previously we couldn't distuingish those, we'd in both cases return a
size of zero, and a buffer with two NUL bytes.

With this change, we'll still return a buffer with two NULL bytes, but
for the case where no entries are defined we'll return a size of zero,
and where we have two a size of one.

This is a good idea, as it makes sure we can properly handle all corner
cases.

Nowadays the function is used by one place only: ask-password-api.c. The
corner case never mattered there, since it was used to serialize
passwords, and it was known that there was exactly one password, not
less. But let's clean this up. This means the subtraction of the final
NUL byte now happens in ask-password-api.c instead.

nulstr-util: don't use 'r' for anything but integer return values

nulstr-util: use memdup_suffix0() where appropriate

if the nulstr is not nul-terminated, we shouldn't use strndup() but
memdup_suffix0(), to not trip up static analyzers which imply we are
duping a string here.

nulstr-util: use _cleanup_strv_free_() where appropriate

nulstr-util: rebreak comments

nulstr-util: modernize strv_from_nulstr() a bit

strv: move nulstr utilities to nulstr-util.[ch]

Let's move them out of the generic, already very long strv.[ch] module
into the more specific nulst-util.[ch]

No code changes.

format-table: teach table_add_cell_stringf_full() to generate TABLE_FIELD/TABLE_HEADER cells, too

format-table: introduce TABLE_HEADER cell type

This rework the logic for handling the "header" cells a bit. Instead of
special casing the first row in regards to uppercasing/coloring let's
just intrduce a proper cell type TABLE_HEADER which is in most ways
identical to TABLE_STRING except that it defaults to uppercase output
and underlined coloring.

This is mostly refactoring, but I think it makes a ton of sense as it
makes the first row less special and you could in fact insert
TABLE_HEADER (and in fact TABLE_FIELD) cells wherever you like and
something sensible would happen (i.e. a string cell is displayed with
a specific formatting).

ac-power: check battery existence and status

If a battery is not present or its status is not discharging, then
the battery should not be used as a power source.
Let's count batteries currently discharging.

Fixes #25316.

bootctl: downgrade log message when firmware reports non-existent or invalid boot entry

Fixes #25359.

bootctl: make boot entry id logged in hex

To make consistent with the printed boot id below and other tools e.g.
efibootmgr.

Merge pull request #25268 from PeterCxy/fido2-preflight

libfido2-util: Perform pre-flight check for credentials in token

README: use https on one more link

man/systemd-dissect.xml: fix trivial error

Merge pull request #25351 from crrodriguez/Wenum-int-mismatch

Fix gcc 13 -Wenum-int-mismatch warnings

shared|install: Use InstallChangeType consistently

gcc 13 -Wenum-int-mismatch, enabled by default, reminds us enum ! = int

resolve: dns_server_feature_level_*_string type is DnsServerFeatureLevel

gcc 13 -Wenum-int-mismatch reminds us that enum != int

journal-remote: code is of type enum MHD_RequestTerminationCode

Fixes gcc 13 -Wenum-int-mismatch which are enabled by default.

libfido2-util: Perform pre-flight check for credentials in token

Do not attempt to decrypt using a key slot unless its corresponding
credential is found on an available FIDO2 token. Avoids multiple touches
/ confirmations when unlocking a LUKS2 device with multiple FIDO2 tokens
enrolled.

Partially fixes #19208 (when the libcryptsetup plugin is in use).

libfido2-util: Extract error handling logic from fido2_use_hmac_hash_specific_token

libfido2-util: Commonize FIDO2 basic property settings

These properties are repeatedly set across multiple functions.

repart: fix build

Follow-up for: 12e2b70f9b849e54018f147b8a11154cd5e2dcf6

nulstr-util: Declare NULSTR_FOREACH() iterator inline

strv: Make sure strv_make_nulstr() always returns a valid nulstr

strv_make_nulstr() is documented to always return a valid nulstr,
but if the input is `NULL` we return a string terminated with only
a single NUL terminator, so let's fix that and always terminate the
resulting string with two NUL bytes.

sd-bus: Use goto finish instead of return in bus_add_match_full

Fixes #25340

resolve: Use only C99 flex arrays (#25335)

repart: Take into account minimal filesystem size

Instead of requiring users to guess the required space for partitions
populated with CopyFiles=, let's make an educated guess ourselves. We
can populate the filesystem once in a very large sparse file and see
how much data is actually used as a good indicator of the required size.

repart: Use ULL for all size constants

repart: Allow custom root directory per copy blocks source

Preparation for the next commit

repart: Don't log partition number when populating filesystem

This might not be known yet so let's use the filesystem itself
instead.

repart: Create loop device when populating filesystems if needed

repart: Move fstype_is_ro() checks out of the populate functions

Preparation for the next commit.

resize-fs: Bump xfs minimum partition size to 16MB

14MB leads to errors in mkfs.xfs when running repart.

repart: Calculate filesystem UUID earlier

repart: Use COPY_HOLES more

repart: Use COPY_REFLINK in context_copy_blocks()

We might be copying between files without a loop device involved.
In that case, a reflink is possible and will be much faster.

repart: Use copy_bytes() instead of copy_bytes_full()

Merge pull request #24803 from DaanDeMeyer/repart-copy-deny-list

repart: Don't descend into directories assigned to other partitions

ci: skip running on docs-only changes

https://docs.github.com/en/actions/using-workflows/workflow-syntax-for-github-actions#example-including-and-excluding-paths

> If you define a path with the ! character, you must also define at least one
> path without the ! character. If you only want to exclude paths, use
> paths-ignore instead.
>
> The order that you define patterns matters:
>     A matching negative pattern (prefixed with !) after a positive match will
>     exclude the path.
>     A matching positive pattern after a negative match will include the path
>     again.

Even if some of the exluded paths *could* impact the build, generally it's a
waste of time to do mkosi builds on them. Let's skip to releave the builders a
bit.

Revert "rm-rf: Add rm_rf_physical_and_close()"

This reverts commit 56e2bceddc7383c4abe1ef0110192e491c729de4.

Doing destructive cleanup operations via unreliable /proc path
lookups is unsafe and should be avoided so let's remove this function.

test-copy: Stop using rm_rf_physical_and_close

This cleanup function depends on resolving fd's to paths via /proc
which is unreliable so we shouldn't depend on it for destructive
operations. Use regular path based cleanup instead.

fs-util: Add missing assert to chmod_and_chown_at()

chase-symlinks: Drop unnecessary if

path-util: Drop path_make_relative_cwd()

Function is unused

tmpfile-util: Add missing assert