sd-device: make cloned sd_device object can read udev database without uevent file

Some devices sent CHANGE and REMOVE uevent simultaneously.
To support that such device read udev database, let's copy minimal set of
properties which requires to read the database.

Fixes #19788.

sd-device: do not try to read uevent file multiple times

sd-device: set driver subsystem if the sd_device object is generated from nulstr

Otherwise, the sd_device object cannot read correct udev database file.

conf-parser: make config_parse_tristate() accept an empty string

Fixes #19822.

shell-completion: udevadm: support --uuid option

Follow-up for 730b9c1e1469dfd6d6850e9ea06da3cac469eba0.

Merge pull request #19796 from yuwata/udev-node-cleanups

udev: several cleanups about creating device symlink

hwdb: Add ProBook to use micmute hotkey

Like HP EliteBooks and ZBooks, all ProBooks use the same micmute
scancode.

test: don't expect that clone() always makes it to the kernel

We might get EPERM on certain clone() flag combinations. Apparently in
Docker for example.

Prompted by: https://github.com/systemd/systemd/pull/19800#issuecomment-854196491

tools/analyze-dump-sort: a helper to compare two 'systemd-analyze dump' outputs

Lines in the dumps are ordered by some pseudo-random hashmap entry order, which
makes it hard to diff two outputs. This sort the entries alphabetically, and
also sorts items within the entries, and supresses timestamps and other fields
which always vary.

We could sort the output inside of systemd itself, but it'd make things more
complex, and we probably don't need output to be sorted in most cases. It also
wouldn't be enough, because timestamps and such would still need to be ignored
to do a nice diff. So I think doing the sorting and suppression in a python
helper is a better approach.

docs/ARCHITECTURE: more markup and unicode

NEWS: adjust grammar and other small changes

fix typo

docs: use uppercase letters in title

We usually do it that way, do so here, too.

more 249 NEWS work

util: drop DEV_NUM_PATH_MAX and xsprintf_dev_num_path()

util: move device-node.[ch] to shared

udev: warn and propagate error in creating device symlink

Also, this makes the file in /run/udev/links/ is kept on failure, as the
target of the symbolic link may be belonging to another device.

udev: try to create device symlink directly only when the link does not exist yet

udev: extract same logic of creating device symlink

This also limits the number of trial.

udev: use path_extract_directory() and path_equal()

udev: refuse to create device symlink when a non-symlink file already exists

udev: make link_find_prioritized() return 0, 1, or negative errno

udev: slightly update log message and adjust log level

udev: logs if failed to remove devlink

udev: do not try to remove /dev

udev: use touch_file() and limit the number of trial

udev: logs when failed to remove saved info about devlink

udev: refuse unsafe device symbolic link

test: add tests for udev_node_escape_path()

udev: use hashed path as a filename to save devlink

NEWS: more preparation for v249

docs: add ARCHITECTURE.md with code map

Initial and coarse version of a code map, useful for people getting
started and looking at the repository for the first time.

man: fix typo

util: expose urlsafe_base64char()

Merge pull request #19801 from poettering/device-unit-name-length

pid1: reduce amount of warnings about sysfs device paths we cannot convert into device unit names

NEWS: start putting together NEWS for v249

Merge pull request #19806 from poettering/ask-pw-asterisk

systemd-ask-password: make pw echo fully configurable

pid1: don't choke on overly long device paths

This mimics what we do for device units: if there's a device we cannot
synthesize a good swap unit name for, then proceed without failure.

pid1: make swap_process_new() void

This matches device_process_new(): this function should not fail, since
it just reacts to external events.

pid1: downgrade if we can't make sense of the old device on MOVE uevent

If the name of the old device didn#t work for us, we don't have to clean
anything up, since we know for sure that there won't be a device unit
for it. hence downgrade log message about it.

pid1: eat up errors in device_update_found_by_name()

We eat up all errors in the caller already, and rightly so.

pid1: properly propagate errors from device_setup_unit()

We want to propagate errors here, since we want to make dependent on the
success of creating the main device unit the creation of the auxiliary
device units. Thus if we suppress errors here we might end up in exotic
corner cases in a situation were we create the auxiliary ("following")
device units without the primary one.

pid1: reduce log noise generated by devices with overly long sysfs paths

This basically does what 2c905207db37c691d4abef868165ad5ea2dd0f4f did
for mount units

Fixes: #16161

pid1: make return value of device_remove_old() void too

pid1: shorten code a bit

pid1: make device_process_new() return void

We never use the return value, and we really shouldn't, hence let's drop
it.

Merge pull request #19800 from poettering/podman-test

make our testsuite pass in a podman container with default privs

test: add a 'static' on a global variable we don't actually export

All global but not exported variables should be "static" in our
codebase, add "static" to one more such variable hence.

test: tweak privilege tests for two more tests

These tests require properly privileged root users, hence skip things
when we don't have CAP_SYS_ADMIN.

Fixes: #19746

test-seccomp: tighten privilege check before seccomp()

geteuid() without CAP_SYS_ADMIN is not enough to do unrestricted
seccomp(). Hence tighten the check.

See: #19746

test-capability: skip tests that need CAP_NET_RAW if cap is not passed

See: #19746

ask-password: once we hit the message argument, don't process switches anymore

Let's not mangle the message part unnecessarily, that'd be confusing and
unexpected.

ask-password: default to a different prompt than "Password:" if the echo is on

ask-password: make password echo fully configurable

This adds --visible=yes|no|asterisk which allow controlling the echo of
the password prompt in detail. The existing --echo switch is then made
an alias for --visible=yes (and a shortcut -e added for it too).

efi: drop glibc header and use pre-defined macros

This reverts 72dc626b3d6905b105ae61ca2c60f51a6f74070e and replace glibc
specific macros with compiler's pre-defined macros.

sd-device: do not use ::subsystem member directly

The value is set dynamically when sd_device_get_subsystem() is called
first time.

Fixes the following issue:
```
$ build/udevadm test /sys/class/block/dm-1
...
Assertion '_subsystem' failed at src/libsystemd/sd-device/sd-device.c:767, function device_set_subsystem(). Aborting.
Program received signal SIGABRT, Aborted.
```

Merge pull request #19798 from bluca/todo_landlock

Add new item to TODO list

Merge pull request #19792 from keszybz/more-logging-stuff

More logging tweaks

TODO: mention the new Landlock LSM as a way to implement sandboxing for systemd --user

TODO: remove some features that have been implemented

Merge pull request #19791 from yuwata/udev-node-logs

udev: update several log messages

po: Translated using Weblate (Danish)

Currently translated at 100.0% (189 of 189 strings)

Co-authored-by: scootergrisen <scootergrisen@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/da/
Translation: systemd/main

Merge pull request #19783 from yuwata/efi-build-options

efi: constify several functions and enable more warnings

various: don't say that the timestamp 'changed' on initial load

I always found this a bit annoying.
With the patch:

$ SYSTEMD_LOG_LEVEL=debug build/udevadm test /sys/class/block/dm-1
...
Loaded timestamp for '/etc/systemd/network'.
Loaded timestamp for '/usr/lib/systemd/network'.
Parsed configuration file /usr/lib/systemd/network/99-default.link
Parsed configuration file /etc/systemd/network/10-eth0.link
Created link configuration context.
Loaded timestamp for '/etc/udev/rules.d'.
Loaded timestamp for '/usr/lib/udev/rules.d'.
...

udev: upgrade log level about failure in updating devlinks

udev: check that passed symbolic link path starts with /dev

Merge pull request #19779 from poettering/unit-name-length-tweak

improve logging when encountering mount points we cannot convert to unit names due to length

udev: explicitly mention that the error will be ignored

See #19788.

udev: ignore the case that the device is already removed

See #19788.

cryptsetup: fix typo

core: show manager version in dump

This makes it easier to not get lost which one is which when
comparing two dumps.

core: split out core/manager-dump.[ch]

This is a fairly specialized topic, let's create a separate file for it.

TODO: add entry about alias logging

varlink: remove duplicated "varlink:" prefix

We had:

systemd[1]: varlink-36: New incoming message: {"method":"io.systemd.UserDatabase.GetMemberships","parameters":{"userName":"gdm","service":"io.systemd.DynamicUser"},"more":true}
systemd[1]: varlink-36: varlink: changing state idle-server → processing-method-more
systemd[1]: varlink-36: Sending message: {"error":"io.systemd.UserDatabase.NoRecordFound","parameters":{}}
systemd[1]: varlink-36: varlink: changing state processing-method-more → processed-method
systemd[1]: varlink-36: varlink: changing state processed-method → idle-server
systemd[1]: varlink-36: Got POLLHUP from socket.
systemd[1]: varlink-36: varlink: changing state idle-server → pending-disconnect
systemd[1]: varlink-36: varlink: changing state pending-disconnect → processing-disconnect
systemd[1]: varlink-36: varlink: changing state processing-disconnect → disconnected

So let's drop the "varlink:" prefix and use capitalized sentences like in other messages.

varlink: say "varlink:" instead of "n/a:" when no description is available

For new connections, we log something like this:

systemd[1]: n/a: New incoming connection.
systemd[1]: n/a: Connections of user 997: 0 (of 1024 max)
systemd[1]: varlink-22: varlink: setting state idle-server
systemd[1]: varlink-22: New incoming message: ...

This "n/a" is not very pretty, and without context it would be hard to even
figure out this is a varlink connection.

meson: sort compiler flags

meson: enable more warnings when building efi binary

efi: constify several arguments of functions which handle loader entries

efi: drop const qualifiers from arguments in uefi_call_wrapper()

efi: add const qualifier to EFI variable handling functions

efi: add const qualifier to string utils

efi: include endian.h to handle endian correctly

The macro __BYTE_ORDER__ is defined in endian.h.

efi: do not use _STRING_ARCH_unaligned macro

It is already removed from glibc. See,
https://sourceware.org/git/?p=glibc.git;a=commit;h=16396c41deab45f715ffd813280d9d685b3b281e
https://sourceware.org/git/?p=glibc.git;a=commit;h=09a596cc2cf4e0f9f8e9f3bba4b1a97efcb13bcb

string-util: trivial optimizations for strverscmp_improved()

mount: be more descriptive when logging about overly long mount point paths

This is prompted by #17684: let's very explicitly say that the name is
too long for us, and that we'll ignore it.

core: when looping over mount/swap names, continue if we find one which doesn't translate to a valid unit name

unit-name: generate a clear error code when converting an overly long fs path to a unit name

dissect: if dissecting without udev, don't look for usec timestamp on db record

There will likely be none, hence don't bother.

This fixes an issue in systemd-gpt-auto-generator where we'll try to
wait for the udev db for the partitions even though though udev might
simplynot be around and via the DISSECT_IMAGE_NO_UDEV flag were
explicitly told not to bother.

Fixes: #19377

pam: do not require a non-expired password for user@.service

Without this parameter, we would allow user@ to start if the user
has no password (i.e. the password is "locked"). But when the user does have a password,
and it is marked as expired, we would refuse to start the service.
There are other authentication mechanisms and we should not tie this service to
the password state.

The documented way to disable an *account* is to call 'chage -E0'. With a disabled
account, user@.service will still refuse to start:

systemd[16598]: PAM failed: User account has expired
systemd[16598]: PAM failed: User account has expired
systemd[16598]: user@1005.service: Failed to set up PAM session: Operation not permitted
systemd[16598]: user@1005.service: Failed at step PAM spawning /usr/lib/systemd/systemd: Operation not permitted
systemd[1]: user@1005.service: Main process exited, code=exited, status=224/PAM
systemd[1]: user@1005.service: Failed with result 'exit-code'.
systemd[1]: Failed to start user@1005.service.
systemd[1]: Stopping user-runtime-dir@1005.service...

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1961746.

Merge pull request #19774 from poettering/tpm2-tweaks

cryptsetup: two minor tpm2 tweaks

logind-dbus: correctly calculate when to create /etc/nologin file in all cases

Fixes: #19258

cryptsetup: add missing error branch

Found in the process of trying to figure out #19193, but I doubt it's
going to fix that.

cryptsetup: don't bother waiting for TPM2 devices if we are on EFI and EFI says there is no TPM2 device

Note that this means EFI-systems with a manually added TPM device won't
be supported automatically, but given that the TPM2 trust model kinda
requires firmware support I doubt it matters supporting this. And in all
other cases it speeds things up a bit.

cryptsetup: if TPM2 support is not compiled in, fallback to non-TPM2 mode gracefully

Fixes: #19177

Merge pull request #19768 from poettering/homectl-fido2-lock-with

homed: catch up with FIDO2 features in cryptsetup + other fixes

cryptsetup-util: disable pbkdf benchmark in cryptsetup_set_minimal_pbkdf.

No need to benchmark pbkdf when asking for minimal values
anyway.

1000 iterations count is minimum for both LUKS1 and LUKS2
pbkdf2 keyslot parameters according to NIST SP 800-132, ch. 5.2.

Iterations count can not be lower than recommended minimum
when benchmark is disabled. The time_ms member is ignored with
benchmark disabled.

dissect: the libcryptsetup code for Verity crypt_device objects too

Across the codebase we are pretty good at setting the per-crypt_device
log functions once we allocated the object. But we forgot one case. Fix
that.

cryptsetup: explicitl set default log functions wherever needed

Code using libcryptsetup already sets the global log function if it uses
dlopen_cryptsetup(). Make sure we do the same for the three programs
that explicitly link against libcryptsetup and hence to not use
dlopen_cryptsetup().

cryptsetup: implicitly set global log functions when loading libcryptsetup dynamically

So far we only set the per-crypt_device log functions, but some
libcryptsetup calls we invoke without a crypt_device objects, and we
want those to redirect to our infra too.

homework: only default to LUKS storage if libcryptsetup is installed