import: port importd from libgcrypt to openssl^gcrypt

This is heavily based on Kevin Kuehler's work, but the logic is also
significantly changed: instead of a straighforward port to openssl, both
versions of the code are kept, and at compile time we pick one or the other.

The code is purposefully kept "dumb" — the idea is that the libgcrypt codepaths
are only temporary and will be removed after everybody upgrades to openssl 3.
Thus, a separate abstraction layer is not introduced. Instead, very simple
ifdefs are used to select one or the other. If we added an abstraction layer,
we'd have to remove it again afterwards, and it don't think it makes sense to
do that for a temporary solution.

Co-authored-by: Zbigniew Jędrzejewski-Szmek <zbyszek@in.waw.pl>
# Conflicts:
# meson.build

meson: add config setting to select between openssl and gcrypt

This is not pretty, but it is supposed to be only a temporary measure.

repart: port to our home-grown hmac_sha256

This reduces dependencies. The speed of the code here is uimportant, because we
hash only a tiny amount of input data.

Debian and Ubuntu currently build without repart, see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=976959
> repart requires openssl and so far I tried to avoid linking against
> both gnutls and openssl.

Co-authored-by: Zbigniew Jędrzejewski-Szmek <zbyszek@in.waw.pl>

network: address: drop deprecated temporary address

Fixes #19838.

Merge pull request #21578 from bluca/json_spec

docs: clarify JSON terms in COREDUMP_PACKAGE_METADATA

sysusers: avoid creating spurious "nobody" group

On distros using Debian's base-passwd, the name of the group with gid 65534 is
nogroup. Currently, systemd-sysusers creates a spurious "nobody" group

  systemd-sysusers[243]: Creating group nobody with gid 996

That's both confusing and redundant, as the nobody user still has primary group
65534 aka nogroup, and the nobody group simply goes completely unused.

So explicitly specify the primary group of the nobody user, and add a line
ensuring that that group exists.

This is not a problem for Debian (or Ubuntu) itself, as they add their own
version of basic.conf in their systemd build logic. But it appears on for
example Yocto/OpenEmbedded.

Merge pull request #21573 from keszybz/one-more-table-sort

One more table sort and man page updates

docs: clarify ELF note usage in COREDUMP_PACKAGE_METADATA

Merge pull request #21559 from jcg190701/main

fix ConditionDirectoryNotEmpty when it comes to a Non-directory file

basic/architecture: sort and reindent one more table

No idea why I didn't do this one in the previous round.

man: fix typo

Follow-up for c896eb7ad65f4dbe968fdf01fa51e9ef4d2d11ed.

man: add missing plural and reorder sentence

We shouldn't explain what a value does before listing valid values…

Follow-up for 4f1ac4a38d1adf08f849af1a61c7a248932d8e13.

docs: clarify JSON terms in COREDUMP_PACKAGE_METADATA

tree-wide: fix typo

Merge pull request #21568 from yuwata/network-fix-json-format

network: fix json format

fix ConditionPathIsReadWrite when path does not exist.

man: fix copy-and-paste mistake

fix ConditionDirectoryNotEmpty when it comes to a Non-directory file

test-network: add more basic tests for network json formats

network: json: add missing initialization

Fixes CID#1466513.

json: make JSON_BUILD_PAIR_IN_ADDR_NON_NULL or friends handle NULL gracefully

Fixes #21567.

systemctl: display how long a systemd service will run (#21494)

Merge pull request #21532 from yuwata/network-json-more

network: add more json entries

Merge pull request #21541 from bluca/analyze_security_profile

analyze: add --profile switch to security verb

sd-boot: Fix assert failure in random-seed.c

Fixes: #21556

unit: add jobs that were skipped because of ratelimit back to run_queue

Assumption in edc027b was that job we first skipped because of active
ratelimit is still in run_queue. Hence we trigger the queue and dispatch
it in the next iteration. Actually we remove jobs from run_queue in
job_run_and_invalidate() before we call unit_start(). Hence if we want
to attempt to run the job again in the future we need to add it back
to run_queue.

Fixes #21458

Byte order to host before using the lifetime

I've seen this in `NetworkManager-1.34.0-0.3.el8.x86_64` (latest in CentOS
Stream 8 at the time of writing this message) which does not use the latest
Systemd but probably the code base is the same (see
https://github.com/NetworkManager/NetworkManager/commit/51f93e00a23fbd09f5ad96da6290bf4ca737d46a).

Before the patch:

```
libsystemd: eth0: DHCPv6 client: T1 expires in 34y 3w 6d 45min 31s
libsystemd: eth0: DHCPv6 client: T2 expires in 54y 5month 3w 3d 23h 20min 35s
```

After the patch:

```
libsystemd: eth0: DHCPv6 client: T1 expires in 3d 7h 58min 3s
libsystemd: eth0: DHCPv6 client: T2 expires in 5d 2h 26min 50s
```

same box (x86_64 system) and same DHCPv6 server.

This regression has likely been introduced by 8a8955507af363c31297bbc5df79852db4ad39d6.

Add missing greater than/less than tab on some HP

Some HP keyboards (like https://h30434.www3.hp.com/t5/image/serverpage/image-id/203235i01AD626584587DA1?v=v2) have <> between AltGr and left arrow. This add the fix and make it working again

Merge pull request #21534 from yuwata/udev-accept-longer-hw-address

udev/net: accept longer HW address

Merge pull request #21531 from keszybz/log2-tables

Optimize log2 tables

Merge pull request #21537 from medhefgo/boot-sbat

meson: Default to sbat-distro=auto

coredump: fix parsing metadata without access to executable

This was broken in a subtle way: we'd get an ELF ref, but not the right one,
so no metadata note would be found.
Change the parsing function to return 1 when it finds something, so that
we can return early only when that happens.

meson: upgrade warning about bad init values to an error

We never expect to get this warning, it is most likely to occur if
somebody messes up enumeration values.

networkd: replace a table with log2 fields by a list

networkd: align table

networkd: replace a table with log2 fields by a list

networkd: replace a table with log2 fields by a list

networkd: replace a table with log2 fields by a list

The code looks a bit more complicated, but the compiler generates a simpler and
more compact text.

An additional advantage is that if any of the fields were repeating or not
power-of-two, the compiler would warn about an overridden entry in the table.

basic/util: add macro variants of log2 functions

The macro variants can be used in static initializers.

The same guard against calling __builtin_clz(0) is added as for
__builtin_clzll(0), since that's undefined behaviour too. Our code
wouldn't call it, but this avoids a potential pitfall with the macro.
All variants map 0→0. Otherwise we'd often have to handle 0 specially
in callers.

__builtin_clz takes unsigned as the argument, so there's no LOG2I macro.

pam_systemd: Check also abstract socket for X11

It seems that `pam_systemd` was the only thing left that wanted to use sockets
in file system path `/tmp/.X11-unix/X*`. X11 apps actually prefer using the
abstract socket version.

This allows running Xserver with `-nolisten tcp -nolisten unix`, which makes
the server only listen to an abstract socket.

Also in my setup, Xserver is running as a separate system service instead of
starting from display manager service, and now `PrivateTmp=yes` can be used for
both. The file system of the display manager service is inherited by user apps
and now their `/tmp` will be separate from `/tmp` of PID1 namespace as well as
`/tmp` of Xserver.

meson: Rename compile_args to efi_cfalgs

compile_args sounds like it could be used for other targets besides
efi binaries. This also keeps the name in line with efi_ldflags.

meson: Default to sbat-distro=auto

Any recent shim will refuse starting an image that does not have an sbat section
and will do so with a generic "Security Violation" message. And it is very easy
to forget passing -Dsbat-distro=auto to meson when creating a fresh build dir.

Adding sbat info when shim is not used or secure boot is disabled does not hurt
anyone, so default to auto. This still ensures to not add auto-detected info in
case we are cross building.

Merge pull request #21549 from yuwata/network-netdev-mac-address-none

network: netdev: make MACAddress= take 'none'

network/netdev: generate persistent MAC address for batadv and bridge

This mostly reverts 489f01f806f865eabb55458c98182b06a6c53a62 and
deb2cfa4c6885d448eb1f17e5ef1b139106b7e86.

As now MACAddress=none is supported. So, users can still disable MAC
address assignment.

network/netdev: make MACAddress= take 'none' to suppress generating persistent hardware address

This is mostly equivalent to .link file's MACAddressPolicy=none.

network/netdev: move config_parse_netdev_kind() at the end

namespace: allow ProcSubset=pid with some ProtectKernel options

In case `/proc` is successfully mounted with pid tree subset only due to
`ProcSubset=pid`, the protective mounts for `ProtectKernelTunables=yes` and
`ProtectKernelLogs=yes` to non-pid `/proc` paths are failing because the paths
don't exist. But the pid only option may have failed gracefully (for example
because of ancient kernel), so let's try the mounts but it's not fatal if they
don't succeed.

Merge pull request #21535 from yuwata/network-netdev-verify-mac

network/netdev: verify MAC address

network: route: route->link may be NULL

Fixes #21544.

docs: fix descriptions in discoverable partitions

00db9a114e ("docs: generate table from header using a script") got the
descriptions for the partition types mixed up.  After that change, the
spec claimed, for example, that the /usr partition should contain
"dm-verity integrity hash data for the matching root partition", and
that the /usr verity partition should be of type "Any native, optionally
in LUKS".  This made the spec an extremely confusing read before I
figured out what must have happened!

I've gone through the table as it existed prior to 00db9a114e, and moved
the descriptions around in the script that generates the table until
they matched up with what they used to be.  Then I regenerated the
table from the fixed script.

Merge pull request #21533 from yuwata/network-trivial-follow-ups

network: trivial follow-ups

Merge pull request #21530 from keszybz/strv-cleanup

Modernize style and drop strv_free_free

network/netdev: verify specified MAC address

Drop multicast bit and set local bit of the specified MAC address.

This also makes failure in generating persistent MAC address
non-critical.

network/netdev: use "struct hw_addr_data" to store MAC address

network/netdev: introduce .iftype to netdev vtable

And disable .generate_mac flag for non-ether interfaces.

network: veth: use SYNTHETIC_ERRNO() macro or use real error cause

analyze: add --profile switch to security verb

Allows to pass a portable profile when doing offline analysis of
units. Especially useful for analyzing portable images, since a
lot of the security-relevant settings in those cases come from
the profiles, but they are not shipped in the portable images.

test: create a dummy LSan suppression file in the minimal image

otherwise gcc's ASan complains (unlike clang's) when the image is used -
e.g. in TEST-29 or TEST-50.

```
[   17.328705] testsuite-29.sh[361]: + portablectl --profile=trusted attach --now --runtime /usr/share/minimal_0.raw app0
...
[   20.978649] systemd[1]: Starting app0-foo.service...
[   21.104844] kernel: loop0: detected capacity change from 0 to 24960
[   20.999559] systemd[1]: Starting app0.service...
[   21.126022] kernel: loop1: detected capacity change from 0 to 24960
...
[   21.861087] cat[422]: AddressSanitizer: failed to read suppressions file '/systemd-lsan.supp'
[   21.868634] cat[421]: AddressSanitizer: failed to read suppressions file '/systemd-lsan.supp'
[   21.877941] systemd[1]: app0.service: Control process exited, code=exited, status=1/FAILURE
[   21.878836] systemd[1]: app0.service: Failed with result 'exit-code'.
[   21.905712] systemd[1]: Failed to start app0.service.
```

Follow-up to f201f3447796a5424372d32b338bc3b907516c28.

shell-completion: add offline/root/image to systemd-analyze

portable: move profile search helper to path-lookup

Will be used in systemd-analyze later

basic/util: rename u64log2 to log2u64

u64log2 was strangely named. We even have log2i and log2u right below
in that file.

update TODO

basic/strv: drop strv_free_free

I think the function name is confusing: we generally say "free_free" when
both keys and values are freed in a hash map, but here the type is an
array of strvs, so the name should be something like strv_array_free.

The function is unused since 143fadf369a18449464956206226761e49be1928 (2018),
let's just drop it.

basic/strv: inline variables and modernize style a bit

update TODO

NEWS: start with an entry for v250

udev/net: make MACAddress= takes hardware address for infiniband

udev/net: introduce "struct Link" to store link attributes

udev/net: rename variables

network: update comment

Addresses https://github.com/systemd/systemd/pull/21517#discussion_r757096584.

netif-util: update log message

Follow-up for 37593b7c488f7b957936500158f200af16534c6b.

Merge pull request #21529 from keszybz/test-journal-flush-no-crash

Fix crash in test-journal-flush in CI

test: make test-55-oomd less flaky

Make oomctl a bit less likely to race with systemd-oomd receiving the
managed oom cgroup info by checking oomctl output in a loop with
timeout.

Fixes #21146

Merge pull request #21501 from medhefgo/test

test: Use TEST macro

network: json: append DNS misc settings

network: json: append DNSSEC negative trust anchors

network: json: append domains

network: make both search_domains and route_domains allocated on DBus call

network: json: append SIP server information

network: json: append NTP server information

network: json: append DNS server information

network: introduce NETWORK_CONFIG_SOURCE_RUNTIME

dhcp6: make sd_dhcp6_lease_get_dns() and friends accepts NULL

dhcp: make sd_dhcp_lease_get_servers() accepts NULL

network: json: add several entries for wait-online

Merge pull request #21360 from yuwata/network-json

network: json: add more information

test-journal-flush: do not croak on corrupted input files

We would fail if the input file was corrupted:
build/test-journal-flush ./system@0005b7dac334f805-0021aca076ae5c5e.journal\~
journal_file_copy_entry failed: Bad message
Assertion 'r >= 0' failed at src/libsystemd/sd-journal/test-journal-flush.c:55, function main(). Aborting.
[1]    619472 IOT instruction (core dumped)  build/test-journal-flush ./system@0005b7dac334f805-0021aca076ae5c5e.journal\~

Let's skip some "reasonable" errors.

Fixes #17963.

test-journal-flush: allow testing against specific files

>=0 → ==0 because sd_journal_open* are documented to return 0.

mmap-cache: embed MMapCache.contexts[]

Code simplification; no idea why the Context structs were being
heap-allocated piecemeal.  There aren't many and they're small,
and made even smaller with this commit.

This also gets rid of the Context.cache backreference by just
accompanying the Context* with MMapCache* to the few private
Context* operations, resolving the context ID to a Context* at
the single public entrypoint: mmap_cache_fd_get(), which asserts
on the value being within bounds.  The Context.id member and
checks are also removed, as there's far less opportunity for
these things to become inconsistent now.

Of course this drops all context_{add,free}() related code,
making for a tasty diffstat.

journal: Deduplicate entry items before they are stored in the entry object

If the iovec contains the same data more than once, we'll end up with
duplicate offsets in the items array. Let's make sure we remove any
duplicates before we store the items in an entry object.

Merge pull request #21253 from poettering/homed-auto-grow-shrink

homed: automatic grow/shrink of LUKS home dirs

mmap-cache: LIST_REMOVE() *after* w->unused_prev

The LIST_REMOVE() macro always assigns NULL to w->unused_prev,
meaning every time this window was in last_unused, the remainder
of the unused list was lost to the ether.

Turns out there's been a memory leak in journald after all, this
code has been there since at least 2013...

Merge pull request #21522 from yuwata/home-fix-memleak

home: fix memleak

Merge pull request #21517 from yuwata/network-long-hw-addr

network: make MACAddress= can take longer address

network,udev: make .network and .link file can match with hardware address longer or shorter than ETH_ALEN

Try to fix exittype test flakyness

The test was changed at @bluca 's request to avoid sleeps,
but the change insufficient to avoid all races.
The kill command is now run from the script itself to avoid using
ExecStartPost

journal: Remove entry seqnum revert logic

This actually causes mismatches between the header tail entry seqnum
and the last entry seqnum since when we revert the header seqnum, we
don't remove the entry object we added. If adding the entry object
itself fails, we don't need to revert the seqnum since it's never
incremented so let's remove this logic alltogether.

update TODO

test: add test case for homed rebalancing logic

homectl: add new "homectl rebalance" command

Let's add an explicit, synchronous command to request immediate rebalancing and
wait for it.