test-libcrypt-util: before doing anything check what methods are available

On centos7 ci:

--- test-libcrypt-util begin ---
Found container virtualization none.
/* test_hash_password */
ew3bU1.hoKk4o: yes
$1$gc5rWpTB$wK1aul1PyBn9AX1z93stk1: no
$2b$12$BlqcGkB/7BFvNMXKGxDea.5/8D6FTny.cbNcHW/tqcrcyo6ZJd8u2: no
$5$lGhDrcrao9zb5oIK$05KlOVG3ocknx/ThreqXE/gk.XzFFBMTksc4t2CPDUD: no
$6$c7wB/3GiRk0VHf7e$zXJ7hN0aLZapE.iO4mn/oHu6.prsXTUG/5k1AxpgR85ELolyAcaIGRgzfwJs3isTChMDBjnthZyaMCfCNxo9I.: no
$y$j9T$$9cKOWsAm4m97WiYk61lPPibZpy3oaGPIbsL4koRe/XD: no

test-libcrypt-util: skip test on ppc64 with no xcrypt

I'm tired of trying to figure this out.

shared/libcrypt-util: do not refuse passwords if some other hash is unsupported

shared/libcrypt-util: add fallback for crypt_ra()

Following the style in missing_syscall.h, we use a non-conflicting name
for the function and use a macro to map to the real name to the replacement.

Check for crypt_gensalt_ra() instead of relying on libxcrypt presence

Since the loop to check various xcrypt functions is already in place,
adding one more is cheap. And it is nicer to check for the function
directly. People like to backport things, so we might get lucky even
without having libxcrypt.

meson: test if we have libcrypt_ra

We always seem to have either libcrypt_r and not the other two, or all
three. So the fallback for libcrypt_ra needs to be based on libcrypt_r.

shared/libcrypt-util: include fewer headers

Now that we wrap crypt_r/ra uses, we can include the header only in libcrypt-util.c.

Make test_password_{one,many} also use crypt_ra()

Add reciprocal test for password hashing and checking

Move test_password_{one,many} to libcrypt-util.c

They are only used under src/home/, but I want to add tests in test-libcrypt-util.c.
And the functions are almost trivial, so I think it is OK to move them to shared.

shared/libcrypt-util: use libcrypt_ra()

This lets the libc/xcrypt allocate as much storage area as it needs.
Should fix #16965:

testsuite-46.sh[74]: ==74==ERROR: AddressSanitizer: stack-buffer-overflow on address 0x7f3e972e1080 at pc 0x7f3e9be8deed bp 0x7ffce4f28530 sp 0x7ffce4f27ce0
testsuite-46.sh[74]: WRITE of size 131232 at 0x7f3e972e1080 thread T0
testsuite-46.sh[74]:     #0 0x7f3e9be8deec  (/usr/lib/clang/10.0.1/lib/linux/libclang_rt.asan-x86_64.so+0x9feec)
testsuite-46.sh[74]:     #1 0x559cd05a6412 in user_record_make_hashed_password /systemd-meson-build/../build/src/home/user-record-util.c:818:21
testsuite-46.sh[74]:     #2 0x559cd058fb03 in create_home /systemd-meson-build/../build/src/home/homectl.c:1112:29
testsuite-46.sh[74]:     #3 0x7f3e9b5b3058 in dispatch_verb /systemd-meson-build/../build/src/shared/verbs.c:103:24
testsuite-46.sh[74]:     #4 0x559cd058c101 in run /systemd-meson-build/../build/src/home/homectl.c:3325:16
testsuite-46.sh[74]:     #5 0x559cd058c00a in main /systemd-meson-build/../build/src/home/homectl.c:3328:1
testsuite-46.sh[74]:     #6 0x7f3e9a88b151 in __libc_start_main (/usr/lib/libc.so.6+0x28151)
testsuite-46.sh[74]:     #7 0x559cd0583e7d in _start (/usr/bin/homectl+0x24e7d)
testsuite-46.sh[74]: Address 0x7f3e972e1080 is located in stack of thread T0 at offset 32896 in frame
testsuite-46.sh[74]:     #0 0x559cd05a60df in user_record_make_hashed_password /systemd-meson-build/../build/src/home/user-record-util.c:789
testsuite-46.sh[74]:   This frame has 6 object(s):
testsuite-46.sh[74]:     [32, 40) 'priv' (line 790)
testsuite-46.sh[74]:     [64, 72) 'np' (line 791)
testsuite-46.sh[74]:     [96, 104) 'salt' (line 809)
testsuite-46.sh[74]:     [128, 32896) 'cd' (line 810)
testsuite-46.sh[74]:     [33152, 33168) '.compoundliteral' <== Memory access at offset 32896 partially underflows this variable
testsuite-46.sh[74]:     [33184, 33192) 'new_array' (line 832) <== Memory access at offset 32896 partially underflows this variable
testsuite-46.sh[74]: HINT: this may be a false positive if your program uses some custom stack unwind mechanism, swapcontext or vfork
testsuite-46.sh[74]:       (longjmp and C++ exceptions *are* supported)
testsuite-46.sh[74]: SUMMARY: AddressSanitizer: stack-buffer-overflow (/usr/lib/clang/10.0.1/lib/linux/libclang_rt.asan-x86_64.so+0x9feec)

It seems 'struct crypt_data' is 32896 bytes, but libclang_rt wants more, at least 33168?

Add a helper function that does make_salt+crypt_r

No functional change.

Merge pull request #16928 from poettering/statx-fallback

stat-util: provide single statx() fallback on top of fstatat()

selinux: create /run/user/${USERID}/systemd with default context

selinux: early exit in mac_selinux_maybe_reload if not initialized

Binaries might not initialize SELinux, e.g. when they normally do not
create files with the SELinux default context.
If they, via an internal libary function, call a _label() function,
mac_selinux_maybe_reload() gets called. Since the SELinux status page
has not been opened, selinux_status_updated() will fail with EINVAL.

This affects particularly test binaries.

Just exit early and avoid confusing debug logs.

man: fix typo in resolved.conf

Merge pull request #16951 from yuwata/resolve-follow-ups-for-extra-dns-stub-listener

resolve: follow-ups for extra DNS stub listener

Merge pull request #16854 from yuwata/sd-bus-error-set-errnofv

sd-bus: rework sd_bus_error_set_errnofv()

Merge pull request #16957 from poettering/sd-bus-proto-def-move

three unrelated, minor fixes

varlink: properly allocate connection event source

Let's make sure we keep a reference to the event source

(Note that this code is currently not used, which is why this was never
used: in all cases we do not add listener fds after the event is
attached, but before. In that case this code is not called.)

ptyfwd: don't set prio if event source that might not exist

We support read-only ptyfwd options, and on those the input event source
won't be allocated. Deal with that and don't invoke a function on it
that will then instantly fail.

sd-bus: move SD_BUS_MAXIMUM_(SIGNATURE|NAME)_LENGTH to sd-bus-protocol.h

So far we kept all defines directly originating from the spec in
sd-bus-protocol.h, do this for this too.

The precise place doesn't matter much API-wise given that sd-bus.h includes
sd-bus-protocol.h, hence let's just clean this up.

core: add [Enable|Disable]UnitFilesWithFlags DBUS methods

The new methods work as the unflavoured ones, but takes flags as a
single uint64_t DBUS parameters instead of different booleans, so
that it can be extended without breaking backward compatibility.
Add new flag to allow adding/removing symlinks in
[/etc|/run]/systemd/system.attached so that portable services
configuration files can be self-contained in those directories, without
affecting the system services directories.
Use the new methods and flags from portablectl --enable.

Useful in case /etc is read-only, with only the portable services
directories being mounted read-write.

util: constify the second argument of set_get()

resolve: use correct fd for UDP stub listner

resolve: do not check sender and destination for packet received by extra DNS stub listner

resolve: use sd_event_source_set_io_fd_own() for stub listners

resolve: introduce dns_stub_listener_extra_free() and set it as a key destructor

resolve: adjust error messages

resolve: do not set IPv4 specific options on IPv6 socket

resolve: do not set IP_TTL for extra DNS stub listeners

missing: add IPV6_FREEBIND

Merge pull request #16880 from yuwata/network-dhcp4-cleanups

network: DHCPv4 cleanups

util: drop unused socket_addr_port_from_string_auto()

resolve: use in_addr_union to store addresses for extra dns stub listeners

resolve: fix indentation

util: introduce SOCKADDR_LEN() macro

test: add tests for in_addr_port_from_string_auto()

test: move several tests from test-socket-util.c

util: introduce in_addr_port_to_string()

util: make in_addr_ifindex_to_string() an alias of in_addr_port_ifindex_name_to_string()

util: introduce in_addr_port_from_string_auto()

resolve: stop extra stub listners before freeing information about them

resolve: set DNS_STUB_LISTENER_YES if no protocol is specified in DNSStubListenExtra=

resolve: Manager::dns_stub_listener_mode is not relevant to extra stub listeners

resolve: make DnsStubListenerMode bitfield

resolve: rename dns_stub_extra_event_source -> event_source

As the name is too redundant.

man: update DNSStubListenerExtra=

Merge pull request #16881 from yuwata/network-routing-policy-rule-cleanups

network: routing policy rule cleanups

Merge pull request #16952 from yuwata/resolvectl-log-level-follow-ups

resolvectl: update help message

test: add tests for sd_bus_error_set_errnof()

sd-bus: use _cleanup_free_ macro in sd_bus_error_set_errnofv()

No functional change.

network: fixes gateway assignment through DHCPv4

This fixes the following issue:
- If a DHCP lease does not contains router option, then routes with
`Gateway=_dhcp` setting introduce unexpected results.

This also makes several failure paths critical. And adjust warnings when
classless routes are provided.

bash-completion: resolvectl: support 'log-level' command

resolvectl: add 'log-level' to help message

Follow-up for df9578498f3f566409fcb71229d9fc99e4ab0568.

resolved: ttl/hopcount sockopt is not a boolean

These are integer values, hence specify them as integers, not as
booleans.

sd-bus: drop unnecessary free()

As `e->message` here is always NULL.

man: mention that 'networkctl reconfigure' does not reload configs

network: configure DHCP routes after DHCP address is ready

network: dhcp4: reset counter only when the lease address is new

sd-ipv4acd: introduce sd_ipv4acd_get_address()

network: dhcp4: stop IPv4ACD before assigning new address

sd-ipv4acd: do not call callback in sd_ipv4acd_stop() when it is already stopped

network: voidify return value of sd_ipv4acd_stop()

network: logs about unknown key

network: honor already specified family when parsing from= or to= in serialized rule

network: do not reallocate buffer

network: serialize InvertRule= in [RoutingPolicyRule]

network: add whitespace after family= and priority= in serialized routing policy rule

This also makes priority= serialized only when its value is non-zero.

network: downgrade error level when the error is ignored

network: move routing_policy_rule_read_full_file()

Merge pull request #16044 from ssahani/resolved-interface

systemd-resolved: allow configurable bind address

Merge pull request #16945 from poettering/udev-test-selinux

fix udev-test when used with selinux

udev-test: don't mix alloca() and regular C stack allocation in one expression

udev-test: use SYNTHETIC_ERRNO() where useful

udev-test: use mount_verbose() instead of mount(), to make debugging easier

udev-test: make sure we run udev tests with selinux assumed off

This is cleaner that way given that we create our own half-virtualizes
device tree, and really shouldn't pull selinux labelling and access
control into that, we can only lose, in particular as our overmounted
/sys/ actually lacks /sys/fs/selinux.

(This fixes udev test woes introduced by #16821 where suddenly the test
would fail because libselinux assumed selinux was on, but selinuxfs
wasn't actually available)

stat-util: provide single fallback implementation of statx()

This simplifies things quite a bit, and is reusable wherever we want to
use statx() later on. Not sure why I didn't do it like this right from
the beginning...

stat-util: add new macros for declaring statx variable

Let's deal with the msan initialization issue once for all cases instead
of over and over again.

Merge pull request #16915 from poettering/cryptsetup-dlopen

pid1,repart,growfs: make libcryptsetup a dlopen() style dep

Merge pull request #16821 from cgzones/selinux_status

 selinux: use SELinux status page

Merge pull request #16940 from keszybz/socket-enotconn-cleanup

Cleanup socket enotconn handling

resolve: allow configurable bind address

hwdb: Add Adesso AKB-805MAC keyboard, mfd by Ortek

firstboot: don't create/modify passwd and shadow if not asked

core/socket: use _cleanup_ to close the connection fd

Removing the gotos would lead to a lot of duplicated code, so I left them
as they were.

core/socket: fold socket_instantiate_service() into socket_enter_running()

socket_instantiate_service() was doing unit_ref_set(), and the caller was
immediately doing unit_ref_unset(). After we get rid of this, it doesn't seem
worth it to have two functions.

core/socket: we may get ENOTCONN from socket_instantiate_service()

This means that the connection was aborted before we even got to figure out
what the service name will be. Let's treat this as a non-event and close the
connection fd without any further messages.

Code last changed in 934ef6a5.
Reported-by: Thiago Macieira <thiago.macieira@intel.com>
With the patch:
systemd[1]: foobar.socket: Incoming traffic
systemd[1]: foobar.socket: Got ENOTCONN on incoming socket, assuming aborted connection attempt, ignoring.
...

Also, when we get ENOMEM, don't give the hint about missing unit.

homed: remember the secret even when the for_state is FIXATING_FOR_ACQUIRE

Remember the secret if the for_state is FIXATING_FOR_ACTIVATION or
FIXATING_FOR_ACQUIRE. This fixes login failures when logging in
to an unfixated user.

update TODO

shared: make libcryptsetup dep dlopen

Let's make libcryptsetup a dlopen() style dep for PID 1 (i.e. for
RootImage= and stuff), systemd-growfs and systemd-repart. (But leave to
be a regulra dep in systemd-cryptsetup, systemd-veritysetup and
systemd-homed since for them the libcryptsetup support is not auxiliary
but pretty much at the core of what they do.)

This should be useful for container images that want systemd in the
payload but don't care for the cryptsetup logic since dm-crypt and stuff
isn't available in containers anyway.

Fixes: #8249

shared: rename crypt-util.c → cryptsetup-util.c

"crypt-util.c" is such a generic name, let's avoid that, in particular
as libc's/libcrypt's crypt() function is so generically named too that
one might thing this is about that. Let's hence be more precise, and
make clear that this is about cryptsetup, and nothing else.

We already had cryptsetup-util.[ch] in src/cryptsetup/ doing keyfile
management. To avoid the needless confusion, let's rename that file to
cryptsetup-keyfile.[ch].

selinux/systemctl: create unit file with default context on edit

import: make sure gnu tar complains on tar files with trailing garbage

By default GNU tar will only read the first archive if multiple archives
are concatenated and ignore the rest. If an archive contains trailing
garbage this will hence not be recognized by tar as error, it simply
stops reading when the first archive is done (which might escalate to
SIGPIPE when invoked via a pipe).

Let's add --ignore-zeros to the tar command line when extracting. This
means:

1) if a tar archive was concatenated (i.e. generated with tar -A) we'll
   process it correctly.

2) if a tar archive contains trailing garbage tar will now generate an
   error message about it, instead of just throwing EPIPE, which makes
   things easier to debug as broken files are not silently processed.

I think it's OK for gnu tar to ignore trailing garbage when dealing with
classic tapes drives, i.e. mediums that do not have a size limit
built-in. However, this is not what we are dealing with: we are dealing
with OS images here, that hopefully someone generated with a clean build
system, that were signed and validated and hence should not contain
trailing garbage.  Hence it's better to refuse and complain thant to
silently eat up like for classic tape drives.

Fixes: #16605

nspawn: let's make LinkJournal an extended boolean

Let's accept the usual boolean parameters for LinkJournal. It's
confusing otherwise.

Previously we'd accept "no" but not the other values we typically accept
for "false". We'd not accept any values for "true".

With this change we'll accept all true and false values and will do
something somewhat reasonable: any false value is treated like "no"
previously was reated. And any true value is now treated like "auto".

We don't document the new values, since this logic is mostly redundant,
and it's probably better if people consider this an enum rather than a
bool.

Fixes: #16888

Merge pull request #16882 from weblate/weblate-systemd-master

Translations update from Weblate

Merge pull request #16853 from poettering/udev-current-tag2

udev: make uevents "sticky"

coredump: don't convert s → µs twice

We already append 000000 early on when parsing the cmdline args, let's
not do that a second time.

Fixes: #16919

firstboot: fill empty color if ansi_color unavailable from os-release

shared: Introduce socket_addr_port_from_string_auto