Merge pull request #13037 from poettering/shutdown-log-fixes

Shutdown log fixes

Merge pull request #13041 from poettering/firstboot-fixes

two systemd-firstboot fixes

udev: make Match.OriginalName=* matches all interfaces

Fixes #13035.

Merge pull request #13043 from poettering/strip-tab-ansi-no-static-size

util-lib: [static] array argument sizes are apparently not OK for NUL…

firstboot: use color in welcome text

firstboot: suppress locale menu if there's nothing to choose from

main: use sysctl_writef() where appropriate

shutdown: merge variable declaration lines a bit

shutdown: bump kmsg log level to LOG_WARNING only

Fixes: #12337

shutdown: rework bump_sysctl_printk_log_level() to use sysctl_writef()

sysctl: add sysctl_writef() helper

shutdown: use "int" for log level type

Let's remove some unnecessary confusion around signed/unsigned types for
log levels. Let's just stick to signed, because that is what glibc
generally appears to use.

While we are at it, add explicit logging for all error causes.

killall: bump log message about unkilled processes to LOG_WARNING

By raising this, we can raise the kernel kmsg log level safely, and
still see these messages.

alloc-util: drop _alloc_ decorator from memdup_suffix0()

Fixes: https://github.com/systemd/systemd/pull/13034#issuecomment-510801671

semaphore: avoid running autopkgtest with --apt-upgrade

by getting rid of the cache and upgrading images once every
time they are built from scratch.

tree-wide: some more [static] related fixes

let's add [static] where it was missing so far

Drop [static] on parameters that can be NULL.

Add an assert() around parameters that have [static] and can't be NULL
hence.

Add some "const" where it was forgotten.

util-lib: [static] array argument sizes are apparently not OK for NULL parameters

Let's drop the 'static' logic when a parameter can be NULL.

I think asan/ubsan are right here, judging by the C99 spec language:

"A declaration of a parameter as ‘‘array of type’’ shall be adjusted to
‘‘qualified pointer to type’’, where the type qualifiers (if any) are
those specified within the [ and ] of the array type derivation. If the
keyword static also appears within the [ and ] of the array type
derivation, then for each call to the function, the value of the
corresponding actual argument shall provide access to the first element
of an array with at least as many elements as specified by the size
expression."

If we specify NULL, then we certainly don't pvode access to any valid
array.

Fixes: #13039

Merge pull request #13036 from poettering/more-doc-fixes

Six documentation fixes

man: add example for setting multiple properties at once

Fixes: #4908

man: CPUShares= is so 2015

Let's update our example to the brave new cgroupsv2 world, and use
CPUWeight= in our example.

man: document that WakeSystem= requires privs

Fixes: #11677

man: document that "systemd-analyze blame/critical-chain" is not useful to track down job latency

Fixes: #12272

man: be more explicit that Type=oneshot services are not "active" after starting

Fixes: #13000

man: document that the supplementary groups list is initialized from User='s database entry

Fixes: #12936

Merge pull request #13034 from poettering/memdup-suffix0-multiply-fixo

memdup_suffix0_multiply fix

util-lib: fix comment

As suggested by @ralt.

Fixes: #12896

test: modernize test-alloc-util.c test a bit

alloc-util: drop _alloc_(2, 3) decorator from memdup_suffix0_multiply()

This decorator tells compilers that the memory we return is shorter than
it actually is, thus triggering misleading bad memory access complaints.

Fixes: #13026

Merge pull request #13022 from keszybz/coverity-cleanups

Coverity cleanups

Merge pull request #13031 from yuwata/network-route-type-local-12975-2

network: make Route.Type= support local or friends

tree-wide: get rid of strappend()

It's a special case of strjoin(), so no need to keep both. In particular
as typing strjoin() is even shoert than strappend().

test-network: add tests for route with type local, multicast, anycast, or broadcast

network: also show route protocol in debugging logs

network: use string table for route protocol

network: use string table to parse route table or scope

network: show route scope, table, and type in debugging logs

network: update log message

Follow-up for 7f474ed78df138677557fb43701efeb6e2588c6f and
44e891bbf6908e494856fcf3011e88a70a12e087.

network: make Route.Type= support local, broadcast, anycast, multicast, nat, and xresolve

Closes #12975.

network: use string table to parse route type

test-network: test more bridge properties

Imported from networkd-test.py

Merge pull request #12971 from yuwata/network-reassign-static-routes

network: reassign static routes and process reply address messages

Merge pull request #13024 from poettering/errno-or-else

Errno or else

shared/ask-password-api: backspace all chars at once

We'd call loop_write() separately for each char. Let's be nice to
serial console users, and write the full string in one go.

Coverity was complaining that we're not checking the return value
from loop_write(). Rework the code a bit and add voidify.
CID#1402323.

test-process-util: invert reporting to make sure that we're not dividing by 0

CID#1402334.

udevd: add helper with error handling to synthesize "change" events

Coverity was unhappy that we ignore the return value from write_string_file().
We should at least warn. CID#1302373.

test: minor modernization

Coverity was complaining that read() does not terminate the data. But
we did that termination earlier, so covirity is wrong (CID#1402306, CID#1402340).
Let's modernize the style a bit nevertheless.

(size_t) cast is needed to avoid the warning about comparison, iff
the value is not a constant.

tree-wide: make use of errno_or_else() everywhere

errno-util: add new errno_or_else() helper

Merge pull request #13025 from poettering/tmpfiles-fixo

unbreak the build

Merge pull request #13017 from yuwata/network-neighbor-lladdr-13015

network: rename Neighbor.MACAddress= and also support IPv4 address

tmpfiles: use path_join() where it makes sense

tmpfiles: fix build

After I merged #12750 we don't build anymore, since the merged PR (which
passed CI) uses prefix_root() which doesn't exist anymore. Let's fix
that.

tests: turn on the "object-size" UBSan check on Fuzzit

Now that 2eb1c19881678851a7e is merged it should be safe.

Merge pull request #12750 from keszybz/tmpfiles-c-copy

Make tmpfiles C use --root

udevadm: ensure 'udevadm info -w' show updated result

This seems not necessary, but just for safety.

Merge pull request #12461 from Werkov/fix-job-ordering

Refactor job ordering implementation (and fix cycle detection)

test-network: add test for route reassignment

network: re-assign static routes when dynamic address is updated

Follow-up for b5799eeb0787deacb30d5984f6ac78f88f23b97e.

Closes #7354.

network: process address reply message

network: rework route_scope_from_address()

util: introduce in4_addr_equal()

network: route_configure() do nothing when it returns 0

test-network: add testcase that Neighbor.LinkLayerAddress= is IP address

test-network: use Neighbor.LinkLayerAddress= instead of deprecated Neighbor.MACAddress=

network: fdb: use ether_addr_from_string()

network: fdb: do not allocate separated memory for lladdr

network: drop invalid [Neighbor] section earlier

network: rename Neighbor.MACAddress= to Neighbor.LinkLayerAddress=

And make it support IPv4 address.

Closes #13015.

network: NDA_LLADDR attribute can also take struct in_addr

sd-netlink: make sd_netlink_message_read() returns size of read data

Merge pull request #12176 from poettering/clean-dir2

add "systemctl clean" operation for clearing out StateDirectory=, CacheDirectory=, … of a service unit

json: always allocate at least sizeof(JsonVariant) bytes

ubsan apparently doesn't like us being too smart here. Given the
difference is just a few bytes, let's avoid the noise.

Fixes: #13020

update TODO

man: document new "systemctl clean…" operation

test: add testcase for new CleanUnit logic

systemctl: port "systemctl start --wait" logic to new bus-wait-for-units.c API

systemctl: add new "clean" operation to systemctl

This exposes the CleanUnit() bus calls in systemctl, i.e. makes all the
infrastructure we previously added useful to people.

shared: add generic logic for waiting for a unit to enter some state

This is a generic implementation of a client-side logic of waiting until
a unit enters or leaves some state.

This is a more generic implementation of the WaitContext logic currently
in systemctl.c, and is supposed to replace it (a later commit does
this). It's similar to bus-wait-for-jobs.c and we probably should fold
that one into it later on.

This code is more powerful and cleaner than the WaitContext logic
however. In addition to waiting for a unit to exit this also allows us
to wait for a unit to leave the "maintainance" state.

This commit only implements the generic logic, and adds no users of it
yet.

core: expose per-service cleaning properties on the bus, too

core: expose new clean operation on the bus

This adds CanClean() and Clean() as new methods on the Unit object that
initiate the cleaning operation.

core: add type of resource string table

core: hook up timer unit type with clean operation

timer units maintain state on disk (the persistent touch file), hence
let's expose cleaning it up generically with the new cleaning operation
for units.

This is a much simpler implementation as for the service unit type:
instead of forking out a worker process we just remove the touch file
directly. That should be OK since we only need to remove a single
(empty) file, instead of a recursive user-controlled directory tree.

Fixes: #4930

core: hook up service unit type with the new clean operation

The implementation is pretty straight-foward: when we get a request to
clean some type of resources we fork off a process doing that, and while
it is running we are in the "cleaning" state.

core: add generic "clean" operation to units

This adds basic infrastructure to implement a "clean" operation for unit
types. This "clean" operation is supposed to remove on-disk resources of
units, and is supposed to be used in a later commit to clean our
RuntimeDirectory=, StateDirectory= and so on of service units.

Later commits will open this up to the bus, and hook up service units
with this.

This also adds a new generic ActiveState called UNIT_MAINTENANCE. It's
supposed to cover all kinds of "maintainance" state of units.
Specifically, this is supposed to cover the "cleaning" operations later
added for service units which might take a bit of time. This high-level,
generic, abstract state is called UNIT_MAINTENANCE instead of the
more specific "UNIT_CLEANING", since I think this should be kept open
for different operations possibly later on that could be nicely subsumed
under this (for example, maybe a recursive chown()ing operation could be
covered by this, and similar).

rm-rf: introduce new flag REMOVE_MISSING_OK

This new flag suppresses error if the top-level path specified doesn't
exist. This is useful since suppressing this on the caller side isn't
easy, since ENOENT migh be propagate for some reason from further inside
and we can't distuingish that.

While we are at it, also be a bit more careful witht the various
combinations of flags.

(Note that in some cases rm_rf() was already ignoring ENOENT from
unlink() or rmdir(), however that was pretty useless, since we always
open() the top-level path with O_DIRECTORY and if that hit ENOENT we
didn't ignore the failure).

sd-bus: when installing a match make sure not to apply it to already queued messages

This tweaks match installation a bit: the match callbacks are now only
called for messages read after the AddMatch() reply was received and
never anything already read before. Thus, installing a match gives you a
time guarantee: only messages received after it will be matched.

This is useful when listening to PropertiesChanged signals as an example
to ensure that only changes after the point the match was installed are
honoured, nothing before.

sd-bus: destroy AddMatch() reply slot in failure case too

If AddMatch() doesn't work, let's destroy the slot for it too as soon as
we received the failure for it.

This way the mere existance of the slot tells us whether the AddMatch()
method call is still pending or is complete.

sd-bus: maintain a counter for incoming msgs

Let's count incoming messages and attach the current counter when we
first read them to the message objects. This allows us to nicely order
messages later on.

Merge pull request #13018 from yuwata/network-tunnel-follow-up-13016

network: drop assertions about Tunnel.family

test-alloc-util: assert on the return value to appease coverity

Coverity is right that we should check the return value…
CID#1403006.

pid1: shorten dump output a bit by not repeating unit id twice

Most units have just one name, but we'd print it twice:
-> Unit systemd-sysctl.service:
        ...
Name: systemd-sysctl.service

Let's only print the "main" name once, and call the other names Aliases.

test-network: drop test_udev_driver as it is unstable

The test unexpectedly succeeds on KVM with sanitizer CI.
At least tentatively, let's drop the test.

Merge pull request #13006 from yuwata/network-split-dhcp-12917

networkd: DHCPv6 - separate DHCPv6 options from DHCPv4 options

Merge pull request #13010 from poettering/fsck-usr-wants

generator: downgrade Requires= → Wants= of fsck from /usr mount unit

test-network: add testcases Tunnel.Remote=any and Local=any

network: ip6tnl and vti6 does not support the case both Local= and Remote= are any

This partially revert feb0c8b86f05330c8c7581463b8adf35ea68e5a9.

This also drop assertions about Tunnel.family.

Merge pull request #13013 from yuwata/network-xfrm-follow-ups

network: follow-ups for XFRM netdevs and introduce AssignToLoopback= for Tunnel devices

test-network: add test for Xfrm netdev

test-network: add test for AssignToLoopback= setting

network: add AssignToLoopback= setting to [Tunnel] section

networkd does not manage loopback interface lo. So, previously, we have
no way to assign tunnel devices to lo.