test-network: add test for bridge MulticastToUnicast

networkd: bridge add support to configure multicast_to_unicast

closes #10649

Merge pull request #10567 from cdown/disable_controller

cgroup: Add DisableControllers= directive to disable controller in subtree

Merge pull request #10920 from yuwata/hashmap-destructor

hashmap: make hashmap_free() call destructors of key or value

Merge pull request #10976 from yuwata/typesafe-netlink-call

netlink: introduce typesafe netlink functions

cgroup: Add DisableControllers= directive to disable controller in subtree

Some controllers (like the CPU controller) have a performance cost that
is non-trivial on certain workloads. While this can be mitigated and
improved to an extent, there will for some controllers always be some
overheads associated with the benefits gained from the controller.
Inside Facebook, the fix applied has been to disable the CPU controller
forcibly with `cgroup_disable=cpu` on the kernel command line.

This presents a problem: to disable or reenable the controller, a reboot
is required, but this is quite cumbersome and slow to do for many
thousands of machines, especially machines where disabling/enabling a
stateful service on a machine is a matter of several minutes.

Currently systemd provides some configuration knobs for these in the
form of `[Default]CPUAccounting`, `[Default]MemoryAccounting`, and the
like. The limitation of these is that Default*Accounting is overrideable
by individual services, of which any one could decide to reenable a
controller within the hierarchy at any point just by using a controller
feature implicitly (eg. `CPUWeight`), even if the use of that CPU
feature could just be opportunistic. Since many services are provided by
the distribution, or by upstream teams at a particular organisation,
it's not a sustainable solution to simply try to find and remove
offending directives from these units.

This commit presents a more direct solution -- a DisableControllers=
directive that forcibly disallows a controller from being enabled within
a subtree.

cgroup: Traverse leaves to realised cgroup to release controllers

This adds a depth-first version of unit_realize_cgroup_now which can
only do depth-first disabling of controllers, in preparation for the
DisableController= directive.

cgroup: Rework unit_realize_cgroup_now to explicitly be breadth-first

systemd currently doesn't really expend much effort in disabling
controllers. unit_realize_cgroup_now *may* be able to disable a
controller in the basic case when using cgroup v2, but generally won't
manage as downstream dependents may still use it.

This code doesn't add any logic to fix that, but it starts the process
of moving to have a breadth-first version of unit_realize_cgroup_now for
enabling, and a depth-first version of unit_realize_cgroup_now for
disabling.

cgroup: Move attribute application into unit_create_cgroup

We always end up doing these together, so just colocate them and require
manager state for unit_create_cgroup.

network: drop unnecessary buffers

Merge pull request #10992 from yuwata/follow-up-10948

network: make fib rule accept arbitrary ip protocol

missing: split network related entries

Also adds comments which kernel version added the entries.

Closes #10553.

sd-boot: remove Stall() call (#11029)

This is left-over from debugging.

vxlan: minor coding style fixes.

Merge pull request #11011 from poettering/tmpfile-util

split up fileio.c a bit

resolved: sort headers again

util-lib: split out env file parsing code into env-file.c

It's quite complex, let's split this out.

No code changes, just some file rearranging.

util-lib: move open_serialization_fd() to serialize.c

It definitely fits better there.

No code changes, just some rearranging.

resolved: remove duplicate #include

test: remove duplicate #include

util-lib: split out all temporary file related calls into tmpfiles-util.c

This splits out a bunch of functions from fileio.c that have to do with
temporary files. Simply to make the header files a bit shorter, and to
group things more nicely.

No code changes, just some rearranging of source files.

util-lib: don't include fileio.h from fileio-label.h

There's no reason for doing that, hence simply don't.

test: remove unnecessary include

test: (void)ify unlink() call

fileio: remove unnecessary initialization

fileio: include ctype.h with <> rather than ""

It's a system header after all.

sysusers: define main through macro

This also fixes possible memleak when uid/gid or user/group name
in database are conflicted.

sysusers: use fgetgrent_sane()

lldp: rename lldp_neighbor_id_hash_ops and set value destructor

udev: use hashmap_clear_free_key() and hashmap_free_free_key()

portable: introduce portable_metadata_hash_ops and use it

machine: introduce machine_hash_ops and use it

machine-image: introduce image_hash_ops and use it

tmpfiles: define main through macro

tmpfiles: make load_unix_sockets() return negative errno on failure

cryptsetup-generator: define main through macro

sd-bus: introduce track_item_hash_ops and use it

dhcp: introduce dhcp_lease_hash_ops and use it

cgtop: use SWAP_TWO() macro

cgtop: introduce group_hash_ops and use it

test: add tests for destructors of hashmap or set

hash-func: add destructors for key and value

If they are set, then they are called in hashmap_clear() or
hashmap_free().

tree-wide: make hash_ops typesafe

hash-funcs: make basic hash_ops typesafe

hash-funcs: introduce macro to create typesafe hash_ops

util: define free_func_t

hashmap: fix minor coding style issue

network: use typesafe netlink_call_async() macro where applicable

network: rename ndisc_route_handler() to ndisc_netlink_message_handler()

As it is also called when configuring addresses.

network: add assertions

As they do not have default callback functions.

network: use route_remove_handler() as the default callback of route_remove()

network: use address_remove_handler() as the default callback of address_remove()

network: set default callbacks for routing_policy_rule_configure() and routing_policy_rule_remove()

network: move address_label_handler() to networkd-address-label.c

And use it as the default callback function of address_label_configure().

network: simplify dhcp6_get_prefix_delegation()

netlink: add typesafe netlink functions

macro: introduce DEFINE_TRIVIAL_DESTRUCTOR() macro

libsystemd: introduce _sd_destroy_t

core,run: make SocketProtocol= accept protocol name in upper case an protocol number

network: make IPProtocol= also accept IP protocol number

network: rename Protocol= in [RoutingPolicyRule] to IPProtocol=

test: add tests for ip_protocol_{from,to}_name()

util: introduce parse_ip_protocol()

Not only protocol name in lower case, but it optionally accepts
IP protocol name in upper case and IP protocol number.

util: cast smaller type to large type

util: rename socket_protocol_{from,to}_name() to ip_protocol_{from,to}_name()

tree-wide: remove various unused functions

All found with "cppcheck --enable=unusedFunction".

Merge pull request #11013 from evverx/travis-clang

travis: also build systemd with clang

ip rule: fix clang warning.

```
[2/1209] Compiling C object 'src/network/src@network@@networkd-core@sta/networkd-routing-policy-rule.c.o'.
FAILED: src/network/src@network@@networkd-core@sta/networkd-routing-policy-rule.c.o
clang -Isrc/network/src@network@@networkd-core@sta -Isrc/network -I../src/network -Isrc/basic -I../src/basic -Isrc/shared -I../src/shared -Isrc/systemd -I../src/systemd -Isrc/journal -I../src/journal -Isrc/journal-remote -I../src/journal-remote -Isrc/nspawn -I../src/nspawn -Isrc/resolve -I../src/resolve -Isrc/timesync -I../src/timesync -I../src/time-wait-sync -Isrc/login -I../src/login -Isrc/udev -I../src/udev -Isrc/libudev -I../src/libudev -Isrc/core -I../src/core -I../src/libsystemd/sd-bus -I../src/libsystemd/sd-device -I../src/libsystemd/sd-event -I../src/libsystemd/sd-hwdb -I../src/libsystemd/sd-id128 -I../src/libsystemd/sd-netlink -I../src/libsystemd/sd-network -Isrc/libsystemd-network -I../src/libsystemd-network -I. -I../ -Xclang -fcolor-diagnostics -pipe -D_FILE_OFFSET_BITS=64 -Wall -Winvalid-pch -Werror -std=gnu99 -O0 -g -Wextra -Werror=undef -Wmissing-include-dirs -Wold-style-definition -Wpointer-arith -Winit-self -Wfloat-equal -Werror=missing-prototypes -Werror=implicit-function-declaration -Werror=missing-declarations -Werror=return-type -Werror=incompatible-pointer-types -Werror=format=2 -Wstrict-prototypes -Wredundant-decls -Wmissing-noreturn -Wshadow -Wendif-labels -Wstrict-aliasing=2 -Wwrite-strings -Werror=overflow -Werror=shift-count-overflow -Wdate-time -Wnested-externs -Wno-unused-parameter -Wno-missing-field-initializers -Wno-unused-result -Wno-error=nonnull -ffast-math -fno-common -fdiagnostics-show-option -fno-strict-aliasing -fvisibility=hidden -fstack-protector -fstack-protector-strong --param=ssp-buffer-size=4 -fPIE -Wno-typedef-redefinition -Wno-gnu-variable-sized-type-not-at-end -Werror=shadow -include config.h -fPIC  -MD -MQ 'src/network/src@network@@networkd-core@sta/networkd-routing-policy-rule.c.o' -MF 'src/network/src@network@@networkd-core@sta/networkd-routing-policy-rule.c.o.d' -o 'src/network/src@network@@networkd-core@sta/networkd-routing-policy-rule.c.o' -c ../src/network/networkd-routing-policy-rule.c
../src/network/networkd-routing-policy-rule.c:1071:33: error: format specifies type 'unsigned char' but the argument has type '__u16' (aka 'unsigned short') [-Werror,-Wformat]
                                rule->sport.start, rule->sport.end);
                                ^~~~~~~~~~~~~~~~~
../src/network/networkd-routing-policy-rule.c:1071:52: error: format specifies type 'unsigned char' but the argument has type '__u16' (aka 'unsigned short') [-Werror,-Wformat]
                                rule->sport.start, rule->sport.end);
                                                   ^~~~~~~~~~~~~~~
../src/network/networkd-routing-policy-rule.c:1078:33: error: format specifies type 'unsigned char' but the argument has type '__u16' (aka 'unsigned short') [-Werror,-Wformat]
                                rule->dport.start, rule->dport.end);
                                ^~~~~~~~~~~~~~~~~
../src/network/networkd-routing-policy-rule.c:1078:52: error: format specifies type 'unsigned char' but the argument has type '__u16' (aka 'unsigned short') [-Werror,-Wformat]
                                rule->dport.start, rule->dport.end);
                                                   ^~~~~~~~~~~~~~~
4 errors generated.
```

resolved: add missed io-util.h header to resolved-dnstls-openssl.c

Regression after commit 5cfa2c3dc09ffed1

travis: also build systemd with clang

travis: use latest instead of rawhide

Merge pull request #11006 from poettering/conf-file-fix

minor fixes for conf-files.c

Merge pull request #11002 from keszybz/path_join-merging

Path join merging

Merge pull request #11004 from keszybz/remove-fixme-comment

socket-util: drop obsolete FIXME comment and add test

path-util: allow NULLs in arguments to path_join()

This removes the need to remember to put strempty() in places, thus reducing
the likelihood of a stupid mistake.

networkd: refuse IPv6 RADV prefixes that lack Prefix= setting

Fixes: #9589

basic/socket-util: use c-escaping to print unprintable socket paths

We are pretty careful to reject abstract sockets that are too long to fit in
the address structure as a NUL-terminated string. And since we parse sockets as
strings, it is not possible to embed a NUL in the the address either.  But we
might receive an external socket (abstract or not), and we want to be able to
print its address in all cases. We would call socket_address_verify() and
refuse to print various sockets that the kernel considers legit.

Let's do the strict verification only in case of socket addresses we parse and
open ourselves, and do less strict verification when printing addresses of
existing sockets, and use c-escaping to print embedded NULs and such.

More tests are added.

This should make LGTM happier because on FIXME comment is removed.

shared/socket-util: do not print empty CID

That's just ugly.

test-socket-util: add test for socket_address_print

test-socket-util: the usual modernization

Merge pull request #10701 from poettering/analyze-security

systemd-analyze: add a new "security" verb for analyzing unit sandboxing options

conf-files: remove unused function

conf-files: remove misplaced log_oom()

The caller should log in this case (and all callers in fact already do),
hence let's remove the duplicate logging here.

conf-files: improve algorithm O(n²) → O(n)

update TODO

man: document systemd-analyze security

analyze: add new security verb

format-table: make sure we never call memcmp() with NULL parameters

format-table: add calls to query the data in a specific cell

format-table: always underline header line

format-table: add an API for getting the cell at a specific row/column

format-table: add table_update() to update existing entries

format-table: optionally allow reversing the sort order for a column

format-table: add option to store/format percent and uint64_t values in cells

format-table: before outputting a color, check if colors are available

This is in many cases redundant, as a similar check is done by various
callers already, but in other cases (where we read the color from a
static table for example), it's nice to let the color check be done by
the table code itself, and since it doesn't hurt in the other cases just
do it again.

format-table: optionally make specific cells clickable links

format-table: when duplicating a cell, also copy the color

terminal-util: split out file:// generation from terminal_urlify_path()

This way we can use it at other places, for example when preparing URLs
for format_table_set_url()

macro: update DIV_ROUND_UP() so that it can be called nested

parse-util: allow parse_boolean() to take a NULL argument

It's pretty useful to allow parse_boolean() to take a NULL argument and
return an error in that case, rather than abort. i.e. making this a
runtime rather than programming error allows us to shorten code
elsewhere.