sd-bus: when an event loop terminates, explicitly close the bus

This makes sure we actually release the bus and all the messages it
references.

bus: drop bus/message GC logic

When a caller drops all references to a bus and its messages while the
messages where still queue, this causes the bus to reference the
messages, and the messages to reference the bus, without anybody else
keeping a reference, which is something we so far considered a leak, and
tried to fix with a GC logic that would recognize cases like this, and
drop the reference.

This GC logic has been broken sofar, and remained unfixed. This commit
removes it altogther, replacing it with nothing. The rationale is that
simply because all refs to the bus have been dropped its queued messages
should *still* be written to the bus, even if the caller doesn't retain
any reference to either bus nor message. This means it was actually
wrong to attempt to clean up the bus in this case.

The proper way how applications should handle this is by explicitly
invoking sd_bus_close(), when they want busses to go away. This is
probably want they want to do anyway to avoid getting spurious
callbacks after they stopped using a bus.

bus-proxy: restore operation in non-kdbus mode

bus-proxyd is not only the bridge between legacy dbus clients and kdbus
but is also used to access remote dbus servers via ssh. Let's make sure
it actually works for that.

localed: consider an unset model as a wildcard

sd-dhcp6-client: initialize variable

udev: net_setup_link builtin should print the reason why something fails

Let's tell users what is going wrong.

util: when unescaping strings, don't allow smuggling in of additional NUL bytes

Better safe than sorry.

util: generalize is_localhost() and use it everywhere where applicable

path: add new "systemd-path" utility for querying paths described in file-hierarchy(7)

This new tool is based on "sd-path", a new (so far unexported) API for
libsystemd, that can hopefully grow into a workable API covering /opt
and more one day.

coredump: vacuum - fix calculation of 10% of fs size for MaxUse

sd-dhcp6-client: check return value

Checking the return values seems to have been forgotten in
ed6ee21953dac9c78383da00bc4514ece6b75ab5

networkd: fix alignment of gperf source

networkd: netdev - add dummy support

networkd: send hostname to dhcp server

Send hostname (option 12) in DISCOVER and REQUEST messages so the
DHCP server could use it to register with dynamic DNS and such.

To opt-out of this behaviour set SendHostname to false in [DHCP]
section of .network file

[tomegun: rebased, made sure a failing set_hostname is a noop and moved
          config from DHCPv4 to DHCP]

man: bring systemd.network(5) up-to-date

Based on diff by 'poma'.

man: bring systemd.netdev(5) up-to-date

Based on a diff by the mysterious 'poma'.

typo fixes

networkd: netdev - take ref when creating netdevs

We were doing this correctly for when the callback takes the Link object, but
must also do it for the cases it takes the NetDev object.

man: file-hierarchy - emphasize /usr/lib/$arch-id instead of $libdir

man/sd_journal_get_data: fix variable naming in example

man/sd_journal_next: fix argument in example

The example does not compile, it fails with:

error: passing argument 3 of ‘sd_journal_get_data’ from incompatible
pointer type

Cast to (const void **) to avoid this.

update TODO

parse_uid: return -ENXIO for -1 uids

Use dev_port for the ID of a network device.

For network devices on the same PCI function, dev_id should not be used,
since its purpose is for IPv6 support on interfaces with the same MAC
address.

The new dev_port sysfs attribute should be used instead of dev_id.

update TODO

man: document directories in $HOME, too, in file-hierarchy(7)

networkd: link - don't fail if master netdev already exists

This allows restarts to work gracefully.

networkd: tunnel - ensure that enslave callback is always invoked

The Link statemachine relies on this, as it would otherwise wait forever. Hook up the tunnels in the
same way as the other NetDev's.

networkd: link - ignore missing MAC address

Currently DHCP/IPv4LL only works on ethernet devices, but no reason not to otherwise
manage them.

base-filesystem: avoid all searching if the link already exists

base-filesystem: explicitely check existence of the platform's ABI dynamic loader

base-filesystem: create /lib64 symlink to libdir /usr directory

networkd: address_acquire use cleanup macro

use cleanup macro for Address na

[tomegun: dropped unneccessary braces]

networkd: netdev add one separate line

networkd: link - drop assert from _free()

_free() should always succeed, even if object is not fully allocated.

sd-dhcp6-client: fix free before use

networkd: link - improve refcounting

We failed to take a ref when waiting for udev synchronization. Fix that and also
make unreffing in callbacks simpler throughout by using _cleanup_ macros.

Fixes <https://bugs.freedesktop.org/show_bug.cgi?id=80556>.

update TODO

TODO: start documenting changes for 215

man: document ConditionNeedsUpdate=

man: extend a bit what to expect from the various places apps can store data

man: add sections about file node types and write access to file-hierarchy(7)

man: mention x-initrd.mount option in fstab options list

man: mention that x-systemd.device-timeout is only for fstab

Reformat fstab options description. Now they are easier to read and
show up in systemd.directives(7).

Use a single sublist for both /etc/fstab and /etc/crypttab options.
Many of them can be used in both places. crypttab(5) is updated to use
the same docbook elements, so formatting is uniform.

man: beef up systemd-fsck description

cryptsetup: allow x-systemd.device-timeout

https://bugs.freedesktop.org/show_bug.cgi?id=54210

fstab-generator: allow x-systemd.device-timeout for swap units

Move x-systemd-device.timeout handling from core to fstab-generator

Instead of adjusting job timeouts in the core, let fstab-generator
write out a dropin snippet with the appropriate JobTimeout.
x-systemd-device.timeout option is removed from Options= line
in the generated unit.

The functions to write dropins are moved from core/unit.c to
shared/dropin.c, to make them available outside of core.

generator.c is moved to libsystemd-label, because it now uses
functions defined in dropin.c, which are in libsystemd-label.

man: reference $TMPDIR, not $TMP in file-hierarchy(7)

This what environ(7) and POSIX define, so that's what we should
reference.

update TODO

man: document systemd-update-done.service

man: file-hierarchy - minor fixes

Leave non-specified top-level dirs out of the spec, and minor cleanups.

man: document how to query $libdir for the primary architecture using pkg-config

pc: no longer expose exec_prefix in .pc file

There's little reason to export this, so let's drop it to minimize the
file a bit.

pc: expose more drop-in dirs in the .pc file

pc: export $libdir in the .pc file

This is useful for code that tries to figure out the primary arch's
$libdir on the local system, given that is different on the various
Linuxes.

man: file-hierarchy - typo fixes

man: deemphesize Fedora-specific "lib64", only mention the more generic $libdir

update TODO

units: skip mounting /tmp if it is a symlink

We shouldn't get confused if people have symlinked /tmp somewhere, so
let's simply skip the mount then.

man: daemon - typo fix

tmpfiles: explicitly set mode for /run/log

man: a couple of additions to file-hierarchy(7)

tmpfiles: don't do automatic cleanup in $XDG_RUNTIME_DIR

Now that logind will clean up all IPC resources of a user we should
really consider $XDG_RUNTIME_DIR as just another kind of IPC with the
same life-cycle logic as the other IPC resources. This should be safe
now to do since every user gets his own $XDG_RUNTIME_DIR tmpfs instance
with a fixed size limit, so that flooding of it will more effectively be
averted.

man: drop references to manual StandardError=syslog from daemon(7), we do this implicitly since ages

man: add a minimized, modernized description of the file system hierarchy systemd suggests

nspawn: block open_by_handle_at() and others via seccomp

Let's protect ourselves against the recently reported docker security
issue. Our man page makes clear that we do not make any security
promises anyway, but well, this one is easy to mitigate, so let's do it.
While we are at it block a couple of more syscalls that are no good in
containers, too.

nspawn: let's avoid using goto to wildly for non-cleanup purposes

nspawn: simplify exit condition check

nspawn: log a warning on failure from wait_for_terminate()

This is at the suggestion of Djalal Harouni on the mailing list, and
reflects the behavior of shared/util.c:wait_for_terminate_and_warn().

nspawn: Fix regression with exit status

Commit 113cea8 introduced a bug that caused the exit code of systemd-nspawn
to not reflect the exit code of the program executed in the container.

shared/util.c:wait_for_terminate_and_warn(): Add a comment on the return values

units: networkd - don't order wait-online.service before network.target

Reported by Michael Olbrich.

networkd: dhcp - use same metric for all DHCP-related routes

util: fix comment

tests: add missing XDG_RUNTIME_DIR env variable

Otherwise the test fails because specifier_runtime() returns -ENOTSUP
when XDG_RUNTIME_DIR is not set.

sysusers: split up default sysusers snippet

This ways, distributions have an easier way to replace the OS specific
generic groups/users while keeping systemd's own.

util: refuse considering UID 0xFFFF and 0xFFFFFFFF valid

man: document the sysusers tool

network-internal: initialize _cleanup_ variable

netowrkd:deserialize_dhcp_routes verify strndup ret

strndup need to be chcked

networkd: dhcp - update the lifetime of an existing address

The logic otherwise is that we leave anything preconfigured alone, but in the case of DHCP
we actually need to update it whenever the lease is renewed.

sd-dhcp-client: don't fail hard if UDP socket can not be bound

Even if we cannot renew the lease at T1, we will likely succeed at T2, so warn and ignore the failure.

This could happen if for whatever reason the received address is not yet configured, or it has
been lost.

networkd: improve DHCP error logging

units: local-fs.target - don't pull in default dependencies

Reported by Gerardo Exequiel Pozzi:

Looks like [commit a4a878d0] also changes a unrelated file
(units/local-fs.target) [partially]reverting the commit
40f862e3 (filesystem targets: disable default dependencies)

The side effect, at least in my case is that the "nofail" option in both
"crypttab" and "fstab" has partial effect does the default timeout
instead of continue normal boot without timeout.

networkd: set static addresses immediately

Don't wait for IPv4LL nor DHCP to finish before setting statically configured addresses.

Add support for DHCP static route options

This adds support for DHCP options 33 and 121: Static Route and
Classless Static Route. To enable this feature, set UseRoutes=true
in .network file. Returned routes are added to the routing table.

networkd: merge DHCPv4 and DHCPv6 config

If there are v4 or v6 specific options we can keep those in separate sections,
but for the common options, we will use only one.

Moreovere only use DHCP=[yes/both|no/none|v4|v6] to enable or disable the clients.

sd-dhcp-client/networkd: set lifetimes for IPv4 addresses

Note that /proc/sys/net/ipv4/ip_dynaddr needs to be non-zero.

[tomegun: hook up DHCP renew events to increase the lifetime when necessary]

networkd/sd-dhcp-server: only start dhcp server when necessary

doc: use expanded forms for written style

doc: typographical improvements and choice of words

doc: grammatical corrections

units: remove RefuseManualStart from units which are always around

In a normal running system, non-passive targets and units used during
early bootup are always started. So refusing "manual start" for them
doesn't make any difference, because a "start" command doesn't cause
any action.

In early boot however, the administrator might want to start on
of those targets or services by hand. We shouldn't interfere with that.

Note: in case of systemd-tmpfiles-setup.service, really running the
unit after system is up would break the system. So e.g. restarting
should not be allowed. The unit has "RefuseManualStop=yes", which
prevents restart too.

man: split systemd.network(5) and related into various sections for better readability

update TODO

man: document automatic networkd IP range allocation

rules: don't enable usb pm for Avocent devices

The Avocent KVM over IP devices doesn't work correctly with USB power
management enabled.

libudev: queue - watch entire directory to allow the re-use of the watch descriptor

update TODO