man: Factor out a common snippet for .d directories and precedence

Several manpages contain duplicate text describing a standard set of .d
configuration directories, with the usual sorting, precedence,
overrides, and so on.  Factor this common text out using XInclude before
proliferating it even further.

man/logind.conf.xml: Make "man logind.conf.d" work too

systemctl: add edit verb

It helps editing units by either creating a drop-in file, like
/etc/systemd/system/my.service.d/override.conf, or by copying the
original unit from /usr/lib/systemd/ to /etc/systemd/ if the --full
option is specified.

It invokes an editor on temporary files related to the unit files and
if the editor exited successfully, then it renames the temporary files
to their original names (e.g. my.service or override.conf) and
daemon-reload is invoked.

If the temporary file is empty the modification is canceled.

See https://bugzilla.redhat.com/show_bug.cgi?id=906824

man: update description of default extension for isolate

nspawn: fix unused variable warning

delta: diff returns 1 when files differ, ignore this

https://bugs.debian/org/771397

shared: install - report error if mask symlink can not be marked for removal

shared: time-dst - ensure nulstr is null terminated

Fixes CID #1237772.

README: notice kernel config for CPUQuota

mount: use DEFINE_TRIVIAL_CLEANUP_FUNC

udev: rules - ignore the lack of trailing newline

Also accept '\r' as newline character.

This dropps warnings of the type:

  invalid key/value pair in file /usr/lib/udev/rules.d/40-usb-media-players.rules
  on line 26, starting at character 25 ('')

udev: rules - print the first invalid character

The current code would print the character following the first invalid
character.

Given an udev rules-file without a trailing newline we would otherwise print
garbage:

  invalid key/value pair in file /usr/lib/udev/rules.d/40-usb-media-players.rules
  on line 26, starting at character 25 ('m')

This is now changed to print

  invalid key/value pair in file /usr/lib/udev/rules.d/40-usb-media-players.rules
  on line 26, starting at character 25 ('')

(still not very good as printing \0 just gives the empty string)

udev: rules - modernise add_rule a bit

sd-bus: move packet header definition to bus-protocol.h

treewide: convert some left-over (usec_t) -1 to USEC_INFINITY

treewide: introduce UID_INVALID (and friends) as macro for (uid_t) -1

udevadm hwdb: discard extra leading whitespaces in hwdb

Currently a property in the form of
  FOO=bar
is stored as " FOO=bar", i.e. the property name contains a leading space.
That's quite hard to spot.

This patch discards all extra whitespaces but the first one which is required
by libudev's hwdb_add_property.

[zj: modify the check a bit]

https://bugs.freedesktop.org/show_bug.cgi?id=82311

mount: constify MountParameters

mount: deal with inotify queue overflow

Overflow is very unlikely, since we are watching a privileged directory,
but could be triggered if thousands of mounts are suddently executed.

mount: create directory before adding watches on it

mount: be more careful about errors when parsing mtab

Fixup for 4a3a9ef610.

mount: simplify mount_needs_network check

mount: check options as well as fstype for network mounts

When creating a new mount unit after an event on /proc/self/mountinfo,
check the mount options as well as the fstype to determine if this is a
remote mount that requires network access.

mount: add remote-fs dependencies if needed after change

This is an attempt to add it the remote-fs dependencies to a mount unit
if the options change, like when the utab options are picked up after
mountinfo has already been processed.  It just adds the remote-fs
dependencies, leaving the local-fs ones in place.

With this change I always get mount units with proper remote-fs
dependencies when mounted with the _netdev option.

mount: monitor for utab changes with inotify

Parsing the mount table with libmount races against the mount command,
which will handle the actual mounting before updating utab.  This means
the poll event on /proc/self/mountinfo can kick of a reparse in systemd
before the utab information is available.

This change adds in an additional event source using inotify to watch
for changes to utab.  It only watches for IN_MOVED_TO events, matching
libmount behavior of always overwriting this file using rename(2).

This does add a second pass through the mount table parsing when utab is
updated.

mount: use libmount to enumerate /proc/self/mountinfo

This lets libmount add in user options from /run/mount/utab, like
_netdev which is needed to get proper ordering against remote-fs.target

coredump: simplify a few things by allocating small fields on the stack rather than heap

coredump: rework compose_open_fds()

Use FOREACH_DIRENT() and FOREACH_LINE() macros instead of manual loops.

Don't clobber return parameters on failure.

Simplify some other things.

update TODO

sd-bus: add support for matches against arrays of strings in messages

sd-bus: if a NULL signatures is passed to sd_bus_message_skip(), make it skip a single element of any type

sd-bus: add arrays of strings in the bloom filter

Let's do this right from the beginning, to prepare ground for udev
messages that most likely want to store list of strings (for device
tags) in messages, and filter on them.

update TODO

sd-bus: make more connection properties readable

sd-bus: add new sd_bus_get_address() for querying the current bus address

Also, update "busctl" to show this in its output.

sd-bus: rename sd_bus_get_owner_id() → sd_bus_get_bus_id()

The ID returned really doesn't identify the owner, but the bus instance,
hence fix this misnaming.

Also, update "busctl status" to show the ID in its output.

treewide: another round of simplifications

Using the same scripts as in f647962d64e "treewide: yet more log_*_errno
+ return simplifications".

treewide: use log_*_errno whenever %m is in the format string

If the format string contains %m, clearly errno must have a meaningful
value, so we might as well use log_*_errno to have ERRNO= logged.

Using:
find . -name '*.[ch]' | xargs sed -r -i -e \
's/log_(debug|info|notice|warning|error|emergency)\((".*%m.*")/log_\1_errno(errno, \2/'

Plus some whitespace, linewrap, and indent adjustments.

core: fix return value in error path after sd_event_add_io() failure

sd_event_add_io() does not set errno, it returns negative errno.

Noticed during log_*_errno conversions.

treewide: a few more log_*_errno + return simplifications

The one in tmpfiles.c:create_item() even looks like it fixes a bug.

treewide: yet more log_*_errno + return simplifications

Using:
find . -name '*.[ch]' | while read f; do perl -i.mmm -e \
 'local $/;
  local $_=<>;
  s/(if\s*\([^\n]+\))\s*{\n(\s*)(log_[a-z_]*_errno\(\s*([->a-zA-Z_]+)\s*,[^;]+);\s*return\s+\g4;\s+}/\1\n\2return \3;/msg;
  print;'
 $f
done

And a couple of manual whitespace fixups.

Revert "systemctl: append default suffix only if none present"

This reverts a chunk out of commit 5e03c6e3b517286bbd65b48d88f60e5b83721894
which was trying to pass NULL to the the '.service' default. Anyway,
it seems better to be explicit.

treewide: more log_*_errno + return simplifications

systemctl: append default suffix only if none present

Simplify unit_name_mangle() and unit_name_mangle_with_suffix() to
always behave the same, and only append a suffix if there is no
type suffix. If a user says 'isolate blah.device' it is better to
return an error that the type cannot be isolated, than to try to
isolate blah.device.target.

udevd: don't set receive buffer size when socket activated

The socket unit does this, so no need to redo it in udevd.

treewide: simplify log_*_errno(r,...) immediately followed by "return r"

treewide: more log_*_errno() conversions, multiline calls

Basically:

find . -name '*.[ch]' | while read f; do perl -i.mmm -e \
'local $/;
 local $_=<>;
 s/log_(debug|info|notice|warning|error|emergency)\("([^"]*)%s"([^;]*),\s*strerror\(-?([->a-zA-Z_]+)\)\);/log_\1_errno(\4, "\2%m"\3);/gms;print;' \
 $f; done

Plus manual indentation fixups.

hostnamectl: Exit with zero on success

In show_all_names(), bus_map_all_properties() returns 1 on success which is
then used as the return code of show_all_names() and eventually main(). Exit
with zero in main() on all nonnegative results to guard against similar errors.

udev,update-done: more log_xyz_errno() conversions

sd-bus: make sure %m resolves to the specified error in bus_error_set_errnofv()

update TODO

bus-proxy: automatically detect scope of bus and derive which XML snippets to load from that

sd-bus: rename default bus address constants, they aren't "paths" but "addresses"

sd-bus: add new call sd_bus_get_scope() for querying whether one is connected to a system or a user bus

sd-bus: rework credential query logic

Also, make the call to free kdbus slices generic and use it everywhere

treewide: more log_*_errno() conversions

treewide: drop unnecessary trailing \n in log_*() calls

core: two more log_unit_*_errno() conversions

core: convert log_unit_*() to log_unit_*_errno()

Using:
find . -name '*.[ch]' | xargs sed -r -i -e \
's/log_unit_(debug|info|notice|warning|error|emergency)\(([^"]+), "(.*)%s"(.*), strerror\(-([a-zA-Z_]+)\)\);/log_unit_\1_errno(\2, \5, "\3%m"\4);/'

core: add log_unit_*_errno() macros

treewide: no need to negate errno for log_*_errno()

It corrrectly handles both positive and negative errno values.

treewide: auto-convert the simple cases to log_*_errno()

As a followup to 086891e5c1 "log: add an "error" parameter to all
low-level logging calls and intrdouce log_error_errno() as log calls
that take error numbers", use sed to convert the simple cases to use
the new macros:

find . -name '*.[ch]' | xargs sed -r -i -e \
's/log_(debug|info|notice|warning|error|emergency)\("(.*)%s"(.*), strerror\(-([a-zA-Z_]+)\)\);/log_\1_errno(-\4, "\2%m"\3);/'

Multi-line log_*() invocations are not covered.
And we also should add log_unit_*_errno().

shared: fix log_emergency_errno macro

It was not passing the error argument.

update TODO

kdbus: when running in a container, don't complain that we cannot write to /sys

log: change log_xyz_errno() calls to always return the negative error

This enables us to write things like this:

    int open_some_file(void) {

            fd = open("/dev/foobar", O_RDWR|O_CLOEXEC);
            if (fd < 0)
                    return log_error_errno(errno, "Failed to reboot: %m");

            return fd;
    }

Which is function that returns -errno on failure, as well as printing an
error message, all in one line.

log: make socket address structs static const

log: also set errno to the passed error code before processing format string in log_struct()

That way the caller may use %m to print the specified error.

core: only override kdbus attach mask when running as PID 1

sd-bus: the attach_mask kernel module parameter is 64bit now, hence initialize it as such

log: allow negative errno values

sd_bus_error_set_errno() allows negative errors too, hence, be equally
nice.

log: fix order of log_unit_struct() to match other logging calls

Also, while we are at it, introduce some syntactic sugar for creating
ERRNO= and MESSAGE= structured logging fields.

networkd: update logging macros for parameter order, and errno, to match rest of the code

update TODO

networkd: remove duplicate macro definitions

Update TODO

kdbus eavesdropping was fixed!

sysv-generator: advertise the man page

man: add systemd-sysv-generator(8)

In principle SysV stuff is only for compatibility, but we are stuck
with it for the forseeable future, so documentation might as well
be provided.

https://bugs.debian.org/771172

fix build with --enable-terminal

Broke with 086891e5c119abb9854237fc32e736fe2d67234c

kmod-setup: simplify kernel command line parsing

kdbus: set kernel attach mask before creating the first bus

selinux: log selinux log messages with LOG_AUTH facility

log: rearrange log function naming

- Rename log_meta() → log_internal(), to follow naming scheme of most
  other log functions that are usually invoked through macros, but never
  directly.

- Rename log_info_object() to log_object_info(), simply because the
  object should be before any other parameters, to follow OO-style
  programming style.

log: be a bit less wasteful when allocating buffers

log: add an "error" parameter to all low-level logging calls and intrdouce log_error_errno() as log calls that take error numbers

This change has two benefits:

- The format string %m will now resolve to the specified error (or to
  errno if the specified error is 0. This allows getting rid of a ton of
  strerror() invocations, a function that is not thread-safe.

- The specified error can be passed to the journal in the ERRNO= field.

Now of course, we just need somebody to convert all cases of this:

        log_error("Something happened: %s", strerror(-r));

into thus:

        log_error_errno(-r, "Something happened: %m");

sd-bus: set creds info for "org.freedesktop.DBus.Local" generated messages, too

sd-bus: when we get the list of well-known names back from kdbus we shouldn't confuse the empty list with unknown information

sd-bus: deal with whitespace in matches

sd-bus: unify logic how we patch the message source of driver messages

sd-bus: fake valid well-known-names metadata for faked bus messages

sd-bus: optimize how we generate the well-known-names lists in messages from kdbus

sd-bus: be stricter with mismatches between dbus1 and kdbus message headers

bus-proxy: beef up policy enforcement

- actually return permission errors to clients

- use the right ucreds field

- fix error paths when we cannot keep track of locally acquired names
  due to OOM

- avoid unnecessary global variables

- log when the policy denies access

- enforce correct policy rule order

- always request all the metadata its we need to make decisions

update TODO

bus-proxy: check passed parameter signature of all driver method calls

networkd: fix kernel rtnl receive buffer overrun error

We got the following error when running systemd on a device  with many ports:

"rtnl: kernel receive buffer overrun
Event source 'rtnl-receive-message' returned error, disabling: No buffer space
available"

I think the kernel socket receive buffer queue should be increased. The default
value is taken from:
"/proc/sys/net/core/rmem_default", but we can overwrite it using SO_RCVBUF
socket option.

This is already done in networkd for other sockets.
For example, the bus socket (sd-bus/bus-socket.c) has a receive queue of 8MB.
In our case, the default is 208KB.

Increasing the buffer receive queue for manager socket to 512KB should be enough
to get rid of the above error.

[tomegun: bump the limit even higher to 8M]

resolve: reject empty TXT records

TXT records should have at least one character, so enforce this.

Before 0f84a72 parser SIGSEGV'd on ->txt.strings being NULL, but
even if this is fixed we should reject invalid TXT records.

resolve: set error code on failure

Set the error code in case of incorrect name. This prevents continuing
and failing an assert(name) later on.

resolve: fix redirection loops in compressed RR

Loops in RR compression were only detected for the first entry.
Multiple redirections should be allowed, each one checking for an
infinite loop on its own starting point.
Also update the pointer on each redirection to avoid longer loops of
labels and redirections, in names like:
(start) [len=1] "A", [ptr to start]

(David: rename variable to "jump_barrier" and add reference to RFC)

core: fix transaction destructiveness check once more

The previous fix e0312f4db "core: fix check for transaction
destructiveness" broke test-engine (noticed by Zbyszek).
Apparently I had a wrong idea of the intended semantics of --fail.

The manpage says the operation should fail if it "conflicts with a
pending job (more specifically: causes an already pending start job to
be reversed into a stop job or vice versa)".

So let's check job_type_is_conflicting, instead of !is_superset.

This makes both test-engine and TEST-03-JOBS pass again.