core: reduce the number of stalled PIDs from the watched processes list when possible

Some PIDs can remain in the watched list even though their processes have
exited since a long time. It can easily happen if the main process of a forking
service manages to spawn a child before the control process exits for example.

However when a pid is about to be mapped to a unit by calling unit_watch_pid(),
the caller usually knows if the pid should belong to this unit exclusively: if
we just forked() off a child, then we can be sure that its PID is otherwise
unused. In this case we take this opportunity to remove any stalled PIDs from
the watched process list.

If we learnt about a PID in any other form (for example via PID file, via
searching, MAINPID= and so on), then we can't assume anything.

process-util: introduce pid_is_my_child() helper

No functional changes.

Merge pull request #12034 from poettering/stdio-bridge-fixes

small stdio-bridge and errno-util.h improvements and fixes

Merge pull request #12005 from poettering/exec-dir-fixup

Some fixes to exec directory management

execute: generalize uid/gid handling in two cases for any kind of uid/gid

core: change ownership/mode of the execution directories also for static users

It's probably unexpected if we do a recursive chown() when dynamic users
are used but not on static users.

hence, let's tweak the logic slightly, and recursively chown in both
cases, except when operating on the configuration directory.

Fixes: #11842

execute: remove one redundant comparison check

execute: also do the private/ symlink dance when runtime dir preservation is requested

In that case it's not safe to leave a regular dir around, hence, move it
to private/ too.

execute: use path_join() where appropriate

fs-util: change chmod_and_chown() to not complain if stat data already matches

Let's reduce the chance of failure: if we can't apply the chmod/chown
requested, check if it's applied anyway, and if so, supress the error.

This is even race-free since we operate on an O_PATH fd anyway.

tree-wide: use ERRNO_IS_DISCONNECT() at more places

util: add one more disconnect errno code

stdio-bridge: slightly optimize formatting of structure

stdio-bridge: use SYNTHETIC_ERRNO() where appropriate

stdio-bridge: tweak getopt() case statement a bit

stdio-bridge: fix getopt() parameter list to match reality

stdio-bridge: use ERRNO_IS_DISCONNECT() to detect disconnects

Let's use the macro we already have to make this safer. Moreover log
about all other errors.

util: move ERRNO_IS_xyz macros to errno-util.h

It's where they fit much better.

fd-util: beef up ERRNO_IS_xyz() macros a bit

Let's implicit drop the negation if there is one, to simplify things a
bit, similar how we do it in log_xyz()...

Merge pull request #12028 from poettering/start-limit-hit

core: some start limit checking improvements + refactoring

Revert "Revert "units: lock down logind with fs namespacing options""

This reverts commit 28f38a76345b7548700d2337dd8b9a8c3f5b0643.

The revert was done because Ubuntu CI was completely broken with it. Let's see
if it fares better now.

units: turn off keyring handling for user@.service

This service uses PAM anyway, hence let pam_keyring set things up for
us. Moreover, this way we ensure that the invocation ID is not set for
this service as key, and thus can't confuse the user service's
invocation ID.

Fixes: #11649

journalctl: support `-b all` to negate effect of -b

Also fix an issue where -b without argument didn't always behave as -b0

systemd-cgls: typo error in help command

Correct a small typo error happening on two lines of the help command:
"specifified" instead of "specified".

Change Razer Abyssus DPI in 70-mouse.hwdb (#12029)

As discussed in https://gitlab.freedesktop.org/libinput/libinput/issues/198#note_100642 the DPI for the Razer Abyssus mouse is not 3500 by default, but around 1600-1700 when measured with the mouse-dpi-tool.

So I have done some measurements now and always got a value of about 21000 device units on a distance of 12.5 inch. This would result in a calculated resolution of about 1680 DPI. Since such an odd number does not occur in the hwdb file I decided to round to 1600 DPI.

hwdb: fix trailing newline issue

core: split error list in comment for unit_start() in two

core: change emergency_action() to return void

The function so far always returned -ECANCELLED, which is ignored in all
cases the function is invoked, except one: in unit_test_start_limit()
where -ECANCELLED is returned when the start limit is hit, which is part
of unit_start()'s protocol of return values.

Since the emergency_action() logic should be relatively generic and is
used in many places, let's drop the return value from it, since it's
constant anyway, and in alll cases useless. Instead, let's return it in
unit_test_start_limit(), where it's part of the protocol.

No change in behaviour.

core: check start limit on condition checks too

Let's add a safety precaution: if the start condition checks for a unit
are tested too often and fail each time, let's rate limit this too.

This should add extra safety in case people define .path, .timer or
.automount units that trigger a service that as a conditoin that always
fails.

core: modernize unit_start() a bit

No change in behaviour, just a re-line-breaking of the various comments
to our current coding style, and some use of SYNTHETIC_ERRNO().

core: unify code for checking whether unit to trigger is loaded

core: rename unit_{start_limit|condition|assert}_test() to unit_test_xyz()

Just some renaming, no change in behaviour.

Background: I'd like to add more functions unit_test_xyz() that test
various things, hence let's streamline the naming a bit.

core: add comment explaining ECOMM return value of unit_start()

we explain all other return values, explain these ones too.

bus: fix memleak on invalid message

Introduced in 6d586a13717ae057aa1b4127400c3de61cd5b9e7.
Reported by Felix Riemann in https://bugzilla.redhat.com/show_bug.cgi?id=1685286.

Reproducer:
for i in `seq 1 100`; do gdbus call --session -d org.freedesktop.systemd1 -m org.freedesktop.systemd1.Manager.StartUnit -o "/$(for x in `seq 0 28000`; do echo -n $x; done)" & done

tree-wide: fix false search hits with ppp (typos)

Update 60-sensor.hwdb for Acer Acer One 10 S1002

Tested on GNOME iio-sensor-proxy. With this config touchscreen auto-rotation works fine.

fuzz-calendarspec: actually run the second part of the fuzzer

https://github.com/systemd/systemd/pull/11975#issuecomment-473467475

Merge pull request #11975 from keszybz/fuzzer-fixes-n

Fixes for a few fuzzer issues

Merge pull request #12016 from yuwata/fix-two-memleaks-found-by-oss-fuzz

Fix two memleaks found by oss fuzz

Merge pull request #12015 from keszybz/fix-tests-in-rawhide

Fix compilation and tests in Fedora rawhide

man: clarify that /run/media/system/ is where mounts are placed by default

Prompted by the discussions on: https://github.com/systemd/systemd/issues/11982#issuecomment-472781806

network: clear previous assignment

Prompted by oss-fuzz#13719.

fuzz: add testcase for oss-fuzz#13691

nspawn: fix memleak

Fixes oss-fuzz#13691.

fuzz: add a testcase for oss-fuzz#13719

Handle or voidify all calls to close_all_fds()

In activate, it is important that we close the fds. In other cases, meh.

test-execute: block /sys not /proc

As explained in the previous commit, blocking /proc can cause us
to go into a long loop or fail the test.

basic/fd-util: refuse "infinite" loop in close_all_fds()

I had a test machine with ulimit -n set to 1073741816 through pam
("session required pam_limits.so set_all", which copies the limits from PID 1,
left over from testing of #10921).

test-execute would "hang" and then fail with a timeout when running
exec-inaccessiblepaths-proc.service. It turns out that the problem was in
close_all_fds(), which would go to the fallback path of doing close()
1073741813 times. Let's just fail if we hit this case. This only matters
for cases where both /proc is inaccessible, and the *soft* limit has been
raised.

  (gdb) bt
  #0  0x00007f7e2e73fdc8 in close () from target:/lib64/libc.so.6
  #1  0x00007f7e2e42cdfd in close_nointr ()
     from target:/home/zbyszek/src/systemd-work3/build-rawhide/src/shared/libsystemd-shared-241.so
  #2  0x00007f7e2e42d525 in close_all_fds ()
     from target:/home/zbyszek/src/systemd-work3/build-rawhide/src/shared/libsystemd-shared-241.so
  #3  0x0000000000426e53 in exec_child ()
  #4  0x0000000000429578 in exec_spawn ()
  #5  0x00000000004ce1ab in service_spawn ()
  #6  0x00000000004cff77 in service_enter_start ()
  #7  0x00000000004d028f in service_enter_start_pre ()
  #8  0x00000000004d16f2 in service_start ()
  #9  0x00000000004568f4 in unit_start ()
  #10 0x0000000000416987 in test ()
  #11 0x0000000000417632 in test_exec_inaccessiblepaths ()
  #12 0x0000000000419362 in run_tests ()
  #13 0x0000000000419632 in main ()

test-execute: allow filtering test cases by pattern

When debugging failure in one of the cases, it's annoying to have to wade
through the output from all the other cases. Let's allow picking select
cases.

seccomp: allow shmat to be a separate syscall on architectures which use a multiplexer

After
https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=0d6040d46817,
those syscalls have their separate numbers and we can block them.
But glibc might still use the old ones. So let's just do a best-effort
block and not assume anything about how effective it is.

network: clear previous assignment

Fixes oss-fuzz#13719.

seccomp: shm{get,at,dt} now have their own numbers everywhere

E.g. on i686:

(previously)
arch x86: SCMP_SYS(mmap) = 90
arch x86: SCMP_SYS(mmap2) = 192
arch x86: SCMP_SYS(shmat) = -221
arch x86: SCMP_SYS(shmat) = -221
arch x86: SCMP_SYS(shmdt) = -222

(now)
arch x86: SCMP_SYS(mmap) = 90
arch x86: SCMP_SYS(mmap2) = 192
arch x86: SCMP_SYS(shmat) = 397
arch x86: SCMP_SYS(shmat) = 397
arch x86: SCMP_SYS(shmdt) = 398

The relevant commit seems to be
https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=0d6040d46817.

shared/bootspec: avoid signed-unsigned comparison

../src/shared/bootspec.c: In function ‘find_sections’:
../src/shared/bootspec.c:425:23: warning: comparison of integer expressions of different signedness: ‘ssize_t’ {aka ‘int’} and ‘uint32_t’ {aka ‘unsigned int’} [-Wsign-compare]
  425 |                 if (n != size)
      |                       ^~

Merge pull request #12012 from keszybz/generator-man-docs

Generator and documentation improvements

man: reorder and add examples to systemd-analyze(1)

The number of verbs supported by systemd-analyze has grown quite a bit, and the
man page has become an unreadable wall of text. Let's put each verb in a
separate subsection, grouping similar verbs together, and add a lot of examples
to guide the user.

man,units: document what user "default.target" is a bit

Merge pull request #11988 from keszybz/test-binaries-installation

Install more requires binaries for tests

Merge pull request #12009 from mrc0mmand/bump-partition-size-for-TEST-02-CRYPTSETUP

test: fix LUKS2 support

Merge pull request #11658 from yuwata/systemd-id128

id128: several cleanups

bash-completion: add systemd-id128 support

sd-id128: split the logic obtaining invocation ID from sd_id128_get_invocation()

id128: no command accepts additional arguments

analyze: reword explanation in critical-chain header

Let's try to make it a bit clearer.

test: use PBKDF2 instead of Argon2 in cryptsetup...

to reduce memory requirements for volume manipulation. Also,
to further improve the test performance, reduce number of PBKDF
iterations to 1000 (allowed minimum).

man: tell generator writers to provide authorship and source information

Our generators always put a comment who generated the file, but we didn't
recommend it to others.

Let's also strengthen the advice to use SourcePath=.

fstab-generator: do not print double header

  $ /run/systemd/generator/dev-mapper-fedora_krowka\x2dswap.swap
  # Automatically generated by systemd-fstab-generator

  # Automatically generated by systemd-fstab-generator

  [Unit]
  ...

test: bump the second partition size to 50MB

10MB is not enough for a LUKS2 partition.

tree-wide: spell "lifecycle" without hyphen everywhere

We had 10 instances of unhyphentated spelling, and 4 of the hyphenated one.
Consistency trumps ispell.

Add accelerometer orientation quirk for the MYRIA MY8307 2-in-1.

Merge pull request #12002 from keszybz/man-headers

Man headers

tests: install /usr/bin/dbus-broker when using dbus-broker

We'd install the service file, and then dbus-broker-launcher because it is
mentioned in ExecStart=, but not the main executable, so nothing would work.
Let's just install dbus-broker executables if found. They are small, so this
doesn't matter much, and is much easier than figuring the exact conditions
under which dbus-broker will be used instead of dbus-daemon.

Merge pull request #11989 from poettering/minimal-portable-image

various documentation updates

Merge pull request #11785 from dvdhrm/implicit-sasl

sd-bus: allow cross-uid-namespace connections

man: say explicitly which settings are not available in --user services

Fixes: #3944

man: document that if the main process exits after SIGTERM we go directly to SIGKILL

Fixes: #8122

networkd: clarify that IPv6 RA uses our own stack, no the kernel's

Fixes: #8906

man: mention O_NOCTTY and it's importance in daemon(7)

Fixes: #9164

docs: adjust the spec a bit with firmware authros in mind

This borrows heavily from Nico Huber's
https://github.com/systemd/systemd/pull/10398, but makes a number of
changes.

Replaces: #10398

man: document the network interface size limits --network-veth= enforces

Fixes: #10721

man: document that Anonymize=yes makes DHCP leases grow in size

Fixes: #11551

docs: comprehensively document what a minimal portable service image needs to include

The docs were incomplete on this. Let's fix that.

Fixes: #11870

Merge pull request #12000 from poettering/split-more-util

split more files in src/basic/

man: use same header for all files

The "include" files had type "book" for some raeason. I don't think this
is meaningful. Let's just use the same everywhere.

$ perl -i -0pe 's^..DOCTYPE (book|refentry) PUBLIC "-//OASIS//DTD DocBook XML V4.[25]//EN"\s+"http^<!DOCTYPE refentry PUBLIC "-//OASIS//DTD DocBook XML V4.5//EN"\n  "http^gms' man/*.xml

man: standarize on one-line license header

No need to waste space, and uniformity is good.

$ perl -i -0pe 's|\n+<!--\s*SPDX-License-Identifier: LGPL-2.1..\s*-->|\n<!-- SPDX-License-Identifier: LGPL-2.1+ -->|gms' man/*.xml

sd-bus: skip sending formatted UIDs via SASL

The dbus external authentication takes as optional argument the UID the
sender wants to authenticate as. This uid is purely optional. The
AF_UNIX socket already conveys the same information through the
auxiliary socket data, so we really don't have to provide that
information.

Unfortunately, there is no way to send empty arguments, since they are
interpreted as "missing argument", which has a different meaning. The
SASL negotiation thus changes from:

    AUTH EXTERNAL <uid>
    NEGOTIATE_UNIX_FD                   (optional)
    BEGIN

to:

    AUTH EXTERNAL
    DATA
    NEGOTIATE_UNIX_FD                   (optional)
    BEGIN

And thus the replies we expect as a client change from:

    OK <server-id>
    AGREE_UNIX_FD                       (optional)

to:

    DATA
    OK <server-id>
    AGREE_UNIX_FD                       (optional)

Since the old sd-bus server implementation used the wrong reply for
"AUTH" requests that do not carry the arguments inlined, we decided to
make sd-bus clients accept this as well. Hence, sd-bus now allows
"OK <server-id>\r\n" replies instead of "DATA\r\n" replies.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

sd-bus: fix SASL reply to empty AUTH

The correct way to reply to "AUTH <protocol>" without any payload is to
send "DATA" rather than "OK". The "DATA" reply triggers the client to
respond with the requested payload.

In fact, adding the data as hex-encoded argument like
"AUTH <protocol> <hex-data>" is an optimization that skips the "DATA"
roundtrip. The standard way to perform an authentication is to send the
"DATA" line.

This commit fixes sd-bus to properly send the "DATA" line. Surprisingly
no existing implementation depends on this, as they all pass the data
directly as argument to "AUTH". This will not work if we want to pass
an empty argument, though.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

sd-bus: avoid magic number in SASL length calculation

Lets avoid magic numbers and use a constant `strlen()` instead.

Signed-off-by: David Rheinsberg <david.rheinsberg@gmail.com>

main: use _exit() rather than exit() in code potentially caled from signal handler

util: split out nulstr related stuff to nulstr-util.[ch]

util: move some raw memory functions from string-util.h → memory-util.h

util: don't include util.h from def.h

Nothing it defines is used in it.

util: move dbus specific definition into bus-internal.h

It shouldn't be defined globally, since it's pretty much an
implementation detail of DBus.

util: split out kbd related stuff

This stuff is neither generic enough to be in def.h, nor really has much
to do with locale, hence give it its own .c/.h file pair.

util: move display_is_local() to pam_systemd.c, its only user

It's quite specific anyway, hence let's move this where it's used

util: split out errno related stuff

util: split out plymouth related stuff

Merge pull request #11985 from poettering/clean-dir

some rafactoring in systemctl/bus-unit-util

units: update catalog after systemd-tmpfiles runs

`systemd-journal-catalog-update.service` writes to `/var`. However, it's
not explicitly ordered wrt `systemd-tmpfiles-setup.service`, which means
that it may run before or after.

This is an issue for Fedora CoreOS, which uses Ignition. We want to be
able to prepare `/var` on first boot from the initrd, where the SELinux
policy is not loaded yet. This means that the hierarchy under `/var` is
not correctly labeled. We add a `Z /var - - -` tmpfiles entry so that it
gets relabeled once `/var` gets mounted post-switchroot.

So any service that tries to access `/var` before `systemd-tmpfiles`
relabels it is likely to hit `EACCES`.

Fix this by simply ordering `systemd-journal-catalog-update.service`
after `systemd-tmpfiles-setup.service`. This is also clearer since the
tmpfiles entries are the canonical source of how `/var` should be
populated.

For more context on this, see:
https://github.com/coreos/ignition/issues/635#issuecomment-446620297

Merge pull request #11993 from poettering/resolved-stub-edns-size

some resolved stub dns reply fixes

Re-add uaccess tag for /dev/dri/renderD*

Setting an access mode != 0666 is explicitly supported via -Dgroup-render-mode
In such a case, re-add the uaccess tag.

This is basically the same change that was done for /dev/kvm in
commit fa53e24130af3a389573acb9585eadbf7192955f and
ace5e3111c0b8d8bfd84b32f2c689b0a4d92c061
and partially reverts the changes from
4e15a7343cb389e97f3eb4f49699161862d8b8b2