ntp: set interface index in IP*_PKTINFO when responding

When a server with multiple interfaces in the same network is sending a
response, setting the ipi_spec_dst/ipi6_addr field of the IP*_PKTINFO
control message selects the source address, but not necessarily the
interface. The packet has the expected source address, but it may be
sent by an interface that doesn't have the address.

Set the ipi_ifindex/ipi6_ifindex field to respond on the same interface
as the request was received from to avoid asymmetries in delay and
timestamping.

test: add 133-hwtimestamp test

test: add 132-logchange test

test: add 131-maxchange test

test: extend 108-peer test

test: don't override user settings with default values

This fixes commit 671daf06b832940bb331242d07462c0f69be9618.

test: extend ntp_core unit test

test: update hash unit test

test: enable unit tests to suspend logging

logging: allow reopening stderr

LOG_OpenFileLog(NULL) can be now used to reopen stderr.

logging: close previous file log after opening new one

Currently, the log is always opened only once, but that will change with
tests temporarily suspending logging.

ntp: optimize MAC truncation

When generating a MAC for an NTP packet, request only the bytes that
will be sent.

hash: allow truncated output

Tomcrypt, some NSS hash functions, and the internal MD5 require the
output buffer to be at least as long as the digest. To provide the same
hashing API with all four options, use an extra buffer for the digest
when necessary and copy only the requested bytes to the caller.

ntp: remove unnecessary constant

sources: check maximum reach size before postponing update

Don't wait for other sources to be selectable when the maximum
selectable and non-selectable reachability registers happen to match
and a register is already full (e.g. after heavy packet loss).

doc: improve description of LastRx column in chronyc sources

test: add 130-quit test

test: add 129-reload test

test: add 128-nocontrol test

test: separate client/server chronyd options

test: avoid using eval in shell scripts

test: extend util unit test

test: add samplefilt unit test

test: add sanitizers test

test: detect configure errors in compilation test

test: add -Werror to CFLAGS in compilation test

doc: update description of -r option

sourcestats: improve debug message in SST_GetTrackingData()

sources: use SQUARE macro in combine_sources()

samplefilt: check for non-increasing sample times

Adopt the check from the refclock code to check also samples from NTP.

test: update hwclock unit test

sys_linux: extend debug message

sys_linux: improve support for upcoming kernel versions

Starting with Linux 4.19, the frequency of the system clock should be
updated immediately in the system call itself, which will significantly
reduce the maximum delay of the update.

Increase the assumed tick rate in order to reduce the dispersion
accumulated by the driver when it sets the frequency.

test: make 121-orphan more reliable

reference: refactor estimation of clock frequency

Reorder code in REF_SetReference(), clean it up a bit, and split off the
parts specific to the weighting and estimation of the new frequency.

reference: include skew in local sync status setting

sourcestats: include offset SD in tracking root dispersion

util: introduce SQUARE macro

reference: fix offset SD to include elapsed time

This should slow down corrections based on old measurements with large
estimated error in frequency.

sources: fix combined offset SD to include elapsed time

sources: combine frequencies by variance instead of skew

This seems to slightly improve the stability.

sources: provide frequency SD to reference update

sourcestats: provide frequency SD in tracking data

sourcestats: replace constant with macro

test: don't require exit message to be on last line

This is useful with enabled debug output.

ntp: change maxdelay* info messages to use option names

test: improve 101-poll test

refclock: improve error messages

ntp: add options to set minsamples/maxsamples of hwclock

hwclock: add parameters for minimum/maximum number of samples

Allocate the arrays which hold the samples dynamically and limit the
number of dropped samples to not fall below the minimum.

test: add 127-filter test

cmdmon: include filter length in ADD_SERVER/ADD_PEER request

ntp: add assertion to get_seperation()

ntp: shorten minimum allowed polling interval

With the filter option it is useful to collect NTP measurements at
a higher rate.

ntp: add filter option

Add an option to use the median filter to reduce noise in measurements
before they are accumulated to sourcestats, similarly to reference
clocks. The option specifies how many samples are reduced to a single
sample.

The filter is intended to be used with very short polling intervals in
local networks where it is acceptable to generate a lot of NTP traffic.

ntp: enable auto burst with very short polling intervals

This fixes commit 5b75d4afefd04bef93d57cc3f087befc1062141e.

refclock: split off median filter

Move the implementation of the median filter to a separate file to make
it useful for NTP. Replace some constants with parameters and generalize
the code to work with full NTP samples (including root dispersion/delay,
stratum, and leap).

For refclocks it should give the same results as before.

use common structure for NTP samples

Define a structure for NTP samples and use it to pass samples from
the ntp_core and refclock code to sources and sourcestats.

sourcestats: don't save stratum for all samples

Save stratum only from the last accumulated sample as only that is
currently needed.

sourcestats: track leap status

This moves the leap status of the last sample from the source instance
to the sourcestats instance in order to make them both accumulate the
same data.

sys_linux: allow fcntl(F_SETFL) in seccomp filter

This fixes commit 76bed76289575ba1640c02d370ae5304ef8c5fe2.

configure: fix detection of timepps.h on FreeBSD

The header requires inttypes.h to be useful.

configure: drop detection of stdint.h and inttypes.h

The current code uses macros from inttypes.h. There is no point in
detecting and selecting between stdint.h and inttypes.h as the latter is
always needed.

memory: add missing include

util: handle or ignore SIGPIPE signal

In chronyc handle SIGPIPE similarly to SIGTERM. In chronyd ignore the
signal to avoid crashing when a TCP socket will be needed (e.g. for
NTS-KE) and will be unexpectedly closed from the other side.

util: handle errors in setting of signal handler as fatal

sched: allow file handler with multiple events to remove itself

Before dispatching a handler, check if it is still valid. This allows a
handler to remove itself when a descriptor has two different events at
the same time.

doc: update chrony.conf man page for recent changes

ntp: allow sub-second maxpoll

Remove the maxpoll-specific limit and allow both minpoll and maxpoll to
be set to a negative value.

ntp: restrict use of sub-second polling intervals

When the local polling interval is adjusted between minpoll and maxpoll
to a sub-second value, check if the source is reachable and the minimum
measured delay is 10 milliseconds or less. If it's not, ignore the
maxpoll value and set the interval to 1 second.

This should prevent clients (mis)configured with an extremely short
minpoll/maxpoll from flooding servers on the Internet.

ntp: make burst interval proportional to polling interval

If the polling interval is shorter than 8 seconds, set the burst
interval to the 1/4th of the polling interval instead of the 2-second
constant. This should make the burst option and command useful with
very short polling intervals.

refclock_sock: downgrade error messages to debug messages

Turn error messages which are not expected to happen with a correctly
working SOCK client into debug messages.

fix printf()/scanf() format signedness

Fix mismatches between the format and sign of variables passed to
printf() or scanf(), which were found in a Frama-C analysis and gcc
using the -Wformat-signedness option.

keys: initialize data used for measuring authentication delay

This issue was found in a Frama-C analysis.

reference: specify recipient in message when sending email

Instead of adding the recipient to the sendmail command line (which is
interpretted by the shell) add a "To" line to the message and run
sendmail with the -t option to read the recipient from the message.

reference: terminate string returned by gethostname()

POSIX doesn't require the string to be terminated if it didn't fit in
the buffer.

This issue was found in a Frama-C analysis.

check values returned by gmtime() and localtime()

While it is not expected to happen with any time that can be represented
by the system clock, the functions are allowed to return NULL. Check the
pointer before dereferencing.

This issue was found in a Frama-C analysis.

client: re-work tab-completion to work with libedit 20180525-3.1

Remove spaces from tab-completion results and now break on a space.
Tested with both readline and editline (libedit)
Incorporated Miroslav's suggestions.

doc: fix description of pidfile directive to mention -Q option

This fixes commit 778fce4039e1763f9da367a97a53446d28810f1c.

examples: update pidfile in chronyd.service

configure: move default pidfile to /var/run/chrony

This allows chronyd to remove its pidfile on exit after dropping the
root privileges in order to prevent another chronyd instance from
failing to start, e.g. due to a wrong SELinux label from chronyd -q.

main: create directories before writing pidfile

This makes it possible to save pidfile in /var/run/chrony.

ntp: change auto_offline to trigger on failed transmissions

Instead of counting missing responses, switch to the offline state
immediately when sendmsg() fails.

This makes the option usable with servers and networks that may drop
packets, and the effect will be consistent with the onoffline command.

examples: update NetworkManager dispatcher script

Replace most of the code with the new onoffline command.

cmdmon: add onoffline command

The onoffline command tells chronyd to switch all sources to the online
or offline status according to the current network configuration. A
source is considered online if it is possible to send requests to it,
i.e. a route to the network is present.

ntp: allow online/offline state to be selected by connectability

Allow SRC_MAYBE_ONLINE to be specified for new NTP sources and
connectivity setting to select between SRC_ONLINE and SRC_OFFLINE
according to the result of the connect() system call, i.e. check whether
the client has a route to send its requests.

ntp: refactor switching between online and offline state

Use an enum to describe connectivity of a source and merge
the NCR and NSR TakeSourceOnline/Offline() functions into
SetConnectivity() functions.

ntp: check PHC index before opening device

Apparently, it is possible for an interface to report all necessary
flags for HW timestamping without having a PHC. Check the PHC index to
avoid an error message in the system log saying that /dev/ptp-1 cannot
be opened.

ntp: enable non-blocking mode on server sockets

Avoid blocking in sendmsg() due to a full send buffer.

doc: add new questions to FAQ

util: fall back to reading /dev/urandom when getrandom() blocks

With recent changes in the Linux kernel, the getrandom() system call may
block for a long time after boot on machines that don't have enough
entropy. It blocks the chronyd's initialization before it can detach
from the terminal and may cause a chronyd service to fail to start due
to a timeout.

At least for now, enable the GRND_NONBLOCK flag to make the system call
non-blocking and let the code fall back to reading /dev/urandom (which
never blocks) if the system call failed with EAGAIN or any other error.

This makes the start of chronyd non-deterministic with respect to files
that it needs to open and possibly also makes it slightly easier to
guess the transmit/receive timestamp in client requests until the
urandom source is fully initialized.

examples: make nm-dispatcher script usable for networkd-dispatcher

Historically there were plenty of callback based implementations around
ifupdown via /etc/network/if-up and similar. NetworkManager added the
dispatcher [1] feature for such a kind of functionality.

But so far a systemd-networkd (only) systemd had no means to handle those
cases. This is solved by networkd-dispatcher which is currently available
at least in ArchLinux and Ubuntu.
It takes away the responsibility to listen on netlink events in each
application and provides a more classic script-drop-in interface to respond
to networkd events [3].

This commit makes the NM example compatible to be used by NetworkManager
dispatcher as well as by networkd-dispatcher. That way we avoid too much
code duplication and can from now on handle special cases in the
beginning so that the tail can stay commonly used.

After discussion on IRC the current check differs by checking the
argument count (only in NetworkManager), if ever needed we could extend
that to check for known custom environment vars (NetworkManager =>
CONNECTION_UUID; networkd-dispatcher => OperationalState).

[1]: https://developer.gnome.org/NetworkManager/stable/NetworkManager.html
[2]: https://github.com/craftyguy/networkd-dispatcher
[3]: https://github.com/systemd/systemd/blob/master/src/systemd/sd-network.h#L86

Signed-off-by: Christian Ehrhardt <christian.ehrhardt@canonical.com>

sys_linux: fix building with old libcap versions

The cap_get_bound() function and CAP_IS_SUPPORTED macro were added in
libcap-2.21. Check if the macro is defined before use.

The sys/capability.h header from libcap-2.16 and earlier disables the
linux/types.h header, which breaks the linux/ptp_clock.h header. Change
the order to include sys/capability.h as the last system header.

doc: update NEWS

client: update copyright years

ntp: fix handling of socket errors with error queue

In the next Linux version the recvmmsg() system call will be probably
fixed to not return socket errors (e.g. due to ICMP) when reading from
the error queue.

The NTP I/O code assumed this was the correct behavior. When the system
call is fixed, a socket error on a client socket will cause chronyd to
enter a busy loop consuming the CPU until the receive timeout is reached
(8 seconds by default).

Use getsockopt(SO_ERROR) to clear the socket error when reading from the
error queue failed.

privops: allow binding to acquisition port

Fix the privileged helper process to allow binding of client sockets to
a non-zero acquisition port which is not equal to the server port.

doc: improve FAQ

doc: improve description of fallbackdrift directive

doc: improve description of key option in chrony.conf man page