cmdmon: add shutdown command

The command is functionally equivalent to sending the process the
SIGTERM signal.

ntp: delay enabling permanent kernel RX timestamping on Linux

Wait until a kernel RX timestamp is actually missing before opening the
dummy socket in order to avoid a small performance impact in case the
servers are so slow/distant that the kernel can constantly win the race.

test: add 126-burst test

ntp: add burst option

When the burst option is specified in the server/pool directive and the
current poll is longer than the minimum poll, initiate on each poll a
burst with 1 good sample and 2 or 4 total samples according to the
difference between the current and minimum poll.

doc: improve description of server options

test: make 119-smoothtime more reliable

sources: include maxclockerror in source selection

In the source selection algorithm, include extra dispersion due to
maxclockerror in the root distance of sources that don't have new
samples (the last sample is older than span of all samples) to not
prefer unreachable sources with a short distance and small skew over
reachable sources for too long, and also to decrease their chances of
becoming falsetickers.

main: open /dev/null as stdin/out/err in daemonization

chronyd doesn't normally write anything to stdout or stderr when running
as a daemon, but it is a good practice to replace them with descriptors
of /dev/null to prevent accidental writes to other files or sockets that
would otherwise take their place.

logging: don't write fatal messages to invalid descriptor

If opening the log file specified with the -l option failed (after
closing all descriptors), the error message is written to an invalid
descriptor as no log file or syslog is opened yet. Fix the code to track
when the output is usable.

util: replace assert for missing MD5 with fatal log message

Apparently, on some systems the MD5 function is missing with the NSS
support (freebl3). Instead of failing an assertion, exit with a log
message.

test: update util unit test

test: improve and extend ntp_core unit test

sourcestats: limit minimum value of std_dev

ntp: compare receive timestamp when checking for duplicate

Compare both receive and transmit timestamps in the NTP test number 1.

This prevents a client from dropping a valid response in the interleaved
mode if it follows a response in the basic mode and the server did not
have a kernel/hardware transmit timestamp, and the random bits of the
two timestamps happen to be the same (chance of 1 in 2^(32-precision)).

ntp: don't send packets with RX/TX timestamp equal to another timestamp

Before sending a new packet, check if the receive/transmit timestamp
is not equal to the origin timestamp or the previous receive/transmit
timestamp in order to prevent the packet from being its own valid
response (in the symmetric mode) and invalidate responses to the
previous packet.

This improves protection against replay attacks in the symmetric mode.

ntp: separate timestamps for restarting symmetric protocol

Save the local receive and remote transmit timestamp needed for
(re)starting the symmetric protocol when no valid reply was received
separately from the timestamps that are used for synchronization of the
local clock.

This extends the interval in which the local NTP state is (partially)
protected against replay attacks in order to complete a measurement
in the interleaved symmetric mode from [last valid RX, next TX] to
[last TX, next TX], i.e. it should be the same as in the basic mode.

main: create directories before refclock initialization

This allows the SOCK refclock to open sockets in the /var/run/chrony
directory.

main: improve error message for failed getpwnam()

configure: improve check for timestamping options

The socket.h header provided by musl doesn't seem to include the kernel
headers and is missing SCM_TIMESTAMPING_PKTINFO, which causes the
Linux-specific code in chrony to fail to build.

pktlength: handle truncated MANUAL_LIST reply

Before reading the n_samples field of the MANUAL_LIST reply, check if it
is actually contained in the received message. This does not change the
outcome of the client's length check as the returned length was always
larger than the length of the truncated reply and it was dropped anyway,
but it prevents the client from reading uninitialized memory.

sourcestats: reset instance before loading dump file

Don't rely on the caller to reset the instance and always reset it
before loading data to make sure it can't get to an unexpected state.

doc: improve description of refclock tai option

Emphasize that tzdata must be kept up to date in order for the
correction to work as expected.

test: add 125-packetloss test

test: extend 106-refclock

test: extend 110-chronyc

ntp: keep kernel RX timestamping permanently enabled on Linux

The Linux kernel has a counter for sockets using kernel RX timestamping
and timestamps (all) received packets only when it is not zero. However,
this counter is updated asynchronously from setsockopt(). If there are
currently no other sockets using the timestamping, it is possible that a
fast server response is received before the kernel timestamping is
actually enabled after setting the socket option and sending a request.

Open a dummy socket on start to make sure there is always at least one
timestamping socket to avoid the race condition.

examples: ignore non-up/down events in nm-dispatcher script

sys_linux: don't keep CAP_SYS_TIME with -x option

When dropping the root privileges, don't try to keep the CAP_SYS_TIME
capability if the -x option was enabled. This allows chronyd to be
started without the capability (e.g. in containers) and also drop the
root privileges.

ntp: wait for late HW TX timestamps

When sending client requests to a close and fast server, it is possible
that a response will be received before the HW transmit timestamp of
the request itself. To avoid processing of the response without the HW
timestamp, monitor events returned by select() and suspend reading of
packets from the receive queue for up to 200 microseconds. As the
requests are normally separated by at least 200 milliseconds, it is
sufficient to monitor and suspend one socket at a time.

ntp: don't request TX timestamp when SW/HW timestamping is disabled

ntp: add missing header guard

sched: allow enabling/disabling individual file handler events

client: avoid reading clock after sending request

If chronyc sent a request which caused chronyd to step the clock (e.g.
makestep, settime) and the second reading of the clock before calling
select() to wait for a response happened after the clock was stepped, a
new request could be sent immediately and chronyd would process the same
command twice. If the second request failed (e.g. a settime request too
close to the first request), chronyc would report an error.

Change the submit_request() function to read the clock only once per
select() to wait for the first response even when the clock was stepped.

client: remove unused file descriptor sets

client: don't call select() with invalid timeout

If the system clock was stepped forward after chronyc sent a request and
before it read the clock in order to calculate the receive timeout,
select() could be called with a negative timeout, which resulted in an
infinite loop waiting for select() to succeed.

Fix the submit_request() function to not call select() with a negative
timeout. Also, return immediately on any error of select().

test: extend util unit test

util: avoid casting to long in UTI_DoubleToTimeval()

doc: fix typo in chronyd man page

doc: improve leapsectz description

test: add 124-tai test

test: check for maxchange message in check_chronyd_exit()

refclock: improve TAI-UTC conversion

Instead of using the TAI-UTC offset which corresponds to the current
system time, get the offset for the reference time. This allows the
clock to be accurately stepped from a time with different TAI-UTC
offset.

refclock: remove unnecessary return statements

refclock: add tai option

This option is for indicating to chronyd that the reference clock is
kept in TAI and that chrony should attempt to convert from TAI to UTC by
using the timezone configured by the "leapsectz" directive.

reference: add function to get TAI-UTC offset

refclock: add stratum option

configure: allow to override build date

in order to make builds reproducible.
See https://reproducible-builds.org/ for why this is good
and https://reproducible-builds.org/specs/source-date-epoch/
for the definition of this variable.

nameserv: set hints for getaddrinfo() according to -4/-6 option

Avoid sending unnecessary DNS requests when the -4/-6 option is
specified.

examples: add leapsectz to configuration examples

reference: check for gmtime() error

Although gmtime() is expected to convert any time of the system clock at
least in the next few NTP eras, a correct code should always check the
returned value and this shouldn't be a fatal error in handling of leap
seconds.

doc: fix typo in chrony.conf man page

conf: check if GLOB_NOMAGIC is defined

This option is not supported by musl and possibly other libc
implementations.

test: fix keys unit test

doc: update NEWS

update copyright years

doc: fix spelling

Don't mix UK and US spelling.

test: add 123-mindelay test

ntp: improve maxdelayratio test

Similarly to the maxdelaydevratio test, include in the maximum delay
dispersion which accumulated in the interval since the last sample.
Also, enable the test for symmetric associations.

sourcestats: move maxdelaydevratio test to ntp_core

Instead of giving NTP-specific data to sourcestats in order to perform
the test, provide a function to get all data needed for the test in
ntp_core. While at it, improve the naming of variables.

memory: check for overflow when (re)allocating array

When (re)allocating an array with very large number of elements using
the MallocArray or ReallocArray macros, the calculated size of the array
could overflow size_t and less memory would be allocated than requested.

Add new functions for (re)allocating arrays that check the size and use
them in the MallocArray and ReallocArray macros.

This couldn't be exploited, because all arrays that can grow with cmdmon
or NTP requests already have their size checked before allocation, or
they are much smaller than memory allocated for structures to which they
are related (i.e. ntp_core and sourcestats instances), so a memory
allocation would fail before their size could overflow.

This issue was found in an audit performed by Cure53 and sponsored by
Mozilla.

util: check for gmtime() error

Fix the UTI_TimeToLogForm() function to check if gmtime() didn't fail.
This caused chronyc to crash due to dereferencing a NULL pointer when
a response to the "manual list" request contained time which gmtime()
could not convert to broken-down representation.

This issue was found in an audit performed by Cure53 and sponsored by
Mozilla.

conf: use enum for RX filter

ntp: allow TX-only HW timestamping by default

If no rxfilter is specified in the hwtimestamp directive and the NIC
doesn't support the all or ntp filter, enable TX-only HW timestamping
with the none filter.

hwclock: improve debug message

hwclock: check if estimated frequency is sane

hwclock: drop all samples on reset

On some HW it seems it's possible to get an occasional bad reading of
the PHC (with normal delay), or in a worse case the clock can step due
to a HW/driver bug, which triggers reset of the HW clock instance. To
avoid having a bad estimate of the frequency when the next (good) sample
is accumulated, drop also the last sample which triggered the reset.

doc: include uncorrected offset in bound on maximum error

reference: add new fields to tracking log

Add the root delay, root dispersion and maximum estimated error in the
interval since the previous update to the tracking log.

reference: separate calculation of root dispersion

reference: refactor log writing

Remove unnecessary parameters of the write_log() function.

reference: don't update fallback drift on manual input

This fixes a crash due to assertion failure in update_fb_drifts() when
fallbackdrift is enabled and manual input is provided.

reference: simplify check for NaN

cmdmon: add new fields to ADD_SERVER/ADD_PEER request

conf: add mindelay and asymmetry options to NTP sources

sourcestats: add fixed asymmetry

Rework the code to allow the jitter asymmetry to be specified.

sourcestats: add fixed minimum delay

If the minimum delay is known (in a static network configuration), it
can replace the measured minimum from the register. This should improve
the stability of corrections for asymmetric jitter, sample weighting and
maxdelay* tests.

sys_linux: fix building with older kernel headers

Programming pins for external PHC timestamping was added in Linux 3.15,
but the PHC subsystem is older than that. Compile the programming code
only when the ioctl is defined.

util: simplify clamping in UTI_TimespecNetworkToHost()

This should fix a coverity warning.

util: add assertion for NTP timestamp size

smooth: don't adjust invalid time of last update

reference: don't adjust invalid reference time

test: fix ntp_core unit test

This fixes commit b896bb5a783d3fc741b94bf65616b69097b5ecaf.

sys_netbsd: fix adjtime() fault on macOS

On some systems, passing NULL as the first argument to adjtime, will
result in returning the amount of adjustment outstanding from a previous
call to adjtime().

On macOS this is not allowed and the adjtime call will fault. We can
simulate the behaviour of the other systems by cancelling the current
adjustment then restarting the adjustment using the outstanding time
that was returned. On macOS 10.13 and later, the netbsd driver is now
used and must use these semantics when making/measuring corrections.

client: fix parsing of -v command option

The sources and sourcestats commands accept -v as an option, but the
glibc implementation of getopt() reorders the arguments and parses the
option as a command-line option of chronyc.

Add '+' to the getopt string to disable this feature. Other getopt()
implementations should consider it a new command-line option, which will
be handled as an error if present.

sched: add new timeout class for peer transmissions

This allows transmissions in symmetric mode to be scheduled
independently from client transmissions. This reduces maximum delay
in scheduling when chronyd is configured with a larger number of
servers.

test: improve hwclock unit test

hwclock: fix conversion of HW timestamps

Fix a sign error in conversion of HW time to local time, which caused
the jitter to be amplified instead of reduced. NTP with HW timestamping
should now be more stable and able to ignore occasionally delayed
readings of PHC.

ntp: minimize data in client mode packets

In basic client mode, set the origin and receive timestamp to zero.
This reduces the amount of information useful for fingerprinting and
improves privacy as the origin timestamp allows a passive observer to
track individual NTP clients as they move across networks. (With chrony
clients that assumes the timestamp wasn't reset by the chronyc offline
and online commands.)

This follows recommendations from the current version of IETF draft on
NTP data minimization [1].

The timestamp could be theoretically useful for enhanced rate limiting
which can limit individual clients behind NAT and better deal with DoS
attacks, but no server implementation is known to do that.

[1] https://tools.ietf.org/html/draft-ietf-ntp-data-minimization-01

examples: improve NetworkManager dispatcher script

When no default route is configured, check each source if it has a
route. If the system has multiple network interfaces, this prevents
setting local NTP servers to offline when they can still be reached over
one of the interfaces.

doc: fix server mode number in chrony.conf man page

doc: update chrony.conf man page for recent changes

ntp: skip IPv6 extension headers

Handle IPv6 packets with extension headers received from the error queue
on Linux.

ntp: don't send useless requests in interleaved client mode

In interleaved client mode, when so many consecutive requests were lost
that the first valid (interleaved) response would be dropped for being
too old, switch to basic mode so the response can be accepted if it
doesn't fail in the other tests.

This reworks commit 16afa8eb5022792c1b4bf08e3b01095ca5ebd0f5.

ntp: limit number of interleaved responses in symmetric mode

In symmetric mode, don't send a packet in interleaved mode unless it is
the first response to the last valid request received from the peer and
there was just one response to the previous valid request. This prevents
the peer from matching the transmit timestamp with an older response if
it can't detect missed responses.

ntp: improve detection of missed packets in interleaved mode

In interleaved symmetric mode, check if the remote TX timestamp is
before RX timestamp. Only the first response from the peer after
receiving a request should pass this test. Check also the interval
between last two remote transmit timestamps when we know the remote poll
can't be constrained by minpoll. Use the minimum of previous remote and
local poll as a lower bound of the actual interval between peer's
transmissions.

ntp: enable maxdelayratio test in interleaved client mode

With more accurate delay in interleaved mode the test should now be as
reliable as in basic mode.

main: fix -q option

Attempting to step the system clock by using the -q option with chronyd
would fail.

logging: enable line buffering of file log

The file log specified with the -l option should have the messages as
soon as they are produced.

doc: update NEWS

sys_linux: allow getrandom in seccomp filter

This fixes commit c5735ebfe9065facc324b58ea4f94a9ea64c41cf.