test: extend 105-ntpauth

ntp: truncate MACs in NTPv4 packets

When sending an NTPv4 packet, truncate long MAC to 192 bits to follow
RFC 7822.

ntp: accept NTPv4 packets with truncated MACs

In order to allow deterministic parsing of NTPv4 extension fields, the
MAC must not be longer than 192 bits (RFC 7822). One way to get around
this limitation when using symmetric keys which produce longer MACs is
to truncate them to 192 bits (32-bit key ID and 160-bit hash).

Modify the code to accept NTPv4 packets with MACs truncated to 192
bits, but still allow long MACs in NTPv4 packets to not break
compatibility with older chrony clients.

keys: add support for checking truncated MACs

util: move authentication and password decoding functions to keys

This doesn't need to be included in chronyc.

doc: update FAQ

doc: update man pages

doc: update README

ntp: fix length modifier of refid in measurements log

client: zero pad reference ID

client: add ntpdata command

cmdmon: add ntpdata command

client: fix format specifiers in sourcestats report

client: add new format specifiers to print_report()

client: print reference ID in hexadecimal

This is an incompatible change in the output of the tracking command,
which may break some scripts, but it's necessary to avoid confusion with
IPv4 addresses when synchronised to an IPv6 server or reference clock.

sources: give access to sourcestats instance

Give access to the sourcestats instance and remove all functions that
just translated to SST calls.

ntp: add new debug message

ntp: fix logging of RX timestamp source in interleaved mode

ntp: don't send presend packets in burst mode

ntp: allow presend of zero

Don't use zero as a special value for disabled and change the default
presend to a value larger than any valid poll.

ntp: send two presend packets in interleaved mode

In a burst of three requests (two presend + one normal) the server can
detect the client is using the interleaved mode and save the transmit
timestamp of the second response for the third response. This shortens
the interval in which the server has to keep the state.

ntp: shorten presend delay to 2 seconds

ntp: process presend responses

Rework the code to make a real request for presend and process the
response, but don't accumulate the sample. This allows presend to work
in the interleaved client mode.

reference: randomize reference time

In unauthenticated interleaved symmetric NTP mode we should be now
careful with the reference timestamp as it may be useful with the peer
delay for estimating the local receive timestamp and increasing the
chance of spoofing a valid response from the peer.

When updating the reference time, add a random error of up to one second
to make it less sensitive when disclosed to NTP and cmdmon clients.

ntp: don't reset polling interval when switching to/from online

This allows chronyd to ramp up the polling interval even when the source
is frequently switched between the online and offline modes.

ntp: fix calculation of PHC sample time

sys_linux: allow ioctls used with HW timestamping in seccomp filter

ntp: transpose HW RX timestamps

We need to transpose HW RX timestamps as HW timestamps are normally
preamble timestamps and RX timestamps in NTP are supposed to be trailer
timestamps. Without raw sockets we don't know the length of the packet
at layer 2, so we make an assumption that UDP data start at the same
position as in the last transmitted packet which had a HW TX timestamp.

Merge branch '2.4-stable' into HEAD

refclock: don't compare sample time with samples from previous poll

This is an improvement of commit 8f85291d23560508e03938bfa894294f73ad2d9e.

doc: update NEWS

sources: add new status for sources that overlap trusted sources

Sources that overlap trusted sources should be displayed in the chronyc
sources report with the '-' symbol and they shouldn't trigger a
replacement.

refclock: don't compare sample time with samples from previous poll

This is an improvement of commit 0a848e2528aaef0b3347de0b49ce50da8dc1c9a4.

refclock: fix check for old samples

The fix in commit 0a848e2528aaef0b3347de0b49ce50da8dc1c9a4 was
incorrect.

refclock: require new samples to have newer timestamp

If all or most SHM/SOCK samples collected in a polling interval had the
same local timestamp, the dispersion could end up as nan, which could
trigger an assert failure later in the code.

Before accumulating a refclock sample, check if the timestamp is newer
than the previous one.

test: add smooth unit test

smooth: fix selection of 1st stage direction

When the smoothing process is updated with extremely small (e.g.
sub-nanosecond) values, both directions may give a negative length of
the 1st or 3rd stage due to numerical errors and the selection will fail
an in assertion. Rework the code to select the direction which gives a
smaller error.

client: flush stdout after printing prompt

Apparently fgets() doesn't flush stdout in some libc implementations.

client: fix printing of negative poll in sources report again

This was broken in commit 3f51805e6214cad5cb9a863491316937541601ec.

ntp: fix processing of kernel timestamps on non-Linux systems

When the SO_TIMESTAMP socket option was enabled, the expected type of
control messages containing timestamps was SO_TIMESTAMP instead of
SCM_TIMESTAMP. This worked on Linux, where the two values are equal, but
not on the other supported systems. The timestamps were ignored and this
probably worsened the accuracy and stability of the synchronisation.

conf: fix parsing of refclock directive

Don't accept refclock directive which has as the last argument an option
that requires a value.

ntp: add debug message for truncated control messages

ntp: ignore truncated messages

Don't waste time with processing messages that don't fit in the receive
buffer as they most likely wouldn't pass the format check due to an
invalid length of an extension field.

hwclock: fix order of samples

In order to trim oldest samples in the regression function, they need to
be sorted in the data arrays from the oldest to newest.

ntp: detect unexpected TX updates of unknown sources

ntp: improve replay protection in symmetric mode

Always allow update from the first valid response, even if its transmit
timestamp is not newer than the currently saved timestamp. This shoud
provide a temporary protection in the case where the attacker does have
an authenticated packet from future, but the peers are using the same
polling interval and the protocol is already synchronised. This could be
also useful in the case where the attacker cannot observe the traffic
and authentication is disabled.

sched: add more random bits to timeout scheduling

Extend the random value which is included in the calculation of the
delay from 16 to 32 bits. This makes scheduling of NTP transmissions
random to one microsecond for polling intervals up to 17.

client: randomize sequence number in requests

Don't rely on random source port of a connected socket alone as a
protection against spoofed packets in chronyc. Generate a fully random
32-bit sequence number for each request and modify the code to not send
a new request until the timeout expires or a valid response is received.
For a monitoring protocol this should be more than good enough.

client: fix attempt number in requests to be in network order

report: remove unused definition

sources: add new status for sources that overlap trusted sources

Sources that overlap trusted sources should be displayed in the chronyc
sources report with the '-' symbol and they shouldn't trigger a
replacement.

sources: don't log warning when opening dump file fails

Instead of complaining when the file doesn't exist, which is common when
using pool servers, log an informational message when the file is
loaded.

conf: create socket directory before logdir and dumpdir

This allows sharing of the same directory for sockets, logs and dumps as
the socket directory needs to be created first (with mode 0770) in order
to pass the check of the permissions.

ntp: print offset and delay in debug messages in nanosecond resolution

ntp: fix remote poll in measurements log

Write the poll value from the received packet instead of the saved
value, which doesn't have to be always updated.

ntp: add new fields to measurements log

Include reference ID, NTP mode and source of the local transmit and
receive timestamp in the measurements log.

ntp: add partial protection against replay attacks on symmetric mode

A recently published paper [1] (section VIII) describes a DoS attack
on symmetric associations authenticated with a symmetric key where the
attacker can only observe and replay packets. Although the attacker
cannot prevent packets from reaching the other peer (not even by
flooding the network for example), s/he has the same power as a MitM
attacker.

As the authors explain, this is a fundamental flaw of the protocol,
which cannot be fixed in the general case. However, we can at least try
to protect associations in a case where the peers use the same polling
interval (i.e. for each request is expected one response) and all peers
that share the symmetric key never start with clocks in future or very
distant past (i.e. the attacker does not have any packets from future
that could be replayed).

Require that updates of the NTP state between requests have increasing
transmit timestamp and when a packet that passed all NTP tests to be
considered a valid response was received, don't allow any more updates
of the state from packets that don't pass the tests. This should ensure
the last update of the state is from the first time the last real
response was received and still allow the protocol to recover in case
one of the peers steps its clock back or the attacker does have a packet
from future and the attack stops.

[1] Aanchal Malhotra, Matthew Van Gundy, Mayank Varia, Haydn Kennedy,
    Jonathan Gardner, and Sharon Goldberg. The Security of NTP's
    Datagram Protocol. https://eprint.iacr.org/2016/1006

ntp: disable presend in symmetric and interleaved modes

The presend packet can't be used in symmetric and interleaved modes as
it breaks the protocol with unexpected packets.

test: add util unit test

util: add functions for zeroing and comparing NTP timestamps

ntp: fix poll value in broadcast mode packets

Set poll in broadcast mode packets to the rounded log2 value of the
actual interval instead of a hardcoded value.

doc: update chrony.conf man page for recent changes

ntp: add support for HW timestamping on Linux

Add a new directive to specify interfaces which should be used for HW
timestamping. Extend the Linux ntp_io initialization to enable HW
timestamping, configure the RX filter using the SIOCSHWTSTAMP ioctl,
open their PHC devices, and track them as hwclock instances. When
messages with HW timestamps are received, use the PTP_SYS_OFFSET ioctl
to make PHC samples for hwclock.

ntp: read interface index from control messages

test: add 122-xleave

test: add hwclock unit test

hwclock: add support for tracking hardware clocks

Add a general support for tracking independent hardware clocks like PTP
hardware clocks (PHC) or real-time clocks (RTC).

clientlog: move status check to get_record()

ntp: add support for interleaved client/server mode

Adapt the interleaved symmetric mode for client/server associations.
On server, save the state needed for detection and responding in the
interleaved mode in the client log. On client, enable the interleaved
mode when the server is specified with the xleave option. Always accept
responses in basic mode to allow synchronization with servers that
don't support the interleaved mode, have too many clients, or have
multiple clients behing the same IP address. This is also necessary to
prevent DoS attacks on the client by overwriting or flushing the server
state. Protect the client's state variables against replay attacks as
the timestamps are now needed when processing the subsequent packet.

ntp: check also NTP receive timestamp when updating TX timestamp

ntp: add support for interleaved symmetric mode

Add xleave option to the peer directive to enable an interleaved mode
compatible with ntpd. This allows peers to exchange transmit timestamps
captured after the actual transmission and significantly improve
the accuracy of the measurements.

ntp: add support for software timestamping on Linux

Enable SCM_TIMESTAMPING control messages and the socket's error queue in
order to receive our transmitted packets with a more accurate transmit
timestamp. Add a new file for Linux-specific NTP I/O and implement
processing of these messages there.

ntp: save source of local timestamps

Introduce a new structure for local timestamps that will hold the
timestamp with its estimated error and also its source (daemon, kernel
or HW). While at it, reorder parameters of the functions that accept the
timestamps.

ntp: add support for processing of transmitted packets

Add new functions for processing of packets after they are actually
sent by the kernel or HW in order to get a more accurate transmit
timestamp. Rename old functions for processing of received packets and
their parameters to make the naming more consistent.

sys_linux: add function for checking kernel version

refclock: fix check for old samples

The fix in commit 8f85291d23560508e03938bfa894294f73ad2d9e was
incorrect.

refclock: require new samples to have newer timestamp

If all or most SHM/SOCK samples collected in a polling interval had the
same local timestamp, the dispersion could end up as nan, which could
trigger an assert failure later in the code.

Before accumulating a refclock sample, check if the timestamp is newer
than the previous one.

ntp: inline send_packet()

Also, reuse existing function for checking server sockets.

ntp: use ipi_addr from struct in_pktinfo as local address

Use the ipi_addr field instead of ipi_spec_dst as the local address
after recvmsg() to be consistent with the processing of struct
in6_pktinfo. This may make a difference for messages from the error
queue.

ntp: check for missing source address after recvmsg()

ntp: fix updating of transmit delay in symmetric mode

This was broken in commit cea21adbbbaf38271e33cd8b412c55ee541c0c37.

sched: add support for handling exceptions on descriptors

sys_linux: allow getdents in seccomp filter

This is needed for glob(), which is used with the include and dumpdir
directives.

refclock: use UTI_TimespecToString() in debug message

util: add UTI_IsZeroTimespec()

test: add smooth unit test

smooth: fix selection of 1st stage direction

When the smoothing process is updated with extremely small (e.g.
sub-nanosecond) values, both directions may give a negative length of
the 1st or 3rd stage due to numerical errors and the selection will fail
an in assertion. Rework the code to select the direction which gives a
smaller error.

sched: initialize sub-second part of saved_tv in SCH_MainLoop()

This is needed since commit d0dfa1de9e85510a584cdec5faae96c66d6847c9 to
avoid valgrind errors.

use correct facility in LOG messages

sources: remove dump files on start

When chronyd is starting, after the point where dump files are loaded,
remove all files in the dump directory that match the naming scheme used
for dump files. This prevents loading stale dump files that were not
saved in the latest run of chronyd.

conf: disable dumpdir and logdir by default

Use empty string instead of "." (which is normally the root directory)
as the default value of dumpdir and logdir to indicate they are not
specified. Print warnings in syslog when trying to log or dump
measurements without dumpdir or logdir.

client: flush stdout after printing prompt

Apparently fgets() doesn't flush stdout in some libc implementations.

client: remove out of date comment

client: fix printing of negative poll in sources report again

This was broken in commit 3f51805e6214cad5cb9a863491316937541601ec.

client: check address in waitsync command

util: convert invalid addresses as IPADDR_UNSPEC

test: add 011-asymjitter

test: add support for testing with asymmetric jitter

test: extend 113-leapsecond

sources: include trust option in leap second voting

When sources specified with the trust option pass the source selection,
ignore other sources in the vote of leap second status.