ntp: improve dispersion calculation

Instead of adding precision (sum of the local and remote precision) to
the TX and RX timestamp error, include only the maximum.

conf: change default rate limiting parameters

Change the default NTP rate limiting leak to 2 (25%). Change the default
command rate limiting interval to -4 (16 packets per second) and burst
to 8, so the interval is the only difference between NTP and command
rate limiting defaults.

clientlog: disable NTP response rate limiting by default

This reverts commit 50022e928644e3d727eaf8a7a8b334f3c998223c.

Testing showed that ntpd as an NTP client performs poorly when it's
getting only 25% of responses. At least for now, disable rate limiting
by default again.

ntp: calculate delay relative to local frequency

This should be more accurate as local frequency is usually
combined from multiple sources. This is a partial revert of commit
23a4e8b38d873ce1246c4ef43a05d92c442a9f26.

doc: update NEWS

clientlog: enable NTP response rate limiting by default

Change the default interval of both NTP and command rate limiting to -10
(1024 packets per second) and the burst to 16. The default NTP leak is 2
(rate limiting is enabled by default) and the default command leak is 0
(rate limiting is disabled by default).

clientlog: randomize alignment of log timestamps

clientlog: allow very short rate limiting intervals

Support negative token shift to allow coarse rate limiting with
intervals down to -19.

configure: don't use recvmmsg() on FreeBSD

Don't try recvmmsg() on FreeBSD, at least for now. It is broken on
FreeBSD 11.0 and it's just a wrapper around recvmsg().

doc: improve hwtimestamp description

ntp: allow wildcard in hwtimestamp directive

If "*" was specified, use getifaddrs() to get a list of all interfaces,
and try to enable HW timestamping on all of them.

client: improve ntpdata output

client: don't require address in ntpdata command

If no address is specified, use the SOURCE_DATA command to get addresses
of NTP sources, and request NTP_DATA for all of them.

sourcestats: add upper bound for skew

examples: avoid Unix domain socket in chrony-wait service

Use the -h option to force chronyc to use internet socket instead of
Unix domain as the access to the socket may be blocked by SELinux and
trying to open it generates SELinux warnings.

cmdmon: update protocol changelog

sourcestats: add lower bound for std dev used for weighting

sourcestats: save asymmetry run in dump files

This allows the asymmetry correction to be applied right after restart.

cmdmon: add reserved fields to ntpdata reply

This might be useful if ntpdata is changed to not require authorization
and new fields need to be added without breaking compatibility.

nameserv: set CLOEXEC flag on pipe file descriptors

stubs: rework emulation of asynchronous resolver to use pipes

With a larger number of configured servers, the handler of the emulated
resolver repeatedly scheduled timeout of zero, which triggered the
infinite loop detection in the scheduler and caused abort. This bug was
introduced in commit 967e358dbc93aa7a99c3c0ee2a634f1fedecba74.

Rework the code to use pipes instead of timeouts to avoid this problem.

ntp: disable maxdelayratio in interleaved/symmetric mode

It's too unreliable and the maxdelaydevratio test should work better
anyway.

doc: update NEWS

doc: update README

test: update 119-smoothtime

client: add tab-completion with libedit/readline

refclock: make maximum lock age configurable

The maxlockage option specifies in number of pulses how old can be
samples from the refclock specified by the lock option to be paired with
the pulses. Increasing this value is useful when the samples are
produced at a lower rate than the pulses.

refclock: slew last sample even after it was used

It may be needed by locked PPS refclocks.

test: add scan-build compilation test

configure: use common CPPFLAGS for all objects

configure: fix help text

ntp: fix clang warning

hwclock: fix check of sample separation

ntp: add TX error to dispersion

ntp: fix RX error added to dispersion in interleaved mode

sources: add configurable limit for jitter

The maxjitter directive sets the maximum allowed jitter of the sources
to not be rejected by the source selection algorithm. This prevents
synchronisation with sources that have a small root distance, but their
time is too variable. By default, the maximum jitter is 1 second.

sourcestats: save variance as standard deviation

This reduces the number of sqrt() calls.

cmdmon: allow all parameters to be set for new sources

Add missing fields to the REQ_NTP_Source structure and add new versions
of the ADD_SERVER/ADD_PEER commands.

ntp: rework calculation and testing of peer delay

Instead of a worst-case delay use a mean value and relate it to the
source's time. This makes it more stable in the interleaved and
symmetric modes, which should improve the weighting and asymmetry
correction. Modify the test A and B to work with a minimum estimated
delay (delay - dispersion).

client: print addresses with refids in ntpdata report

client: fix truncation of long hostnames

client: fix format specifier for poll in ntpdata report

client: fix add command

The default version changed to 0 (autoselect).

sys_linux: allow openat in seccomp filter

main: add -t option to usage text

configure: rename SOCKDIR to RUNDIR

regress: remove unused struct declaration

conf: increase default minsamples and polltarget

Change default minsamples to 6 and polltarget to 8. This should improve
stability with extremely small jitters (e.g. HW timestamping) and not
decrease time accuracy at minimum polling interval too much.

main: add -t option to chronyd

This option sets a timeout (in seconds) after which chronyd will exit.
If the clock is not synchronised, it will exit with a non-zero status.
This is useful with the -q or -Q option to shorten the maximum time
waiting for measurements, or with the -r option to limit the time when
chronyd is running, but still allow it to adjust the frequency of the
system clock.

ntp: don't make client log entries for broadcast TX

ntp: avoid truncation of NTPv4 MACs by default

If the MAC in NTPv4 requests would be truncated, use version 3 by
default to avoid the truncation. This is necessary for compatibility
with older chronyd servers, which do not respond to messages with
truncated MACs.

test: extend 105-ntpauth

ntp: truncate MACs in NTPv4 packets

When sending an NTPv4 packet, truncate long MAC to 192 bits to follow
RFC 7822.

ntp: accept NTPv4 packets with truncated MACs

In order to allow deterministic parsing of NTPv4 extension fields, the
MAC must not be longer than 192 bits (RFC 7822). One way to get around
this limitation when using symmetric keys which produce longer MACs is
to truncate them to 192 bits (32-bit key ID and 160-bit hash).

Modify the code to accept NTPv4 packets with MACs truncated to 192
bits, but still allow long MACs in NTPv4 packets to not break
compatibility with older chrony clients.

keys: add support for checking truncated MACs

util: move authentication and password decoding functions to keys

This doesn't need to be included in chronyc.

doc: update FAQ

doc: update man pages

doc: update README

ntp: fix length modifier of refid in measurements log

client: zero pad reference ID

client: add ntpdata command

cmdmon: add ntpdata command

client: fix format specifiers in sourcestats report

client: add new format specifiers to print_report()

client: print reference ID in hexadecimal

This is an incompatible change in the output of the tracking command,
which may break some scripts, but it's necessary to avoid confusion with
IPv4 addresses when synchronised to an IPv6 server or reference clock.

sources: give access to sourcestats instance

Give access to the sourcestats instance and remove all functions that
just translated to SST calls.

ntp: add new debug message

ntp: fix logging of RX timestamp source in interleaved mode

ntp: don't send presend packets in burst mode

ntp: allow presend of zero

Don't use zero as a special value for disabled and change the default
presend to a value larger than any valid poll.

ntp: send two presend packets in interleaved mode

In a burst of three requests (two presend + one normal) the server can
detect the client is using the interleaved mode and save the transmit
timestamp of the second response for the third response. This shortens
the interval in which the server has to keep the state.

ntp: shorten presend delay to 2 seconds

ntp: process presend responses

Rework the code to make a real request for presend and process the
response, but don't accumulate the sample. This allows presend to work
in the interleaved client mode.

reference: randomize reference time

In unauthenticated interleaved symmetric NTP mode we should be now
careful with the reference timestamp as it may be useful with the peer
delay for estimating the local receive timestamp and increasing the
chance of spoofing a valid response from the peer.

When updating the reference time, add a random error of up to one second
to make it less sensitive when disclosed to NTP and cmdmon clients.

ntp: don't reset polling interval when switching to/from online

This allows chronyd to ramp up the polling interval even when the source
is frequently switched between the online and offline modes.

ntp: fix calculation of PHC sample time

sys_linux: allow ioctls used with HW timestamping in seccomp filter

ntp: transpose HW RX timestamps

We need to transpose HW RX timestamps as HW timestamps are normally
preamble timestamps and RX timestamps in NTP are supposed to be trailer
timestamps. Without raw sockets we don't know the length of the packet
at layer 2, so we make an assumption that UDP data start at the same
position as in the last transmitted packet which had a HW TX timestamp.

Merge branch '2.4-stable' into HEAD

refclock: don't compare sample time with samples from previous poll

This is an improvement of commit 8f85291d23560508e03938bfa894294f73ad2d9e.

doc: update NEWS

sources: add new status for sources that overlap trusted sources

Sources that overlap trusted sources should be displayed in the chronyc
sources report with the '-' symbol and they shouldn't trigger a
replacement.

refclock: don't compare sample time with samples from previous poll

This is an improvement of commit 0a848e2528aaef0b3347de0b49ce50da8dc1c9a4.

refclock: fix check for old samples

The fix in commit 0a848e2528aaef0b3347de0b49ce50da8dc1c9a4 was
incorrect.

refclock: require new samples to have newer timestamp

If all or most SHM/SOCK samples collected in a polling interval had the
same local timestamp, the dispersion could end up as nan, which could
trigger an assert failure later in the code.

Before accumulating a refclock sample, check if the timestamp is newer
than the previous one.

test: add smooth unit test

smooth: fix selection of 1st stage direction

When the smoothing process is updated with extremely small (e.g.
sub-nanosecond) values, both directions may give a negative length of
the 1st or 3rd stage due to numerical errors and the selection will fail
an in assertion. Rework the code to select the direction which gives a
smaller error.

client: flush stdout after printing prompt

Apparently fgets() doesn't flush stdout in some libc implementations.

client: fix printing of negative poll in sources report again

This was broken in commit 3f51805e6214cad5cb9a863491316937541601ec.

ntp: fix processing of kernel timestamps on non-Linux systems

When the SO_TIMESTAMP socket option was enabled, the expected type of
control messages containing timestamps was SO_TIMESTAMP instead of
SCM_TIMESTAMP. This worked on Linux, where the two values are equal, but
not on the other supported systems. The timestamps were ignored and this
probably worsened the accuracy and stability of the synchronisation.

conf: fix parsing of refclock directive

Don't accept refclock directive which has as the last argument an option
that requires a value.

ntp: add debug message for truncated control messages

ntp: ignore truncated messages

Don't waste time with processing messages that don't fit in the receive
buffer as they most likely wouldn't pass the format check due to an
invalid length of an extension field.

hwclock: fix order of samples

In order to trim oldest samples in the regression function, they need to
be sorted in the data arrays from the oldest to newest.

ntp: detect unexpected TX updates of unknown sources

ntp: improve replay protection in symmetric mode

Always allow update from the first valid response, even if its transmit
timestamp is not newer than the currently saved timestamp. This shoud
provide a temporary protection in the case where the attacker does have
an authenticated packet from future, but the peers are using the same
polling interval and the protocol is already synchronised. This could be
also useful in the case where the attacker cannot observe the traffic
and authentication is disabled.

sched: add more random bits to timeout scheduling

Extend the random value which is included in the calculation of the
delay from 16 to 32 bits. This makes scheduling of NTP transmissions
random to one microsecond for polling intervals up to 17.

client: randomize sequence number in requests

Don't rely on random source port of a connected socket alone as a
protection against spoofed packets in chronyc. Generate a fully random
32-bit sequence number for each request and modify the code to not send
a new request until the timeout expires or a valid response is received.
For a monitoring protocol this should be more than good enough.

client: fix attempt number in requests to be in network order