client: fix parsing of -v command option

The sources and sourcestats commands accept -v as an option, but the
glibc implementation of getopt() reorders the arguments and parses the
option as a command-line option of chronyc.

Add '+' to the getopt string to disable this feature. Other getopt()
implementations should consider it a new command-line option, which will
be handled as an error if present.

sched: add new timeout class for peer transmissions

This allows transmissions in symmetric mode to be scheduled
independently from client transmissions. This reduces maximum delay
in scheduling when chronyd is configured with a larger number of
servers.

test: improve hwclock unit test

hwclock: fix conversion of HW timestamps

Fix a sign error in conversion of HW time to local time, which caused
the jitter to be amplified instead of reduced. NTP with HW timestamping
should now be more stable and able to ignore occasionally delayed
readings of PHC.

ntp: minimize data in client mode packets

In basic client mode, set the origin and receive timestamp to zero.
This reduces the amount of information useful for fingerprinting and
improves privacy as the origin timestamp allows a passive observer to
track individual NTP clients as they move across networks. (With chrony
clients that assumes the timestamp wasn't reset by the chronyc offline
and online commands.)

This follows recommendations from the current version of IETF draft on
NTP data minimization [1].

The timestamp could be theoretically useful for enhanced rate limiting
which can limit individual clients behind NAT and better deal with DoS
attacks, but no server implementation is known to do that.

[1] https://tools.ietf.org/html/draft-ietf-ntp-data-minimization-01

examples: improve NetworkManager dispatcher script

When no default route is configured, check each source if it has a
route. If the system has multiple network interfaces, this prevents
setting local NTP servers to offline when they can still be reached over
one of the interfaces.

doc: fix server mode number in chrony.conf man page

doc: update chrony.conf man page for recent changes

ntp: skip IPv6 extension headers

Handle IPv6 packets with extension headers received from the error queue
on Linux.

ntp: don't send useless requests in interleaved client mode

In interleaved client mode, when so many consecutive requests were lost
that the first valid (interleaved) response would be dropped for being
too old, switch to basic mode so the response can be accepted if it
doesn't fail in the other tests.

This reworks commit 16afa8eb5022792c1b4bf08e3b01095ca5ebd0f5.

ntp: limit number of interleaved responses in symmetric mode

In symmetric mode, don't send a packet in interleaved mode unless it is
the first response to the last valid request received from the peer and
there was just one response to the previous valid request. This prevents
the peer from matching the transmit timestamp with an older response if
it can't detect missed responses.

ntp: improve detection of missed packets in interleaved mode

In interleaved symmetric mode, check if the remote TX timestamp is
before RX timestamp. Only the first response from the peer after
receiving a request should pass this test. Check also the interval
between last two remote transmit timestamps when we know the remote poll
can't be constrained by minpoll. Use the minimum of previous remote and
local poll as a lower bound of the actual interval between peer's
transmissions.

ntp: enable maxdelayratio test in interleaved client mode

With more accurate delay in interleaved mode the test should now be as
reliable as in basic mode.

main: fix -q option

Attempting to step the system clock by using the -q option with chronyd
would fail.

logging: enable line buffering of file log

The file log specified with the -l option should have the messages as
soon as they are produced.

doc: update NEWS

sys_linux: allow getrandom in seccomp filter

This fixes commit c5735ebfe9065facc324b58ea4f94a9ea64c41cf.

client: don't allow slash with hostname in allow/deny command

conf: don't allow slash with hostname in allow/deny directive

reference: don't report zero stratum when synchronised

If synchronised to a stratum 15 source, return stratum of 16 instead of
0 in the tracking report. It will not match the value in server mode
packets, but it should be less confusing.

cmdmon: report offset after manual timestamp as float

Modify the protocol to report the offset as seconds in floating point
instead of integer number of centiseconds.

manual: handle failed robust regression

util: avoid undefined behavior in timestamp conversion

client: avoid undefined bit shifts

regress: avoid undefined behavior in pointer arithmetic

ntp: simplify get_poll_adj()

sourcestats: increase number of samples needed to check delay

Require at least 6 samples to check the increase in the delay of a new
sample to make it more reliable.

ntp: don't accumulate old samples in interleaved client mode

Check how many responses were missing before accumulating a sample using
old timestamps to avoid correcting the clock with an offset extrapolated
over a long interval.

This should be eventually done in sourcestats for all sources.

ntp: revert reversed poll tracking in interleaved mode

With the new selection of timestamps in the interleaved mode it's no
longer necessary to reverse the poll tracking in order to reduce the
local and remote intervals of measurements that makes the peer with
higher stratum.

This reverts commit 4a24368763cdeacc056a29dc27e0e506bd915133.

ntp: select timestamps in interleaved mode

Use previous local TX and remote RX timestamps for the new sample in the
interleaved mode if it will make the local and remote intervals
significantly shorter in order to improve the accuracy of the measured
delay.

ntp: refactor timestamp selection and interval calculation

Prepare the code for a third option in the timestamp selection and clean
it up a bit.

ntp: add function for zeroing local timestamps

ntp: fix poll in source report

The source report used the local interval, which in symmetric mode may
be longer than the actual interval used for transmission.

ntp: ignore saved remote poll when peer is not responding

When a peer stops responding, allow our actual polling interval to be
longer than poll saved from the last valid response.

ntp: reset TX counter on all valid responses

Also change it to an unsigned type.

configure: fix compiler warning in getrandom() test

configure: check for hardening compiler options

If no CFLAGS are specified, check if common security hardening options
are supported and add them to the CFLAGS/LDFLAGS. These are typically
enabled in downstream packages, but users compiling chrony from sources
with default CFLAGS should get hardened binaries too.

sys_macosx: add support for ntp_adjtime() on macOS 10.13+

macOS 10.13 will implement the ntp_adjtime() system call, allowing
better control over the system clock than is possible with the existing
adjtime() system call. chronyd will support both the older and newer
calls, enabling binary code to run without recompilation on macOS 10.9
through macOS 10.13.

Early releases of macOS 10.13 have a very buggy adjtime() call. The
macOS driver tests adjtime() to see if the bug has been fixed. If the
bug persists then the timex driver is invoked otherwise the netbsd
driver.

main: don't require root privileges with -Q option

If the -Q option is specified, disable by default pidfile, ntpport,
cmdport, Unix domain command socket, and clock control, in order to
allow starting chronyd without root privileges and/or when another
chronyd instance is already running.

ntp: define NTP port for configuration code

main: refactor check of pidfile

sys_timex: fix update of TAI offset on non-Linux systems

The tai field in struct timex is a Linux-specific feature. It's possible
to read the current offset with ntp_gettime() (or ntp_gettimex() on
Linux), but apparently not all libc implementations support it.

Rework the code to save and adjust the last value instead of reading
the current value from the kernel.

sys_timex: rename status variable

ntp: fix debug message about unknown HW timestamping ifindex

ntp: reverse poll tracking in interleaved symmetric mode

Unlike in the basic mode, the peer with a higher stratum needs to wait
for a response before sending the next request in order to minimize the
delay of the measurement and error in the measured delay.

Slightly increase the delay adjustment to make it work with older chrony
versions.

ntp: fix poll interleaving with unsynchronised peers

Update the remote poll and remote stratum even for unsychronised peers,
and handle stratum of 0 as 16, so the peers work with the opposite
differences between their strata and can adjust their polling intervals
in order to interleave the packets.

hwclock: decrease tolerance of robust regression to 0.1 ppb

reference: get TAI-UTC offset from leap second timezone

Use the timezone specified by the leapsectz directive to get the
current TAI-UTC offset and set the offset of the system clock in order
to provide correct TAI time to applications using ntp_adjtime(),
ntp_gettime(), or clock_gettime(CLOCK_TAI).

sys_timex: add support for setting TAI-UTC offset

local: add support for setting TAI-UTC offset

reference: move static tz variables to function using them

client: check IP address family before printing as refid

configure: add missing object for PHC refclock

This fixes commit eceb8d99371a129ad6e11f483a0442d97a895b19.

test: add regress unit test

test: fix crash when printing debug messages

This fixes commit 6cbeb107db8f687c6c2298b1d8a6240e4da31116.

sourcestats: use median distance in weight calculation

Replace mean distance with median distance in the weight calculation.
This should make the weights less sensitive to outliers.

regress: provide function to find median

regress: reduce maximum number of points to 64

This corresponds to the maximum number of points used by regress users.

regress: use chars instead of ints for flags

This reduces the size of the flags array on stack.

regress: fix assertion in robust regression

regress: speed up range expansion in robust regression

Instead of repeatedly expanding the range of b with the same increment,
double the range on each iteration to speed up the expansion. Also, add
a sanity check for the interval.

regress: fix robust regression

The bisection always terminated after one iteration. Change the code to
check if the middle is different from the lower and upper limits as
suggested in the original recipe.

This fixes commit b14689d59b06ec21a9e079c65a0882b7bf457448.

sourcestats: include precision in weight calculation

In order to stabilize the weights of refclock samples which have only
slightly different distances, don't allow the stddev value used in the
weight calculation to be smaller than the precision and also assign
weight of 1 to all samples which have distance < minimum + precision.

conf: abort when include directive fails

When parsing the include directive, call glob() with the GLOB_ERR and
GLOB_NOMAGIC flags, and abort with an error message when matching of the
pattern failed with other error than GLOB_NOMATCH.

This restores the original behavior of the directive when it didn't
allow patterns, but it will still not fail with patterns not matching
any files in an existing directory.

refclock: set default precision to precision of system clock

ntp: suggest clients to increase their polling interval

When the poll value in a client request is smaller than the server's NTP
rate limiting interval, set poll in the response to the rate limiting
interval to suggest the client to increase its polling interval.

This follows ntpd as a server. No current client implementation seems to
be increasing its interval by the poll, but it may change in the future.

util: add support for getrandom()

Add support for the Linux getrandom() system call, which is available
in glibc since 2.25.

ntp: apply HW TX/RX compensation to system time

Apply the compensation to the cooked local time instead of HW time. This
might make a difference when the HW clock has a large frequency error.

doc: update description of hwtimestamp directive

ntp: add option to select HW RX timestamping filter

Add an rxfilter option to the hwtimestamp directive to select which
received packets should be timestamped. It can be set to "none", "ntp",
or "all". The default value is ntp, which falls back to all when ntp is
not supported.

ntp: add support for new Linux timestamping options

New timestamping options may be available in kernel 4.13. They can be
used to get the index of the interface which timestamped incoming packet
together with its length at layer 2, enable simultaneous SW and HW TX
timestamping, and enable a new RX filter for NTP packets.

ntp: always try to enable SW timestamping on Linux

Request SW timestamps with SCM_TIMESTAMPING even if HW timestamping is
enabled. This replaces SCM_TIMESTAMP(NS) for RX and enables TX SW
timestamping on interfaces that don't support HW timestamping (or don't
have it enabled) if another interface has HW timestamping enabled.

main: close logs as last thing before exit

This should prevent losing messages from other finalisation code.

client: try to connect to all addresses before giving up

Don't give up when one of the addresses/hostnames specified by -h fails
to resolve in DNS_Name2IPAddress(), e.g. with the default setting try to
connect to ::1 even when 127.0.0.1 failed due to the -6 option.

client: use getopt() for command line parsing

main: use getopt() for command line parsing

This allows multiple options to be specified together and also may
options follow configuration directives on systems where getopt()
permutates the arguments.

doc: fix typo in chronyd man page

main: add option to specify log file

Add -l option to log to a file instead of syslog or terminal.

logging: allow logging to file instead of syslog

main: use LOG_FATAL to print error when UID is not zero

sourcestats: handle negative elapsed time in SST_GetSelectionData()

Source selection uses the last event time as current time. If it was
called from a refclock which generates a sample in its poll function
(e.g. PHC), the sample time may be later than the event time. This
gives a negative elapsed time in SST_GetSelectionData() and possibly
also a negative root distance, which causes the source to be rejected as
a falseticker.

Use absolute value of the difference in order to always get a positive
root distance.

doc: update refclock documentation

refclock: add option to filter wrong pulse edges

Add width option to the refclock directive to set expected width of
pulses in a PPS signal. The width adds a limit for the maximum offset
and root distance in order to reject PPS samples from wrong events, e.g.
PHCs which cannot be configured to timestamp only rising of falling
edges.

refclock_phc: add support for timestamping of external PPS

Add extpps driver option to the PHC refclock to enable external
timestamping of PPS signal and also options to configure the channel and
pin index. In this mode, the driver polling function accumulates samples
for hwclock, which is used to convert received timestamping events to
local time.

sys_linux: add support for external PHC timestamping

refclock: add option to treat non-PPS refclocks as PPS

Add pps option to the refclock directive to force chronyd to treat any
refclock as a PPS refclock. This is intended for refclocks that may
provide time off by a whole number of seconds due to missing or wrong
TAI/GPS->UTC conversion.

refclock: allow all drivers to provide PPS samples

refclock: allow drivers to provide cooked PPS samples

Split RCL_AddPulse() in order to provide a new function for refclock
drivers which can make PPS samples without having raw system time, e.g.
from PHC timestamps.

refclock: don't require raw time in valid_sample_time()

This makes the check a bit more expensive, but it will be needed to
allow refclocks that don't have raw system time.

ntp: include local error in hwclock samples

ntp: remove unnecessary include

sys_linux: allow sysinfo in seccomp filter

It may be used by glob() in latest glibc.

sys_linux: don't drop PHC samples with zero delay

When processing data from the PTP_SYS_OFFSET ioctl, the sample is
dropped when an interval between two consecutive readings of the system
clock is negative or zero, assuming the clock has been stepped between
the two readings.

With a real PHC the interval is normally expected to be at least a
microsecond, but with a virtual PHC and a low-resolution system clock
it's possible to get two readings with the same system time. Modify the
check to drop only samples with a negative delay.

configure: check for clang

Try clang as the C compiler before cc and use the same -W* CFLAGS as
with gcc.

util: indicate truncated Unix socket path in UTI_SockaddrToString()

Specify the maximum length of the path in the snprintf() format to avoid
a new gcc warning (-Wformat-truncation). If the path doesn't fit in the
buffer, indicate with the '>' symbol that it was truncated. The function
is used only for debug messages.

makefile: run tests in multiple iterations on check

Use the new options of the run script in the check target to make it
reliable for automatic testing without using a fixed random seed and add
a new quickcheck target for the original check using just one iteration.

test: improve run script

Add options to allow running the tests in multiple iterations while
allowing a small number of failures per test. Some tests are expected to
fail occasionally as they are basically statistical tests. Improving
their reliability is possible, but it's always a compromise between
sensitivity, reliability, and execution time.

test: make 118-maxdelay more reliable

sys_linux: allow getpid in seccomp filter

It seems to be used by syslog() in latest glibc.

test: fix DEBUG_LOG use in unit tests

This was missing in commit f282856c72b7e8904e70527210915e12e6ed7227.