sourcestats: report asymmetry in statistics log

sourcestats: correct offsets with asymmetric network jitter

Estimate asymmetry of network jitter on the path to the source as a
slope of offset against network delay in multiple linear regression. If
the asymmetry is significant and its sign doesn't change frequently, the
measured offsets (which are used later to estimate the offset and
frequency of the clock) are corrected to correspond to the minimum
network delay. This can significantly improve the accuracy and stability
of the estimated offset and frequency.

sourcestats: add debug message for regression results

regress: add linear regression with two independent variables

sourcestats: extend array holding peer delays

Keep the same number of peer delays as offsets. This will be needed when
peer delay is included in offset correction.

regress: save arrays of constants in single-precision

No need to waste space on double precision. Also, declare them as const.

rename 'Mac OS X' to 'macOS'

From the the release of macOS Sierra (Version 10.12) the Macintosh
operating system is called 'macOS'

ntp: reset tentative flag only when sample was accumulated

When selecting sources from a pool, ignore responses which didn't
produce a new sample. Sources with acceptable delay (as configured by
the maxdelay* options) should be prefered.

ntp: close client sockets sooner with unsynchronised sources

When a valid packet is received from an unsynchronised source (i.e. only
a test of leap, stratum or root distance failed), there is no point in
waiting for another packet or the RX timeout, and the client socket can
be immediately closed.

test: add 010-multrecv

ntp: add support for recvmmsg()

This is used to read multiple packets with one system call. It should
work on Linux and NetBSD.

configure: include config.h in test code

ntp: rework receiving messages

Allocate buffers for received messages on heap instead of stack and
prepare the code for receiving multiple messages at the same time.

ntp: align buffers for control messages

ntp: add support for MS-SNTP authentication in Samba

Add support for authenticating MS-SNTP responses in Samba (ntp_signd).
Supported is currently only the old MS-SNTP authenticator field. It's
disabled by default. It can be enabled with the --enable-ntp-signd
configure option and the ntpsigndsocket directive, which specifies the
location of the Samba ntp_signd socket.

ntp: detect MS-SNTP packets

When a received packet fails to authenticate, check if the digest
contains zeroes and treat it as an MS-SNTP packet with authenticator or
extended authenticator field. For now, discard these packets, i.e. don't
respond with a crypto-NAK.

ntp: refactor selection of authentication mode

Replace the flag that enables authentication using a symmetric key with
an enum. Specify crypto-NAK as a special mode used for responses instead
of relying on zero key ID. Also, rework check_packet_auth() to always
save the mode and key ID.

ntp: check for extension fields only in NTPv4 packets

doc: improve description of chronyc -n option

client: indicate truncated addresses/hostnames

Add symbol > to the end of the resolved hostname or address when it's
truncated.

client: truncate long hostnames in clients output

client: print intervals in seconds up to 1200 seconds

This covers random variations in the default maximum polling interval.

sources: optimize SRC_ReportSource() a bit

Remove unnecessary memset() call and use the default case of the switch
to report the unreachable state.

addressing: pad IPAddr struct explicitly

util: round up when converting to 32-bit NTP values

NTP clients shouldn't get root delay and dispersion smaller than the
server's values.

ntp: add offset option

Add offset option to the server/pool/peer directive. It specifies a
correction which will be applied to offsets measured with the NTP
source. It's particularly useful to compensate for a known asymmetry in
network delay or timestamping errors.

client: rework error printing for unsupported source options

conf: fix parsing of refclock directive

Don't accept refclock directive which has as the last argument an option
that requires a value.

cmdparse: remove CPS_Status

Remove command and option specific error codes. Return zero on any
failure.

cmdparse: refactor CPS_ParseNTPSourceAdd()

sched: add support for output file event

This allows waiting for non-blocking write operations.

sched: don't keep prepared fd_set

Instead of copying a prepared fd_set to the fd_set used by select(),
fill it from scratch according to the array of file handlers before each
select() call. This should make the code simpler and save some memory
when other events are supported.

sched: rework file handling API

Replace SCH_*InputFileHandler() functions with more general
SCH_*FileHandler(), where events are specified as a new parameter and
which will later support other file events, e.g. file ready for ouput
and exception.

The file handlers have two new parameters: file descriptor and event.

logging: fix LOG_MESSAGE macro to not use semicolon

doc: update NEWS

doc: update README

doc: add question about reference ID to FAQ

doc: improve chronyc man page

- fix redundant words, word order, articles, consistency, typos
- avoid slashes, contractions, `may`, dashes in running text
- add Oxford commas
- use colon before examples

doc: improve chrony.conf man page

- fix word order, articles, consistency, and some typos
- avoid slashes, contractions, `may`, dashes in running text
- use colons before example and code blocks
- add Oxford commas

client: fix compiler warnings on NetBSD

reference: suppress orphan option in special reference modes

This allows a server that will become the orphan source to initialize
its time with the initstepslew directive from the current orphan source
or its clients.

doc: improve answer in FAQ for firewall issue

examples: update chrony.spec

test: extend 105-ntpauth

ntp: fix definition of minimum and maximum MAC length

The NTP_*_MAC_LENGTH macros didn't include the key ID, which caused the
NTP authentication check to ignore MACs with 512-bit hashes (SHA512,
WHIRLPOOL).

This was broken since update to NTPv4.

doc: update NEWS

make_release: update for changes in documentation

makefile: remove config.h and config.log in distclean

update copyright years

doc: update examples of configuration in isolated networks

doc: fix typo in chronyc man page

doc: update FAQ

ntp: don't check for synchronization loop in special reference modes

If a special reference mode is enabled, always pass the test for
synchronization loop. This allows chronyd using the initstepslew
directive (or the -q/-Q option) to accept time from its own clients
after restart as is documented in the chrony.conf man page.

This was broken since update to NTPv4.

refclock: avoid reallocation of refclock instances

Change the array with refclock instances to store just pointers and
avoid reallocation of the instances. This fixes a bug with the SOCK
refclock, which uses the pointer to the instance in a file handler and
which was invalid when the instance was reallocated (after adding
another refclock).

The bug is from commit d92583ed330f4c1f5f29fc1fc7c01d2a19d12319.

sched: fix handling of signals after finalization

Don't require the scheduler to be initialized in SCH_QuitProgram().
This fixes a crash when a signal is received between scheduler
finalization and chronyd exit.

sources: consider only reachable orphans for selection

Ignore orphan sources that are unreachable (but still have usable stats)
to have a quick and consistent source selection between orphans.

This also fixes the "Unknown local refid in orphan mode" error appearing
when a selected orphan source is removed, as the source is marked as
unreachable and the selection runs with disabled NTP instance before the
source instance is actually removed.

doc: fix typos in man pages

doc: improve answer in FAQ for error 501 Not authorised

doc: use https in links to chrony website

client: initialize variables in new local command

reference: rework activation of local reference

Instead of using a timer for switching the reference to the
unsynchronised state (which activates the local reference), check
if it should be active when returning the reference parameters.

reference: return real sync status in REF_GetReferenceParams()

If local reference is active, return normal leap, but unsynchronised
status. Update the callers of the function to work with the leap
directly and not change their behaviour.

REF_IsLocalActive() is no longer needed.

reference: report same values in tracking command as in NTP

Use REF_GetReferenceParams() in the tracking command to simplify the
code and report the same values as what NTP clients of the server see.

When the local reference mode is active, this changes the leap status to
synchronised and reference time to one second behind current time. When
not synchronised, the root delay and root dispersion are now 1 second.

stubs: add NSR_GetLocalRefid()

cmdmon: extend local command to match local directive

reference: clamp local stratum set from cmdmon

cmdparse: check if stratum in local directive is valid

cmdmon: remove obsolete definition

ntp: ignore order of resolved addresses when replacing tentative source

If the replaced source never had a valid reply (e.g. because it was a
bad replacement), ignore the order of addresses from the resolver to not
get stuck to a pair of addresses if the order doesn't change, or a group
of IPv4/IPv6 addresses if the resolver prefers inaccessible IP family.

ntp: mark all new sources and replacements as tentative

doc: update description of local directive

ntp: don't check reference timestamp in received packets

When ntpd as an NTP server has active orphan mode, it doesn't update
its reference time and the reference timestamp may fail the NTP test
3 and 7. (https://bugs.ntp.org/show_bug.cgi?id=1098)

Remove both checks of the timestamp to allow chronyd to operate as
a client of ntpd server in the orphan mode. When ntpd is fixed and
old versions are no longer used, this may be reverted.

sources: log error when local refid is unknown in orphan mode

test: add 121-orphan

sources: add support for orphan sources

When the local reference is configured with the orphan option, NTP
sources that have stratum equal to the configured local stratum are
considered to be orphans (i.e. serving local time while not being
synchronised with real time) and are excluded from the normal source
selection. Sources with stratum larger than the local stratum are
considered to be directly on indirectly synchronised to an orphan and
are always ignored.

If no selectable source is available and all orphan sources have
reference IDs larger than the local ID, no source will be selected and
the local reference mode will be activated at some point, i.e. this host
will become an orphan. Otherwise, the orphan source with the smallest
reference ID will be selected. This ensures a group of servers polling
each other (with the same orphan configuration) which have no external
source can settle down to a state where only one server is serving its
local unsychronised time and others are synchronised to it.

reference: add orphan mode to local reference

Add orphan option to the local directive. It will enable an orphan mode
compatible with ntpd.

reference: activate local reference with large root distance

Since the update to NTPv4, when the clock is in the synchronised state
and the clock updates stop (e.g. sources become unreachable), it doesn't
switch to the unsynchronised state and the local reference is never
activate. This can be a problem for clients that rely on the server to
always have root distance below some value (e.g. chronyd's maxdistance).

Add a timer that will activate the local reference when the root
distance reaches a specified threshold. It can be configured with the
distance option in the local directive (by default 1.0 second).

conf: rework local directive to have default stratum

Allow the local directive to be specified without the stratum field.
It's an option now, with default value 10. Also, move the parsing code
to cmdparse.c to make it available to the client.

ntp: add function to get local reference ID

When a valid NTP reply is received, save the local address (e.g. from
IP_PKTINFO), so the reference ID which would the source use for this
host can be calculated when needed.

sys_linux: include <termios.h> for TCGETS

local: make maximum frequency offset configurable

Add maxdrift directive to set the maximum assumed drift of the clock,
which sets the maximum frequency offset chronyd is allowed to use to
to correct the drift.

sources: try to replace NTP sources with bad distance

Similarly to unreachable sources and falsetickers, try to replace
sources with distance larger than the limit set by the maxdistance
directive with a newly resolved address of the hostname.

client: ignore -v option in csv mode

util: fix UTI_FloatNetworkToHost() with very small exponents

Fix conversion of floating point numbers from the cmdmon format with
very small exponents, as for instance could be in the smoothing report
when the smoothing process ends.

This was broken in commit 8e71a46173afe01e11620980a1c7c028d7fd048f.

client: add CSV output mode

Add a new option (-c) to chronyc to enable printing of reports in a
column-separated values (CSV) format. IP addresses will not be resolved
to hostnames, time will be printed as number of seconds since the epoch
and values in seconds will not be converted to other units.

client: rework printing of reports

Add a new printf-like function to allow printing of all fields at once
and rework all commands which print a report to use it. Add functions
for printing of headers and information fields, and formatting of IP
addresses and reference IDs.

util: randomize hashing of IP addresses

Include a random (constant) value in the hash in UTI_IPToHash() to
randomize the order in which NTP sources are stored in the hash table
and polled on start. This change also randomizes the order of clientlog
records.

test: make 105-ntpauth more reliable

makefile: add distclean target to test/unit/Makefile

makefile: remove Makefile in doc/Makefile on distclean

ntp: improve error messages for socket options

cmdmon: extend initialization checks

Move the message size checks to a separate function and check also
header size in the command request and reply to catch incompatible
changes.

rewrite assertions with very long messages

client: add reselectdist to help text

git: update .gitignore

doc: convert manual from Texinfo to AsciiDoc

Split and convert the manual into four AsciiDoc documents, a document
about installation and three documents in the manpage type for
chrony.conf, chronyd and chronyc. The minimal man pages that were
maintained separately from the manual are replaced by full man pages
generated from AsciiDoc. Info files will no longer be provided.

Some parts of the manual are rewritten, updated or trimmed. The
introduction chapter is partially merged with README. The chapter about
typical operating scenarios is included in the chrony.conf man page.

doc: update installation instructions

doc: improve description of trust option

test/unit: add sources unit test

test/unit: include microseconds in default random seed