sources: add support for orphan sources

When the local reference is configured with the orphan option, NTP
sources that have stratum equal to the configured local stratum are
considered to be orphans (i.e. serving local time while not being
synchronised with real time) and are excluded from the normal source
selection. Sources with stratum larger than the local stratum are
considered to be directly on indirectly synchronised to an orphan and
are always ignored.

If no selectable source is available and all orphan sources have
reference IDs larger than the local ID, no source will be selected and
the local reference mode will be activated at some point, i.e. this host
will become an orphan. Otherwise, the orphan source with the smallest
reference ID will be selected. This ensures a group of servers polling
each other (with the same orphan configuration) which have no external
source can settle down to a state where only one server is serving its
local unsychronised time and others are synchronised to it.

reference: add orphan mode to local reference

Add orphan option to the local directive. It will enable an orphan mode
compatible with ntpd.

reference: activate local reference with large root distance

Since the update to NTPv4, when the clock is in the synchronised state
and the clock updates stop (e.g. sources become unreachable), it doesn't
switch to the unsynchronised state and the local reference is never
activate. This can be a problem for clients that rely on the server to
always have root distance below some value (e.g. chronyd's maxdistance).

Add a timer that will activate the local reference when the root
distance reaches a specified threshold. It can be configured with the
distance option in the local directive (by default 1.0 second).

conf: rework local directive to have default stratum

Allow the local directive to be specified without the stratum field.
It's an option now, with default value 10. Also, move the parsing code
to cmdparse.c to make it available to the client.

ntp: add function to get local reference ID

When a valid NTP reply is received, save the local address (e.g. from
IP_PKTINFO), so the reference ID which would the source use for this
host can be calculated when needed.

sys_linux: include <termios.h> for TCGETS

local: make maximum frequency offset configurable

Add maxdrift directive to set the maximum assumed drift of the clock,
which sets the maximum frequency offset chronyd is allowed to use to
to correct the drift.

sources: try to replace NTP sources with bad distance

Similarly to unreachable sources and falsetickers, try to replace
sources with distance larger than the limit set by the maxdistance
directive with a newly resolved address of the hostname.

client: ignore -v option in csv mode

util: fix UTI_FloatNetworkToHost() with very small exponents

Fix conversion of floating point numbers from the cmdmon format with
very small exponents, as for instance could be in the smoothing report
when the smoothing process ends.

This was broken in commit 8e71a46173afe01e11620980a1c7c028d7fd048f.

client: add CSV output mode

Add a new option (-c) to chronyc to enable printing of reports in a
column-separated values (CSV) format. IP addresses will not be resolved
to hostnames, time will be printed as number of seconds since the epoch
and values in seconds will not be converted to other units.

client: rework printing of reports

Add a new printf-like function to allow printing of all fields at once
and rework all commands which print a report to use it. Add functions
for printing of headers and information fields, and formatting of IP
addresses and reference IDs.

util: randomize hashing of IP addresses

Include a random (constant) value in the hash in UTI_IPToHash() to
randomize the order in which NTP sources are stored in the hash table
and polled on start. This change also randomizes the order of clientlog
records.

test: make 105-ntpauth more reliable

makefile: add distclean target to test/unit/Makefile

makefile: remove Makefile in doc/Makefile on distclean

ntp: improve error messages for socket options

cmdmon: extend initialization checks

Move the message size checks to a separate function and check also
header size in the command request and reply to catch incompatible
changes.

rewrite assertions with very long messages

client: add reselectdist to help text

git: update .gitignore

doc: convert manual from Texinfo to AsciiDoc

Split and convert the manual into four AsciiDoc documents, a document
about installation and three documents in the manpage type for
chrony.conf, chronyd and chronyc. The minimal man pages that were
maintained separately from the manual are replaced by full man pages
generated from AsciiDoc. Info files will no longer be provided.

Some parts of the manual are rewritten, updated or trimmed. The
introduction chapter is partially merged with README. The chapter about
typical operating scenarios is included in the chrony.conf man page.

doc: update installation instructions

doc: improve description of trust option

test/unit: add sources unit test

test/unit: include microseconds in default random seed

test/unit: add more helper functions

test/unit: follow chrony function naming convention

test: add ntp_sources unit test

test: add clientlog unit test

addrfilt: remove TEST code

A test of the address filter is now included in unit tests.

test: add addrfilt unit test

test: specify files with path in source commands

This should prevent sourcing of an unrelated file found in $PATH.

test: don't download files in tests

Remove automatic download and compilation of clknetsim. If clknetsim is
not found, skip all simulation tests, but don't fail "make check".
Also, respect the CLKNETSIM_PATH environment variable.

git: update .gitignore

test: add support for unit testing

update NEWS

update README

update copyright years

ntp: optimize resizing of hash table with sources

sys_generic: use privops for settimeofday()

This is needed on FreeBSD and Solaris when running without root
privileges.

clientlog: fix warning reported by static analyzer

client: fix format specifiers in client report

This was missing in commit 861ac013bcc54fa7b3c92cc4b43a8e2071885907.

cmdmon: update protocol changelog

cmdmon: define new types for CLIENT_ACCESSES_BY_INDEX command

There was an incompatible change in the client access report. To avoid
bumping the protocol version drop support for the original request/reply
types and define new CLIENT_ACCESSES_BY_INDEX2 types as a newer version
of the command.

cmdmon: allow unhandled commands

Replace the assert() with a debug message to not crash if someone
forgets to implement a newly defined command.

cmdmon: reply to invalid commands

If an unknown command is received (e.g. from a future client), it should
get a reply and print an error code instead of timing out.

cmdmon: update debug messages

cmdmon: use 32-bit fields in client access report

The clientlog record still uses 16-bit integers to count dropped
packets, but this will avoid an incompatible change in the command
reply if there will be a need to count more than 2^16 drops.

clientlog: don't allow rate limiting with noclientlog

doc: update description of clients command

doc: describe rate limiting directives

examples: update for recent changes

doc: update keyfile description

conf: set logchange to 1 second by default

logchange is now always enabled, with 1 second threshold by default.

client: generate key 1 by default in keygen command

keys: warn about short key only if used by source

After restricting authentication of servers and peers to the specified
key, a short key in the key file is a security problem from the client's
point of view only if it's specified for a source.

pktlength: fix compiler warning on Mac OS X

cmdmon: extend initialisation tests

pktlength: rework code to use tables

client: add serverstats command

cmdmon: add serverstats command

Add a new command to obtain a server report with the new clientlog
statistics.

clientlog: count total number of hits and drops

Count total number of NTP and command hits. Count also number of log
records that were replaced when the hash table couldn't be resized due
to the memory limit.

Merge branch '2.2-security'

doc: update NEWS

test: extend 105-ntpauth to test symmetric mode

test: allow setting options for each peer side separately

ntp: restrict authentication of server/peer to specified key

When a server/peer was specified with a key number to enable
authentication with a symmetric key, packets received from the
server/peer were accepted if they were authenticated with any of
the keys contained in the key file and not just the specified key.

This allowed an attacker who knew one key of a client/peer to modify
packets from its servers/peers that were authenticated with other
keys in a man-in-the-middle (MITM) attack. For example, in a network
where each NTP association had a separate key and all hosts had only
keys they needed, a client of a server could not attack other clients
of the server, but it could attack the server and also attack its own
clients (i.e. modify packets from other servers).

To not allow the server/peer to be authenticated with other keys
extend the authentication test to check if the key ID in the received
packet is equal to the configured key number. As a consequence, it's
no longer possible to authenticate two peers to each other with two
different keys, both peers have to be configured to use the same key.

This issue was discovered by Matt Street of Cisco ASIG.

privops: reload DNS configuration

The helper process needs to call res_init() before DNS_Name2IPAddress()
in order to see changes in resolv.conf.

client: improve waitsync help text

client: add keygen command

Add a new command that will generate a random key from /dev/urandom with
given ID, hash function and length.

util: add UTI_GetRandomBytesUrandom()

This function always uses /dev/urandom, even if arc4random() is
available, and is intended for generating long-term keys.

keys: warn when loaded key is shorter than 80 bits

Consider 80 bits as the absolute minimum for a secure symmetric key.  If
a loaded key is shorter, send a warning to the system log to encourage
the admin to replace it with a longer key.

sys_linux: use privops helper when running with seccomp filter

Enable the PRV_Name2IPAddress() function with seccomp support and start
the helper process before loading the seccomp filter (but after dropping
root privileges). This will move the getaddrinfo() call outside the
seccomp filter and should make it more reliable as the list of required
system calls won't depend on what glibc NSS modules are used on the
system.

privops: add support for privileged DNS_Name2IPAddress()

nameserv: return at most 16 addresses from DNS_Name2IPAddress()

This is the same limit as in the asynchronous resolver. Use common macro
for all buffers storing IP addresses.

test: don't check packet intervals in 009-sourceselection

Since commit 8b235297, which changed address hashing, the first packet
is not sent to the first server and doesn't have the extra delay. If the
last packet is sent to the first server, the mean outgoing interval will
be significantly longer than the incoming interval and the check will
fail.

test: add 120-selectoptions

sources: add require option

Require that at least one of the sources specified with this option is
selectable (i.e. recently reachable and not a falseticker) before
updating the clock. Together with the trust option this may be useful to
allow a trusted, but not very precise, reference clock or a trusted
authenticated NTP source to be safely combined with unauthenticated NTP
sources in order to improve the accuracy of the clock. They can be
selected and used for synchronization only if they agree with the
trusted and required source.

sources: add trust option

Assume time from a source that is specified with the trust option is
always true.  It can't be rejected as falseticker in the source
selection if sources that are specified without this option don't agree
with it.

sources: turn select options into flags

This will allow adding new options for source selection which can be
combined with others.

sources: fix formatting of selection intervals in comment

It was mangled in commit 6f84d2fac16cb57a1bf3accf4ea211811b0abfab.

refclock: ignore samples with unsynchronised leap status

refclock: describe fields in SOCK sample

fix undefined shift operations on signed integers

conf: update default ratelimit configuration

clientlog: use token buckets for response rate limiting

Replace thresholds that activated rate limiting with token buckets.
Response rate limiting is now not just active or inactive, the interval
and burst options directly control the response rate.

clientlog: refactor updating of record data

doc: update description of -u option and user directive

sys_linux: keep CAP_NET_BIND_SERVICE only if NTP port can be opened

If port is set to 0 in the config file, the server port cannot be opened
and there is no point in keeping the binding capability.

sys: remove unused code

sys_solaris: add support for dropping root privileges

On Solaris, use the privops helper for the ntp_adjtime(),
settimeofday(), and bind() system calls.

sys_solaris: fix building with current timex driver

The SYS_Timex_InitialiseWithFunctions() call in the Solaris driver
wasn't updated in commit d6fdae5f1d133026f48b434dcd24ceb70dc30e63.

sys_netbsd: add support for dropping root privileges on FreeBSD

On FreeBSD, use the privops helper for the adjtime(), ntp_adjtime(),
settimeofday(), and bind() system calls.

sys_timex: add support for ntp_adjtime() via privops

privops: add support for privileged ntp_adjtime()

sys_timex: move inclusion of sys/timex.h to sysincl.h

It will be needed by privops.

privops: ignore signals in helper

If the whole process group receives a signal (e.g. CTRL-C in terminal),
the helper process needs to keep running until it gets the QUIT request,
so the system drivers can still use it in their finalisation, e.g. to
cancel remaining slew.

privops: compile only required helper functions

privops: return from PRV functions with helper response code

In receive_reponse() don't interpret return codes in helper responses as
a non-zero value may not necessarily mean an error. Just copy errno if
it's not zero and let PRV_* functions deal with the return code.