doc: cleanup

Merge remote-tracking branch 'origin/stubmode'

modules/tinyweb: simplified without channels

lib: cleanup unused variable

daemon: cleanup rr scanning

daemon: use writemap to work around latency when busy

modules/tinyweb: added favicon

lib/rrcache: handle qname/cname traversal when it fails

lib/resolve: do not do root priming in hotpath

refs #16

daemon: fixed race condition when canceling one event multiple times

build: removed libknot vercheck, .pc fail with this

dnssec/signature: fixed cid#131821

dnssec/nsec3: fixed cid#131822 and cid#131820

doc: added known packaged dependencies (incomplete)

build: added pkg-config version requirements to Makefile

modules/policy+view: new policy.FORWARD(dst) and policy.all matching rule

this is Unbound's 'forward-zone' on steroids

lib/resolve: stub resolution with predefined address

the library is able to resolve query in stub mode (no referral chasing,
zone cut lookup) if asked to
validator turns off for stub queries, validating stub is NYI

lib/nsrep: force resolution with given NS address

lib/validate: fixed NODATA proof when synthesised from * ENT

thanks to Pieter Lexis and Peter van Dijk from PowerDNS for discovering this.

dnssec/nsec: removed a bunch of dead/cruft code, added comments

dnssec/nsec: fixed name non-existence check

the RFC4035 M < S < N stands if the S isn’t after the last name in the zone, this is indicated by M > N, proving that the next of the last name is the first name; if the S is after M, then it proves it’s non-existence

thanks to Pieter Lexis and Peter van Dijk from PowerDNS for discovering this!

daemon/lua: qry:resolved() and qry:final()

resolved() returns true if current query is resolved (i.e. authoritative)
final() returns true if current query is resolved and is not a subrequest (has no parent)

modules/dns64: introduced module

daemon/lua: kr_query_t.name() includes last root label

daemon/lua: str2ip conversion function

lib: request holds authority/additional RRs for finalization

as the libknot packet interface disallows out-of-order packet
writes, authority and additional records must be written after
the answer is complete; records in the rr arrays will be written to final answer during finalization

lib/cache: noted that rank is limited to 6 bits

modules/tinyweb: border thickness

modules/tinyweb: zoomable

modules/tinyweb: population quantile for bracketing

this yields much better contrast in this situation, where
one country overshadows the rest on a linear scale

modules/tinyweb: units, colouring

modules/tinyweb: feed exports country code as well

modules/tinyweb: added legend, fill bracketing, updated map visualization

lib/resolve: consider only distance between cut-nonterm

modules/tinyweb: improved axes on stats plot

modules/tinyweb: updated Epoch to 0.8.3 (bugfixes)

lib/resolve: minim=off when there is NODATA between cached target/cut

when resolver finds a zone cut from cache, it checks whether there is an empty non-terminal between target QNAME and cached zone cut.
this is indicated by presence of NODATA/NXDOMAIN in packet cache.
if it finds one, it turns off qname minimisation and continues,
this saves one query for empty non-term zones like ‘co.jp’

caveat: only direct child of the cut can be considered (e.g. ‘co.jp’ for ‘jp’), otherwise we would leak information to parent if the zone cut fell out of cache and NODATA existed

lib/cache: more granular control for rank check on insertion

for pktcache same or better rank is required (because it’s a direct answer)
for rrcache better rank is required (unless doing write-through)

for both cases, no cache rank check is needed when inserting secure data

security note: this mitigates possible non-auth NS hijacking

lib/zonecut: shuffle root NS list to lower a.root preference

reason: a root gives consistently unpredictable performance, which
we cannot take into consideration for the first start. j,k roots
moved to the front as they're everywhere and less loaded than a
swamped with requests from legacy tools

doc: modules/tinyweb

build: allow Go 1.5 (without .0)

iterator+rrcache: do not follow CNAME chains (if not DNSSEC-secured)

[1] shows an attack using spoofed CNAME targets to replace legitimate
entries in resolver cache by speeding up once-per-TTL attack opportunity

as a defense, the resolver almost always requeries CNAME targets and
doesn't store them in cache. the only exception is when the CNAME target
is within current authority, and the answer is DNSSEC-secured

thanks to Toshinori Maeno (@beyondDNS) for pointing this out [2]

[1]: https://tools.ietf.org/id/draft-weaver-dnsext-comprehensive-
resolver-00.html
[2]: https://moin.qmail.jp/DNS/KnotResolver/CNAMEpatch

doc: fixed correct README path

modules/tinyweb: added easing on the map contrast

modules/tinyweb: Go-based module with an embedded web interface

lib/utils: added convenience API for calling module props

daemon: register props even with just config

modules: support for modules in Go (needs golang 1.5+)

lib/validate: fixed DS proof check in some cases

when the DS NODATA was proved from a different authority

daemon/lua: use knot_pkt_section to work around ABI breakage at libknot 297a1c89

daemon: fixed default confval

build: report patchversion

Merge branch 'resumable-layers'

daemon: -c to set config file outside of rundir

modules/hints: generate PTR records as well

in case the address matches multiple names, the lexicographically first domain name is returned

meaning
\5host1\3com is after \5host1\2cz
\5host2 is after \5host1
\3aaa is after \2zz

daemon: precedence operators {‘<‘, ‘>’} for modules

daemon/engine: fixed serialization of nested tables

lib/rplan: can now access resolved queries

modules/graphite: ignore when config is empty

modules/cachectl: do not clear private namespaces

daemon/worker: fixed memleak after merge

lib/rrcache: accept answers to minimised names

build: PUC-Rio Lua now deprecated, LuaJIT mandatory for daemon

Merge branch 'resumable-layers'

doc: documented Lua FFI APIs

lib/validate: enabled YIELD, fixed validator (partially)

validator can now yield, but it doesn't plan the sub-requests directly,
that is still a job of the driver

lib/resolve: yielded layers can resume with the same parameters

this caters a use case when a layer needs to issue subrequests before
continuing, so it yields. when the subrequests finish, the layer is
resumed with the same parameters and input

todo: fix validator, that shifted most of the processing to driver

daemon/lua: api to manipulate resolution plan

lib: new state 'YIELD', layers can interrupt processing with it

this is useful when you need to issue several subrequests before
continuing with the current query, resuming is not supported yet, so it
will requery after the subrequests complete

lib: layers can now push additional queries freely

current processed query is always in `request->current_query`

build: fixed lua embedding on NetBSD

thanks to johan ihren

lib/pktcache: improved ranking of cached pkts

when no validation is attempted, trust level is 'bad'
when validation attempted but insecure, trust level is 'insecure'
otherwise 'secure'

lib/pktcache: fixed too strict pktcache (no minimised nodata)

minimised nodata/nxdomain can now be cached if it is
authoritative. also pkt/sec cache are now shared using
the ‘rank’ field to replace insecure version with secure
if needed

lib/cache: properly cache meta types and RRSIG queries

lib/iterate: detect trust chain before writing to packet

this is a workaround for missing DEFER operation, as the
validator module can only detect trust chain breakage
(caused by answering from different authority) after the
iterator writes answer. this causes duplicated answer on
uncached queries

tests: added test to fetch DNSKEY from PC auth

tests: reparse expected message to merge RRs

lib/validated: fixed fetching of DNSKEY when NS is auth for p-c

this doesn’t fix record duplication in answer when not answered from cache

lib/resolve: eliminated some redundant DNSKEY fetches

lib/dnssec: fixed bad nsec bitmap check

missing boundary checking and bad offset calculation

todo:
the code presumes little endian, didn’t get to  fix that

lib/zonecut: fixed lengths of IPv6 root hints

daemon/io: reassemble DNS/TCP message fragments

lib/resolve: better processing for RD=0 or ANY

if the query has RD=0 or is ANY, only cache is probed
for ANY, only A/AAAA/MX is checked and no query is
forwarded to the authoritatives

lib/validate: want dnssec for cached cname chains

doc: documented resolve()

daemon: change user privileges

daemon/lua: use default config after the config is processed

i.e. if the user doesn't set the cache, it will be applied later
if he sets it, it will stay

daemon/network: check port as well when binding to interface

daemon/worker: cherry-picked refcounting for worker tasks

this is going to be needed for issuing multiple timed queries + fast
retry

daemon/network: fixed early free with async close

doc: update

lib: bumped default payload

daemon: `net.ipv{4,6} = true|false`

effectively enables/disables usage of given IP protocol
for subrequests (the server can still listen on these)

daemon/worker: respect larger OPT payload when configured

lib/zonecut: added new H root addrs + ipv6s

lib/validate: do not revalidate nodata/nxdomain proofs

lib/rrcache: respect RANK_INSECURE when fetching answers

if the answer is flagged as insecure, it means that the resolver tried
to validate it, but couldn't (e.g. trust chain doesn't exist)

lib/cache: check entry rank and TTD before overwriting it

lib/cache: updated API to insert/retrieve entry rank

lib/rrmap: added record map ranking