build: more checks for travis builds

daemon/worker: deduplicate inbound queries

many clients do frequent retransmits of the query
to avoid network losses and get better service,
but then fail to work properly when a resolver
answers SERVFAIL to some of them because of the
time limit and some of them NOERROR.
it's also a good idea to avoid wasting time
tracking pending tasks to solve the same thing.

Allow Go modules on more architectures

daemon: do not modify task for outgoing queries

if the upstream TCP query timeouted or the connection
was severed, it would dissociate the handle from
original query, so the query would be solved
but the requestor wouldn't see the answer unless
he requeried

daemon: fix statistics for outgoing TCPs

daemon: renamed is_subreq -> outgoing

Merge branch 'ref_serv' into 'master'

Additional processing for REFUSED & SERVFAIL rcodes

See merge request !22

lib: cleanup servfail soft-fails

* simplified soft-fail per-ns limit to per-query
  limit, each query gets 4 tries at resolving
* instead of locking at single servfailing NS,
  penalise it and run reelection, this may or
  may not try other servers but avoids pathologic
  case when single NS is servfailing while others
  are good but never probed
* added new nsrep update mode (addition)

lib/resolve,layer/iterate: processing for REFUSED & SERVFAIL rcodes

tests/tests.mk: fails if deckard/contrib/libswrap/obj directory already exists

tests/deckard: sync to master

Merge branch 'tcp-ooo'

lib/validate: fixed memory bug

this code used memory pool of source packet instead
of the answer, this could result in invalidated
memory read if the memory occupied by source
packet was rewritten

daemon: out-of-order processing for TCP

* daemon now processes messages over TCP stream
out-of-order and concurrently
* support for TCP_DEFER_ACCEPT
* support for TCP Fast-Open
* there are now deadlines for TCP for idle/slow
streams (to prevent slowloris; pruning)
* there is now per-request limit on timeouts
(each request is allowed 4 timeouts before bailing)
* faster request closing, unified retry/timeout timers
* rare race condition in timer closing fixed

daemon: mode(strict|normal|permissive)

the daemon has now three modes of strictness
checking from strict to permissive.
it reflects the tradeoff between resolving the
query in as few steps as possible and security
for insecure zones

policy: warn when NYI action

engine: clear bad scorers from RTT every 5 minutes

an internal timer walks RTT timer periodically and
clears entries with bad results every 5 minutes.
this means that a timeouted entry penalty is
capped to that interval, making sure that the
bad reputation doesn't last forever

engine: throttle outbound queries only when busy

resolver will always attempt to contact upstreams
known to be bad if it's not busy.
this fixes a problem on low-volume resolvers
where a short connection outage could make
resolvers deny resolving queries even after the
connection is restored

build: no fortify when address sanitizer

updated deckard

Revert "lib/dnssec: nsec, nsec3 (no-optout) referrals to unsigned subzones"

This reverts commit f9ffeca9cc7382b8ed24217bfab1d0f34a51bd7a.

lib/iterate: QUERY_PERMISSIVE mode

in permissive mode, resolver is free to use
(but not cache) non-mandatory glue records even
if they're not resolvable. this is great as a
workaround for broken child-side zones, but
not great for security of, well, insecure
delegations. it's off by default.

tests: cache test fixed

remove asprintf warnings

added surmised C indentation rules for emacs users

fix comment

tests: updated deckard

layer/rrcache: record cache miss avoided for wcard answers

lib/cache: flags field was added to cache entry header

dnssec: wildcard answer proof

lib/layer: CNAME chain construction improvement

lib/dnssec: nsec, nsec3 (no-optout) referrals to unsigned subzones

dnssec/nsec: lookup for rset type withinin nsec3 type bitmap; minor bug fixed

doc: fixes, added `second` and `min` aliases

Merge branch 'PaulosV-PaulosV-patch-1-readme-docker'

Merge branch 'PaulosV-patch-1-readme-docker' of https://github.com/PaulosV/knot-resolver into PaulosV-PaulosV-patch-1-readme-docker

Merge branch 'thozza-daemon-doc-typo'

Merge branch 'daemon-doc-typo' of https://github.com/thozza/knot-resolver into thozza-daemon-doc-typo

Merge branch 'rfc5011-clearing'

trust_anchors: added custom timers, limit history

new trust anchors variables:
* trust_anchors.hold_down_time = 30 * day
* trust_anchors.refresh_time = nil
* trust_anchors.keep_removed = 0

these could be used to control how often should
root trust anchors be checked and how many removed
keys should be kept in log (0 by default)

Fixed typo in daemon documentation

Signed-off-by: Tomas Hozza <thozza@redhat.com>

doc: update

Add fix missing -m in the install command

Create mandir first before install manpage

Merge branch '1.0.0'

Merge branch 'supervisor'

version bump, added kresd(8) man, updated doc

daemon: systemd socket activation

addition to previous generic socket activation

fixes #11

daemon: support running in supervised mode (--fd=X)

daemon can accept existing fds on command line,
thus supporting process managers like circus or
upstart. a tiny supervisor script is attached

lib/resolve: worked around bug with multiple TAs

build: bumped version to 1.0.0-beta4

Merge branch 'better-rtt-tracking'

Merge branch 'set-adbit-when-secure' into better-rtt-tracking

lib/resolve: set AD=1 when client asks with it and secure

daemon: track case when all upstreams fail

previously full timeout led to reset of the evaluated
address list and no upstream server was penalised
for not answering the query, this penalises all of
tried servers with TIMEOUT

Use Knot DNS 2.1.1 instead of Knot DNS 2.1.0-rc1

Merge branch 'ent-wc-fix' into 'master'

Fixed nsec3 proof validation with opt-out below wildcard

See merge request !17

lib/cache;lib/dnssec;lib/layer: some issues were fixed

modules/graphite: updated doc

modules/graphite: support for Graphite/TCP

graphite module now supports sending over TCP,
if the connection is severed it will attempt to
reconnect periodically. the stats module is now
optional, if not loaded only core built-in stats
will be transmitted

Fix 'bogus proof of DS non-existence' for non-existant DS records in the cache

lib/cache: kr_cache_clear() fixed

Fix 'bogus proof of DS non-existence' for non-existant DS records in the cache

dnssec/nsec3: some clarifications were made in comments

dnssec/nsec3: missed kr_error() fixed

nsec3: rfc5155 errata 3114 8.5 was implemented

lib/validate: scrubbed extra rrs in NS were checked

the validator module should ignore any data that
will be scrubbed, that includes non-authoritative
data outside current bailiwick. previously,
validator attempted to ignore these records only
for answer section and had a special case for NS
records.

cache: non-authoritative NS records are always
unchecked and must be treated as insecure

affected: www.iana.org trying to provide
delegation information for CNAME target, which is
moot with CNAME target explicit-fetch policy unless
the the resolver already knows DNSKEY with which
is could verify the records

doc: changes in dnssec

daemon/trust_anchors: accept DS in root keys

kresd accepts DS records in root keys if provided,
it will eventually replace them with DNSKEY in
automatic mode

build: enabled -ld for Linux

daemon/config: bind to v4 and v6 loopback separately

build: fixed too early CFLAGS expansion

doc: fixed broken breathe mistaking define for func

breathe failed to process the typedef thinking
the macro expansion was a function pointer

scripts/tools: updated doc, timers

daemon/worker: updated doc, worker.timeout metric

scripts/kresd-host: name alias handling

scripts/kresd-host: ignore other types in answer

lib/dnssec: new nsec3 test, cleanup

layer/validate: fixed NSEC nodata in some cases

updated tests

scripts: 'host' utility alternative in scripts

the utility supports most of the 'unbound-host'
functionality except PTR records

daemon/lua: rrset printing, new flags

this is a temporary change until luajit-kdns is
merged-in with complete functionality,
this will break the API later and will require a
couple changes in several modules and trust anchors

scripts: kresd-query.lua (new)

this is a boilerplate for a CLI utility to resolve
names and execute script on query response
in another words, "a jq for resolver answers"

this is a scaffolding for alternative tools like
'host' or a plug-in part for scripting around it.

it basically starts a kresd instance, but doesn't
bind to any interface or read configuration,
then a query + callback is sent to kresd standard
input, and it quits after the execution

daemon/trust_anchors: faster TA bootstrap refetch

when boostrapping root TA, the DNSKEYs are updated
immediately after retrieving DS from the side channel

daemon/lua: kres can see request zone cut (part)

a part of the zone cut is visible from Lua world:
- zone cut name (dname)
- trust anchor (rrset)
- current key (rrset)

lib/resolve: new flag ALWAYS_CUT

when raised, a response zone cut will be recovered
even if the response came from cache. this is
normally not needed (and incurs additional cache
lookups), but it may be useful for
inspection

daemon: "-c -" doesn't ready any configuration

this includes default configuration, resolver
starts completely blank

daemon: resolve callback has request as well

the second parameter to resolve() callback function
is request (kres.request_t), so the caller can
look into request stats, timing and zone cut data

daemon: -q for quiet mode, deferred TA update

the quiet mode doesn't print neither intro messages nor prompt
in the interactive mode, which makes it useful for scripted usage

daemon/trust_anchors: fixed root key fetch

tests/deckard: synced to master

Merge branch 'deck_test'

tests: sync deckard; lib\iterate: sync to master

lib/iterate: ignore out-of-bailiwick NSs for positive answers

there are broken resolution chains where a zone cut is advertised,
but it doesn't exist and the final NS answers from its parent's
zone cut, which is an attempt to escape bailiwick

example:

resolving A ab.cd.ef
NS ef responds:
 - ab.cd.ef NS X ; adverises ab.cd.ef zone cut
X responds:
 - A ab.cd.ef A 1.2.3.4
 - cd.ef NS X ; escapes previously advertised cut

on the other hand, it is important to fail early for referrals as
it signifies a lame answer

lib/iterate: ignore out-of-bailiwick NSs for positive answers

there are broken resolution chains where a zone cut is advertised,
but it doesn't exist and the final NS answers from its parent's
zone cut, which is an attempt to escape bailiwick

example:

resolving A ab.cd.ef
NS ef responds:
 - ab.cd.ef NS X ; adverises ab.cd.ef zone cut
X responds:
 - A ab.cd.ef A 1.2.3.4
 - cd.ef NS X ; escapes previously advertised cut

on the other hand, it is important to fail early for referrals as
it signifies a lame answer

lib/dnssec: wrong prepend_asterisk() usage was fixed, cleanup

tests/deckard: sync to master

lib/dnssec: nsec3.c, wrong prepend_asterisk() usage was fixed

Updated README.md Docker info - fix URL

Updated README.md Docker info

Updated Docker run command, because without -it (interactive) switch, kresd would freeze upon startup on [system] interactive mode. That may as well be a defect, but adding -it helps in all cases.
Also updated the URL to the correct address (you'd get redirected automatically, but still).

deckard: sync to master