Merge branch 'master' into ad-refactor

Merge !250: lib/nsrep: fix ip6 cycle

kresd doesn't try all NS during resolving www.fastly.com when operates
in ipv6-only network.  This fix changes reputation cache behavior
in order to avoid NS address resolving retry in the case the first
attempt is failed both for ip4 & ip6.

lib/nsrep: don't treat servers with NOIP4 + NOIP6 flags as timeouted

WIP: drafting rank refactoring

Merge !240: trust anchors: support non-root TAs, one domain per file

use a different mechanism for AD flag

To make this work, do not use KR_VLDRANK_SECURE as the default value.
It's just too dangerous, and here it complicated determining the
appropriate value for the AD flag.

Merge !241: policy.DENY: set AA flag and clear AD flag

Merge branch 'mode-examples' into 'master'

config docs: add examples to mode()

See merge request !245

Merge branch 'master' and update deckard

We need this to fix the tests.

resolve answer_finalize(): check knot_pkt_put errors

config docs: add examples to mode()

Improved by comments from Petr.

Merge branch 'better-help-text' into 'master'

Auto-generate numeric limits and defaults in help text.

See merge request !248

Auto-generate numeric limits and defaults in help text.

Merge branch 'better-padding-default' into 'master'

Improve default padding of responses.

See merge request !247

Improve default padding of responses.

At NDSS 2017's DNS privacy workshop, I presented an empirical study of
DNS padding policies:

https://www.internetsociety.org/events/ndss-symposium/ndss-symposium-2017/dns-privacy-workshop-2017-programme#session3

The slide deck is here:
https://dns.cmrg.net/ndss2017-dprive-empirical-DNS-traffic-size.pdf

The resulting recommendation from the research is that a simple
padding policy is relatively cheap and still protective of metadata
when DNS traffic is encrypted:

 * queries should be padded to a multiple of 128 octets
 * responses should be padded to a multiple of 468 octets

This change adjusts the default policy to match these recommendations.

I recently proposed a similar change to libknot to define a standard
policy in a centralized place:

https://gitlab.labs.nic.cz/labs/knot/merge_requests/692

I'll submit a followup request to make use of that centralized policy
(once kresd is willing to depend on a newer version of libknot), but
please consider this proposed change first.

Merge branch !246: lib/resolve: avoid unnecessary DS queries

Merge !244: dnssec/nsec: validate wildcard no-data answers

Merge !243: don't set AD flag for opt-out wildcard answers

lib/resolve: avoid unnecessary DS queries

dnssec/nsec: missed wildcard no-data answers validation has been implemented

test/deckard: update to actual version

Merge !242: kr_bitcmp: shut up a warning

layer/validate: check if NSEC3 records in wildcard expansion proof has an optout

kr_bitcmp: shut up a warning

Merge !239: check if iterator has not selected any records

layer/iterate: nitpick - better variable name

policy.DENY: set AA flag and clear AD flag

I see no sane way to set the flags from lua, so I made a C function.

lua bindings: regenerate query flags

Merge !234: kr_bitcmp: adjust semantics -> memcmp

view docs: add example matching all addresses

This started working since the grandparent commit.  Suggested at
https://gitter.im/CZ-NIC/knot-resolver?at=58ca5a03f7f7d48104212607

kr_bitcmp: add meaning to NULL inputs

Reasoning: we currently only use the function from lua modules and nil
values are very common there; I want to pick these changes to a bugfix
update without extensive checking whether the modules might pass
invalid input if user passes invalid config and thus introduce new
crashes.  The checks also seem cheap performance-wise.

kr_bitcmp: adjust semantics -> memcmp

Motivation: allow bits=0 and consequently 0.0.0.0/0 matches in view
and renumber modules.
https://gitter.im/CZ-NIC/knot-resolver?at=58c940c721d548df2cdfda5e

We shouldn't mix up error codes with valid results from memcmp;
let's just segfault if someone passes a NULL, just as memcmp() itself.

layer/validate: better debug message

trust anchors: support non-root TAs, one domain per file

function `add_file` is added as an alias to `config`,
but otherwise the interface is almost identical.

trust anchors: just move the code around

- update() had nothing to do in the public interface
- config() implementation moved out of the definition of the main table

resolve.c trust_chain_check: fix nested trust anchors

We have to update the RR with the TA even when transitioning from one
(positive) TA to another, e.g. if one adds both root and non-root TA(s).

Merge !233: trust anchors: store in prettier format

Closes #167.

Merge !236: worker_resolve: truly honor the options parameter

layer/iterate: imprevements in unhelpfull referral processing

layer/validate: check if iterator has not selected any records for validating from non-empty authoritative answer

Merge !237: layer/validate: clear AD with optout NSEC3

Fixes #169.

layer/validate: clear AD if closest encloser proof has optouted NSEC3

Merge !238: fix logging of glue addresses

layer/iterate: fix logging of glue addresses

Previously even loopback glue addresses were logged using message
'<= using glue ...' which was very confusing. From now the loopback
addresses are logged using '<= ignoring invalid glue ...'.

Logging was moved into the function update_nsaddr() to avoid changing
return codes. As far as I can tell it does not produce any confusing
messages.

CI: always use commited Deckard version

check-integration: Warn if Deckard does not match commited version

worker_resolve: truly honor the options parameter

It was being overwritten by options from struct kr_context;
now the flags are combined (by set union).

For example, the NO_CACHE flag is important for the prefetch module and
for trust anchor updates.

trust anchors: add KeyTag into comments

Fixes #167.

trust anchors: store in prettier format (#167)

The output is only better if built with libknot >= 2.4.0.
As a side-effect, add lua method knot_rrset_t::txt_dump;
it's a light wrapper around knot_rrset_txt_dump.

Re-tested rolling with a.moot-servers.net, to be sure.

daemon/lua/kres.lua -> *.in

version: don't depend on rr2str output style

It would break after making rr2str pretty-print the data.

Merge !235: dnstap.mk: fix race around dnstap.pb-c.h

dnstap.mk: fix race around dnstap.pb-c.h

Probably.  The problem sometimes appeared on osx Travis.

Merge !232: nitpick in kresd(8) man page

kresd(8) should refer to the resolver as "kresd", not as "unbound"

Merge branch 'release-1.2.4' into '1.2'

Knot Resolver 1.2.4

See merge request !231

Knot Resolver 1.2.4

Update deckard to latest master

Merge branch 'cherry-pick-2ff4eb98' into '1.2'

Merge branch 'fix-auth-qname' into '1.2'

See merge request !230

Get a fresh deckard copy before the build

Update NEWS

Merge branch 'fix-auth-qname' into 'master'

layer\iterate: when processing delegations, check if qname is at\below new authority

See merge request !229

Merge branch '1.2.4-dev' into '1.2'

1.2.4 dev

See merge request !227

Merge branch 'fix-auth-qname' into 'master'

layer\iterate: when processing delegations, check if qname is at\below new authority

See merge request !229

layer\iterate: when proccessing delegations, check if qname is at\below new authority

Update deckard to val_cname_secure_insecure tests

Merge branch 'update-gitignore-zonefile.lua' into 'master'

Add daemon/lua/zonefile.lua to git ignore list

See merge request !228

Add daemon/lua/zonefile.lua to git ignore list

Clarify conditions when invalid RRSIG can lead to AD=1 response

Further clarification of fb957a9b5593aaa46dcfddd9adb488cf898b4a45

Merge branch 'dnstap' into 'master'

add dnstap module

See merge request !213

Test failing make clean on missing dnstap dependencies

modules/dnstap: Change option names to socket_path and log_responses, we don't use camelCase anywhere else

dnstap module also needs protobuf-c compiler (protoc-c)

modules/dnstap: move description into the docs

modules/dnstap: nitpicks

dnstap.proto: move from contrib into module

... and generate files instead of including them.

minor changes from https://github.com/CZ-NIC/knot-resolver/pull/39

adding dnstap to documentation

dnstap tests requires go 1.5+

removing it from make test since default go version for language
C in Travis is 1.4 which has no vendoring support

adding dnstap dependencies to bootstrap

fixing makefile to compile protobuf if dnstap is enabled

Fixing structs after rebasing upstream changes

dnstap testing application

Adding dnstap module

Clarify security section

Update NEWS

lib/resolve: deferred answer processing was fixed

rrcache: don't store NSEC3 and their signatures

They would end up cached by their hashed owner names and then even
returned if explicitly queried by that hashed name, which is not correct:
https://tools.ietf.org/html/rfc4035#section-2.3

Internally we only need these for non-existence proofs, and those are
stored in pktcache instead.

layer/validate: don't treat anwsers which contain DS non-existance proof as unsecured

Merge !226: lib/resolve: deferred answer processing was fixed

Merge !225: rrcache: don't store NSEC3 and their signatures

Merge !224: layer/validate: fix missing AD flag in some cases

Fixes #164.

lib/resolve: deferred answer processing was fixed

rrcache: don't store NSEC3 and their signatures

They would end up cached by their hashed owner names and then even
returned if explicitly queried by that hashed name, which is not correct:
https://tools.ietf.org/html/rfc4035#section-2.3

Internally we only need these for non-existence proofs, and those are
stored in pktcache instead.

layer/validate: don't treat anwsers which contain DS non-existance proof as unsecured

Merge !218: cherry-picks for 1.2.4

update NEWS with notable chanages

Merge branch 'full_check_integration' into 'master'

Update check-integration to run full test suite from Deckard

See merge request !220
(cherry picked from commit f8487fd6e7743bd4e92336750e8cada6a4296826)

daemon: fixed memory leak and array bounds check fail

(cherry picked from commit 924d99364548cf6f1b7d4d131fc08a3e04ecb524)

Merge !221: daemon: fixed memory leak and array bounds check fail

Submitted as https://github.com/CZ-NIC/knot-resolver/pull/42