Improve default padding of responses.

At NDSS 2017's DNS privacy workshop, I presented an empirical study of
DNS padding policies:

https://www.internetsociety.org/events/ndss-symposium/ndss-symposium-2017/dns-privacy-workshop-2017-programme#session3

The slide deck is here:
https://dns.cmrg.net/ndss2017-dprive-empirical-DNS-traffic-size.pdf

The resulting recommendation from the research is that a simple
padding policy is relatively cheap and still protective of metadata
when DNS traffic is encrypted:

 * queries should be padded to a multiple of 128 octets
 * responses should be padded to a multiple of 468 octets

This change adjusts the default policy to match these recommendations.

I recently proposed a similar change to libknot to define a standard
policy in a centralized place:

https://gitlab.labs.nic.cz/labs/knot/merge_requests/692

I'll submit a followup request to make use of that centralized policy
(once kresd is willing to depend on a newer version of libknot), but
please consider this proposed change first.

Merge branch !246: lib/resolve: avoid unnecessary DS queries

Merge !244: dnssec/nsec: validate wildcard no-data answers

Merge !243: don't set AD flag for opt-out wildcard answers

lib/resolve: avoid unnecessary DS queries

dnssec/nsec: missed wildcard no-data answers validation has been implemented

test/deckard: update to actual version

Merge !242: kr_bitcmp: shut up a warning

layer/validate: check if NSEC3 records in wildcard expansion proof has an optout

kr_bitcmp: shut up a warning

Merge !239: check if iterator has not selected any records

layer/iterate: nitpick - better variable name

policy.DENY: set AA flag and clear AD flag

I see no sane way to set the flags from lua, so I made a C function.

lua bindings: regenerate query flags

Merge !234: kr_bitcmp: adjust semantics -> memcmp

view docs: add example matching all addresses

This started working since the grandparent commit.  Suggested at
https://gitter.im/CZ-NIC/knot-resolver?at=58ca5a03f7f7d48104212607

kr_bitcmp: add meaning to NULL inputs

Reasoning: we currently only use the function from lua modules and nil
values are very common there; I want to pick these changes to a bugfix
update without extensive checking whether the modules might pass
invalid input if user passes invalid config and thus introduce new
crashes.  The checks also seem cheap performance-wise.

kr_bitcmp: adjust semantics -> memcmp

Motivation: allow bits=0 and consequently 0.0.0.0/0 matches in view
and renumber modules.
https://gitter.im/CZ-NIC/knot-resolver?at=58c940c721d548df2cdfda5e

We shouldn't mix up error codes with valid results from memcmp;
let's just segfault if someone passes a NULL, just as memcmp() itself.

layer/validate: better debug message

trust anchors: support non-root TAs, one domain per file

function `add_file` is added as an alias to `config`,
but otherwise the interface is almost identical.

trust anchors: just move the code around

- update() had nothing to do in the public interface
- config() implementation moved out of the definition of the main table

resolve.c trust_chain_check: fix nested trust anchors

We have to update the RR with the TA even when transitioning from one
(positive) TA to another, e.g. if one adds both root and non-root TA(s).

Merge !233: trust anchors: store in prettier format

Closes #167.

Merge !236: worker_resolve: truly honor the options parameter

layer/iterate: imprevements in unhelpfull referral processing

layer/validate: check if iterator has not selected any records for validating from non-empty authoritative answer

Merge !237: layer/validate: clear AD with optout NSEC3

Fixes #169.

layer/validate: clear AD if closest encloser proof has optouted NSEC3

Merge !238: fix logging of glue addresses

layer/iterate: fix logging of glue addresses

Previously even loopback glue addresses were logged using message
'<= using glue ...' which was very confusing. From now the loopback
addresses are logged using '<= ignoring invalid glue ...'.

Logging was moved into the function update_nsaddr() to avoid changing
return codes. As far as I can tell it does not produce any confusing
messages.

CI: always use commited Deckard version

check-integration: Warn if Deckard does not match commited version

worker_resolve: truly honor the options parameter

It was being overwritten by options from struct kr_context;
now the flags are combined (by set union).

For example, the NO_CACHE flag is important for the prefetch module and
for trust anchor updates.

trust anchors: add KeyTag into comments

Fixes #167.

trust anchors: store in prettier format (#167)

The output is only better if built with libknot >= 2.4.0.
As a side-effect, add lua method knot_rrset_t::txt_dump;
it's a light wrapper around knot_rrset_txt_dump.

Re-tested rolling with a.moot-servers.net, to be sure.

daemon/lua/kres.lua -> *.in

version: don't depend on rr2str output style

It would break after making rr2str pretty-print the data.

Merge !235: dnstap.mk: fix race around dnstap.pb-c.h

dnstap.mk: fix race around dnstap.pb-c.h

Probably.  The problem sometimes appeared on osx Travis.

Merge !232: nitpick in kresd(8) man page

kresd(8) should refer to the resolver as "kresd", not as "unbound"

Merge branch 'release-1.2.4' into '1.2'

Knot Resolver 1.2.4

See merge request !231

Knot Resolver 1.2.4

Update deckard to latest master

Merge branch 'cherry-pick-2ff4eb98' into '1.2'

Merge branch 'fix-auth-qname' into '1.2'

See merge request !230

Get a fresh deckard copy before the build

Update NEWS

Merge branch 'fix-auth-qname' into 'master'

layer\iterate: when processing delegations, check if qname is at\below new authority

See merge request !229

Merge branch '1.2.4-dev' into '1.2'

1.2.4 dev

See merge request !227

Merge branch 'fix-auth-qname' into 'master'

layer\iterate: when processing delegations, check if qname is at\below new authority

See merge request !229

layer\iterate: when proccessing delegations, check if qname is at\below new authority

Update deckard to val_cname_secure_insecure tests

Merge branch 'update-gitignore-zonefile.lua' into 'master'

Add daemon/lua/zonefile.lua to git ignore list

See merge request !228

Add daemon/lua/zonefile.lua to git ignore list

Clarify conditions when invalid RRSIG can lead to AD=1 response

Further clarification of fb957a9b5593aaa46dcfddd9adb488cf898b4a45

Merge branch 'dnstap' into 'master'

add dnstap module

See merge request !213

Test failing make clean on missing dnstap dependencies

modules/dnstap: Change option names to socket_path and log_responses, we don't use camelCase anywhere else

dnstap module also needs protobuf-c compiler (protoc-c)

modules/dnstap: move description into the docs

modules/dnstap: nitpicks

dnstap.proto: move from contrib into module

... and generate files instead of including them.

minor changes from https://github.com/CZ-NIC/knot-resolver/pull/39

adding dnstap to documentation

dnstap tests requires go 1.5+

removing it from make test since default go version for language
C in Travis is 1.4 which has no vendoring support

adding dnstap dependencies to bootstrap

fixing makefile to compile protobuf if dnstap is enabled

Fixing structs after rebasing upstream changes

dnstap testing application

Adding dnstap module

Clarify security section

Update NEWS

lib/resolve: deferred answer processing was fixed

rrcache: don't store NSEC3 and their signatures

They would end up cached by their hashed owner names and then even
returned if explicitly queried by that hashed name, which is not correct:
https://tools.ietf.org/html/rfc4035#section-2.3

Internally we only need these for non-existence proofs, and those are
stored in pktcache instead.

layer/validate: don't treat anwsers which contain DS non-existance proof as unsecured

Merge !226: lib/resolve: deferred answer processing was fixed

Merge !225: rrcache: don't store NSEC3 and their signatures

Merge !224: layer/validate: fix missing AD flag in some cases

Fixes #164.

lib/resolve: deferred answer processing was fixed

rrcache: don't store NSEC3 and their signatures

They would end up cached by their hashed owner names and then even
returned if explicitly queried by that hashed name, which is not correct:
https://tools.ietf.org/html/rfc4035#section-2.3

Internally we only need these for non-existence proofs, and those are
stored in pktcache instead.

layer/validate: don't treat anwsers which contain DS non-existance proof as unsecured

Merge !218: cherry-picks for 1.2.4

update NEWS with notable chanages

Merge branch 'full_check_integration' into 'master'

Update check-integration to run full test suite from Deckard

See merge request !220
(cherry picked from commit f8487fd6e7743bd4e92336750e8cada6a4296826)

daemon: fixed memory leak and array bounds check fail

(cherry picked from commit 924d99364548cf6f1b7d4d131fc08a3e04ecb524)

Merge !221: daemon: fixed memory leak and array bounds check fail

Submitted as https://github.com/CZ-NIC/knot-resolver/pull/42

Merge branch 'full_check_integration' into 'master'

Update check-integration to run full test suite from Deckard

See merge request !220

daemon: fixed memory leak and array bounds check fail

tests: print warning if check-integration is executed with PREFIX outside of source directory

tests: use tests/deckard/kresd_run.sh for check-integration target

Now the check-integration is (again) doing the same set of tests
as kresd_run.sh in Deckard tree.

Merge 219: lib/resolve: forward +cd in stub mode; minor bugfix

lib/resolve: forward +cd in stub mode; minor bugfix in debug output

(cherry picked from commit 218f1b78b31ac4742f27a48027748e3989951bee)

lib/resolve: forward +cd in stub mode; minor bugfix in debug output

lua: add net.outgoing_{v4,v6} and documentation

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/158
The naming is inspired by Unbound's "outgoing-interface".

daemon: support restricting outgoing IP address

utils: add union inaddr

It will be a useful idiom for IP address storage and correct conversion
of sockaddr* pointers.

trust anchors: improve logging of failures

engine_cmd() doesn't print the error() exceptions thrown from lua;
it only leaves the message on lua stack.

(cherry picked from commit a316b9f7a74723770c61f1412d9b55b873bfd003)

Merge !202: trust anchor improvements

Update to 1.2.4-dev

modules/policy: allow QTRACE policy to be chained with other policies