don't attempt to reuse cached nonvalidated records

at least for now (for queries without +cd).
It wasn't complete, and it turned out to need more changes,
and the benefits would be rather limited.

kr_rank: use functions to manipulate the non-flag part

Also fix a related bug in pktcache.

rrcache: harden against spoofing, again

This fixes the iter_ns_spoof test.

Merge branch 'master' into ad-refactor

Merge !251: improve referral detection and process_answer

layer/iterate:  name comparison has been missed; comment

layer/iterate: During packet classification (answer\referral) don't analyze AUTHORITY section in authoritative answer if ANSWER section contains records which have been requested.

cache: bump cache version

The ranks stored within are changing their meaning.

iterate: improve get_initial_rank

This fixes tests for hints, in particular.

rrcache, pktcache: better explain passing of ranks

layer/validate: fix broken rank_test_flag()

rrcache: fix code that was missed by mistake

layer/iterate: treat rrset->additional as pointer to uint8_t instead of uintptr_t

layer/{iterate,validate}: adapt to new rank style

zonecut.c: restrict ranks when fetching TA+key for cut

This is mainly to avoid bad entries, e.g. cached for +cd.

zonecut.c: remove indirection that didn't seem useful

pktcache: also send ranks in the additional field

It will be better to have a more consistent interface with rrcache.

pktcache: adapt to the new rank style

TODO: check CD in the iterator if CACHED.

lib/{resolve,zonecut}: review & fix RANK ocurrences

rrcache: adapt stashing to the new rank style

Note that the stash_ds call wasn't useful anymore, as it was only
re-stashing DS that were already stashed anyway (from auth_selected).

Merge: util: add kr_rrset_type_maysig(knot_rrset_t *)

util: add kr_rrset_type_maysig(knot_rrset_t *)

Also correct a tiny bug where iterator didn't skip RRSIGs that covered
non-interesting types of the name we desired.

rrcache: adapt looting to the new rank style

Merge rrcache changes into ad-refactor

rrcache: avoid knot_pkt_put

Constructing the wire format in rrcache was useless and it took 2-4 %
of time in the resperf profile.  Let's also pass the rank (used soon).

Merge branch 'master' into ad-refactor

Merge !250: lib/nsrep: fix ip6 cycle

kresd doesn't try all NS during resolving www.fastly.com when operates
in ipv6-only network.  This fix changes reputation cache behavior
in order to avoid NS address resolving retry in the case the first
attempt is failed both for ip4 & ip6.

lib/nsrep: don't treat servers with NOIP4 + NOIP6 flags as timeouted

WIP: drafting rank refactoring

Merge !240: trust anchors: support non-root TAs, one domain per file

use a different mechanism for AD flag

To make this work, do not use KR_VLDRANK_SECURE as the default value.
It's just too dangerous, and here it complicated determining the
appropriate value for the AD flag.

Merge !241: policy.DENY: set AA flag and clear AD flag

Merge branch 'mode-examples' into 'master'

config docs: add examples to mode()

See merge request !245

Merge branch 'master' and update deckard

We need this to fix the tests.

resolve answer_finalize(): check knot_pkt_put errors

config docs: add examples to mode()

Improved by comments from Petr.

Merge branch 'better-help-text' into 'master'

Auto-generate numeric limits and defaults in help text.

See merge request !248

Auto-generate numeric limits and defaults in help text.

Merge branch 'better-padding-default' into 'master'

Improve default padding of responses.

See merge request !247

Improve default padding of responses.

At NDSS 2017's DNS privacy workshop, I presented an empirical study of
DNS padding policies:

https://www.internetsociety.org/events/ndss-symposium/ndss-symposium-2017/dns-privacy-workshop-2017-programme#session3

The slide deck is here:
https://dns.cmrg.net/ndss2017-dprive-empirical-DNS-traffic-size.pdf

The resulting recommendation from the research is that a simple
padding policy is relatively cheap and still protective of metadata
when DNS traffic is encrypted:

 * queries should be padded to a multiple of 128 octets
 * responses should be padded to a multiple of 468 octets

This change adjusts the default policy to match these recommendations.

I recently proposed a similar change to libknot to define a standard
policy in a centralized place:

https://gitlab.labs.nic.cz/labs/knot/merge_requests/692

I'll submit a followup request to make use of that centralized policy
(once kresd is willing to depend on a newer version of libknot), but
please consider this proposed change first.

Merge branch !246: lib/resolve: avoid unnecessary DS queries

Merge !244: dnssec/nsec: validate wildcard no-data answers

Merge !243: don't set AD flag for opt-out wildcard answers

lib/resolve: avoid unnecessary DS queries

dnssec/nsec: missed wildcard no-data answers validation has been implemented

test/deckard: update to actual version

Merge !242: kr_bitcmp: shut up a warning

layer/validate: check if NSEC3 records in wildcard expansion proof has an optout

kr_bitcmp: shut up a warning

Merge !239: check if iterator has not selected any records

layer/iterate: nitpick - better variable name

policy.DENY: set AA flag and clear AD flag

I see no sane way to set the flags from lua, so I made a C function.

lua bindings: regenerate query flags

Merge !234: kr_bitcmp: adjust semantics -> memcmp

view docs: add example matching all addresses

This started working since the grandparent commit.  Suggested at
https://gitter.im/CZ-NIC/knot-resolver?at=58ca5a03f7f7d48104212607

kr_bitcmp: add meaning to NULL inputs

Reasoning: we currently only use the function from lua modules and nil
values are very common there; I want to pick these changes to a bugfix
update without extensive checking whether the modules might pass
invalid input if user passes invalid config and thus introduce new
crashes.  The checks also seem cheap performance-wise.

kr_bitcmp: adjust semantics -> memcmp

Motivation: allow bits=0 and consequently 0.0.0.0/0 matches in view
and renumber modules.
https://gitter.im/CZ-NIC/knot-resolver?at=58c940c721d548df2cdfda5e

We shouldn't mix up error codes with valid results from memcmp;
let's just segfault if someone passes a NULL, just as memcmp() itself.

layer/validate: better debug message

trust anchors: support non-root TAs, one domain per file

function `add_file` is added as an alias to `config`,
but otherwise the interface is almost identical.

trust anchors: just move the code around

- update() had nothing to do in the public interface
- config() implementation moved out of the definition of the main table

resolve.c trust_chain_check: fix nested trust anchors

We have to update the RR with the TA even when transitioning from one
(positive) TA to another, e.g. if one adds both root and non-root TA(s).

Merge !233: trust anchors: store in prettier format

Closes #167.

Merge !236: worker_resolve: truly honor the options parameter

layer/iterate: imprevements in unhelpfull referral processing

layer/validate: check if iterator has not selected any records for validating from non-empty authoritative answer

Merge !237: layer/validate: clear AD with optout NSEC3

Fixes #169.

layer/validate: clear AD if closest encloser proof has optouted NSEC3

Merge !238: fix logging of glue addresses

layer/iterate: fix logging of glue addresses

Previously even loopback glue addresses were logged using message
'<= using glue ...' which was very confusing. From now the loopback
addresses are logged using '<= ignoring invalid glue ...'.

Logging was moved into the function update_nsaddr() to avoid changing
return codes. As far as I can tell it does not produce any confusing
messages.

CI: always use commited Deckard version

check-integration: Warn if Deckard does not match commited version

worker_resolve: truly honor the options parameter

It was being overwritten by options from struct kr_context;
now the flags are combined (by set union).

For example, the NO_CACHE flag is important for the prefetch module and
for trust anchor updates.

trust anchors: add KeyTag into comments

Fixes #167.

trust anchors: store in prettier format (#167)

The output is only better if built with libknot >= 2.4.0.
As a side-effect, add lua method knot_rrset_t::txt_dump;
it's a light wrapper around knot_rrset_txt_dump.

Re-tested rolling with a.moot-servers.net, to be sure.

daemon/lua/kres.lua -> *.in

version: don't depend on rr2str output style

It would break after making rr2str pretty-print the data.

Merge !235: dnstap.mk: fix race around dnstap.pb-c.h

dnstap.mk: fix race around dnstap.pb-c.h

Probably.  The problem sometimes appeared on osx Travis.

Merge !232: nitpick in kresd(8) man page

kresd(8) should refer to the resolver as "kresd", not as "unbound"

Merge branch 'fix-auth-qname' into 'master'

layer\iterate: when processing delegations, check if qname is at\below new authority

See merge request !229

layer\iterate: when proccessing delegations, check if qname is at\below new authority

Merge branch 'update-gitignore-zonefile.lua' into 'master'

Add daemon/lua/zonefile.lua to git ignore list

See merge request !228

Add daemon/lua/zonefile.lua to git ignore list

Merge branch 'dnstap' into 'master'

add dnstap module

See merge request !213

Test failing make clean on missing dnstap dependencies

modules/dnstap: Change option names to socket_path and log_responses, we don't use camelCase anywhere else

dnstap module also needs protobuf-c compiler (protoc-c)

modules/dnstap: move description into the docs

modules/dnstap: nitpicks

dnstap.proto: move from contrib into module

... and generate files instead of including them.

minor changes from https://github.com/CZ-NIC/knot-resolver/pull/39

adding dnstap to documentation

dnstap tests requires go 1.5+

removing it from make test since default go version for language
C in Travis is 1.4 which has no vendoring support

adding dnstap dependencies to bootstrap

fixing makefile to compile protobuf if dnstap is enabled

Fixing structs after rebasing upstream changes

dnstap testing application

Adding dnstap module

Merge !226: lib/resolve: deferred answer processing was fixed