pktcache: put more info into --verbose messages

iterator: improve get_initial_rank

If a server puts NS into the authority section that refers to itself,
accept it as autoritative and validate it (if applicable).  This fixes
the val_nsec3_cnametocnamewctoposwc test, as unvalidated NS in the
final answer would prevent adding the AD flag.  The iter_pcname test is
broken by this, but the team's consensus is to prefer this solution.

Nitpicks: cleaner style in the function, and don't force inlining anymore.
(It's no longer a trivial function and compilers should be good at
determining whether to inline static functions or not.)

rrcache: put more info into --verbose messages

Especially when stashing into the cache, it was unclear which RRset
was being referred to.  Let's add type and owner name.

AD flag: the ranks from cache should be safe now

move a decision from validator to iterator

NS records from AUTHORITY aren't validated.  The iterator seems a
better place, as that's where delegations are handled, etc.

validate: fix bad usage of KR_RANK_INSECURE

It's supposed to mean that we have a proof from configured TAs that
the RR isn't secure (typically proof of missing DS at some point).
This case was just failure to find a fitting RRSIG; new KR_RANK_MISSING
is introduced for that purpose, for simplicity.

Also, make the validator more thorough about what ranks are safe to skip.

rrcache verbose: print rank information

iterator: don't retry if REFUSED

It's unlikely to be a temporary condition, unless the reply was spoofed
or something.  Fixes val_cname_to_unsigned_fake_rrsig test.

(cherry picked from commit bc2a26702e6460aee65fe170671336d670ba3eb9)

rrcache, pktcache: check security only if under a TA

Tests: iter_minmaxttl and iter_soamin get fixed, probably because
they're without a root TA but have some lower TA(s).

kr_ta_covers_qry: add this wrapper function

kr_rank: improve the API to manipulate ranks

_SECURE and _INSECURE weren't real flags, as their setting was
logically exclusive of the "values".  That made changing ranks rather
cumbersome.

Tests: val_cname_to_unsigned_fake_rrsig gets broken, but I hope this
change just uncovered a hidden bug.

utils: fix KEY_* defines

The argument to KEY_FLAG_RANK was (signed) char*, so for secure rank
the shift was setting the highest two bits (which are unused).
Let me end that rubbish.

layer/validate: mark all selected records as insecure is case of insecured query detection

extend NONAUTH even to non-validated records

Also rename NOAUTH->NONAUTH.

OK to use non-authoritative sources for NS addresses

... *if* we only want to ask the NSs, i.e. not to be put into answer.
This fixes iter_cname_cache test.

don't attempt to reuse cached nonvalidated records

at least for now (for queries without +cd).
It wasn't complete, and it turned out to need more changes,
and the benefits would be rather limited.

kr_rank: use functions to manipulate the non-flag part

Also fix a related bug in pktcache.

rrcache: harden against spoofing, again

This fixes the iter_ns_spoof test.

Merge branch 'master' into ad-refactor

Merge !251: improve referral detection and process_answer

layer/iterate:  name comparison has been missed; comment

layer/iterate: During packet classification (answer\referral) don't analyze AUTHORITY section in authoritative answer if ANSWER section contains records which have been requested.

cache: bump cache version

The ranks stored within are changing their meaning.

iterate: improve get_initial_rank

This fixes tests for hints, in particular.

rrcache, pktcache: better explain passing of ranks

layer/validate: fix broken rank_test_flag()

rrcache: fix code that was missed by mistake

layer/iterate: treat rrset->additional as pointer to uint8_t instead of uintptr_t

layer/{iterate,validate}: adapt to new rank style

zonecut.c: restrict ranks when fetching TA+key for cut

This is mainly to avoid bad entries, e.g. cached for +cd.

zonecut.c: remove indirection that didn't seem useful

pktcache: also send ranks in the additional field

It will be better to have a more consistent interface with rrcache.

pktcache: adapt to the new rank style

TODO: check CD in the iterator if CACHED.

lib/{resolve,zonecut}: review & fix RANK ocurrences

rrcache: adapt stashing to the new rank style

Note that the stash_ds call wasn't useful anymore, as it was only
re-stashing DS that were already stashed anyway (from auth_selected).

Merge: util: add kr_rrset_type_maysig(knot_rrset_t *)

util: add kr_rrset_type_maysig(knot_rrset_t *)

Also correct a tiny bug where iterator didn't skip RRSIGs that covered
non-interesting types of the name we desired.

rrcache: adapt looting to the new rank style

Merge rrcache changes into ad-refactor

rrcache: avoid knot_pkt_put

Constructing the wire format in rrcache was useless and it took 2-4 %
of time in the resperf profile.  Let's also pass the rank (used soon).

Merge branch 'master' into ad-refactor

Merge !250: lib/nsrep: fix ip6 cycle

kresd doesn't try all NS during resolving www.fastly.com when operates
in ipv6-only network.  This fix changes reputation cache behavior
in order to avoid NS address resolving retry in the case the first
attempt is failed both for ip4 & ip6.

lib/nsrep: don't treat servers with NOIP4 + NOIP6 flags as timeouted

WIP: drafting rank refactoring

Merge !240: trust anchors: support non-root TAs, one domain per file

use a different mechanism for AD flag

To make this work, do not use KR_VLDRANK_SECURE as the default value.
It's just too dangerous, and here it complicated determining the
appropriate value for the AD flag.

Merge !241: policy.DENY: set AA flag and clear AD flag

Merge branch 'mode-examples' into 'master'

config docs: add examples to mode()

See merge request !245

Merge branch 'master' and update deckard

We need this to fix the tests.

resolve answer_finalize(): check knot_pkt_put errors

config docs: add examples to mode()

Improved by comments from Petr.

Merge branch 'better-help-text' into 'master'

Auto-generate numeric limits and defaults in help text.

See merge request !248

Auto-generate numeric limits and defaults in help text.

Merge branch 'better-padding-default' into 'master'

Improve default padding of responses.

See merge request !247

Improve default padding of responses.

At NDSS 2017's DNS privacy workshop, I presented an empirical study of
DNS padding policies:

https://www.internetsociety.org/events/ndss-symposium/ndss-symposium-2017/dns-privacy-workshop-2017-programme#session3

The slide deck is here:
https://dns.cmrg.net/ndss2017-dprive-empirical-DNS-traffic-size.pdf

The resulting recommendation from the research is that a simple
padding policy is relatively cheap and still protective of metadata
when DNS traffic is encrypted:

 * queries should be padded to a multiple of 128 octets
 * responses should be padded to a multiple of 468 octets

This change adjusts the default policy to match these recommendations.

I recently proposed a similar change to libknot to define a standard
policy in a centralized place:

https://gitlab.labs.nic.cz/labs/knot/merge_requests/692

I'll submit a followup request to make use of that centralized policy
(once kresd is willing to depend on a newer version of libknot), but
please consider this proposed change first.

Merge branch !246: lib/resolve: avoid unnecessary DS queries

Merge !244: dnssec/nsec: validate wildcard no-data answers

Merge !243: don't set AD flag for opt-out wildcard answers

lib/resolve: avoid unnecessary DS queries

dnssec/nsec: missed wildcard no-data answers validation has been implemented

test/deckard: update to actual version

Merge !242: kr_bitcmp: shut up a warning

layer/validate: check if NSEC3 records in wildcard expansion proof has an optout

kr_bitcmp: shut up a warning

Merge !239: check if iterator has not selected any records

layer/iterate: nitpick - better variable name

policy.DENY: set AA flag and clear AD flag

I see no sane way to set the flags from lua, so I made a C function.

lua bindings: regenerate query flags

Merge !234: kr_bitcmp: adjust semantics -> memcmp

view docs: add example matching all addresses

This started working since the grandparent commit.  Suggested at
https://gitter.im/CZ-NIC/knot-resolver?at=58ca5a03f7f7d48104212607

kr_bitcmp: add meaning to NULL inputs

Reasoning: we currently only use the function from lua modules and nil
values are very common there; I want to pick these changes to a bugfix
update without extensive checking whether the modules might pass
invalid input if user passes invalid config and thus introduce new
crashes.  The checks also seem cheap performance-wise.

kr_bitcmp: adjust semantics -> memcmp

Motivation: allow bits=0 and consequently 0.0.0.0/0 matches in view
and renumber modules.
https://gitter.im/CZ-NIC/knot-resolver?at=58c940c721d548df2cdfda5e

We shouldn't mix up error codes with valid results from memcmp;
let's just segfault if someone passes a NULL, just as memcmp() itself.

layer/validate: better debug message

trust anchors: support non-root TAs, one domain per file

function `add_file` is added as an alias to `config`,
but otherwise the interface is almost identical.

trust anchors: just move the code around

- update() had nothing to do in the public interface
- config() implementation moved out of the definition of the main table

resolve.c trust_chain_check: fix nested trust anchors

We have to update the RR with the TA even when transitioning from one
(positive) TA to another, e.g. if one adds both root and non-root TA(s).

Merge !233: trust anchors: store in prettier format

Closes #167.

Merge !236: worker_resolve: truly honor the options parameter

layer/iterate: imprevements in unhelpfull referral processing

layer/validate: check if iterator has not selected any records for validating from non-empty authoritative answer

Merge !237: layer/validate: clear AD with optout NSEC3

Fixes #169.

layer/validate: clear AD if closest encloser proof has optouted NSEC3

Merge !238: fix logging of glue addresses

layer/iterate: fix logging of glue addresses

Previously even loopback glue addresses were logged using message
'<= using glue ...' which was very confusing. From now the loopback
addresses are logged using '<= ignoring invalid glue ...'.

Logging was moved into the function update_nsaddr() to avoid changing
return codes. As far as I can tell it does not produce any confusing
messages.

CI: always use commited Deckard version

check-integration: Warn if Deckard does not match commited version

worker_resolve: truly honor the options parameter

It was being overwritten by options from struct kr_context;
now the flags are combined (by set union).

For example, the NO_CACHE flag is important for the prefetch module and
for trust anchor updates.

trust anchors: add KeyTag into comments

Fixes #167.

trust anchors: store in prettier format (#167)

The output is only better if built with libknot >= 2.4.0.
As a side-effect, add lua method knot_rrset_t::txt_dump;
it's a light wrapper around knot_rrset_txt_dump.

Re-tested rolling with a.moot-servers.net, to be sure.

daemon/lua/kres.lua -> *.in

version: don't depend on rr2str output style

It would break after making rr2str pretty-print the data.

Merge !235: dnstap.mk: fix race around dnstap.pb-c.h

dnstap.mk: fix race around dnstap.pb-c.h

Probably.  The problem sometimes appeared on osx Travis.

Merge !232: nitpick in kresd(8) man page

kresd(8) should refer to the resolver as "kresd", not as "unbound"

Merge branch 'fix-auth-qname' into 'master'

layer\iterate: when processing delegations, check if qname is at\below new authority

See merge request !229

layer\iterate: when proccessing delegations, check if qname is at\below new authority

Merge branch 'update-gitignore-zonefile.lua' into 'master'

Add daemon/lua/zonefile.lua to git ignore list

See merge request !228

Add daemon/lua/zonefile.lua to git ignore list

Merge branch 'dnstap' into 'master'

add dnstap module

See merge request !213