ranked rrarray: don't merge RRSIGs of different types

For example, kr_rrmap_add has been relying on sets covering just a
single type (for years).  It's used by cache and there it's required to
store types separately.

It seems all other parts of code should be just OK with this.

iterate: tweak ranks of rrsigs

The bit about RRSIG coming from an authoritative source is still used
and possibly useful.  The inconsistency was causing rrcache to fetch
a record without its signature under some circumstances, depending on
the record type and how it was obtained.

Merge !293: policy: add missing local range 100.64.0.0/10

policy: add missing local range 100.64.0.0/10

Thanks to Petr for finding this issue.

Merge !292: nitpicks (misc)

QRVERBOSE: const parameter

docs: policy:add -> policy.add

The old API was deprecated long time ago.

pktcache: add a comment about wildcard expansions

Merge !291: command line: specify ports via @ but remain compatible

command line: specify ports via @ but remain compatible

Merge !290: validate: fix a typo leading to lower rank

validate: fix a typo leading to lower rank

The authority records weren't marked with _INSECURE rank and remained
with a *lower* one.  That could lead to them not being cached,
effectively.

Merge !285: caches: improve, especially in STUB and future FORWARD modes

Fixes #122 (mostly).

rrcache: improve verbose message

... for reading RRSIGs

README.md: update.

kr_rplan_next: remove prototype

It had no implementation for years - since 456e5446ad4.

Merge !289: fix compiling with luajit-2.1.0-beta3

Upstream released the bump yesterday.
Tested with 2.0.4, 2.1.0-beta{2,3}.

fix compiling with luajit-2.1.0-beta3

It added a function from lua > 5.1, without bumping the language
version.  The changelog seems safe and Deckard still passes.

Merge branch 'fix-dnssec' into 'master'

lib/dnssec: bugfix; libdnssec data structure was prematurely released after unsu…

See merge request !288

lib/dnssec: bugfix; libdnssec data structure was prematurely released after unsuccessful attempt of signature validation

caches: improvements to STUB and future FORWARD modes

Fixes #122, mostly.  CNAME chains aren't answered from cache in STUB
mode so far, because the current iterator would be unable to follow them.

Previously the caches avoided repeated lookups by checking if it has
a NS address for the query, which disabled any lookup in forwarding modes.
Now it sets the QUERY_NO_CACHE flag instead to stop repeating.

Also those more expensive kr_ta_covers_qry checks are deferred, so that
they're not done when not needed, e.g. in STUB or +cd mode.

Merge !283: NEWS: entry about ad-refactor merge

NEWS: entry about ad-refactor merge

I'd like to add NEWS entries already in the merge requests,
but I often forget.
Also mark version with -dev.

Merge !269: refactoring: RR ranks and AD flag ('ad-refactor' branch)

misc nitpicks, not really changing anything

rrcache: always stash authority records

It's up to iterator to pick the interesting cases to auth_selected.

Merge branch 'master' into ad-refactor

Merge !282: bootstrap-depends: update fstrm

bootstrap-depends: update fstrm

Hopefully this will fix the ./configure problem on Jenkins.
Also, an incorrect flag was passed.

Merge branch 'release-1.2.6' into 'master'

NEWS: prepare for 1.2.6

See merge request !280

NEWS: prepare for 1.2.6

Merge branch 'deckard-update' into 'master'

Update deckard to latest master

See merge request !279

Update deckard to latest master

Merge branch 'respdiff-allow-failure' into 'master'

Allow canceling respdiff without penalty

See merge request !281

Allow canceling respdiff without penalty

Merge !278: lib/nsrep: revert some changes from commit 5581cf9b

Closes #179 and #178.

Merge !277: dnssec/nsec: fix wildcards directly under the root

lib/nsrep: revert some changes from commit 5581cf9b

dnssec/nsec: fix wildcard_match_check() to allow processing of *. wildcard

Merge branch 'ci-respdiff' into 'master'

CI: run respdiff using docker image in Gitlab CI

See merge request !275

Merge branch 'rrcache-pkt-clobber' into 'master'

rrcache: don't clobber pkt if failing the second step

See merge request !274

rrcache: don't clobber pkt if failing the second step

I hope fixing this bug should diminish the recent experiences of Google
domains failing to resolve on Turris Omnia.

Merge branch 'fix-oo-wc-nodata' into 'master'

dnssec/nsec3: don't set AD flag in properly signed wildcard nodata answers

See merge request !273

iterate: don't inherit _INSECURE on CNAME jumps

The jump may lead to secure zone, so let the sub-query find out by
itself.  Otherwise we might cache those RRs with INSECURE rank even
though they are secure.  This shouldn't harm AD flags anymore.

CI: run respdiff using docker image in Gitlab CI

ranked_rr_array_entry: update some comments

kr_ta_covers: fix returning error code in a bool

Merge !272: dnssec/signature: fix wildcard signatures

dnssec/signature: fix wildcard signatures

When reconstructing the signed data for RRSet synthesized from wildcard,
omit leftmost name labels for each RR in RRSet, not only for the first RR.

dnssec/nsec3: don't set AD flag in properly signed wildcard nodata answer

resolve: fix AD flag for negative answers

This part of code still deserves better review.
It's a bit surprising that our current tests didn't discover it.

We incorrectly answered with AD in some cases, e.g. ntp.pool.org AAAA.

pktcache: put more info into --verbose messages

iterator: improve get_initial_rank

If a server puts NS into the authority section that refers to itself,
accept it as autoritative and validate it (if applicable).  This fixes
the val_nsec3_cnametocnamewctoposwc test, as unvalidated NS in the
final answer would prevent adding the AD flag.  The iter_pcname test is
broken by this, but the team's consensus is to prefer this solution.

Nitpicks: cleaner style in the function, and don't force inlining anymore.
(It's no longer a trivial function and compilers should be good at
determining whether to inline static functions or not.)

rrcache: put more info into --verbose messages

Especially when stashing into the cache, it was unclear which RRset
was being referred to.  Let's add type and owner name.

Merge branch 'refused-retry' into 'master'

don't retry if REFUSED

See merge request !271

AD flag: the ranks from cache should be safe now

move a decision from validator to iterator

NS records from AUTHORITY aren't validated.  The iterator seems a
better place, as that's where delegations are handled, etc.

validate: fix bad usage of KR_RANK_INSECURE

It's supposed to mean that we have a proof from configured TAs that
the RR isn't secure (typically proof of missing DS at some point).
This case was just failure to find a fitting RRSIG; new KR_RANK_MISSING
is introduced for that purpose, for simplicity.

Also, make the validator more thorough about what ranks are safe to skip.

rrcache verbose: print rank information

iterator: don't retry if REFUSED

It's unlikely to be a temporary condition, unless the reply was spoofed
or something.  Fixes val_cname_to_unsigned_fake_rrsig test.

(cherry picked from commit bc2a26702e6460aee65fe170671336d670ba3eb9)

iterator: don't retry if REFUSED

It's unlikely to be a temporary condition, unless the reply was spoofed
or something.  Fixes val_cname_to_unsigned_fake_rrsig test.

rrcache, pktcache: check security only if under a TA

Tests: iter_minmaxttl and iter_soamin get fixed, probably because
they're without a root TA but have some lower TA(s).

kr_ta_covers_qry: add this wrapper function

kr_rank: improve the API to manipulate ranks

_SECURE and _INSECURE weren't real flags, as their setting was
logically exclusive of the "values".  That made changing ranks rather
cumbersome.

Tests: val_cname_to_unsigned_fake_rrsig gets broken, but I hope this
change just uncovered a hidden bug.

utils: fix KEY_* defines

The argument to KEY_FLAG_RANK was (signed) char*, so for secure rank
the shift was setting the highest two bits (which are unused).
Let me end that rubbish.

layer/validate: mark all selected records as insecure is case of insecured query detection

extend NONAUTH even to non-validated records

Also rename NOAUTH->NONAUTH.

OK to use non-authoritative sources for NS addresses

... *if* we only want to ask the NSs, i.e. not to be put into answer.
This fixes iter_cname_cache test.

Merge branch '1.2' into 'master'

Sync 1.2 branch to master

See merge request !268

Merge branch 'strip-dev-from-1.2.5' into '1.2'

Strip -dev suffix from version number

See merge request !267

Strip -dev suffix from version number

Merge !263: NEWS: nitpicks in 1.2.5 entries

Merge branch 'release-1.2.5' into '1.2'

Update NEWS for 1.2.5 release

See merge request !265

Update NEWS for 1.2.5 release

Merge branch '1.2-keep-autogenerated-protobuf-c' into '1.2'

1.2 keep autogenerated protobuf c

See merge request !264

Merge remote-tracking branch 'origin/master' into 1.2

Merge branch 'keep-autogenerated-protobuf-c-files' into 'master'

Include protobuf-c generated files in the repository

See merge request !262

NEWS: nitpicks in 1.2.5 entries

Include protobuf-c generated files in the repository

don't attempt to reuse cached nonvalidated records

at least for now (for queries without +cd).
It wasn't complete, and it turned out to need more changes,
and the benefits would be rather limited.

Merge branch 'rsync-travis-fix' into '1.2'

Rsync travis fix

See merge request !261

Merge remote-tracking branch 'origin/master' into 1.2

Merge branch 'travis-fix' into 'master'

Travis fix

See merge request !260

Fix duplicate python installation

Use packages from brew on OS X

Merge branch '1.2-resync' into '1.2'

1.2 resync with master

See merge request !258

Merge branch 'travis-fix' into 'master'

Workaround the Travis-CI bug

See merge request !259

Workaround the Travis-CI bug

Merge branch '1.2-merge-master' into 'master'

1.2 merge master

Closes #158, #160, and #151

See merge request !257

Merge remote-tracking branch 'origin/master' into 1.2

Merge branch 'release-1.2.5' into '1.2'

Knot Resolver 1.2.5

See merge request !254

Merge branch 'log_rrsig_validity' into 'master'

layer/validate: clarify message about missing *valid* RRSIGs

See merge request !256

layer/validate: clarify message about missing *valid* RRSIGs

kr_rank: use functions to manipulate the non-flag part

Also fix a related bug in pktcache.

Merge !255: fix travis, update libknot

bootstrap-depends.sh: libknot: 2.3.3 -> 2.4.2

dnstap.mk: another shot at Travis failures

I'm sorry.  I'm not certain about this and don't like to invest much
time into it.

bootstrap-depends.sh: switch protobuf to 2.x

Add kresc into NEWS

Prepare 1.2.5 release