Merge !350: Release 1.3.3

gitlab CI: try to fix it

release 1.3.3

doc: fix a RST syntax error

Merge a critical security fix

Merge !349: modules/http: fix compatibility with Prometheus

https://github.com/CZ-NIC/knot-resolver/pull/48

NEWS: add parent commit

modules/http: fix compatibility with the Prometheus text format

The Prometheus text format requires histogram parameters to be quoted,
and the result to end with an empty newline characted.

Merge !348: utils: silence a coverity warning

utils: silence a coverity warning

There's no real change, as the function is documented to possibly
return only zero or one in this case.

Merge !347: utils: fix seeding of the random generator

utils: fix seeding of the random generator

If the fread didn't read all in one go, the buffer was being repeatedly
overwritten from the start instead of continuing the read :-/
I also changed the overall approach in some respects.

dnssec: make a function static (unused outside)

dnssec: guard against out-of-bailiwick signatures

Merge !346: kr_rand_uint: nitpicks

kr_rand_uint: nitpicks

- the returned value is up to max-1 and not max (tiny bias)
- improve efficiency slightly
- unsigned -> uint32_t, as that's the range it supports (mostly equal)

Merge !343: iterate: remove counter-productive validation

layer/iterate: remove counter-productive validation

... functionality from iterator: don't fail immediately if actual number
of labels in owner name exceeds number in label field of RRSIG rrset

Merge branch 'ci-respdiff' into 'master'

CI: integrate respdiff v2 into gitlab-ci

See merge request !345

CI: migrate to respdiff v2

All resolvers are configured as recursors (no forwarding).
We should extend testing so we can test recursion and forwarding at the
same time.

List of queries is taken dynamically from
https://gitlab.labs.nic.cz/knot/knot-resolver/snippets/69
This will likely change in future.

The test will fail if mismatch rate >= 1 %.
This is error margin for network instability and few possibly broken upstreams
in the test list.

Merge branch 'ci-deckard' into 'master'

CI: update Deckard to use newest resolver test suite

See merge request !344

CI: update Deckard to use newest resolver test suite

Merge !325: policy: more/better special-use domain names

NEWS: changes in this branch

Merge branch 'master' into policy-reserved-domains

Merge !342: make: revert adding -rpath by default

make: revert adding -rpath by default

This reverts commits 89ebf5293 and 1d8b5706cd.
I didn't realize that setting rpath is considered bad practice by most
distributions.  I'm really "spoiled" by nix(pkgs/os).

policy docs: rework it all

- greatly reduce duplication - mainly actions and filters that were
described on two separate places
- try to improve readability etc.

hints docs: clean a bit, note interaction with policies

Merge !340: make: add -rpath only on non-Darwin POSIX

make: add -rpath only on non-Darwin POSIX

I didn't recall this doesn't work on Darwin.

Merge !338: make: add -rpath when linking to find libkres

make: add -rpath when linking to find libkres

... even if LIBDIR isn't on a standard place.

Merge !336: release 1.3.2

release 1.3.2

Merge !335: predict: fixes for refreshing expiring RRs

predict docs: fix the description of expiring records

The description didn't match the reality.  Change docs for now,
even though 1% seems a bit too little to me personally.

predict: refresh expiring records immediately

It seemed a bit strange to have 'stats' module collect expiring records
in an LRU, then once a few minutes convert that via JSON to a lua table,
and put those records into prefetching queue.  Apart from complexity,
it wouldn't work well with short TTLs typical for today's CDNs, e.g. 30
or 60 seconds.

rrcache: fix prefetching of expiring insecure RRs

Our security policy prevented those from reaching cache,
crippling the feature.

Merge !334: bootstrap-depends.sh: fixup travis

bootstrap-depends.sh: try to fix travis

Merge !330: predict: fix enqueuing from predict log

Closes #154.

update NEWS

Fixes https://gitlab.labs.nic.cz/knot/knot-resolver/issues/154
I'm sorry I broke the module in 06b0d3d4bf6c.  Thaks Vita!

Merge branch 'master' into predict-fix

... to allow NEWS update

predict.generate: fix modular arithmetic

The epoch indices are from [1..period].

Merge !333: dnssec: handle unknown DNSKEY/DS algorithms

layer/validate: handle unknown algorithms

i.e. downgrade a zone to insecure when *all* DNSKEYs of the apex are
unverifiable due to unimplemented DNSKEY or DS algorithms.
Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/210

Makefile refactoring: abstract knot version

Merge !309: hints: improve interpretation of hosts-like files

Closes #204.

Merge branch 'master' into hints-name-order

... to fix conflict in NEWS.

Merge !332: fixup old gitlab URLs

hints.add_hosts: error out if a bad entry is encountered

hints: add (shadowed) PTR records for non-canonical names

Which semantically reverses part of fbe88ccd2.
I would personally prefer not to, but I guess it would be less consistent.
Also make the error messages a little better.

fixup old gitlab URLs

Almost all of them were getting redirected correctly, but why keep the
old ones.  Also update a couple nitpicks directly around.

Merge !331: Dockerfile: fix repo URL

Dockerfile: fix repo URL

Merge !329: rrcache: mangle TTL in first answer already

hints: fix removal of PTR records

I broke this in 3da1535ece when changing stuff around addr2reverse;
now it should be OK, after partially reversing that commit.
I'm sorry.  Thanks to Vita for noticing the breakage.

Merge !328: fix dns64 with policy.FORWARD

dns64 docs: document that policy.FORWARD works OK

At least it seems so...

update NEWS, docs

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/204

Merge branch 'master' into hints-name-order

(so that NEWS can get updated)

hints: change the handling of repeated hints (again)

In reverse (PTR) records, now the last definition wins,
and non-canonical names don't get (shadowed) records.

predict: fix enquing from predict log

 * changed stype to type
 * fix enquening queries from predict log
 * keep heuristic in function generate to predict upcoming epoch

Merge !327: zonecut: fix possible opportunities to use insecure

... data from cache as keys for validation

zonecut: fix possible opportunities to use insecure

... data from cache as keys for validation

lib/resolve: make the dns64 module working correctly in forwarding mode

policy: change the localhost. domain

The RFC seems to read that resolvers should reply with address records
even for foo.bar.localhost.  Note: Unbound-1.6.4 does NOT do that.
https://tools.ietf.org/html/rfc6761#section-6.3

policy: implement NXDOMAIN for onion.

Merge branch 'master' into policy-reserved-domains

... to fix conflict in a generated lua file

policy: follow RFC6303 more closely

In particular, try to make the locally-served zones valid,
including SOA and NS in apex, empty non-terminal vs. NXDOMAIN, etc.
I might've missed something, but it should certainly be closer to ideal.

rrcache: mangle TTL in first answer when using cache.min_ttl

Issue #127.

Answer is mangled first and then copied to cache.

policy: answer to reversed localhost query

Merge !326: various nitpicks

dns64 nitpick: make the query flag "official"

dnstap tests: ignore+clean additional directories

utils: remove unused kr_rrarray_add(...)

Noticed after removal of its lua binding in commit 3be76db7610.

Merge !324: dns64: correct order of CNAME and AAAA in answer

NEWS, docs: update dns64 info

dns64: improve with policy.FORWARD or .STUB

Clearing the query flags lead to kresd iterating over authoritative
servers.  Related: https://gitlab.labs.nic.cz/knot/resolver/issues/217

Note that validation of synthesised AAAA behind a CNAME doesn't work
when policy.FORWARD + dns64.  Example: www.regiojet.cz.
policy.STUB + dns64 seems not to work at all.

lua nitpicks: memory management

dns64-cname: correct order of CNAME and AAAA in answer

If CNAME chain occurs CNAME is placed before AAAA.

Merge !323: contrib/lmdb: 0.9.18 -> 0.9.21

contrib/lmdb: 0.9.18 -> 0.9.21

Maybe some coverity issues will get fixed, even though
they had seemed not to be affecting our use cases in kresd.

Tests+Deckard look OK and I've been using my system and kresd with
system-wide 0.9.21 for some time already.

Merge !318: lib/resolve: use RTT tracking to choose forwarders

Closes #125 and #208.

lib/resolve: even better support for forwarder choice

- sort the list instead of just picking the best one
- prefer unknown RTTs to probe them
- verbose output of the choice

Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/125
Fixes https://gitlab.labs.nic.cz/knot/resolver/issues/208

nsrep: eradicate kr_nsrep_inaddr*

They're just useless when we have kr_inaddr*.

lib/resolve: better support for forwarder choice

Merge !322: coverity fixes (nothing important)

utils: shut up a coverity warning (CID 155456)

rplan: fix a coverity warning (CID 164834)

There would be no real resource leak, as the memory is on a mempool,
so the lifetime is limited by kr_request finishing.  Also, it's only
on an unlikely error branch, but still...

Merge !321: bootstrap-depends nitpick: warn about ~/.local

bootstrap-depends nitpick: warn about rm -rf ~/.local

Some people might get surprised, as it's the default location for quite
some data nowadays ($XDG_DATA_HOME).

Fix doc for building and running

Merge !320: dnssec/nsec: add a precaution for DS nodata

dnssec/nsec: add a precaution when checking DS nodata

I just found it by accident when studying RFCs again.
Hmm, I'd like an operator for logical implication; I'm spoiled by Maths.

policy: handle localhost domain properly

According to RFC6761 query to localhost domain should generate
immediate response with loopback ip address.

policy: added test. and invalid. to special domain list

Merge branch 'check-config' into 'master'

daemon: check existence of config file

See merge request !317

policy: private reverse zone handled separately

This allows to disable specific deny rules on zone-by-zone basis
as it should be according to RFC6303 sec.3. Disable can be done by
policy rule PASS.

Also any FORWARD rule for such zone will be evaluated before DENY
that query.