fail on execissive data in a packet

Merge branch 'remove-safemode' into 'master'

Rework iterate.c/selection.c error handling

Closes #640

See merge request knot/knot-resolver!1126

mention MR in NEWS

lib/selection: refactor kr_selection_error_str()

This way leaves less room for mistakes, etc.  It's just the idea from:
https://gitlab.nic.cz/knot/knot-resolver/-/commit/dd0c99bdb6332ba3628833a8543a5f9f33141ddd#note_191580

iterate.c: clarify is_authoritative workaround comment

selection: only report RTT if there is an answer

Previously this would pollute the RTT cache with non-sensical
measurements from unsuccessful TCP connects for example.

modules/rebinding: fix module logging to new server selection

Module would crash due to the change of `request->upstream`
structure.

selection_iter: relax NSNXAttack mitigation

Previously the mitigation would stop some longer benign resolutions.
We can safely zero the subquery counter when choose a concrete transport
for the query (i.e. NS name with known IP address).

selection: force resolution of new NS name after lame delegation

Lame delegations are weird, they breed more lame delegations on broken
zones since trying another server from the same set usualy doesn't help.
We force resolution of another NS name in hope of getting somewhere.

iterate: interpret empty FORMERR answers correctly

Previously a 12B reply with FORMERR would be treated as malformed
creating a need for a workaround (switching off EDNS for every malformed
answer).

bogus_log: fix bogus_log test to new error handling

resolve.c: trigger serve stale on NSNXAttack mitigation from kr_resolve_consume

iterate.c: don't copy NO_MINIMIZE when following a CNAME

Instead copy it from the request's options.

Reasoning: Minimization might have been turned off as a workaround for
broken authoritative servers which doesn't support it. There is no
reason to drop minimization when switching zones when following a CNAME.

selection: fix DNSSEC_BOGUS/NSNXAttack mitigation interaction

When cancelling a query due to NSNXAttack mitigation when validator was
also in BOGUS state, records wouldn't be stripped from the answer.

selection: better error messages for errors

selection: minor fixes in commented code

These will become useful once we actually use it…

iterate: rework error handling from iterate.c

Previously there where resolve_badmsg and resolve_error functions used
to apply workarounds. This is now moved to selection.c and iterate.c
just provides feedback using the server selection API. Errors are now
handled centrally in selection.c:error.

Merge branch 'ci-scan-build' into 'master'

ci lint:scan-build: work around changes in meson

See merge request knot/knot-resolver!1127

ci lint:scan-build: work around changes in meson

In 1f7678ea24 meson was updated and that broke our scan-build.
Now we work around that.  Quick analysis of why:
https://github.com/mesonbuild/meson/pull/5918#issuecomment-762064902

Merge branch 'dnstap-tests' into 'master'

dnstap tests: integrate into meson, CI, etc.

See merge request knot/knot-resolver!1123

meson: utilize test priority with sufficiently new meson

+ it's more efficient to schedule longer tests before shorter tests
- we get a warning (if meson is new enough to use priorities)

Priority numbers: I took the config tests as baseline.
I didn't touch tests with "is_parallel: false".

tests/dnstap: fix, refactor and integrate into meson and CI

They need one go package which I can't find even in Debian,
so it probably can't work without network access.
The new dnstap in extra_tests runs if dnstap is built and go is found.
It also tries to keep the source tree clean.

Now both query and reply messages are tested.

In CI (after caching go deps in image) this tests only takes slightly
more time than the longest config.* tests, so that seems OK.
Even so, it's not added into the valgrind variant, as compilation
of the test still isn't split away from the run itself.

ci/debian-buster: add deps for dnstap in kresd

From distro packages, just libprotobuf-c-dev and golang-any are new,
but I also broke the overlong line and reorganized its contents a bit.

Merge branch 'dnstap-pkg' into 'master'

add dnstap subpackage

Closes #655

See merge request knot/knot-resolver!1118

distro/tests: add dnstap test

distro/rpm: add dnstap subpackage

introduce new dependencies:

* libfstrm
* libprotobuf-c

SUSE is missing protoc-c compiler so don't build dnstap there.

distro/deb: add dnstap subpackage

introduce new dependencies:

* libfstrm
* libprotobuf-c

distro/deb: remove obsolete http module script

This is a relic of ancient times.

Merge branch 'no-assert-return-fix' into 'master'

selection: return early from forward_choose_transport with asserts off

See merge request knot/knot-resolver!1125

selection: return early from forward_choose_transport with asserts off

This lead to unintitialized values being possibly used down the line.

Merge branch 'reorder_rr-defaults' into 'master'

randomize record order by default, i.e. reorder_RR(true)

See merge request knot/knot-resolver!1124

randomize record order by default, i.e. reorder_RR(true)

It's quite cheap for us, and it might help with dumb clients
overusing the lowest IP from each set.

daemon/engine: refactor repetitive naming in init_resolver()

"ctx" is the usual name elsewhere for a kr_context pointer

Merge branch 'mempattern' into 'master'

refactor memory allocation patterns a little

See merge request knot/knot-resolver!1115

treewide: avoid memset where it's trivial

More idiomatic code seems better:
- for variable initialization we have = { 0 }
- (mm_)calloc for heap allocations
  sizeof: use variable instead of type (where suitable; not sure why)

contrib/mempattern: hide mm_malloc()

Experience proved that it can be confused with mm_alloc()
and it may not be trivial to find the mistake.

mm_ctx_mempool2(): factor out the new function

utilize mm_ctx_mempool() instead of writing by hand

contrib/mempattern: integrate other related functions

copy mempattern files from Knot DNS as they are

It seems just easier than having the copies in the current way.
I don't think the `static inline` were helping us anyway,
except for avoiding KR_EXPORT in some cases.

Still, differences when copying:
 - we use plain memset() in the implementation
   (no motivation here to use the complex memzero() approach)
 - we expose mm_malloc(), as we've been referring to it
 - we KR_EXPORT some of the functions (for lua and modules)

Merge !1103: dnstap: log client requests + filter out internal queries

doc/upgrading: dnstap option log_responses moved

fix trivial lint:tidy warnings

These do not make the CI job fail, but better avoid them anyway.
I suspect they got added when we updated the CI docker image.

dnstap: represent DoT and DoH

(instead of marking them as TCP)
This includes latest dnstap.proto, except for keeping our local changes
of the licensing comment.
https://github.com/dnstap/dnstap.pb/blob/master/dnstap.proto

tests/dnstap: Update configuration to match latest changes

dnstap: multiple changes

- log queries and responses as separate dnstap messages
- use "query" instead of "request" to mirror dnstap specification
- don't export "query_zone" field in "CLIENT_*" messages

dnstap: Add optional identity and version fields

dnstap: optionally log client requests; don't log internal ones

Merge branch 'pkg-cznic-release' into 'master'

distro: introduce upstream cznic release prefix

See merge request knot/knot-resolver!1122

distro: introduce upstream cznic release prefix

using cznic.1 release string for upstream packages ensures they are
prefered over downstream ones and that their versions don't collide
which was causing issues for users with both downstream and upstream
packaging repos enabled.

Following statements are true according to `dpkg --compare-versions`:

    1.2.3-1   < 1.2.3-cznic.1
    1.2.3-999 < 1.2.3-cznic.1

So upstream packages should always take precedence over downstream
packages of the same version.

Merge branch 'link-local-forward' into 'master'

lib/selection: allow forwarding to link local address

See merge request knot/knot-resolver!1116

lib/selection: allow forwarding to link local address

This is done by changing the type of address field in struct choice to
union inaddr and moving some conversion around.

Merge branch 'doh2-memleak' into 'master'

daemon/http: fix memleak

See merge request knot/knot-resolver!1117

daemon/http: use memmove() for session buffer write

Since session buffer contains both the raw http data and the resulting
decoded DNS packet, memmove() should be used instead of memcpy().

daemon/http: ensure uri_path is freed for POST

Since #636 was implemented, uri_path is also saved for POST requests and
thus needs to be freed.

daemon/http: fix memleak

The http_data structure is allocated in http_write_pkt() and the last
callback that uses it is on_pkt_write(), so it should be responsible for
freeing the memory.

This used to leak a small amount of memory on every DoH response.

Merge !1119: ci: add sonarcloud build

ci: add sonarcloud build

Merge branch 'tumbleweed_errors' into 'master'

daemon/worker.c: fix warning from compilation without asserts

See merge request knot/knot-resolver!1120

daemon/worker.c: fix warning from compilation without asserts

I kept the changes (especially the one in qr_task_on_send) as local as
possible while hopefully preserving the invariants other functions in
worker rely upon.

Merge branch 'daf-clear' into 'master'

daf: Add clear method

See merge request knot/knot-resolver!1114

daf: Add clear method

Make it easier to delete all rules specified in daf.

Merge !1110: docker: add dnstap support

docker: add dnstap support

Merge !1030: server selection rewrite

Closes #447

add NEWS entry

lib/selection: minor refactorings and comments

Small things I've noticed while reading it all.
- line breaks: I believe <90 is OK, as usually the attempts to reduce
  lengths impair readability
- avoid unnecessary casts; usually the type was visible
  on the same line anyway
- avoid `|` on booleans
- one block gets de-indented (often badly shown in diffs)
- no need for UNRECOVERABLE_ERRORS in a header (and a weird one, too)
- recoverability from failed assertions (in case they're turned off)

lib/selection: tweak computation of RTT estimates

- fix switched \alpha and \beta from the RFC (no big deal, I think)
- use the same order as in the RFC (perhaps that caused the switch?)
- avoid floating-point arithmetics (it's simple with these formulas)
- simplify the the backoff formula (MINs instead of branches)

lib/selection: refactor usage of bytes_to_ip()

lib/selection: be more careful around rtt_state.dead_since

It's all because the timestamp that we're using isn't (guaranteed to be)
meaningful across reboots or different machines, whereas our cache even
persists by default.

lib/selection: tweak how cache is used

- standardize cache key choice and ensure impossibility of collisions
- comment on interaction with GC; it would be better to give RTT
  priority over most of other records
- be more robust wrt. value in cache

selection: server selection rewrite

Design discussion: #447
Code discussion: !1030

tests: fix knot-resolver specific Deckard tests

deckard: update for the new server selection

iterate: accept parent-side records for nameservers

When resolving just NS names and addresses which won't go to answers,
our cache can satisfy them with just parent-side records.
Now we also make iterator consistent with that, and it will cut short
if a delegation satisfies what the kr_query wants.

There's a general risk that we will never get the child-side records,
and in practice the parent-side ones are sometimes "less accurate".
This change may increase this risk (to NS addresses in particular),
but we'd better consider addressing the risk later and systematically.
A suggestion is to refresh the records asynchronously:
https://tools.ietf.org/html/draft-ietf-dnsop-ns-revalidation

---
State before this commit lead to a weird behaviour where some IPv4-only
tests in Deckard (namely `iter_pcdiff.rpl`) were failing with IPv6
turned off.

This was due to the resolvers' internal preference towards AAAA records
for NS names.  With IPv6 networking on, NS name resolution was first
done for AAAA record and the glue (containing A record for the NS name
in question) from parent zone was put into cache.  As the AAAA
resolution failed (there is no AAAA for this NS name), A was queried
next and was satisfied from cache.

With IPv6 off, there is no query for the AAAA record, so no A record
from glue gets put in to the cache.  A record is resolved first, and
resolution ignores the glue in parent zone and continue to the child
zone which might be broken (intentionally in the case of that
`iter_pcdiff.rpl` test).

Merge branch 'view-tweaks' into 'master'

view tweaks

See merge request knot/knot-resolver!1112

view: documentation nitpicks

view.addr(): throw error on bad subnet

It's more consistent with what we do.  Now it will look like:
[system] error while loading config: .../lib/knot-resolver/kres_modules/view.lua:28: failed to parse subnet [::1]/128 (workdir '/foo/bar')

lib/utils kr_straddr_subnet(): fix some error detection

inet_pton() has slightly unexpected return values.
Only one function was wrong; I don't count the unused kr_straddr_join().

Merge !1111: doc: policy - improve clarity of links

doc: make links to policies more consistent

doc: use :any: to refer to non-function policies

:func: directive automatically always adds brackets. This results in
links such as "policy.PASS()", which can be confusing, since the actual
policy is supposed to be "policy.PASS".

Using :any: results in links without the added brackets, which makes
non-function policies less confusing.

Merge branch 'prometheus-labels' into 'master'

Transform Graphite tags into Prometheus labels

Closes #650

See merge request knot/knot-resolver!1109

Move transform step to a separate function

Transform Graphite tags into Prometheus labels

Merge branch 'release-5-2-1' into 'master'

release 5.2.1

See merge request knot/knot-resolver!1108

release 5.2.1

Merge branch 'renumber_fix' into 'master'

Renumber module fix

See merge request knot/knot-resolver!1107

fix renumber module configuration with multiple IP addresses

renumber tests

config tests: generalize check_answer

Finally it does not rely on ordering in the answer.
Stringification seemed like an easy hack for tests, let's see how it
works in the long term.

tests: verbose stack traces from config tests

tests: print stack traces from check_answer callback function

tests: typo fix

tests: detect empty config test sets

tests: sort config test order in modules/meson.build

Merge branch 'auto_free-generic' into 'master'

contrib/cleanup: loosen type-checking in auto_free

See merge request knot/knot-resolver!1100

contrib/cleanup: loosen type-checking in auto_free

- advantage:    `auto_free anyType *foo;` works (for anyType != char)
- disadvantage: `auto_free anyType bar;` is also accepted,
  though I expect such problems will be relatively easy to debug.

Merge branch 'ci-gh-actions-fix' into 'master'

ci: improve GH actions error handling

See merge request knot/knot-resolver!1106

ci: improve GH actions error handling