Merge !1403: tests, ci: fix and reintroduce dnstap tests + nits

tests/pytests: adapt to new pylint

New version of pylint removed the disabled `bad-continuation` check. It
also added a parens check that we were violating in
`test_random_close.py`, which is now fixed as well.

ci/images/README: add KNOT_BRANCH explanation

ci: reintroduce Go tests into the CI

tests/dnstap: fix for Go 1.19 (and possibly others)

Merge !1401: lib/cache pkt_renew(): fix an edge-case bug

lib/cache pkt_renew(): fix an edge-case bug

It could happen that this condition didn't get triggered,
but the structures weren't completely clear.  In particular,
the current section could be past KNOT_ANSWER already.
Let's be more conservative here; pkt_recycle() shouldn't be expensive.

I'm not sure why I only ran into this on the new-policy branch,
but it really seems like bug here on master already.

Merge !1397: hints docs: explain root hints better

hints docs: explain root hints better

The removed tip seemed especially misleading;
I don't think our root hints could've ever been used that way.
And latency to root servers has practically no impact on latency
of replies to reasonable answers (just like... once per day and TLD).

Merge !1398: ci: drop debian 9

ci: drop debian 9

It looks like downloads won't work anymore:
 https://gitlab.nic.cz/knot/knot-resolver/-/jobs/890201
 https://gitlab.nic.cz/knot/knot-resolver/-/jobs/890312
which is probably because long-term support ended last summer.

Merge !1396: tests/integration/deckard: update

tests/integration/deckard: update

Adds just https://gitlab.nic.cz/knot/deckard/-/merge_requests/220

Merge !1392: forwarding mode: tweak dealing with failures from forwarders

NEWS: entry describing the previous three commits

The changes are potentially too significant to do in a patch update.

improve handling of SERVFAIL from forwarders

- selection: utilize address_state::broken also when forwarding
- selection: drop fallbacks that don't make sense when forwarding
- iterate: copy EDE codes on DNSSEC SERVFAILs

lib/resolve: when forwarding, prefer to send CD=0 upstream

lib/resolve query_finalize: handle RD flag even if NO_EDNS

Merge !1390: nits: destination-based view, ephemeral TLS cert

view: fix destination-based matching

Apparently it's never worked since its introduction.

.addr is non-nil exactly when .dst_addr is non-nil
(which hapens iff the query originated externally).
Now we have semantics which was probably intended by the original code
(982162956a from 2016) but that semantics is still problematic
if you need both kinds of matching in a single request from client.

This matching by destination has never made it to docs,
so let's just add this simple fixup for now, and later
we'll steer users to new policy configuration anyway.

daemon/tls_ephemeral_credentials nit: improve cert serial

I don't expect this matters, but why not fix this
to do what was intended (by the comment).
Discovered by Daniel Salzman <daniel.salzman@nic.cz>

Merge !1384: Fix building on Cygwin

Fixes #781

add a NEWS item for these "cygwin changes"

We won't really support cygwin builds,
so I avoided saying the name and explaining details.

Fix building on Cygwin

This commit adds support for building on Cygwin/MSYS2.

Signed-off-by: Christopher Ng <facboy@gmail.com>

Revert "meson: use correct luajit includes from pkgconfig"

This reverts commit 0b9524b7d6680f892671fc4e7a2e5c603848cf60.

The hack shouldn't be needed anymore:
https://github.com/Homebrew/homebrew-core/commit/4369052170f4360b7ad545f23b8a01a4ccb37683#diff-59a7902ada251dd9dba99b5bd323c1dba1d102d244ce766c06ce00097fb82e8fL71

This isn't an exact revert, but differences are minor.

Merge !1388: daemon/engine: warning when log_groups contains a non-existent group

daemon/engine: warning when log_groups contains a non-existent group

Until now, kresd would refuse to start when a log_groups Lua call
contained a non-existent group. After this change, only a warning is
printed, which helps during development while switching between branches
with new logging groups. I don't think changing the configuration all
the time just for a logging group is warranted.

Merge !1386: lib/utils: fix timestamp format in dumps of records

lib/utils: fix timestamp format in dumps of records

The debug dumps of packets used UNIX timestamps (in RRSIG validity)
instead of the customary human stamps.
This was an unintentional regression of 0555828e, i.e. since v5.4.1

I looked again at all other differences from default kdig style,
and the only ones are that we don't show class and don't do IDN.
(both seem suitable here)

Merge !1387: ci: fix macOS builds

ci: fix macOS builds

Let's specify more of the dependencies explicitly.
I suspect it was pkg-config that was missing;
https://github.com/CZ-NIC/knot-resolver/actions/runs/4241689540/jobs/7372234570

Merge !1383: ci: leap < 15.4 are dead

ci: leap < 15.4 are dead

These packaging tests are dying anyway;
the manager branch reworked them.
So at least the breakages won't be shown in red until then.

https://gitlab.nic.cz/knot/knot-resolver/-/jobs/852665
https://build.opensuse.org/request/show/1050454

obs:leap15 after updating fails later in the vagrant step though:
https://gitlab.nic.cz/knot/knot-resolver/-/jobs/852799

Merge !1378: tests/pytests: quality-of-life improvements and notes

tests/pytests: quality-of-life improvements and notes

Added the option to run `kresd` inside `pytests` under `valgrind` and
`rr`, which can help with debugging. Also added a clarifying note that I
personally would have liked to have while exploring this.

Merge !1382: tests/pytests: adapt to stricter handling of trailing bytes

tests/pytests: adapt to stricter handling of trailing bytes

Since commit a0cbbde1 we don't ignore trailing bytes in queries.

Merge branch 'release-5.6.0' into 'master'

release 5.6.0

See merge request knot/knot-resolver!1381

ci: allow failure for bad OBS distrotest jobs

They've been failing for many months, e.g. see
https://gitlab.nic.cz/knot/knot-resolver/-/pipelines/104497
This way it at least won't be confusing by showing red in CI.

AUTHORS: .mailmap update

release 5.6.0

Merge branch 'reply-errors' into 'master'

avoid excessive TCP reconnections in some cases

See merge request knot/knot-resolver!1380

NEWS for the past two commits

daemon/io: penalize servers that close without reply

daemon/worker: call server_selection.error() more

On most fundamental issues like DNS message not parsing,
we did not call this.  Selection needs such information.

Merge !1379: tests/integration/deckard: update to version with --forked

tests/integration/deckard: update to version with --forked

Merge !1371: predict: fully deactivate prediction with `period = 0`

predict: fully deactivate prediction with `period = 0`

That setting is recommended by documentation but it would still leave
the timer triggering repeatedly.  Maybe it didn't cause any practical
difference, but it was unnecessary and possibly confusing.

Merge !1368: Copyright notices: remove years and replace e-mail

Copyright notices: remove years and replace e-mail

Merge !1369: NEWS + doc about TTL: forgotten minor tweaks

NEWS + doc about TTL: forgotten minor tweaks

Merge !1323: TTL tweaks

Closes #127 and #736

NEWS + doc about TTL: apply changes from previous commits

(and minor other changes)

TTL bounds: improve the logic

- apply to first (uncached) answer already
- don't extend over signature validity

Nit: the tests were using too high TTL (RFCs disallow the "sign bit").
It was working because (manual) cache-insertion was applying bounds,
but now the bounds don't get applied anymore, so it would fail.

cache.max_ttl(): lower the default from six days to one day

Allowing too much seems to have more risk than benefit.  For example,
the 2-day TTL on DS records in .com zone (e.g. Slack issue months ago).

lib/cache: tweak TTL computation for packets

When a whole packet is cached (instead of individual RRs),
let's simplify the way the packet's TTL gets computed.

The previous mechanism came from commit 5b383a2bb7,
probably a misunderstanding of:
https://datatracker.ietf.org/doc/html/rfc2308#section-5
Anyway, I see no motivation to do it, and this way we should
get rid of some weird cases where we might extend TTL of some records,
except if they were below the cache.min_ttl() setting (5s default).

Merge !1367: docs: run `meson setup` explicitly in build instructions

docs: run `meson setup` explicitly in build instructions

Fixing all instances of the same issue on the same docs page.

docs: run `meson setup` explicitly in build instructions

This silences the following warning given on newer version of meson:

WARNING: Running the setup command as `meson [options]` instead of
`meson setup [options]` is ambiguous and deprecated.

Merge !1365: iterate: no longer accept DNS messages with trailing data

iterate: no longer accept DNS messages with trailing data

We can get stricter here;
with negligible fraction of real-life names regressing.

daemon/worker: minor refactoring around knot_pkt_parse()

The separate function wasn't really doing anything.
Also add a debug log.

Merge !1364: policy.STUB: minor improvements

policy.STUB: avoid copying +dnssec flag from client to upstream

I can't see any motivation for the copying behavior,
and it made caching non-deterministic.

policy.STUB: avoid applying aggressive DNSSEC denial proofs

In particular, avoids unintentional NXDOMAIN on grafted subtrees.
Consequently the users can drop 'NO_CACHE' flag and get caching.

Merge !1366: policy.DEBUG_IF: don't trigger .REQTRACE unconditionally

policy.DEBUG_IF: don't trigger .REQTRACE unconditionally

I broke this in 54ab3f78 or closely around, so this never worked well
since 5.4.1, and maybe structured logging (5.4.0) had related issues.

Merge !1353: add option to link sbin/kresd to jemalloc

NEWS, doc: document jemalloc

use jemalloc in CI

distro/pkg/*: build with jemalloc

add option to link sbin/kresd to jemalloc

And by default do so iff jemalloc is found.

I chose the simplicity of adding the chosen allocator just
in the single binary.  Other sbin/* don't matter really,
and dynamic libs (e.g. modules) will just follow whoever loaded them.

Merge !1362: ci/images: drop the LXC images

ci/images: drop the LXC images

Last use case was dropped in 36b08eb30387,
and I don't expect we'd use this in future anymore.
The "bullseye" in README was clearly a typo (it's the codename for 11).

Merge !1360: doc/build.rst nit: add dnsdist as optional dependency

doc/build.rst nit: add dnsdist as optional dependency

Merge !1356: ci improvements, mainly for respdiff

doc nit: tweak the link to dnsflagday.net

As the web is now, combination without www doesn't redirect https
(only http).  So let's switch to the final URL; apex is problematic.

ci respdiff+resperf: make the skipped cases orange

ci respdiff+resperf: make them run manually

In that case there's no need to wait for other jobs, too.

ci: make jobs interruptible by default

We're usually not interested in CI on older commits,
and this default will help cancelling expensive respdiff jobs.

Also add default runner tags to make them less likely
to get underspecified.  For example, each job should choose
one option in the docker/lxc and amd64/arm64 pairs.

ci pytests: migrate away from LXC runner

This reverts commit 15c1353544be, with some modifications.
On LXC we've had issues with
  FileExistsError: [Errno 17] File exists: '/tmp/pytest-kresd-portdir'
.. which disappear with this commit.  (I don't know how/why.)

Merge !1357: doc XDP: update the list of required capabilities

doc XDP: update the list of required capabilities

We're the same as knotd in this; it evolved a bit
with libknot and kernel versions.  Taken from:
https://www.knot-dns.cz/docs/3.2/singlehtml/#mode-xdp-pre-requisites

Merge !1355: daemon/network: fix heap-buffer-overflow in endpoint key generation

daemon/network: fix heap-buffer-overflow in endpoint key generation

Reproducible by listening on an interface by name, ASAN reports a
heap-buffer-overflow. This was a regression caused by !1286, which did
not account for null-terminators properly.

Merge !1349: modules/dns64: add recommendation to also disable DNS64 via IPv4

modules/dns64: add recommendation to also disable DNS64 via IPv4

It's resonable to assume that people would also want to disable DNS64 for
IPv4 source addresses if they only enable it for some IPv6 sources.

Close https://github.com/CZ-NIC/knot-resolver/pull/83

Merge !1352: ci nixos-unstable:pkgbuild: fixup recent regression

ci nixos-unstable:pkgbuild: fixup recent regression

https://gitlab.nic.cz/knot/knot-resolver/-/jobs/802541#L272

Merge !1348: ci/images/debian-11: drop go

ci/images/debian-11: drop go

I don't know how to fix building the image with it.
A few things were tried around different go versions (from -backports).

Merge branch 'release-5.5.3' into 'master'

release 5.5.3

See merge request knot/knot-resolver!1343

release 5.5.3

lib/zonecut + iterator: limit large NS sets

It's a mitigation for CVE-2022-40188 and similar DoS attempts.
It's using really trivial approaches, at least for now.

Merge !1340: ci macOS: add Knot 3.2

ci macOS: add Knot 3.2

Merge !1339: cache test: loosen conditions on cache usage