WIP

fixup! doh2: fix sending errors

fixup! doh2: added control stream to each test

fixup! doh2: send HTTP error status code

doh2: added control stream to each test

doh2: fix sending errors

doh2: send HTTP error status code

Merge branch 'doc-predict' into 'master'

predict docs: better explain how it works

See merge request knot/knot-resolver!1145

predict docs: better explain how it works

Merge branch 'release-5.3.0' into 'master'

release 5.3.0

See merge request knot/knot-resolver!1138

release 5.3.0

Merge branch 'selection-no6' into 'master'

lib/selection: add simple detection of IPv6 being broken

See merge request knot/knot-resolver!1143

lib/selection: add simple detection of IPv6 being broken

Details are described in code comments.

Merge branch 'selection-tweaks' into 'master'

lib/selection: halve the default timeout (for iteration)

See merge request knot/knot-resolver!1141

lib/selection: halve the default timeout (for iteration)

Merge branch 'switch_to_udp' into 'master'

lib/selection{,_iter}.c: allow switching back to UDP

See merge request knot/knot-resolver!1140

lib/selection{,_iter}.c: allow switching back to UDP

Switching to TCP instead of querying very slow servers over UDP has had
unwanted side effect – we would sometimes get stuck with a server
permanently switched to TCP. And if the server happens to not reply over
TCP we were in trouble.

Therefore after we TCP connect fails or timeouts we provide one last
chance for the server over UDP. This will not prevent the next request
to try TCP again on this server again, but we don't care because
DNS MUST ******* work over TCP.

Merge branch 'sendmmsg-logs' into 'master'

daemon/udp_queue: drop the error logging

See merge request knot/knot-resolver!1139

daemon/udp_queue: drop the error logging

We should do this for all transports and probably just in verbose mode.
We were printing lots of these on Turris OS (for one user at least):
https://forum.turris.cz/t/5-1-8-kresd-throwing-many-errors-in-var-log-messages/14775

EACCESS in particular apparently may happen (on Linux) when the network
is "unavailable", EPERM because of firewall/netfilter:
https://stackoverflow.com/a/23869102

Merge !1137: bump required Knot DNS version to 2.9

bump required Knot DNS version to 2.9

Merge branch 'http-trace-stability' into 'master'

modules/{http,watchdog}: fix stability problems

See merge request knot/knot-resolver!1136

modules/{http,watchdog}: fix stability problems

As first noted in commit d1a229ae9, in some cases we do call chains that
are not supported for JIT in LuaJIT.

I'm not 100% sure all of these are needed to comply, but the functions
here are really small and probably not to be that heavily used,
so I don't think it will be costly to interpret them
(and avoiding crashes is more important).

In my tests this fixed occasional crashes when using http://*/trace/*

Merge branch 'knot-3.1' into 'master'

adapt to knot 3.1 changes

See merge request knot/knot-resolver!1134

adapt to libknot 3.1 API changes in XDP

Merge branch 'sonarcloud-fixup' into 'master'

ci: Sonarcloud fixup

See merge request knot/knot-resolver!1135

ci: fix .gitlabci sonarcloud line folding

Merge branch 'sonarcloud' into 'master'

ci: sonarcloud improvements

See merge request knot/knot-resolver!1121

ci sonarcloud: add project version (git describe)

and break the overlong line

Merge branch 'policy.ANSWER' into 'master'

policy.ANSWER: minor fixes, mainly around NODATA answers

See merge request knot/knot-resolver!1129

doc: fix a tiny typo

Reported on:
https://gitter.im/CZ-NIC/knot-resolver?at=60213c720eed905f189da4d7

policy.ANSWER: minor fixes, mainly around NODATA answers

- return SOA in NODATA answers and allow customizing it
- only call ensure_answer() if really generating an answer
  (otherwise we might e.g. deplete XDP buffers, in extreme cases)

Merge !1133: packaging: link to Arch Linux package

packaging: link to Arch Linux package

Arch Linux now ships knot-resolver in their repositories, delete
reference to AUR.

Thanks to daurnimator who adopted the package!

Merge branch 'modules-docs' into 'master'

minor module docs fixes

See merge request knot/knot-resolver!1131

modules/stats: fix README mistake in .set()

Reported on:
https://gitter.im/CZ-NIC/knot-resolver?at=601ae90e9fa6765ef8f6b408

modules/prefill: fix README typo

(and regularize indentation)  Reported on:
https://gitter.im/CZ-NIC/knot-resolver?at=601b36f6aa6a6f319d0235f5

Merge !1130: when FORMERR comes, differentiate based on OPT

when FORMERR comes, differentiate based on OPT

In particular, non-support of EDNS is implied iff FORMERR without OPT
comes.  If OPT is there, one possibility is that there was something
wrong in the OPT that *we* sent, but it seems much more likely that
this particular server is just bad and we want to try another one.
https://tools.ietf.org/html/rfc6891#section-7
In particular, we would be in trouble if we dropped OPT in a zone
that is covered by DNSSEC.

lib/selection: rename to *_FORMERR for consistency

It's now consistent with KNOT_RCODE_FORMERR and the official name
https://www.iana.org/assignments/dns-parameters/dns-parameters.xhtml#dns-parameters-6

Merge !1128: remove NO_THROTTLE option

remove NO_THROTTLE option

It wasn't really used for a long time and became completely obsolete after
!1030.

Merge branch 'remove-safemode' into 'master'

Rework iterate.c/selection.c error handling

Closes #640

See merge request knot/knot-resolver!1126

mention MR in NEWS

lib/selection: refactor kr_selection_error_str()

This way leaves less room for mistakes, etc.  It's just the idea from:
https://gitlab.nic.cz/knot/knot-resolver/-/commit/dd0c99bdb6332ba3628833a8543a5f9f33141ddd#note_191580

iterate.c: clarify is_authoritative workaround comment

selection: only report RTT if there is an answer

Previously this would pollute the RTT cache with non-sensical
measurements from unsuccessful TCP connects for example.

modules/rebinding: fix module logging to new server selection

Module would crash due to the change of `request->upstream`
structure.

selection_iter: relax NSNXAttack mitigation

Previously the mitigation would stop some longer benign resolutions.
We can safely zero the subquery counter when choose a concrete transport
for the query (i.e. NS name with known IP address).

selection: force resolution of new NS name after lame delegation

Lame delegations are weird, they breed more lame delegations on broken
zones since trying another server from the same set usualy doesn't help.
We force resolution of another NS name in hope of getting somewhere.

iterate: interpret empty FORMERR answers correctly

Previously a 12B reply with FORMERR would be treated as malformed
creating a need for a workaround (switching off EDNS for every malformed
answer).

bogus_log: fix bogus_log test to new error handling

resolve.c: trigger serve stale on NSNXAttack mitigation from kr_resolve_consume

iterate.c: don't copy NO_MINIMIZE when following a CNAME

Instead copy it from the request's options.

Reasoning: Minimization might have been turned off as a workaround for
broken authoritative servers which doesn't support it. There is no
reason to drop minimization when switching zones when following a CNAME.

selection: fix DNSSEC_BOGUS/NSNXAttack mitigation interaction

When cancelling a query due to NSNXAttack mitigation when validator was
also in BOGUS state, records wouldn't be stripped from the answer.

selection: better error messages for errors

selection: minor fixes in commented code

These will become useful once we actually use it…

iterate: rework error handling from iterate.c

Previously there where resolve_badmsg and resolve_error functions used
to apply workarounds. This is now moved to selection.c and iterate.c
just provides feedback using the server selection API. Errors are now
handled centrally in selection.c:error.

Merge branch 'ci-scan-build' into 'master'

ci lint:scan-build: work around changes in meson

See merge request knot/knot-resolver!1127

ci lint:scan-build: work around changes in meson

In 1f7678ea24 meson was updated and that broke our scan-build.
Now we work around that.  Quick analysis of why:
https://github.com/mesonbuild/meson/pull/5918#issuecomment-762064902

Merge branch 'dnstap-tests' into 'master'

dnstap tests: integrate into meson, CI, etc.

See merge request knot/knot-resolver!1123

meson: utilize test priority with sufficiently new meson

+ it's more efficient to schedule longer tests before shorter tests
- we get a warning (if meson is new enough to use priorities)

Priority numbers: I took the config tests as baseline.
I didn't touch tests with "is_parallel: false".

tests/dnstap: fix, refactor and integrate into meson and CI

They need one go package which I can't find even in Debian,
so it probably can't work without network access.
The new dnstap in extra_tests runs if dnstap is built and go is found.
It also tries to keep the source tree clean.

Now both query and reply messages are tested.

In CI (after caching go deps in image) this tests only takes slightly
more time than the longest config.* tests, so that seems OK.
Even so, it's not added into the valgrind variant, as compilation
of the test still isn't split away from the run itself.

ci/debian-buster: add deps for dnstap in kresd

From distro packages, just libprotobuf-c-dev and golang-any are new,
but I also broke the overlong line and reorganized its contents a bit.

Merge branch 'dnstap-pkg' into 'master'

add dnstap subpackage

Closes #655

See merge request knot/knot-resolver!1118

distro/tests: add dnstap test

distro/rpm: add dnstap subpackage

introduce new dependencies:

* libfstrm
* libprotobuf-c

SUSE is missing protoc-c compiler so don't build dnstap there.

distro/deb: add dnstap subpackage

introduce new dependencies:

* libfstrm
* libprotobuf-c

distro/deb: remove obsolete http module script

This is a relic of ancient times.

Merge branch 'no-assert-return-fix' into 'master'

selection: return early from forward_choose_transport with asserts off

See merge request knot/knot-resolver!1125

selection: return early from forward_choose_transport with asserts off

This lead to unintitialized values being possibly used down the line.

Merge branch 'reorder_rr-defaults' into 'master'

randomize record order by default, i.e. reorder_RR(true)

See merge request knot/knot-resolver!1124

randomize record order by default, i.e. reorder_RR(true)

It's quite cheap for us, and it might help with dumb clients
overusing the lowest IP from each set.

daemon/engine: refactor repetitive naming in init_resolver()

"ctx" is the usual name elsewhere for a kr_context pointer

Merge branch 'mempattern' into 'master'

refactor memory allocation patterns a little

See merge request knot/knot-resolver!1115

treewide: avoid memset where it's trivial

More idiomatic code seems better:
- for variable initialization we have = { 0 }
- (mm_)calloc for heap allocations
  sizeof: use variable instead of type (where suitable; not sure why)

contrib/mempattern: hide mm_malloc()

Experience proved that it can be confused with mm_alloc()
and it may not be trivial to find the mistake.

mm_ctx_mempool2(): factor out the new function

utilize mm_ctx_mempool() instead of writing by hand

contrib/mempattern: integrate other related functions

copy mempattern files from Knot DNS as they are

It seems just easier than having the copies in the current way.
I don't think the `static inline` were helping us anyway,
except for avoiding KR_EXPORT in some cases.

Still, differences when copying:
 - we use plain memset() in the implementation
   (no motivation here to use the complex memzero() approach)
 - we expose mm_malloc(), as we've been referring to it
 - we KR_EXPORT some of the functions (for lua and modules)

Merge !1103: dnstap: log client requests + filter out internal queries

doc/upgrading: dnstap option log_responses moved

fix trivial lint:tidy warnings

These do not make the CI job fail, but better avoid them anyway.
I suspect they got added when we updated the CI docker image.

dnstap: represent DoT and DoH

(instead of marking them as TCP)
This includes latest dnstap.proto, except for keeping our local changes
of the licensing comment.
https://github.com/dnstap/dnstap.pb/blob/master/dnstap.proto

tests/dnstap: Update configuration to match latest changes

dnstap: multiple changes

- log queries and responses as separate dnstap messages
- use "query" instead of "request" to mirror dnstap specification
- don't export "query_zone" field in "CLIENT_*" messages

dnstap: Add optional identity and version fields

dnstap: optionally log client requests; don't log internal ones

Merge branch 'pkg-cznic-release' into 'master'

distro: introduce upstream cznic release prefix

See merge request knot/knot-resolver!1122

distro: introduce upstream cznic release prefix

using cznic.1 release string for upstream packages ensures they are
prefered over downstream ones and that their versions don't collide
which was causing issues for users with both downstream and upstream
packaging repos enabled.

Following statements are true according to `dpkg --compare-versions`:

    1.2.3-1   < 1.2.3-cznic.1
    1.2.3-999 < 1.2.3-cznic.1

So upstream packages should always take precedence over downstream
packages of the same version.

Merge branch 'link-local-forward' into 'master'

lib/selection: allow forwarding to link local address

See merge request knot/knot-resolver!1116

lib/selection: allow forwarding to link local address

This is done by changing the type of address field in struct choice to
union inaddr and moving some conversion around.

Merge branch 'doh2-memleak' into 'master'

daemon/http: fix memleak

See merge request knot/knot-resolver!1117

daemon/http: use memmove() for session buffer write

Since session buffer contains both the raw http data and the resulting
decoded DNS packet, memmove() should be used instead of memcpy().

daemon/http: ensure uri_path is freed for POST

Since #636 was implemented, uri_path is also saved for POST requests and
thus needs to be freed.

daemon/http: fix memleak

The http_data structure is allocated in http_write_pkt() and the last
callback that uses it is on_pkt_write(), so it should be responsible for
freeing the memory.

This used to leak a small amount of memory on every DoH response.

Merge !1119: ci: add sonarcloud build

ci: add sonarcloud build

Merge branch 'tumbleweed_errors' into 'master'

daemon/worker.c: fix warning from compilation without asserts

See merge request knot/knot-resolver!1120