wip;

wiwipp

cache: clear any stale readers when opening cache

(cherry picked from commit 39d373272b1bfb4e438d790d4bbe4162fb927ea7)

validator: avoid assertion in an edge-case

Case: NSEC3 with too many iterations used for a positive wildcard proof.
It certainly isn't a perfect fix yet; the whole validator would benefit
from a general overhaul.

daemon/http: fix memleak if http_write_pkt() fails

This can happen for example when we want to send an answer, but the
http stream (or the connection?) is already closed.

Direct leak of 48 byte(s) in 1 object(s) allocated from:
    #0 0x7f5ad2445459 in __interceptor_malloc /build/gcc/src/gcc/libsanitizer/asan/asan_malloc_linux.cpp:145
    #1 0x55c0db3fc442 in http_write_pkt ../daemon/http.c:610
    #2 0x55c0db3fc882 in http_write ../daemon/http.c:651
    #3 0x55c0db3e9bb1 in qr_task_send ../daemon/worker.c:700
    #4 0x55c0db3ee86c in qr_task_finalize ../daemon/worker.c:1321
    #5 0x55c0db3f0123 in qr_task_step ../daemon/worker.c:1633
    #6 0x55c0db3f0982 in worker_submit ../daemon/worker.c:1755
    #7 0x55c0db3d992a in session_wirebuf_process ../daemon/session.c:759
    #8 0x55c0db3c5f01 in udp_recv ../daemon/io.c:89
    #9 0x7f5ad22b0e0e  (/usr/lib/libuv.so.1+0x20e0e)

cache: improve handling write errors

In particular, ignore ENOSPC from LMDB for a short time unless the
space-usage estimate is over 90%.  See code comments for details.

clear kr_query::flags.CACHED

I suspect there's an edge case where cache thinks it provided enough
data but iterator (or who) disagrees and resolution continues.
We observed (flags.CACHED == true) even when processing a reply from
internet, and that could be confusing and even trigger a segfault.
Clearing the flag sounds OK semantically; it never meant that no cached
data have been used within the kr_query (e.g. zone cut, DS/DNSKEY, ...)

Merge branch 'release-5-3-1' into 'master'

release 5.3.1

See merge request knot/knot-resolver!1162

release 5.3.1

doc: update required meson version

This change already took place in !1082, this just updates the files to
correctly reflect the current situation.

Merge branch 'nsec3-iters-downgrade' into 'master'

validator: downgrade NSEC3 records with too many iterations

See merge request knot/knot-resolver!1160

cache: avoid storing NSEC3 RRsets with high iterations

(in aggressive cache part)  Also bump cache version, so that we clear
those that have been left by previous kresd releases.

treewide: add defensive checks for the NSEC3 limit

validate: downgrade zone on high NSEC3 iterations

validate: change order of tasks

It seems better to check RRSIGs before checking negative proofs,
in terms of reasoning, being less error-prone, etc.

Merge !1157: revert DoH errors (for now)

Revert "Merge branch '618-doh2-respond-to-invalid-requests-with-proper-status-code' into 'master'"

This reverts commit 4079a1a962cc528b30d8b0b330c329bf83d85fe8, reversing
changes made to a900fdbf47c181487edf8c6c07a079708c2647e3.

Revert "Merge branch 'odvr-doh-assert' into 'master'"

This reverts commit 4dab349e269364b8d27415a548e90446aaac11fb, reversing
changes made to 4bcf335de92bf51b22fe3d517f532a219c4b76cd.

Revert "Merge branch 'doh-remove-asserts' into 'master'"

This reverts commit 99e6e75427031918adeabd8da6b151a5170d3f57, reversing
changes made to 65bed85f897dd004fbe5234d40aaa60d9cabee1e.

Merge !1155: policy.STUB: try to avoid TCP

policy/README: fix "DNS-over-UDP" mentions

Regressed in acd019db2.  The intention was clearly to say that
encryption (i.e. DNS-over-TLS) is not supported.

lib/selection*: more precise flags.TCP

I'm overall unsure here, but this does seem as improvement.

lib/selection*: try to avoid TCP in STUB mode

The target of STUB might commonly not have good support
for "advanced" features like TCP.

Merge branch 'tls_forward-dead_IP' into 'master'

policy.TLS_FORWARD: better avoid dead addresses

See merge request knot/knot-resolver!1156

policy.TLS_FORWARD: better avoid dead addresses

Merge branch 'modules-return-error' into 'master'

lib/resolve *_LAYERS: detect bad return code from module

See merge request knot/knot-resolver!1151

lib/resolve *_LAYERS: detect bad return code from module

Practical example was now in dnstap (060349c9).  This way we detect
such mistakes more often and closer to their point of origin.

Merge branch 'cap-explore-timeout' into 'master'

selection: cap the timeout value when probing a random server

See merge request knot/knot-resolver!1154

selection: cap the timeout value when probing a random server

This patch caps the timeout set on UDP queries to servers chosen in the
EXPLORE phase of the selection algorithm to two times the timeout that
would be set if we were EXPLOITing.

This measns that we no longer spend an unreasonable amount of time
probing servers that are probably dead anyway while ensuring that we do
probe them from time to time to check if they didn't come to life.

If the timeout value is capped and the server fails to respond, we don't
punish the server for it i.e. we don't cache the timeout.

Merge !1150: selection_iter.c: fix the last stand switch to UDP

lib/selection_iter.c: fix the last stand switch to UDP

Previously, qry->flags.TCP flag was incorectly set, which led
to incorrect logging and maybe other troubles down the line.

Merge branch 'gc-rtt' into 'master'

utils/cache_gc: fix crashes/assertions on RTT entries

See merge request knot/knot-resolver!1153

ci: run simple GC sanity check

utils/cache_gc: fix crashes/assertions on RTT entries

I missed some parts when finishing this.  I should've tested it better.
GC would hit assertions or NULL dereferences when removing entries,
and eventually that would lead to cache overflowing (and getting
cleared).

Merge branch 'doh-remove-asserts' into 'master'

daemon/http: replace assertions

See merge request knot/knot-resolver!1152

daemon/http: replace assertions

Merge branch 'ci-obs-repos' into 'master'

ci: update ODVR distros

See merge request knot/knot-resolver!1148

ci: update ODVR distros

Merge branch 'odvr-doh-assert' into 'master'

doh2: refuse stream on failure

See merge request knot/knot-resolver!1149

daemon/http: fix assertion fail when data frame is recieved

daemon/http: refuse stream on failure

Merge branch 'dnstap-return-errors' into 'master'

dnstap: don't break request resolution on dnstap errors

See merge request knot/knot-resolver!1147

dnstap: don't break request resolution on dnstap errors

This isn't a regression of 5.3.0 changes.
Layer functions are supposed to return new values for ctx->state,
but here we were sometimes returning kr_error(EFOO) which altered
processing of the request.

Our case: answers directly from policy module would not end up
finishing the request and we'd hit an assert at the end of processing.

Merge branch '618-doh2-respond-to-invalid-requests-with-proper-status-code' into 'master'

doh2: send HTTP error status code

Closes #618

See merge request knot/knot-resolver!1102

daemon/http: free allocated memory after sending error msg

daemon/http: optimize code by using trie instead of array macros

doh2: added control stream to each test

doh2: fix sending errors

doh2: send HTTP error status code

Merge branch 'doc-predict' into 'master'

predict docs: better explain how it works

See merge request knot/knot-resolver!1145

predict docs: better explain how it works

Merge branch 'release-5.3.0' into 'master'

release 5.3.0

See merge request knot/knot-resolver!1138

release 5.3.0

Merge branch 'selection-no6' into 'master'

lib/selection: add simple detection of IPv6 being broken

See merge request knot/knot-resolver!1143

lib/selection: add simple detection of IPv6 being broken

Details are described in code comments.

Merge branch 'selection-tweaks' into 'master'

lib/selection: halve the default timeout (for iteration)

See merge request knot/knot-resolver!1141

lib/selection: halve the default timeout (for iteration)

Merge branch 'switch_to_udp' into 'master'

lib/selection{,_iter}.c: allow switching back to UDP

See merge request knot/knot-resolver!1140

lib/selection{,_iter}.c: allow switching back to UDP

Switching to TCP instead of querying very slow servers over UDP has had
unwanted side effect – we would sometimes get stuck with a server
permanently switched to TCP. And if the server happens to not reply over
TCP we were in trouble.

Therefore after we TCP connect fails or timeouts we provide one last
chance for the server over UDP. This will not prevent the next request
to try TCP again on this server again, but we don't care because
DNS MUST ******* work over TCP.

Merge branch 'sendmmsg-logs' into 'master'

daemon/udp_queue: drop the error logging

See merge request knot/knot-resolver!1139

daemon/udp_queue: drop the error logging

We should do this for all transports and probably just in verbose mode.
We were printing lots of these on Turris OS (for one user at least):
https://forum.turris.cz/t/5-1-8-kresd-throwing-many-errors-in-var-log-messages/14775

EACCESS in particular apparently may happen (on Linux) when the network
is "unavailable", EPERM because of firewall/netfilter:
https://stackoverflow.com/a/23869102

Merge !1137: bump required Knot DNS version to 2.9

bump required Knot DNS version to 2.9

Merge branch 'http-trace-stability' into 'master'

modules/{http,watchdog}: fix stability problems

See merge request knot/knot-resolver!1136

modules/{http,watchdog}: fix stability problems

As first noted in commit d1a229ae9, in some cases we do call chains that
are not supported for JIT in LuaJIT.

I'm not 100% sure all of these are needed to comply, but the functions
here are really small and probably not to be that heavily used,
so I don't think it will be costly to interpret them
(and avoiding crashes is more important).

In my tests this fixed occasional crashes when using http://*/trace/*

Merge branch 'knot-3.1' into 'master'

adapt to knot 3.1 changes

See merge request knot/knot-resolver!1134

adapt to libknot 3.1 API changes in XDP

Merge branch 'sonarcloud-fixup' into 'master'

ci: Sonarcloud fixup

See merge request knot/knot-resolver!1135

ci: fix .gitlabci sonarcloud line folding

Merge branch 'sonarcloud' into 'master'

ci: sonarcloud improvements

See merge request knot/knot-resolver!1121

ci sonarcloud: add project version (git describe)

and break the overlong line

Merge branch 'policy.ANSWER' into 'master'

policy.ANSWER: minor fixes, mainly around NODATA answers

See merge request knot/knot-resolver!1129

doc: fix a tiny typo

Reported on:
https://gitter.im/CZ-NIC/knot-resolver?at=60213c720eed905f189da4d7

policy.ANSWER: minor fixes, mainly around NODATA answers

- return SOA in NODATA answers and allow customizing it
- only call ensure_answer() if really generating an answer
  (otherwise we might e.g. deplete XDP buffers, in extreme cases)

Merge !1133: packaging: link to Arch Linux package

packaging: link to Arch Linux package

Arch Linux now ships knot-resolver in their repositories, delete
reference to AUR.

Thanks to daurnimator who adopted the package!

Merge branch 'modules-docs' into 'master'

minor module docs fixes

See merge request knot/knot-resolver!1131

modules/stats: fix README mistake in .set()

Reported on:
https://gitter.im/CZ-NIC/knot-resolver?at=601ae90e9fa6765ef8f6b408

modules/prefill: fix README typo

(and regularize indentation)  Reported on:
https://gitter.im/CZ-NIC/knot-resolver?at=601b36f6aa6a6f319d0235f5

Merge !1130: when FORMERR comes, differentiate based on OPT

when FORMERR comes, differentiate based on OPT

In particular, non-support of EDNS is implied iff FORMERR without OPT
comes.  If OPT is there, one possibility is that there was something
wrong in the OPT that *we* sent, but it seems much more likely that
this particular server is just bad and we want to try another one.
https://tools.ietf.org/html/rfc6891#section-7
In particular, we would be in trouble if we dropped OPT in a zone
that is covered by DNSSEC.

lib/selection: rename to *_FORMERR for consistency

It's now consistent with KNOT_RCODE_FORMERR and the official name
https://www.iana.org/assignments/dns-parameters/dns-parameters.xhtml#dns-parameters-6

Merge !1128: remove NO_THROTTLE option

remove NO_THROTTLE option

It wasn't really used for a long time and became completely obsolete after
!1030.

Merge branch 'remove-safemode' into 'master'

Rework iterate.c/selection.c error handling

Closes #640

See merge request knot/knot-resolver!1126

mention MR in NEWS

lib/selection: refactor kr_selection_error_str()

This way leaves less room for mistakes, etc.  It's just the idea from:
https://gitlab.nic.cz/knot/knot-resolver/-/commit/dd0c99bdb6332ba3628833a8543a5f9f33141ddd#note_191580

iterate.c: clarify is_authoritative workaround comment

selection: only report RTT if there is an answer

Previously this would pollute the RTT cache with non-sensical
measurements from unsuccessful TCP connects for example.

modules/rebinding: fix module logging to new server selection

Module would crash due to the change of `request->upstream`
structure.

selection_iter: relax NSNXAttack mitigation

Previously the mitigation would stop some longer benign resolutions.
We can safely zero the subquery counter when choose a concrete transport
for the query (i.e. NS name with known IP address).

selection: force resolution of new NS name after lame delegation

Lame delegations are weird, they breed more lame delegations on broken
zones since trying another server from the same set usualy doesn't help.
We force resolution of another NS name in hope of getting somewhere.

iterate: interpret empty FORMERR answers correctly

Previously a 12B reply with FORMERR would be treated as malformed
creating a need for a workaround (switching off EDNS for every malformed
answer).

bogus_log: fix bogus_log test to new error handling

resolve.c: trigger serve stale on NSNXAttack mitigation from kr_resolve_consume

iterate.c: don't copy NO_MINIMIZE when following a CNAME

Instead copy it from the request's options.

Reasoning: Minimization might have been turned off as a workaround for
broken authoritative servers which doesn't support it. There is no
reason to drop minimization when switching zones when following a CNAME.

selection: fix DNSSEC_BOGUS/NSNXAttack mitigation interaction

When cancelling a query due to NSNXAttack mitigation when validator was
also in BOGUS state, records wouldn't be stripped from the answer.

selection: better error messages for errors

selection: minor fixes in commented code

These will become useful once we actually use it…

iterate: rework error handling from iterate.c

Previously there where resolve_badmsg and resolve_error functions used
to apply workarounds. This is now moved to selection.c and iterate.c
just provides feedback using the server selection API. Errors are now
handled centrally in selection.c:error.