Merge branch 'aur-cleanup' into 'master'

distro/arch: cleanup

See merge request knot/knot-resolver!1071

distro/arch: nitpicks

distro/arch: remove upgrade script

Arch is a fast moving rolling release and users expect to upgrade
their configs. The migration period over 6 months is certainly
sufficient - remove this hard to read convoluted code.

Merge branch 'doc-typo-fixes' into 'master'

doc: small fixes

See merge request knot/knot-resolver!1076

doc: typo in upgrade guide

policy: changed example domain in documentation

Merge branch 'doc-versions' into 'master'

doc: document what version number means

See merge request knot/knot-resolver!1075

doc: document what version number means

Result of discussion in MR
https://gitlab.nic.cz/knot/knot-resolver/-/merge_requests/1075

Merge branch 'fragmentation' into 'master'

daemon/io: avoid PMTU discovery for IPv4 server side

See merge request knot/knot-resolver!1061

daemon/io: avoid PMTU discovery for IPv4 server side

This seems generally considered to be a good thing (for DNS servers).
We don't do it on client side; I can't see an easy way there.

Merge branch 'assert-stash_rrset' into 'master'

validator: avoid using RRSIG from a different packet

See merge request knot/knot-resolver!1072

validator: avoid using RRSIG from a different packet

Restrict tried RRSIGs by qry_uid equality.
I see no use case against and it could be confusing.
(Also rewrite the conditions around to positive form.)

An assertion in cache noticed an NSEC with _SECURE rank but no RRSIG
(in practice).  It was a side-effect of still not keeping RRSIGs with
their RRs in some places.  It wasn't a security problem, as it doesn't
really matter where the signatures came from.  Theoretically it
might've lead to incorrect caching (missing usable RRSIGs), as cache
was restricting qry_uid to match, but that hasn't been noticed
in practice.

Merge branch 'nitpick-cleanup' into 'master'

contrib/cleanup: fix _cleanup_close

See merge request knot/knot-resolver!1074

contrib/cleanup: be more correct

It's mainly about the fact that FD can be zero (though it's not common).
Our current usage is just in tests and seems fine.

I don't think that other negative FDs are possible, but I'm lazy to find
"proof" in POSIX and using other negative values than -1 doesn't make
sense to me anyway (might be an assert, I guess).

Merge branch 'meson-skip-77' into 'master'

meson: mark skipped config tests as skipped

See merge request knot/knot-resolver!1067

meson: mark skipped config tests as skipped

Using exit code 77 lets meson know to classify tests as skipped instead
of failed or passed.

Works since meson 0.37.

https://mesonbuild.com/Unit-tests.html#skipped-tests-and-hard-errors

Merge branch 'doh-endpoint-dns-query' into 'master'

modules/http: answer to /dns-query endpoint as well

See merge request knot/knot-resolver!1069

modules/http: answer to /dns-query endpoint as well

When using DoH, it seems /dns-query is a more common convetion for
an endpoint name. Let's use it in addition to /doh, since it doesn't
hurt anything and makes kresd more alike the other DoH implementations
out there. It'll also play more nicely with kdig, which uses /dns-query
as default as well.

Merge branch 'disable-clang-warning' into 'master'

clang: silence useless warning in lib/layer.h

See merge request knot/knot-resolver!1068

clang: silence useless warning in lib/layer.h

This silences the following warning, which frequently appears in Travis
CI.

./lib/layer.h:51:21: warning: result of comparison of constant 32 with
expression of type 'enum kr_layer_state' is always true
[-Wtautological-constant-out-of-range-compare]
        return s >= 0 && s < (1 << 5);
                         ~ ^ ~~~~~~~~

Merge !1011: tty: buffer incomplete command from previous syscall

daemon/io_tty_process_input: add a few comments

daemon/io_tty_process_input: remove a special case

After changes in this MR, sending an empty newline evaluates in lua
as nil, and that seems fine.  Let's drop this piece of code;
it was broken now anyway (incorrect `io_mode_text` part).

daemon/io_tty_process_input: simplify looping logic

daemon/io_tty_process_input: utilize auto_free

daemon/io_tty_process_input: reduce nesting depth

No other change, for clarity.

daemon/io tty: use more proper uv_ type

These are not TCP connections.  It has worked fine so far, but...

daemon/io: don't expose io_stream_* types

We don't need them anywhere, so let's keep their scope small.

daemon/lua: tests for control socket

daemon/io: Buffer incomplete command from previous syscall

vcunat change some parts of this, mainly around memory allocation.

daemon/io: save tty mode as local process state

Merge branch 'ci-obs-retry' into 'master'

ci: re-try OBS distrotests

See merge request knot/knot-resolver!1066

ci: re-try OBS distrotests

Often, the VM fails to boot (even twice in the row, as already handled
by the test itself) which leads to false negative result.

These nightly tests fail far too often (at least on of the ~7 tests) and
generate annoying notifications.

Adding yet another layer of retries should reduce the number of false
negatives without diminishing the value of the test (since the real
packaging issues are 100 % reproducible).

Merge branch 'ci_deckard_fix' into 'master'

ci: fix Deckard integration so it throws errors up the stack

Closes #611

See merge request knot/knot-resolver!1065

ci: fix Deckard integration so it throws errors up the stack

Fixes: #611

Merge branch 'ci-dag-ta' into 'master'

ci: use DAG & clenaup

See merge request knot/knot-resolver!1064

ci: refactor dependencies using DAG

Use DAG dependencies to allow more precise control when a test
suite should be executed. It also enabled use of more descriptive
pipeline stages.

ci: disable deckard tests for forks

ci: remove duplicate non-functioning packaging tests

These tests are currently failing and since they're sort of
duplicate, and we want to get rid of them anyway, I'm removing
them from CI.

Related #612

ci: remove obsolete Turris build

The turris build was never migrated to support meson and these
files have been obsolete for far too long now.

ci: don't run ta_update after build

This test fails far too often due to conditions inside the CI
environment. This test is already executed in test:valgrind without
paralelism, so let's keep it there instead.

Merge branch 'worker-submit-cleanup' into 'master'

daemon/worker and daemon/session cleanup

See merge request knot/knot-resolver!1058

daemon/session: use common naming convention in the entire file

Rename "s" to "session" to be consistent with all the other
session_*() functions to make it easier to read.

daemon/worker: simplify err handling in worker_submit()

If pkt was NULL, the function would return error from parse_packet(),
which would then have no effect besides returning an error code from
worker_submit(). There were also needless checks that pkt is indeed
not NULL in cases where it was no longer possible for it to be so.

This also removes assert(false) statements and simply return an error.

daemon/worker: use proper name for packet in worker_submit()

The variable name query is misleading, since the passed in packet
can actually be a response as well (or a malformed packet).

daemon/io: don't notify worker on udp_recv() errors

The action doesn't increase any counter or do any error handling.
It would simply SEGFAULT. Even if it didn't worker_submit() would
just return an error code.

Merge branch 'wirebuf-ioerror' into 'master'

daemon: handle IO error when processing wire buffer

See merge request knot/knot-resolver!1054

daemon/worker: fix connection teardown in tls_hs_cb()

Ensure both tasklist and waitinglist is always cleared when tearing down
connection (otherwise the session close will fail on assert).

The previous assert could be triggered when the while loop in the code
above would successfuly perform qr_task_send() for one of the
tasks in waitinglist and then fail on a subsequent one.

daemon: handle IO error when processing wire buffer

This fixes the following assert:
daemon/worker.c:1157: qr_task_finalize: Assertion `!session_flags(source_session)->closing' failed.

Scenario which leads to the above error:
1. We're using a stateful protocol.
2. Enough data arrive in a single tcp_recv() call to put at least
   two queries into the session's wire buffer.
3. session_wirebuf_process() calls worker_submit() which calls
   qr_task_step().
4. In the qr_task_step() the query state changes to KR_STATE_DONE,
   then qr_task_finalize() is called.
5. qr_task_send() is called, but it fails. This is where
   qr_task_finalize() closes the session, but used to return no error.
6. When the next query is processed in session_wirebuf_process(),
   steps 3 and 4 are followed and qr_task_finalize() is called.
7. Since the session is already closed, the assert is triggered.

Debugging this was a lot of fun... All hail the rr debugger!

Merge branch 'ci-update-knot3.0' into 'master'

CI: update knot3.0

See merge request knot/knot-resolver!1062

ci: pylint: fix raise-missing-from warning (W0707)

ci: use docker image with knot 3.0

Merge !1060: utils/cache_gc: fix a rebase error causing GC crashes

utils/cache_gc: fix a rebase error causing GC crashes

It's one of the places still using Knot's void* and I managed to pass
the wrong `db` :-/

Merge branch 'timeout_timer_fix' into 'master'

improve precision of UDP timeout measurement

See merge request knot/knot-resolver!1047

daemon/worker: code style nitpicks

daemon/worker: start retransmit timer after UDP packet is sent

Previously this was done *before* calling uv_udp_send which lead to many
early retransmits (significant amount of time might pass between calling
uv_udp_send and the moment the packet is actually send to the wire).

Merge branch 'cache-api-typesafe' into 'master'

lib/cache: type safety of the cache API pointers

See merge request knot/knot-resolver!1049

lib/cache kr_cdb_api::space_usage(): also use kr_cdb_pt

- The malloc-free pair could be avoided without difficulty,
  but it seemed like premature optimization.
- The libknot functions make error handling a bit difficult
  (zero is theoretically valid and doesn't show error type),
  but writing this properly without libknot would need 10-20
  additional lines of code and the risk of encountering errors
  in this function seems very low anyway.

lib/cache: type safety of the cache API pointers

See the definition of kr_cdb_pt for details.

Merge !1026: net: split the EDNS buffer size into upstream and downstream

net: split the EDNS buffer size into upstream and downstream

(Tiny nitpicks addressed by vcunat.)

Merge !1055: workarounds: remove *.in-addr.arpa.net NO_0X20 workarrounds

workarounds: remove *.in-addr.arpa.net NO_0X20 workarrounds

The Internet has changed, turktel ones are fixed, edatel one does not
work at all.

Merge branch 'release-5-1-3' into 'master'

release 5.1.3

See merge request knot/knot-resolver!1059

release 5.1.3

Merge branch 'cache-forking' into 'master'

cache-forking fixes

See merge request knot/knot-resolver!1042

gc: NEWS, last fix for v5.1.3

cache: fix race in assert_right_version

This change fixes race condition in assert_right_version(). Racy
situation:
- Two instances have the (empty) cache open: New binary and old binary.
- New binary executes count() inside assert_right_version(), which
  internally starts RO transaction. Returned count is 0.
- Old binary does some writes (RW transaction parallel to RO in the first
  process).
- New binary skips cache clear because cache was empty at the time of check.
- Result: The old binary wrote data with an old format into cache which
  was not cleared and silenty changed version number to a new one.

This is not complete fix because we lack mechanism to detect cache format
change at run-time, but at least it removes one nasty corner case and
cost of this change seems to be minimal.

lib/cache: switch .cachelock to fcntl()

This gives us correctness, especially on "staleness" detection.
For simplicity we now don't remove "stale" .cachelock on opening cache,
but it doesn't obstruct us in any way (and overflow will remove it).

lib/cache: tweaks round transactions

- The switched order is documented not to make difference,
  but it seems much clearer this way.
- MDB_TXN_FULL wasn't handled correctly (a reversed condition)
  and current LMDB code indicates that such transaction is
  not recoverable anyway... so we give up on trying.

lib/cache: avoid printing relative paths to cache

lib/cache: improve debugging prints

(This has shared authorship, basically, mostly from MR suggestions.)

cache, GC: improve handling of LMDB maxsize

This version seems to work OK.  Unfortunately we had to resort to
an extra write and cache reopening when attempting to set cache size.
And even so, decreasing the size can't really be done, so we only warn
about failing to do that.

gc: print cache usage in every cycle if in verbose mode

gc: verbose mode is now runtime option

utils/cache_gc nitpick: more precise error prints

utils/cache_gc nitpick: print time in milliseconds

For the usual use cases, whole milliseconds seem to make more sense
than seconds with 10ms precision.

utils/cache_gc: comments and cleanup in kr_cache_gc()

tests: fine tune integration test for GC

TL;DR: tune the test - now it works quite reliably for me,
though it's perhaps not nice.

With 1 MiB cache it's not easy to avoid overflows, as the defaults are
meant for much larger sizes.  Normal GC target is to decrease usage
by 10% when above 80% in 100 records per transaction.  That just won't
work reliable due to 10% being only 25 pages.

This commit makes the test run GC with more suitable tuning and
frequently pauses kresd to give GC better chance to catch up.

tests: integration test for GC

GC should prevent cache from overflowing.

tests: integration test for cache overflow situation

Resolvers must answer queries even if the shared cache overflown during query processing.

lib/cache: run check_health() every five seconds

... in case of usage from kresd (GC does it a bit differently).

lib/cache check_health(): also detect size changes

This is important for GC - otherwise the usage computation would be
wrong after another process changed size (without replacing the file).

lib/cache: abort() if emergency cache-clear fails

As the code has been so far, there's no usable cache in that case
and some code just can't handle that.  Up to now we were getting
SIGSEGV from inside LMDB on the next attempted operation.

We might consider loosening preallocation in that case or even
retrying after a short sleep.  Systemd's restart after hold-off
timeout has an effect similar to the short sleep.

utils/cache_gc: tolerate ESPACE unless twice in a row

In the unlikely case that GC happens "too late", it could fail when
deleting, in which case it seems best to reopen the cache and try again,
as it will probably be deleted by a kresd instance by the next interval.

utils/cache_gc: avoid too long RO transactions

Until now the analyzing pass over full DB was taking place
in a single RO transaction.  For an unknown reason this caused kresd
processes to get MDB_MAP_FULL from mdb_put(), even though clearly there
were plenty free pages at that point.

Basic experiments show that 1k steps are OK and 10k steps are not.

utils/cache_gc: handle one more error

though I've never seen it happening.

lib/cache: abort transactions on errors

This apparently gets rid of MDB_BAD_TXN failures that we were getting
when cache overflows.  Unfortunately LMDB docs don't mention that
after operation failures one should abort the corresponding transaction.

lib/cache nitpick: more consistent naming

utils/cache_gc: utilize kr_cdb_api::check_health()

Now it should keep working if the file has been replaced.

WIP: lib/cache: factor out kr_cdb_api::check_health()

FIXME: review, testing, etc.

A couple functions got folded into cdb_open_env(), as the split was
complicating situation (mainly around error handling).

Merge branch 'upgrading' into 'master'

doc: upcoming changes

See merge request knot/knot-resolver!1057

doc: DNS Flag Day 2020 warning

doc: DoH without TLS or over HTTP 1 is deprecated

doc: new section in upgrading guide about upcoming changes

Merge branch 'luarocks-install-version' into 'master'

scripts, docs: specify lua version in `luarocks install`

Closes #601

See merge request knot/knot-resolver!1052

scripts, docs: specify lua version in `luarocks install`

On some systems luarocks defaults to other lua version (e.g. Fedora),
so the result would not be usable from kresd.  I didn't touch scripts
for older distro versions (Debian < 10, Ubuntu < 20.04, CentOS 7).

Merge branch 'libdnssec-3.0' into 'master'

lib/dnssec: fix build against libdnssec 3.0

See merge request knot/knot-resolver!1053

lib/dnssec: fix build against libdnssec 3.0

It hasn't been released yet, but this patch fixes build against
current Knot master already.