Merge branch 'ci-update-knot3.0' into 'master'

CI: update knot3.0

See merge request knot/knot-resolver!1062

ci: pylint: fix raise-missing-from warning (W0707)

ci: use docker image with knot 3.0

Merge !1060: utils/cache_gc: fix a rebase error causing GC crashes

utils/cache_gc: fix a rebase error causing GC crashes

It's one of the places still using Knot's void* and I managed to pass
the wrong `db` :-/

Merge branch 'timeout_timer_fix' into 'master'

improve precision of UDP timeout measurement

See merge request knot/knot-resolver!1047

daemon/worker: code style nitpicks

daemon/worker: start retransmit timer after UDP packet is sent

Previously this was done *before* calling uv_udp_send which lead to many
early retransmits (significant amount of time might pass between calling
uv_udp_send and the moment the packet is actually send to the wire).

Merge branch 'cache-api-typesafe' into 'master'

lib/cache: type safety of the cache API pointers

See merge request knot/knot-resolver!1049

lib/cache kr_cdb_api::space_usage(): also use kr_cdb_pt

- The malloc-free pair could be avoided without difficulty,
  but it seemed like premature optimization.
- The libknot functions make error handling a bit difficult
  (zero is theoretically valid and doesn't show error type),
  but writing this properly without libknot would need 10-20
  additional lines of code and the risk of encountering errors
  in this function seems very low anyway.

lib/cache: type safety of the cache API pointers

See the definition of kr_cdb_pt for details.

Merge !1026: net: split the EDNS buffer size into upstream and downstream

net: split the EDNS buffer size into upstream and downstream

(Tiny nitpicks addressed by vcunat.)

Merge !1055: workarounds: remove *.in-addr.arpa.net NO_0X20 workarrounds

workarounds: remove *.in-addr.arpa.net NO_0X20 workarrounds

The Internet has changed, turktel ones are fixed, edatel one does not
work at all.

Merge branch 'release-5-1-3' into 'master'

release 5.1.3

See merge request knot/knot-resolver!1059

release 5.1.3

Merge branch 'cache-forking' into 'master'

cache-forking fixes

See merge request knot/knot-resolver!1042

gc: NEWS, last fix for v5.1.3

cache: fix race in assert_right_version

This change fixes race condition in assert_right_version(). Racy
situation:
- Two instances have the (empty) cache open: New binary and old binary.
- New binary executes count() inside assert_right_version(), which
  internally starts RO transaction. Returned count is 0.
- Old binary does some writes (RW transaction parallel to RO in the first
  process).
- New binary skips cache clear because cache was empty at the time of check.
- Result: The old binary wrote data with an old format into cache which
  was not cleared and silenty changed version number to a new one.

This is not complete fix because we lack mechanism to detect cache format
change at run-time, but at least it removes one nasty corner case and
cost of this change seems to be minimal.

lib/cache: switch .cachelock to fcntl()

This gives us correctness, especially on "staleness" detection.
For simplicity we now don't remove "stale" .cachelock on opening cache,
but it doesn't obstruct us in any way (and overflow will remove it).

lib/cache: tweaks round transactions

- The switched order is documented not to make difference,
  but it seems much clearer this way.
- MDB_TXN_FULL wasn't handled correctly (a reversed condition)
  and current LMDB code indicates that such transaction is
  not recoverable anyway... so we give up on trying.

lib/cache: avoid printing relative paths to cache

lib/cache: improve debugging prints

(This has shared authorship, basically, mostly from MR suggestions.)

cache, GC: improve handling of LMDB maxsize

This version seems to work OK.  Unfortunately we had to resort to
an extra write and cache reopening when attempting to set cache size.
And even so, decreasing the size can't really be done, so we only warn
about failing to do that.

gc: print cache usage in every cycle if in verbose mode

gc: verbose mode is now runtime option

utils/cache_gc nitpick: more precise error prints

utils/cache_gc nitpick: print time in milliseconds

For the usual use cases, whole milliseconds seem to make more sense
than seconds with 10ms precision.

utils/cache_gc: comments and cleanup in kr_cache_gc()

tests: fine tune integration test for GC

TL;DR: tune the test - now it works quite reliably for me,
though it's perhaps not nice.

With 1 MiB cache it's not easy to avoid overflows, as the defaults are
meant for much larger sizes.  Normal GC target is to decrease usage
by 10% when above 80% in 100 records per transaction.  That just won't
work reliable due to 10% being only 25 pages.

This commit makes the test run GC with more suitable tuning and
frequently pauses kresd to give GC better chance to catch up.

tests: integration test for GC

GC should prevent cache from overflowing.

tests: integration test for cache overflow situation

Resolvers must answer queries even if the shared cache overflown during query processing.

lib/cache: run check_health() every five seconds

... in case of usage from kresd (GC does it a bit differently).

lib/cache check_health(): also detect size changes

This is important for GC - otherwise the usage computation would be
wrong after another process changed size (without replacing the file).

lib/cache: abort() if emergency cache-clear fails

As the code has been so far, there's no usable cache in that case
and some code just can't handle that.  Up to now we were getting
SIGSEGV from inside LMDB on the next attempted operation.

We might consider loosening preallocation in that case or even
retrying after a short sleep.  Systemd's restart after hold-off
timeout has an effect similar to the short sleep.

utils/cache_gc: tolerate ESPACE unless twice in a row

In the unlikely case that GC happens "too late", it could fail when
deleting, in which case it seems best to reopen the cache and try again,
as it will probably be deleted by a kresd instance by the next interval.

utils/cache_gc: avoid too long RO transactions

Until now the analyzing pass over full DB was taking place
in a single RO transaction.  For an unknown reason this caused kresd
processes to get MDB_MAP_FULL from mdb_put(), even though clearly there
were plenty free pages at that point.

Basic experiments show that 1k steps are OK and 10k steps are not.

utils/cache_gc: handle one more error

though I've never seen it happening.

lib/cache: abort transactions on errors

This apparently gets rid of MDB_BAD_TXN failures that we were getting
when cache overflows.  Unfortunately LMDB docs don't mention that
after operation failures one should abort the corresponding transaction.

lib/cache nitpick: more consistent naming

utils/cache_gc: utilize kr_cdb_api::check_health()

Now it should keep working if the file has been replaced.

WIP: lib/cache: factor out kr_cdb_api::check_health()

FIXME: review, testing, etc.

A couple functions got folded into cdb_open_env(), as the split was
complicating situation (mainly around error handling).

Merge branch 'upgrading' into 'master'

doc: upcoming changes

See merge request knot/knot-resolver!1057

doc: DNS Flag Day 2020 warning

doc: DoH without TLS or over HTTP 1 is deprecated

doc: new section in upgrading guide about upcoming changes

Merge branch 'luarocks-install-version' into 'master'

scripts, docs: specify lua version in `luarocks install`

Closes #601

See merge request knot/knot-resolver!1052

scripts, docs: specify lua version in `luarocks install`

On some systems luarocks defaults to other lua version (e.g. Fedora),
so the result would not be usable from kresd.  I didn't touch scripts
for older distro versions (Debian < 10, Ubuntu < 20.04, CentOS 7).

Merge branch 'libdnssec-3.0' into 'master'

lib/dnssec: fix build against libdnssec 3.0

See merge request knot/knot-resolver!1053

lib/dnssec: fix build against libdnssec 3.0

It hasn't been released yet, but this patch fixes build against
current Knot master already.

Merge branch 'lib-queue-bugs' into 'master'

lib/generic/queue: fix a bug + minor changes

See merge request knot/knot-resolver!1050

lib/generic/queue: remove "unused code", add comments

... and most importantly, review all the code.

Detail: queue_{head,tail}_impl() no longer "safely return" NULL
on an empty queue, as the API always dereferences the returned
pointer anyway.

lib/generic/queue: move KR_EXPORT to header

It... feels better that way.

lib/generic/queue: fix a bug

Emptying the queue and using it again... didn't work :-(
Fortunately, no use case in kresd so far could trigger this, I believe:
 - struct session::waiting is a list of tasks waiting
   while connection is being established
 - the temporary queue in session_tasklist_finalize_expired() is also
   only once filled and emptied

Merge !1041: daemon: rename tls_ctx and tls_client_ctx structs

daemon: rename tls_ctx and tls_client_ctx structs

The trailing _t implies the type is a typedef like:

typedef struct tls_ctx {
...
} tls_ctx_t;

But it is a plain struct - so remove it to avoid confusion.

Merge !1046: lua: clarify event.recurrent() API

lua: clarify event.recurrent() API

It was rather confusing:
- event.after(0, ...) executed function immediatelly
- event.recurrent(0, ...) executed function immediatelly (seemingly worked)
  but stoped after the first execution, i.e. no recurrence took place.

Merge branch 'config_tests' into 'master'

config test improvements

See merge request knot/knot-resolver!1045

tests: kill background tasks when config test exits

In theory there should be no background task but we need cleanup in case
kresd gets into infinite loop or something like that.

Merge !1043: CONTRIBUTING: document our sub-optimal MR process

Fixes #596.

CONTRIBUTING: document our suboptimal MR process

Merge branch 'distrotests-fix-perms' into 'master'

distro/tests: fix file permissions set by ansible

See merge request knot/knot-resolver!1044

distro/tests: fix file permissions set by ansible

Ansible switched default file perm to 600 from more permissive 666. Add
file mode explicitly to avoid issues.

Merge branch 'policy_answer_doc' into 'master'

docs: clarify policy.ANSWER

See merge request knot/knot-resolver!1037

modules/policy: unify code-block formatting and indentation

modules/policy: fix typo and reformat example

docs: clarify policy.ANSWER

Merge branch 'cache_debug' into 'master'

script to gather data from systemd journal

See merge request knot/knot-resolver!1040

scripts/bugreport-journals: pythonize the script

script to gather data from systemd journal

Merge branch 'ci-deckard-check' into 'master'

ci: check whether Deckard submodule commit is present on master

See merge request knot/knot-resolver!1038

ci: check whether Deckard submodule commit is present on master

This is to prevent issues like https://gitlab.nic.cz/knot/knot-resolver/-/merge_requests/1036

Merge branch 'fix-broken-rfc5011-rollover' into 'master'

Fix RFC5011 rollover

See merge request knot/knot-resolver!1035

modules/ta_update: resurrect RFC5011 test removed from deckard

modules/ta_update: fix broken RFC5011 rollover

modules/ta_update: indent correction

Merge branch 'ci-deckard-divergent-commit' into 'master'

ci: fix divergent commit in Deckard submodule

See merge request knot/knot-resolver!1036

ci: fix divergent commit in Deckard submodule

Branch on Deckard tree tracked in this repository was left unmerged in
Deckard. The two trees therefore diverged and broke CI in knot-resolver
repo on a few commits retroactively.

Merge branch 'validate-missing-rrsig' into 'master'

validator: new approach to missing RRSIG(s)

Closes #390

See merge request knot/knot-resolver!1020

NEWS: reference also issue, not only merge request

resolve: minor logging improvements

policy.DEBUG: translate rank values to human readable names

It is very useful when debugging. This code gets executed only with
special DEBUG policy so we do not need to worry about maximum performance.

validate: improve precision of one "going insecure" log

The line was being logged a bit prematurely when the validator isn't
really going insecure yet.  This solves (some of?) those cases.

validator: up->bottom chase DS if RRSIG(s) are missing

The original approach was using SOA owner in negative answers
to optimize number of DS queries. This approarch is less realiable with
weird "servers", including pre-DNSSEC servers which reply to DS query
with an SOA owner pointing to the child zone instead of parent zone.

We now walk the tree from root down to find the missing DS or proof of
its non-existance.

validator: bottom->up chase DS if RRSIG(s) are missing

This is about situations when validator *thinks* it's in a signed zone
but an unsigned answer comes in. The assumption was that RRSIGs didn't
make it through some middle-boxes and it retried with explicit QTYPE=RRSIG.

There were two issues with that.
1. It seems that in most cases the cause of the situation is that
   we skipped over a zone cut that transitioned to insecure state,
   so the signatures correctly don't exist.
2. An explicit RRSIG query appears to be more trouble than worth;
   it seems reasonable for servers not to answer it (fully);
   see RFC 8482 sect. 7.

The new approach simply tries to find a proof that the name is insecure,
by spawning a QTYPE=DS sub-query on that name.  That fixes some
real-life cases; usually this happens in iteration mode where one IP
address serves zones on both sides of a cut that transitions to insecure.
For details see new comments in that rrsig_not_found() function.

The change resulted in the iterator fallback not making sense anymore
so it was removed.

Merge branch '510-prometheus-and-graphite-metrics-are-missing-some-cache-stats' into 'master'

cache: add number of entries to cache.stats()

Closes #510

See merge request knot/knot-resolver!1028

cache: add number of entries to cache.stats()

Merge branch 'luajit-aarch64' into 'master'

daemon/lua: get rid of __engine symbol in lua

See merge request knot/knot-resolver!1033

daemon: don't get worker from uv_loop_t::data anymore

daemon/bindings: get rid of engine_luaget()

Lots of lines affected, but it gets slightly simpler.

daemon/lua: get rid of __engine symbol in lua

In particular this gets rid of last light user data inside kresd.

It was still causing problems on some systems, for example Debian Sid.
The error was the same: "bad light userdata pointer" from luajit,
but note that the problem can still be triggered by lua libraries,
e.g. cqueues.

Merge branch 'doc-worker-stats' into 'master'

doc: include worker.stats() description

See merge request knot/knot-resolver!1034

doc: include worker.stats() description

Merge branch 'ci_update' into 'master'

CI docker image update

See merge request knot/knot-resolver!1032

ci: avoid broken py.test 6.0.0 and dnspython 2.0.0 which causes linting errors

References:
- https://github.com/pytest-dev/pytest/pull/7565
- https://github.com/rthalley/dnspython/pull/561

ci: add tcpdump for Deckard to Debian image

Merge !1031: kr_pkt_text: accept OPT anywhere in ADDITIONAL

deckard: update to fix in CI (new dnspython in image)