datamodel: moving the main jinja template loader to the templates dir

controller: moving workers registration  helpers out of the statistics module

kresctl: 'cache-clear' command created

Merge branch 'release-6.0.6' into 6.0

Release 6.0.6

AUTHORS update

Merge !1497: lib/dnssec: allow validating some RRsets around 64 KiB size

lib/dnssec: allow validating some RRsets around 64 KiB size

- only with libknot >= 3.4 though (which is not released yet)
- use stack instead of static buffer (saves RAM; see code comment)

NEWS for 6.0.6

Merge branch 'master' into dos-feb13-6.0

There were some nontrivial conflicts to resolve, NEWS + the line
    ctx->vld_limit_crypto = KR_VLD_LIMIT_CRYPTO_DEFAULT;
(I had this resolution prepared for a long time.)

release 5.7.1

Merge: mitigate CVE-2023-50387 "KeyTrap"

DNSSEC verification complexity could be exploited to exhaust CPU resources and stall DNS resolvers.

Solution boils down mainly to limiting crypto-validations per packet.

update NEWS with KeyTrap

in a separate commit, as it will tend to conflict if patching

mitigate KeyTrap DoS = CVE-2023-50387

Improve: don't retry in this case.

mitigate KeyTrap DoS = CVE-2023-50387

lib/resolve kr_request_set_extended_error(): tweak priorities

Keep the first error in case priorities are equal.

At least with the current KeyTrap topic that should work better,
but blaming a single error is alchemy anyway, at least in some cases.

lib/dnssec kr_rrset_validate_with_key(): deduplicate cleanup

Merge CVE-2023-50868: NSEC3 closest encloser proof can exhaust CPU

Merge branch 'master' into 6.0

There were some conflicts with !1495

validator: compatibility with older libknot versions

The value is in IANA registry, so it's very constant anyway.

add NEWS for NSEC3 mitigations from the previous few commits

validator: refuse to validate answers with more than 8 NSEC3 records

validator: limit the amount of work on SHA1 in NSEC3 proofs

lib/cache: limit the amount of work on SHA1

That's when searching NSEC3 aggressive cache.

validator: similarly also limit excessive NSEC3 salt length

Limit combination of iterations and salt length, based on estimated
expense of the computation.  Note that the result only differs for
salt length > 44 which is rather nonsensical and very rare:
https://chat.dns-oarc.net/community/pl/h58qx9sjkbgt9dajb7x988p78a

validator: lower the NSEC3 iteration limit (150 -> 50)

Also done by BIND9 >= 9.19.19:
https://gitlab.isc.org/isc-projects/bind9/-/merge_requests/8515

The latest real-life measurements show that values above 50 are rare:
https://chat.dns-oarc.net/community/pl/aadp9wwrp7g7ux1b8chbzebmze

Merge branch 'pkg-bionic' into 'master'

pkg/distro/deb: fix doc build for Ubuntu 18.04

See merge request knot/knot-resolver!1495

pkg/distro/deb: fix doc build for Ubuntu 18.04

Due to mysterious reasons, Ubuntu 18.04 ARM builds doesn't invoke
dh_installinfo (even though amd64 does).

Merge knot-resolver-doc.info into knot-resolver-doc.docs for
compatibility.

distro/pkg/deb: bump debhelper compat to 11

Oldest supported distro requiring 11 is Ubuntu 18.04 Bionic Beaver.

libknot 3.4 compat

This extends the new 5.x commit 673c8d2b56b6.
Now I can build fine against knot-dns master again.

Merge branch 'master' into 6.0

Merge !1494: compatibility with libknot's master (3.4 WIP)

compatibility with libknot's master (3.4 WIP)

I'm adding this as a function, as in knot-resolver 6.x we have
one more place where it is used, and I find this more readable.

Merge !1493: distro/pkg/deb: depend on python3, not python3-all

distro/pkg/deb: depend on python3, not python3-all

This fixes build failures on Ubuntu 24.04 where python3.11
and python3.12 co-exist.

Merge branch 'manager-stats-fixes' into '6.0'

manager: fixes for metrics/stats

See merge request knot/knot-resolver!1492

manager/kresd_controller/interface.py: register only kresd workers for metrics

manager/statistics.py: instance_id fix

Merge !1490: manager/tests/packaging: More verbose systemd_service tests

manager/tests/packaging: More verbose systemd_service tests

Merge remote-tracking branch 'origin/master' into doc-logo-manual-colors-6

Merge branch 'doc-logo-manual-colors-5' into 'master'

doc: adjust colors according to the logo manual

See merge request knot/knot-resolver!1489

doc: adjust colors according to the logo manual

Merge !1481: meson.build: install and search directories adjustments

NEWS: add a line about run_dir

meson.build: conditional branching on run_dir

This should, to the best of our knowledge, give us the correct run_dir
on Linux, macOS and BSDs.

meson.build: make /run dir relative to install prefix

meson.build: respect pkgconfig libdir

Merge remote-tracking branch 'origin/master' into 6.0

Merge branch 'sonarcloud-5-update' into 'master'

ci/images/debian-11: update sonarcloud to version 5

See merge request knot/knot-resolver!1488

ci/images/debian-11: update sonarcloud to version 5

Old version caused failures due to unsupported Java version 11.

Merge !1487: Update links to documentation

Update links to documentation

Replaces all mentions of `knot-resolver.readthedocs.io` with
`www.knot-resolver.cz/documentation/latest`.

Some of the links used to point to the `latest` documentation, which
meant the latest `master` commit, but the current system does not really
allow us to do this, so instead we link to the latest stable (which is
what `www.knot-resolver.cz/documentation/latest` basically is).

We also cannot reliably get the documentation for a particular version
in the code, so it all just points to `latest` as well. This may change
in the future, although I do not yet have a good approach in mind
(particularly, I don't want to bother our admins with nginx
configuration updates for each newly released version).

Merge !1486: doc/requirements.txt: add sphinx_rtd_theme

doc/requirements.txt: add sphinx_rtd_theme

This should fix the ReadTheDocs build

Merge branch 'master' into 6.0

Merge branch 'docs-pages-5-backport' into 'master'

Backport hosting docs in GitLab Pages into 5.x

See merge request knot/knot-resolver!1485

.gitlab-ci: remove the `pages` job for 5.x

doc/conf.py: jquery workaround

.gitlab-ci: upgrade pip packages

scripts/make-doc.sh: backport changes from 6.0

Merge branch 'doc-monitoring-stats' into '6.0'

doc: update statistics collection using yaml config

See merge request knot/knot-resolver!1482

doc/config-monitoring-stats.rst: update stats config with yaml

.gitlab-ci: remove old 'doc' target

.gitlab-ci: fix Pages publishing

This commit renames `docs:public` to `pages` as required by GitLab CI to
recognize Pages jobs correctly. It also adds the `public` directory into
`artifacts:paths`.

.gitlab-ci.yml: use environments for documentation versioning

This leverages Environments on GitLab to expose different versions of
Knot Resolver docs. The `docs:build` job builds the documentation and
exposes it via job artifacts. Then `docs:develop` (for branches) and
`docs:release` (for tags) take these artifacts and expose them via an
Environment link (an example of this in action may be seen at
[https://gitlab.nic.cz/ostava/knot-resolver/-/environments]).

There is also an optional, manually runnable `docs:public` job, which,
when run, propagates the documentation to the main GitLab Pages of the
project (e.g. [https://knot.pages.nic.cz/knot-resolver]) - this will
probably be mostly used for the latest release, although this setup
pretty much allows us to swap it for whatever version we like at any
time.

Merge branch 'doc-dev' into '6.0'

Documentation improvements - doc-dev directory; release notes shortening

See merge request knot/knot-resolver!1484

doc/NEWS: exclude LTS versions from release notes

doc-dev: create directory for developer documentation

Merge branch 'release-6.0.5' into '6.0'

Release 6.0.5

See merge request knot/knot-resolver!1483

doc nit: fix a broken link

scripts/update-authors.sh nit: avoid confusing changes in ordering

Release 6.0.5

AUTHORS: regenerate

Merge branch 'master' into 6.0

doc/manager-client: fix a copy&paste typo

doc/gettingstarted-config: change `rules/type` to `rules/subtree`

This has been renamed at one point in the code, but missed in the
getting started guide.

daemon/io: close LMDB txns after control socket commands

There's the issue that during config-file loading we prefer to do all
changes in rule DB inside a single transaction, so the normal commands
do not close them.  However with control socket commands we can't afford
to leave transactions open (unclear for how long), especially RW transactions.

Merge branch 'ci-arch' into '6.0'

CI: add pkg:arch job for Arch linux

See merge request knot/knot-resolver!1474

.gitlab-ci: pkg:arch: update repos before test

CI: add pkg:arch job for Arch linux

makepkg refuses to run as root so we need to run

    apkg build

as a non-root user.

Merge branch 'ci-pkg-update' into '6.0'

ci: add pkg:ubuntu-24.04 job, bump pkg:fedora jobs to latest (39, 38)

See merge request knot/knot-resolver!1479

ci: bump pkg:fedora jobs to 39, 38

ci: add pkg:ubuntu-24.04 job

Merge !1478: etc/root.hints: B.root-servers.net updated addresses

etc/root.hints: B.root-servers.net updated addresses

Officially yesterday, but there's long overlap when both address pairs
are promised to work.  See e.g. this e-mail thread:
https://lists.dns-oarc.net/pipermail/dns-operations/2023-June/022052.html

Merge !1477: datamodel: sync the whole list logging groups

scripts/codecheck: flake8: ignore E266, W504

datamodel: sync the whole list logging groups

Now that manager is integrated into kresd,
I expect these will naturally keep it in sync.

Merge !1462: systemd unit: log via syslog API instead of stdout

systemd unit: log via syslog API instead of stdout

It's promised in docs already.  The extra metadata can be useful.

Merge !1464: doc/config-* nits, mainly begin topics with typical examples

doc/config-logging-monitoring: begin with typical examples

Also improve text around the remnants of verbose() command.

doc/config-network-server: move warning to more relevant place

doc/config-network-server: begin with typical examples

Spacing around brackets seems more common in our examples.

doc/config-local-data: begin with typical examples

This doc page is relatively complex and it will only get longer
in future, but I expect that 90% of users will be OK with just
these simple examples.

Merge !1472: ci/images/debian-12: add Debian 12 CI image for future use

ci/images/debian-12: add Debian 12 CI image for future use

Right now, I will need to use it for DNS Shotgun because Debian 11 had
GnuTLS too old for QUIC.

Merge !1476: Update Arch Linux package URL in README.md

Update Arch Linux package URL in README.md

The old URL returns 404 now.