manager: update Python versions

Use the oldest supported Python by default again, since that ensures our
compatibility. Also, remove explicit Python versions from README to
avoid duplication - `pyenv install` just installs the versions that are
already in `.python-version`, so let's leverage that.

lint: fixes for new versions of tools

manager: ci:  switch to python 3.12

poetry: support for python 3.12

- poetry: upgrade to 1.7.1
- poetry: python 3.7 support removed
- poetry: unnecessary tox tool removed
- poetry: deps version update

Merge !1500: datamodel: support interface names with dashes

Fixes #900

datamodel: support interface names with dashes

Dashes can't be present in normal identifiers in Lua,
so we switch to a different syntactic sugar for the same thing.

Merge branch 'manager-nits' into '6.0'

manager: nits, cleanups, fixes

See merge request knot/knot-resolver!1496

manager: get rid of old linters and clean-up some warnings

Removes references to pyright, which is not in use anymore. Also removes
warning suppressions and instead properly resolves the warnings.

manager: move `build.py` to `build_c_extensions.py`

This fixes a problem on some systems, where the `build.py` file
conflicts with the `build` module required by Poetry.

See <https://github.com/python-poetry/poetry/issues/7576>.

manager: have pyenv prefer the latest Python version instead of the oldest

Merge branch 'manager-api-cache-clear' into '6.0'

manager: cache-clear command via HTTP API

Closes #876

See merge request knot/knot-resolver!1491

manager/tests: validate JSON output from "kresctl cache clear --json" command

kresctl: config: reduction of duplicate code related to the data parsing

- set: there is no need to specify the input data format
- get: YAML is now the default format for output data

kresctl: cache command: output formats for 'clear' operation

modeling: parsing: data dump from instances of class 'Renamed'

manager: use proper JSON values for socket communication

This commit adds a special JSON mode for control sockets.

The mode is activated by issuing a special `__json` command to the
socket, resulting in all Lua objects returned by all subsequent commands
to be serialized into JSONs, prepended by a 32-bit unsigned integer
byte-length value.

This JSON mode is now exclusively utilized by Manager, removing the need
to hackily strip single-quotes from the output and to read the output by
lines. Instead, it can always just read the 32-bit length value and
subsequently the whole JSON-formatted message, which is now
automatically deserialized into a Python object.

'cache-clear' remade to 'cache/clear'

naming: replacing 'kids' suffix with 'kresids' for clarification

doc: cache clearing

manager/tests: simple test for /cache-clear API endpoint

doc/manager-client.rst: 'cache-clear' command added

api: cache-clear: validate data, render lua and send cmd

datamodel: schema and template for cache-clear command

api: added cache-clear route

datamodel: moving the main jinja template loader to the templates dir

controller: moving workers registration  helpers out of the statistics module

kresctl: 'cache-clear' command created

Merge branch 'release-6.0.6' into 6.0

Release 6.0.6

AUTHORS update

Merge !1497: lib/dnssec: allow validating some RRsets around 64 KiB size

lib/dnssec: allow validating some RRsets around 64 KiB size

- only with libknot >= 3.4 though (which is not released yet)
- use stack instead of static buffer (saves RAM; see code comment)

NEWS for 6.0.6

Merge branch 'master' into dos-feb13-6.0

There were some nontrivial conflicts to resolve, NEWS + the line
    ctx->vld_limit_crypto = KR_VLD_LIMIT_CRYPTO_DEFAULT;
(I had this resolution prepared for a long time.)

release 5.7.1

Merge: mitigate CVE-2023-50387 "KeyTrap"

DNSSEC verification complexity could be exploited to exhaust CPU resources and stall DNS resolvers.

Solution boils down mainly to limiting crypto-validations per packet.

update NEWS with KeyTrap

in a separate commit, as it will tend to conflict if patching

mitigate KeyTrap DoS = CVE-2023-50387

Improve: don't retry in this case.

mitigate KeyTrap DoS = CVE-2023-50387

lib/resolve kr_request_set_extended_error(): tweak priorities

Keep the first error in case priorities are equal.

At least with the current KeyTrap topic that should work better,
but blaming a single error is alchemy anyway, at least in some cases.

lib/dnssec kr_rrset_validate_with_key(): deduplicate cleanup

Merge CVE-2023-50868: NSEC3 closest encloser proof can exhaust CPU

Merge branch 'master' into 6.0

There were some conflicts with !1495

validator: compatibility with older libknot versions

The value is in IANA registry, so it's very constant anyway.

add NEWS for NSEC3 mitigations from the previous few commits

validator: refuse to validate answers with more than 8 NSEC3 records

validator: limit the amount of work on SHA1 in NSEC3 proofs

lib/cache: limit the amount of work on SHA1

That's when searching NSEC3 aggressive cache.

validator: similarly also limit excessive NSEC3 salt length

Limit combination of iterations and salt length, based on estimated
expense of the computation.  Note that the result only differs for
salt length > 44 which is rather nonsensical and very rare:
https://chat.dns-oarc.net/community/pl/h58qx9sjkbgt9dajb7x988p78a

validator: lower the NSEC3 iteration limit (150 -> 50)

Also done by BIND9 >= 9.19.19:
https://gitlab.isc.org/isc-projects/bind9/-/merge_requests/8515

The latest real-life measurements show that values above 50 are rare:
https://chat.dns-oarc.net/community/pl/aadp9wwrp7g7ux1b8chbzebmze

Merge branch 'pkg-bionic' into 'master'

pkg/distro/deb: fix doc build for Ubuntu 18.04

See merge request knot/knot-resolver!1495

pkg/distro/deb: fix doc build for Ubuntu 18.04

Due to mysterious reasons, Ubuntu 18.04 ARM builds doesn't invoke
dh_installinfo (even though amd64 does).

Merge knot-resolver-doc.info into knot-resolver-doc.docs for
compatibility.

distro/pkg/deb: bump debhelper compat to 11

Oldest supported distro requiring 11 is Ubuntu 18.04 Bionic Beaver.

libknot 3.4 compat

This extends the new 5.x commit 673c8d2b56b6.
Now I can build fine against knot-dns master again.

Merge branch 'master' into 6.0

Merge !1494: compatibility with libknot's master (3.4 WIP)

compatibility with libknot's master (3.4 WIP)

I'm adding this as a function, as in knot-resolver 6.x we have
one more place where it is used, and I find this more readable.

Merge !1493: distro/pkg/deb: depend on python3, not python3-all

distro/pkg/deb: depend on python3, not python3-all

This fixes build failures on Ubuntu 24.04 where python3.11
and python3.12 co-exist.

Merge branch 'manager-stats-fixes' into '6.0'

manager: fixes for metrics/stats

See merge request knot/knot-resolver!1492

manager/kresd_controller/interface.py: register only kresd workers for metrics

manager/statistics.py: instance_id fix

Merge !1490: manager/tests/packaging: More verbose systemd_service tests

manager/tests/packaging: More verbose systemd_service tests

Merge remote-tracking branch 'origin/master' into doc-logo-manual-colors-6

Merge branch 'doc-logo-manual-colors-5' into 'master'

doc: adjust colors according to the logo manual

See merge request knot/knot-resolver!1489

doc: adjust colors according to the logo manual

Merge !1481: meson.build: install and search directories adjustments

NEWS: add a line about run_dir

meson.build: conditional branching on run_dir

This should, to the best of our knowledge, give us the correct run_dir
on Linux, macOS and BSDs.

meson.build: make /run dir relative to install prefix

meson.build: respect pkgconfig libdir

Merge remote-tracking branch 'origin/master' into 6.0

Merge branch 'sonarcloud-5-update' into 'master'

ci/images/debian-11: update sonarcloud to version 5

See merge request knot/knot-resolver!1488

ci/images/debian-11: update sonarcloud to version 5

Old version caused failures due to unsupported Java version 11.

Merge !1487: Update links to documentation

Update links to documentation

Replaces all mentions of `knot-resolver.readthedocs.io` with
`www.knot-resolver.cz/documentation/latest`.

Some of the links used to point to the `latest` documentation, which
meant the latest `master` commit, but the current system does not really
allow us to do this, so instead we link to the latest stable (which is
what `www.knot-resolver.cz/documentation/latest` basically is).

We also cannot reliably get the documentation for a particular version
in the code, so it all just points to `latest` as well. This may change
in the future, although I do not yet have a good approach in mind
(particularly, I don't want to bother our admins with nginx
configuration updates for each newly released version).

Merge !1486: doc/requirements.txt: add sphinx_rtd_theme

doc/requirements.txt: add sphinx_rtd_theme

This should fix the ReadTheDocs build

Merge branch 'master' into 6.0

Merge branch 'docs-pages-5-backport' into 'master'

Backport hosting docs in GitLab Pages into 5.x

See merge request knot/knot-resolver!1485

.gitlab-ci: remove the `pages` job for 5.x

doc/conf.py: jquery workaround

.gitlab-ci: upgrade pip packages

scripts/make-doc.sh: backport changes from 6.0

Merge branch 'doc-monitoring-stats' into '6.0'

doc: update statistics collection using yaml config

See merge request knot/knot-resolver!1482

doc/config-monitoring-stats.rst: update stats config with yaml

.gitlab-ci: remove old 'doc' target

.gitlab-ci: fix Pages publishing

This commit renames `docs:public` to `pages` as required by GitLab CI to
recognize Pages jobs correctly. It also adds the `public` directory into
`artifacts:paths`.

.gitlab-ci.yml: use environments for documentation versioning

This leverages Environments on GitLab to expose different versions of
Knot Resolver docs. The `docs:build` job builds the documentation and
exposes it via job artifacts. Then `docs:develop` (for branches) and
`docs:release` (for tags) take these artifacts and expose them via an
Environment link (an example of this in action may be seen at
[https://gitlab.nic.cz/ostava/knot-resolver/-/environments]).

There is also an optional, manually runnable `docs:public` job, which,
when run, propagates the documentation to the main GitLab Pages of the
project (e.g. [https://knot.pages.nic.cz/knot-resolver]) - this will
probably be mostly used for the latest release, although this setup
pretty much allows us to swap it for whatever version we like at any
time.

Merge branch 'doc-dev' into '6.0'

Documentation improvements - doc-dev directory; release notes shortening

See merge request knot/knot-resolver!1484

doc/NEWS: exclude LTS versions from release notes

doc-dev: create directory for developer documentation

Merge branch 'release-6.0.5' into '6.0'

Release 6.0.5

See merge request knot/knot-resolver!1483

doc nit: fix a broken link

scripts/update-authors.sh nit: avoid confusing changes in ordering

Release 6.0.5

AUTHORS: regenerate

Merge branch 'master' into 6.0

doc/manager-client: fix a copy&paste typo