doc/manager-client: adjustments

Some language adjustments and improved optionality signalling (optional
parameters are usually surrounded by square brackets `[]`, while angle
brackets `<>` are usually reserved for mandatory ones).

Merge branch 'doc-move-pages' into '6.0'

remove `doc-dev` directory, merge into `doc/dev`

See merge request knot/knot-resolver!1515

remove `doc-dev` directory, merge into `doc/dev`

Merge branch 'doc-separation' into '6.0'

Separate user and developer documentation

See merge request knot/knot-resolver!1514

doc: better headings

NEWS update

doc: various fixes

Fix cross-references, heading levels, etc.

doc/user:  installation update

doc/dev/index: add backlink to the user docs + warning

doc/dev/build: add missing article

doc: separate user and developer documentation

This separates the documentation into a *blue* user documentation and a
*red* developer documentation, resolving problems where similar sections
collided in search queries, leading users to the advanced Lua config
documentation instead of the preferred declarative config one.

It also visually separates the two parts, so that users who do not wish
to meddle in Lua immediately see that they're somewhere wrong just by
seeing the red colour.

Merge branch 'manager-install-config' into '6.0'

python: expose prefix configuration as a module

See merge request knot/knot-resolver!1511

python: expose prefix configuration as a module

Merge !1508: lib/dnssec: dnskey nits

docs: fix typo in an option name

Reported on chat:
https://matrix.to/#/!yEaUZSBVTYRlULEqON:gitter.im/$ZXYw2v_QnbgIiP83lNtBiBptiJxqcXPKe4GI47tI86E?via=gitter.im&via=matrix.org&via=kack.it

lib/dnssec nit: reverse order of validating a DNSKEY set

Suggested by Libor Peltan.

lib/dnssec: refactor kr_dnssec_key_*

- The "ksk" and "zsk" in names were confusing,
  as they did NOT match the normal terms of KSK and ZSK.
- Add _usable() as a more useful function than _zsk() was.
- don't use 16-bit flag-sets; it's way easier to extract on byte level
- use inline for the simplified code

Merge branch 'forward-auth-port' into '6.0'

forwarding to authoritative servers doesn't allow overriding ports

See merge request knot/knot-resolver!1505

datamodel: forward: custom port and TLS are not supported for authoritative servers

document limitation of forwarding to authoritative servers

Merge !1504: kresctl: timeout for http request

NEWS update

utils/request.py: higher timeout for http request

Merge branch 'python3.12-support' into '6.0'

manager: poetry: support for python 3.12

See merge request knot/knot-resolver!1502

manager: update Python versions

Use the oldest supported Python by default again, since that ensures our
compatibility. Also, remove explicit Python versions from README to
avoid duplication - `pyenv install` just installs the versions that are
already in `.python-version`, so let's leverage that.

lint: fixes for new versions of tools

manager: ci:  switch to python 3.12

poetry: support for python 3.12

- poetry: upgrade to 1.7.1
- poetry: python 3.7 support removed
- poetry: unnecessary tox tool removed
- poetry: deps version update

Merge !1500: datamodel: support interface names with dashes

Fixes #900

datamodel: support interface names with dashes

Dashes can't be present in normal identifiers in Lua,
so we switch to a different syntactic sugar for the same thing.

Merge branch 'manager-nits' into '6.0'

manager: nits, cleanups, fixes

See merge request knot/knot-resolver!1496

manager: get rid of old linters and clean-up some warnings

Removes references to pyright, which is not in use anymore. Also removes
warning suppressions and instead properly resolves the warnings.

manager: move `build.py` to `build_c_extensions.py`

This fixes a problem on some systems, where the `build.py` file
conflicts with the `build` module required by Poetry.

See <https://github.com/python-poetry/poetry/issues/7576>.

manager: have pyenv prefer the latest Python version instead of the oldest

Merge branch 'manager-api-cache-clear' into '6.0'

manager: cache-clear command via HTTP API

Closes #876

See merge request knot/knot-resolver!1491

manager/tests: validate JSON output from "kresctl cache clear --json" command

kresctl: config: reduction of duplicate code related to the data parsing

- set: there is no need to specify the input data format
- get: YAML is now the default format for output data

kresctl: cache command: output formats for 'clear' operation

modeling: parsing: data dump from instances of class 'Renamed'

manager: use proper JSON values for socket communication

This commit adds a special JSON mode for control sockets.

The mode is activated by issuing a special `__json` command to the
socket, resulting in all Lua objects returned by all subsequent commands
to be serialized into JSONs, prepended by a 32-bit unsigned integer
byte-length value.

This JSON mode is now exclusively utilized by Manager, removing the need
to hackily strip single-quotes from the output and to read the output by
lines. Instead, it can always just read the 32-bit length value and
subsequently the whole JSON-formatted message, which is now
automatically deserialized into a Python object.

'cache-clear' remade to 'cache/clear'

naming: replacing 'kids' suffix with 'kresids' for clarification

doc: cache clearing

manager/tests: simple test for /cache-clear API endpoint

doc/manager-client.rst: 'cache-clear' command added

api: cache-clear: validate data, render lua and send cmd

datamodel: schema and template for cache-clear command

api: added cache-clear route

datamodel: moving the main jinja template loader to the templates dir

controller: moving workers registration  helpers out of the statistics module

kresctl: 'cache-clear' command created

Merge branch 'release-6.0.6' into 6.0

Release 6.0.6

AUTHORS update

Merge !1497: lib/dnssec: allow validating some RRsets around 64 KiB size

lib/dnssec: allow validating some RRsets around 64 KiB size

- only with libknot >= 3.4 though (which is not released yet)
- use stack instead of static buffer (saves RAM; see code comment)

NEWS for 6.0.6

Merge branch 'master' into dos-feb13-6.0

There were some nontrivial conflicts to resolve, NEWS + the line
    ctx->vld_limit_crypto = KR_VLD_LIMIT_CRYPTO_DEFAULT;
(I had this resolution prepared for a long time.)

release 5.7.1

Merge: mitigate CVE-2023-50387 "KeyTrap"

DNSSEC verification complexity could be exploited to exhaust CPU resources and stall DNS resolvers.

Solution boils down mainly to limiting crypto-validations per packet.

update NEWS with KeyTrap

in a separate commit, as it will tend to conflict if patching

mitigate KeyTrap DoS = CVE-2023-50387

Improve: don't retry in this case.

mitigate KeyTrap DoS = CVE-2023-50387

lib/resolve kr_request_set_extended_error(): tweak priorities

Keep the first error in case priorities are equal.

At least with the current KeyTrap topic that should work better,
but blaming a single error is alchemy anyway, at least in some cases.

lib/dnssec kr_rrset_validate_with_key(): deduplicate cleanup

Merge CVE-2023-50868: NSEC3 closest encloser proof can exhaust CPU

Merge branch 'master' into 6.0

There were some conflicts with !1495

validator: compatibility with older libknot versions

The value is in IANA registry, so it's very constant anyway.

add NEWS for NSEC3 mitigations from the previous few commits

validator: refuse to validate answers with more than 8 NSEC3 records

validator: limit the amount of work on SHA1 in NSEC3 proofs

lib/cache: limit the amount of work on SHA1

That's when searching NSEC3 aggressive cache.

validator: similarly also limit excessive NSEC3 salt length

Limit combination of iterations and salt length, based on estimated
expense of the computation.  Note that the result only differs for
salt length > 44 which is rather nonsensical and very rare:
https://chat.dns-oarc.net/community/pl/h58qx9sjkbgt9dajb7x988p78a

validator: lower the NSEC3 iteration limit (150 -> 50)

Also done by BIND9 >= 9.19.19:
https://gitlab.isc.org/isc-projects/bind9/-/merge_requests/8515

The latest real-life measurements show that values above 50 are rare:
https://chat.dns-oarc.net/community/pl/aadp9wwrp7g7ux1b8chbzebmze

Merge branch 'pkg-bionic' into 'master'

pkg/distro/deb: fix doc build for Ubuntu 18.04

See merge request knot/knot-resolver!1495

pkg/distro/deb: fix doc build for Ubuntu 18.04

Due to mysterious reasons, Ubuntu 18.04 ARM builds doesn't invoke
dh_installinfo (even though amd64 does).

Merge knot-resolver-doc.info into knot-resolver-doc.docs for
compatibility.

distro/pkg/deb: bump debhelper compat to 11

Oldest supported distro requiring 11 is Ubuntu 18.04 Bionic Beaver.

libknot 3.4 compat

This extends the new 5.x commit 673c8d2b56b6.
Now I can build fine against knot-dns master again.

Merge branch 'master' into 6.0

Merge !1494: compatibility with libknot's master (3.4 WIP)

compatibility with libknot's master (3.4 WIP)

I'm adding this as a function, as in knot-resolver 6.x we have
one more place where it is used, and I find this more readable.

Merge !1493: distro/pkg/deb: depend on python3, not python3-all

distro/pkg/deb: depend on python3, not python3-all

This fixes build failures on Ubuntu 24.04 where python3.11
and python3.12 co-exist.

Merge branch 'manager-stats-fixes' into '6.0'

manager: fixes for metrics/stats

See merge request knot/knot-resolver!1492

manager/kresd_controller/interface.py: register only kresd workers for metrics

manager/statistics.py: instance_id fix

Merge !1490: manager/tests/packaging: More verbose systemd_service tests

manager/tests/packaging: More verbose systemd_service tests

Merge remote-tracking branch 'origin/master' into doc-logo-manual-colors-6

Merge branch 'doc-logo-manual-colors-5' into 'master'

doc: adjust colors according to the logo manual

See merge request knot/knot-resolver!1489

doc: adjust colors according to the logo manual

Merge !1481: meson.build: install and search directories adjustments

NEWS: add a line about run_dir

meson.build: conditional branching on run_dir

This should, to the best of our knowledge, give us the correct run_dir
on Linux, macOS and BSDs.

meson.build: make /run dir relative to install prefix

meson.build: respect pkgconfig libdir

Merge remote-tracking branch 'origin/master' into 6.0

Merge branch 'sonarcloud-5-update' into 'master'

ci/images/debian-11: update sonarcloud to version 5

See merge request knot/knot-resolver!1488

ci/images/debian-11: update sonarcloud to version 5

Old version caused failures due to unsupported Java version 11.

Merge !1487: Update links to documentation