rrl WIP: add temporary measurements of CPU time measurement code

rrl WIP: increase precision of cpu work estimate using RDTSC

daemon/rrl WIP: estimate CPU work done on behalf of clients

rrl: truncating answers when close to limit, dropping over limit

rrl nit: factor out using_avx()

fixup! rrl: improve error messages

fixup! rrl: modify KRU api to return maximum final load value

- reordering saves 8 bytes per struct (on typical 64-bit platforms)
- don't assume that *max_load_out is initialized reasonably
  (the doc-comment doesn't suggest that it's needed)

rrl: modify KRU api to return maximum final load value

rrl: improve error messages

Merge branch 'rrl-wip' of gitlab.nic.cz:knot/knot-resolver into rrl-wip

rrl: disable parallel tests under valgrind in CI

fixup! rrl: configurable limits in yaml, deinit

I see no reason for these removed parts.

fixup! rrl: porting unit tests from Knot DNS

fixup! rrl: porting unit tests from Knot DNS

lib/dnssec nit: improve #include path

No idea why it started causing issues now and for me, with:
lib/dnssec/nsec.c:19:10: fatal error: resolve.h: No such file or director

rrl: porting unit tests from Knot DNS

fixup! rrl: allow changing configuration on reload

fixup! fixup! rrl: configurable limits in yaml, deinit

fixup! rrl: configurable limits in yaml, deinit

rrl: allow changing configuration on reload

rrl: configurable limits in yaml, deinit

rrl: check and log chosen impl. (generic vs AVX2)

rrl: incorporate KRU changes from Knot DNS

rrl: sharing memory between processes, basic limiting

PoC: rate-limit everything for now :-)

WIP: CI nits

TMP: replace symlinks by contents

from knot-dns commit 033e81f81f5cc41e650eae056c4c2b5f0a61a7f8

TMP: compile the KRU into daemon

Meant for TMP easier development - you need to symlink daemon/rrl/knot
to knot-dns source, as the KRU source files will be taken from there.

WIP: add contrib/openbsd/siphash.*

The same as knot-dns, except for dropping memzero() after hashing.

Merge branch 'doc-move-pages' into '6.0'

remove `doc-dev` directory, merge into `doc/dev`

See merge request knot/knot-resolver!1515

remove `doc-dev` directory, merge into `doc/dev`

Merge branch 'doc-separation' into '6.0'

Separate user and developer documentation

See merge request knot/knot-resolver!1514

doc: better headings

NEWS update

doc: various fixes

Fix cross-references, heading levels, etc.

doc/user:  installation update

doc/dev/index: add backlink to the user docs + warning

doc/dev/build: add missing article

doc: separate user and developer documentation

This separates the documentation into a *blue* user documentation and a
*red* developer documentation, resolving problems where similar sections
collided in search queries, leading users to the advanced Lua config
documentation instead of the preferred declarative config one.

It also visually separates the two parts, so that users who do not wish
to meddle in Lua immediately see that they're somewhere wrong just by
seeing the red colour.

Merge branch 'manager-install-config' into '6.0'

python: expose prefix configuration as a module

See merge request knot/knot-resolver!1511

python: expose prefix configuration as a module

Merge !1508: lib/dnssec: dnskey nits

docs: fix typo in an option name

Reported on chat:
https://matrix.to/#/!yEaUZSBVTYRlULEqON:gitter.im/$ZXYw2v_QnbgIiP83lNtBiBptiJxqcXPKe4GI47tI86E?via=gitter.im&via=matrix.org&via=kack.it

lib/dnssec nit: reverse order of validating a DNSKEY set

Suggested by Libor Peltan.

lib/dnssec: refactor kr_dnssec_key_*

- The "ksk" and "zsk" in names were confusing,
  as they did NOT match the normal terms of KSK and ZSK.
- Add _usable() as a more useful function than _zsk() was.
- don't use 16-bit flag-sets; it's way easier to extract on byte level
- use inline for the simplified code

Merge branch 'forward-auth-port' into '6.0'

forwarding to authoritative servers doesn't allow overriding ports

See merge request knot/knot-resolver!1505

datamodel: forward: custom port and TLS are not supported for authoritative servers

document limitation of forwarding to authoritative servers

Merge !1504: kresctl: timeout for http request

NEWS update

utils/request.py: higher timeout for http request

Merge branch 'python3.12-support' into '6.0'

manager: poetry: support for python 3.12

See merge request knot/knot-resolver!1502

manager: update Python versions

Use the oldest supported Python by default again, since that ensures our
compatibility. Also, remove explicit Python versions from README to
avoid duplication - `pyenv install` just installs the versions that are
already in `.python-version`, so let's leverage that.

lint: fixes for new versions of tools

manager: ci:  switch to python 3.12

poetry: support for python 3.12

- poetry: upgrade to 1.7.1
- poetry: python 3.7 support removed
- poetry: unnecessary tox tool removed
- poetry: deps version update

Merge !1500: datamodel: support interface names with dashes

Fixes #900

datamodel: support interface names with dashes

Dashes can't be present in normal identifiers in Lua,
so we switch to a different syntactic sugar for the same thing.

Merge branch 'manager-nits' into '6.0'

manager: nits, cleanups, fixes

See merge request knot/knot-resolver!1496

manager: get rid of old linters and clean-up some warnings

Removes references to pyright, which is not in use anymore. Also removes
warning suppressions and instead properly resolves the warnings.

manager: move `build.py` to `build_c_extensions.py`

This fixes a problem on some systems, where the `build.py` file
conflicts with the `build` module required by Poetry.

See <https://github.com/python-poetry/poetry/issues/7576>.

manager: have pyenv prefer the latest Python version instead of the oldest

Merge branch 'manager-api-cache-clear' into '6.0'

manager: cache-clear command via HTTP API

Closes #876

See merge request knot/knot-resolver!1491

manager/tests: validate JSON output from "kresctl cache clear --json" command

kresctl: config: reduction of duplicate code related to the data parsing

- set: there is no need to specify the input data format
- get: YAML is now the default format for output data

kresctl: cache command: output formats for 'clear' operation

modeling: parsing: data dump from instances of class 'Renamed'

manager: use proper JSON values for socket communication

This commit adds a special JSON mode for control sockets.

The mode is activated by issuing a special `__json` command to the
socket, resulting in all Lua objects returned by all subsequent commands
to be serialized into JSONs, prepended by a 32-bit unsigned integer
byte-length value.

This JSON mode is now exclusively utilized by Manager, removing the need
to hackily strip single-quotes from the output and to read the output by
lines. Instead, it can always just read the 32-bit length value and
subsequently the whole JSON-formatted message, which is now
automatically deserialized into a Python object.

'cache-clear' remade to 'cache/clear'

naming: replacing 'kids' suffix with 'kresids' for clarification

doc: cache clearing

manager/tests: simple test for /cache-clear API endpoint

doc/manager-client.rst: 'cache-clear' command added

api: cache-clear: validate data, render lua and send cmd

datamodel: schema and template for cache-clear command

api: added cache-clear route

datamodel: moving the main jinja template loader to the templates dir

controller: moving workers registration  helpers out of the statistics module

kresctl: 'cache-clear' command created

Merge branch 'release-6.0.6' into 6.0

Release 6.0.6

AUTHORS update

Merge !1497: lib/dnssec: allow validating some RRsets around 64 KiB size

lib/dnssec: allow validating some RRsets around 64 KiB size

- only with libknot >= 3.4 though (which is not released yet)
- use stack instead of static buffer (saves RAM; see code comment)

NEWS for 6.0.6

Merge branch 'master' into dos-feb13-6.0

There were some nontrivial conflicts to resolve, NEWS + the line
    ctx->vld_limit_crypto = KR_VLD_LIMIT_CRYPTO_DEFAULT;
(I had this resolution prepared for a long time.)

release 5.7.1

Merge: mitigate CVE-2023-50387 "KeyTrap"

DNSSEC verification complexity could be exploited to exhaust CPU resources and stall DNS resolvers.

Solution boils down mainly to limiting crypto-validations per packet.

update NEWS with KeyTrap

in a separate commit, as it will tend to conflict if patching

mitigate KeyTrap DoS = CVE-2023-50387

Improve: don't retry in this case.

mitigate KeyTrap DoS = CVE-2023-50387

lib/resolve kr_request_set_extended_error(): tweak priorities

Keep the first error in case priorities are equal.

At least with the current KeyTrap topic that should work better,
but blaming a single error is alchemy anyway, at least in some cases.

lib/dnssec kr_rrset_validate_with_key(): deduplicate cleanup

Merge CVE-2023-50868: NSEC3 closest encloser proof can exhaust CPU

Merge branch 'master' into 6.0

There were some conflicts with !1495

validator: compatibility with older libknot versions

The value is in IANA registry, so it's very constant anyway.

add NEWS for NSEC3 mitigations from the previous few commits

validator: refuse to validate answers with more than 8 NSEC3 records

validator: limit the amount of work on SHA1 in NSEC3 proofs

lib/cache: limit the amount of work on SHA1

That's when searching NSEC3 aggressive cache.