manager: kresctl: 'completion' command WIP

manager: kresctl: 'convert' command added

manager: kresctl: config command
- schema, metrics command modules lint

manager: kresctl: schema command added

kresctl: metrics command added

doc/gettingstarted-config.rst: some info about kresctl

manager: kresctl: command parsing done

Merge !1371: predict: fully deactivate prediction with `period = 0`

predict: fully deactivate prediction with `period = 0`

That setting is recommended by documentation but it would still leave
the timer triggering repeatedly.  Maybe it didn't cause any practical
difference, but it was unnecessary and possibly confusing.

Merge branch 'manager-wrong-return-type-fix' into 'manager'

bugfix: invalid json in HTTP API

See merge request knot/knot-resolver!1370

manager: HTTP API: fixed returning Python str() instead of json.dumps()

Merge !1368: Copyright notices: remove years and replace e-mail

Copyright notices: remove years and replace e-mail

Merge !1369: NEWS + doc about TTL: forgotten minor tweaks

NEWS + doc about TTL: forgotten minor tweaks

Merge !1323: TTL tweaks

Closes #127 and #736

NEWS + doc about TTL: apply changes from previous commits

(and minor other changes)

TTL bounds: improve the logic

- apply to first (uncached) answer already
- don't extend over signature validity

Nit: the tests were using too high TTL (RFCs disallow the "sign bit").
It was working because (manual) cache-insertion was applying bounds,
but now the bounds don't get applied anymore, so it would fail.

cache.max_ttl(): lower the default from six days to one day

Allowing too much seems to have more risk than benefit.  For example,
the 2-day TTL on DS records in .com zone (e.g. Slack issue months ago).

lib/cache: tweak TTL computation for packets

When a whole packet is cached (instead of individual RRs),
let's simplify the way the packet's TTL gets computed.

The previous mechanism came from commit 5b383a2bb7,
probably a misunderstanding of:
https://datatracker.ietf.org/doc/html/rfc2308#section-5
Anyway, I see no motivation to do it, and this way we should
get rid of some weird cases where we might extend TTL of some records,
except if they were below the cache.min_ttl() setting (5s default).

Merge !1367: docs: run `meson setup` explicitly in build instructions

docs: run `meson setup` explicitly in build instructions

Fixing all instances of the same issue on the same docs page.

docs: run `meson setup` explicitly in build instructions

This silences the following warning given on newer version of meson:

WARNING: Running the setup command as `meson [options]` instead of
`meson setup [options]` is ambiguous and deprecated.

Merge !1365: iterate: no longer accept DNS messages with trailing data

iterate: no longer accept DNS messages with trailing data

We can get stricter here;
with negligible fraction of real-life names regressing.

daemon/worker: minor refactoring around knot_pkt_parse()

The separate function wasn't really doing anything.
Also add a debug log.

Merge !1364: policy.STUB: minor improvements

policy.STUB: avoid copying +dnssec flag from client to upstream

I can't see any motivation for the copying behavior,
and it made caching non-deterministic.

policy.STUB: avoid applying aggressive DNSSEC denial proofs

In particular, avoids unintentional NXDOMAIN on grafted subtrees.
Consequently the users can drop 'NO_CACHE' flag and get caching.

Merge !1366: policy.DEBUG_IF: don't trigger .REQTRACE unconditionally

Merge branch 'manager-doc-vs' into 'manager'

Documentation and related updates

See merge request knot/knot-resolver!1351

policy.DEBUG_IF: don't trigger .REQTRACE unconditionally

I broke this in 54ab3f78 or closely around, so this never worked well
since 5.4.1, and maybe structured logging (5.4.0) had related issues.

packaging: kresctl man page, manager's unit file

manager: utils: renaming: added basic docs

manager: masive API and modelling updates

- got rid of ParsedTree class because it did too many things at once
- introduced Renamed family of data structures (RenamedList, RenamedDict)
- split out etag generation into standalone procedure
- split out query() into standalone procedure
- modelling: changed BaseSchema to NoRenameBaseSchema, which works on normal dicts and lists (no ParsedTree dependency)
- modelling: introduced new BaseSchema (for backwards compatibility) which uses Renamed wrappers to handle configuration renaming
- added json pointer implementation (https://www.rfc-editor.org/rfc/rfc6901)
- API:
- got rid of QueryTree class as it was too complicated
- completely rewrote query() to use JSON pointer and JSON Patch (https://datatracker.ietf.org/doc/html/rfc6902/)

docs: API and manager dev notes

manager: api: fixed config request race condition, added Content-Type to responses

manager: fixed new pylint warning in compat code

manager: fixed non-functional configuration file reloading

manager: moved packaging test definition to manager's packaging tests directory

manager: update Poetry reference in pyproject.toml (following upstream update)

manager: supervisord controller: use debugger when launched with env variable KRES_DEBUG_MANAGER=1

manager: supervisord plugin: forwarding SIGHUP to the manager

docs: comparison table of how things were done before and how they are done now

Merge branch 'manager-docker' into 'manager'

Docker image with manager

See merge request knot/knot-resolver!1361

docker: removed useless OBS repo from Dockerfile

docker: build with manager using apkg

Merge !1353: add option to link sbin/kresd to jemalloc

NEWS, doc: document jemalloc

use jemalloc in CI

distro/pkg/*: build with jemalloc

add option to link sbin/kresd to jemalloc

And by default do so iff jemalloc is found.

I chose the simplicity of adding the chosen allocator just
in the single binary.  Other sbin/* don't matter really,
and dynamic libs (e.g. modules) will just follow whoever loaded them.

Merge !1362: ci/images: drop the LXC images

Merge !1354: manager CI pkg:make-archive: use runners matching the image

CI pkg:make-archive: use runners matching the image

https://gitlab.nic.cz/knot/knot-resolver/-/merge_requests/1341#note_263747

Merge branch 'manager-ci' into 'manager'

ci/pkgtest: remove unused CI configuration file

See merge request knot/knot-resolver!1363

ci: removed ci/pkgtest.yaml as it's not referenced from anywhere

ci/images: drop the LXC images

Last use case was dropped in 36b08eb30387,
and I don't expect we'd use this in future anymore.
The "bullseye" in README was clearly a typo (it's the codename for 11).

Merge branch 'manager-install-with-meson' into 'manager'

manager: build manager and install its files with meson

See merge request knot/knot-resolver!1346

Merge !1360: doc/build.rst nit: add dnsdist as optional dependency

doc/build.rst nit: add dnsdist as optional dependency

Merge !1356: ci improvements, mainly for respdiff

doc nit: tweak the link to dnsflagday.net

As the web is now, combination without www doesn't redirect https
(only http).  So let's switch to the final URL; apex is problematic.

ci respdiff+resperf: make the skipped cases orange

ci respdiff+resperf: make them run manually

In that case there's no need to wait for other jobs, too.

ci: make jobs interruptible by default

We're usually not interested in CI on older commits,
and this default will help cancelling expensive respdiff jobs.

Also add default runner tags to make them less likely
to get underspecified.  For example, each job should choose
one option in the docker/lxc and amd64/arm64 pairs.

ci pytests: migrate away from LXC runner

This reverts commit 15c1353544be, with some modifications.
On LXC we've had issues with
  FileExistsError: [Errno 17] File exists: '/tmp/pytest-kresd-portdir'
.. which disappear with this commit.  (I don't know how/why.)

Merge !1357: doc XDP: update the list of required capabilities

manager: lint fail fix

manager/gitlab-ci.yml: poetry install only deps

manager: ci: poetry version fixed to 1.1.12

manager/scripts/run: build manager with meson

manager: scripts: 'docs' is no longer needed

distro deb: add python3-dev dependency

Otherwise it's possible to end up with an error (e.g. Ubuntu 22.04):
knot_resolver_manager/kresd_controller/supervisord/plugin/notifymodule.c:2:10:
  fatal error: Python.h: No such file or directory

manager: meson: use existing script to check dependencies

tests/packaging/dependencies.py: argument for path to setup.py added

doc/build.rst: 'python.install_env' info no needed

doc/build.rst: some additional informations

link to pyproject.toml, tip about pipx

manager: meson.build files removed

meson: manager_client option removed

manager/meson.build: installation script added

subdir removed, python3 deps removed

manager: scripts: add installation script

doc/build.rst: note about meson python module

manager/cli: meson: executable for 'kresctl'

doc/build.rst: enable to build manager with meson

manager: meson: add python deps

meson: disable manager build by default

manager: build python modules with meson

doc/build.rst: Building with 'Meson' section added

manager dependencies added

doc/build.rst: build with 'apkg' added

manager: meson.build added

meson_options.txt: 'manager' option added

doc XDP: update the list of required capabilities

We're the same as knotd in this; it evolved a bit
with libknot and kernel versions.  Taken from:
https://www.knot-dns.cz/docs/3.2/singlehtml/#mode-xdp-pre-requisites

Merge !1355: daemon/network: fix heap-buffer-overflow in endpoint key generation

daemon/network: fix heap-buffer-overflow in endpoint key generation

Reproducible by listening on an interface by name, ASAN reports a
heap-buffer-overflow. This was a regression caused by !1286, which did
not account for null-terminators properly.

Merge !1349: modules/dns64: add recommendation to also disable DNS64 via IPv4

modules/dns64: add recommendation to also disable DNS64 via IPv4

It's resonable to assume that people would also want to disable DNS64 for
IPv4 source addresses if they only enable it for some IPv6 sources.

Close https://github.com/CZ-NIC/knot-resolver/pull/83

Merge !1352: ci nixos-unstable:pkgbuild: fixup recent regression

ci nixos-unstable:pkgbuild: fixup recent regression

https://gitlab.nic.cz/knot/knot-resolver/-/jobs/802541#L272

Merge branch 'manager-unified-logging' into 'manager'

manager: unified logging

See merge request knot/knot-resolver!1350

manager: supervisord: renamed gc subprocess to cache-gc

manager: logging: supervisord forwards stdio even when configured to use syslog in order not to lose any valuable error messages