Merge branch 'manager-install-with-meson' into 'manager'

manager: build manager and install its files with meson

See merge request knot/knot-resolver!1346

Merge !1360: doc/build.rst nit: add dnsdist as optional dependency

doc/build.rst nit: add dnsdist as optional dependency

Merge !1356: ci improvements, mainly for respdiff

doc nit: tweak the link to dnsflagday.net

As the web is now, combination without www doesn't redirect https
(only http).  So let's switch to the final URL; apex is problematic.

ci respdiff+resperf: make the skipped cases orange

ci respdiff+resperf: make them run manually

In that case there's no need to wait for other jobs, too.

ci: make jobs interruptible by default

We're usually not interested in CI on older commits,
and this default will help cancelling expensive respdiff jobs.

Also add default runner tags to make them less likely
to get underspecified.  For example, each job should choose
one option in the docker/lxc and amd64/arm64 pairs.

ci pytests: migrate away from LXC runner

This reverts commit 15c1353544be, with some modifications.
On LXC we've had issues with
  FileExistsError: [Errno 17] File exists: '/tmp/pytest-kresd-portdir'
.. which disappear with this commit.  (I don't know how/why.)

Merge !1357: doc XDP: update the list of required capabilities

manager: lint fail fix

manager/gitlab-ci.yml: poetry install only deps

manager: ci: poetry version fixed to 1.1.12

manager/scripts/run: build manager with meson

manager: scripts: 'docs' is no longer needed

distro deb: add python3-dev dependency

Otherwise it's possible to end up with an error (e.g. Ubuntu 22.04):
knot_resolver_manager/kresd_controller/supervisord/plugin/notifymodule.c:2:10:
  fatal error: Python.h: No such file or directory

manager: meson: use existing script to check dependencies

tests/packaging/dependencies.py: argument for path to setup.py added

doc/build.rst: 'python.install_env' info no needed

doc/build.rst: some additional informations

link to pyproject.toml, tip about pipx

manager: meson.build files removed

meson: manager_client option removed

manager/meson.build: installation script added

subdir removed, python3 deps removed

manager: scripts: add installation script

doc/build.rst: note about meson python module

manager/cli: meson: executable for 'kresctl'

doc/build.rst: enable to build manager with meson

manager: meson: add python deps

meson: disable manager build by default

manager: build python modules with meson

doc/build.rst: Building with 'Meson' section added

manager dependencies added

doc/build.rst: build with 'apkg' added

manager: meson.build added

meson_options.txt: 'manager' option added

doc XDP: update the list of required capabilities

We're the same as knotd in this; it evolved a bit
with libknot and kernel versions.  Taken from:
https://www.knot-dns.cz/docs/3.2/singlehtml/#mode-xdp-pre-requisites

Merge !1355: daemon/network: fix heap-buffer-overflow in endpoint key generation

daemon/network: fix heap-buffer-overflow in endpoint key generation

Reproducible by listening on an interface by name, ASAN reports a
heap-buffer-overflow. This was a regression caused by !1286, which did
not account for null-terminators properly.

Merge !1349: modules/dns64: add recommendation to also disable DNS64 via IPv4

modules/dns64: add recommendation to also disable DNS64 via IPv4

It's resonable to assume that people would also want to disable DNS64 for
IPv4 source addresses if they only enable it for some IPv6 sources.

Close https://github.com/CZ-NIC/knot-resolver/pull/83

Merge !1352: ci nixos-unstable:pkgbuild: fixup recent regression

ci nixos-unstable:pkgbuild: fixup recent regression

https://gitlab.nic.cz/knot/knot-resolver/-/jobs/802541#L272

Merge branch 'manager-unified-logging' into 'manager'

manager: unified logging

See merge request knot/knot-resolver!1350

manager: supervisord: renamed gc subprocess to cache-gc

manager: logging: supervisord forwards stdio even when configured to use syslog in order not to lose any valuable error messages

manager: logging: prevent supervisord from creating temporary log files

manager: logging: improved formatting

manager: unified logging

- when using logging into stdio, supervisord aggregates all logs and tags them
- when logging to syslog, every process logs there directly

Merge branch 'manager-schema-version' into 'manager'

Config schema versioning

See merge request knot/knot-resolver!1347

manager: config schema: add schema version to the top level to allow for future changes

Merge branch 'master' into manager

Merge !1348: ci/images/debian-11: drop go

ci/images/debian-11: drop go

I don't know how to fix building the image with it.
A few things were tried around different go versions (from -backports).

Merge !1341: CI: enable new packaging tests using apkg

manager: removed specific versions of libraries from dependency list

CI: don't (re)install apkg

apkg is already installed in apkg LXC images, no need to install it here.

Also use LXC image for make-archive.

CI: update opensuse to 15.4

CI: remove old distros unsupported by manager

manager: supervisord sd_notify extension: removed assert in favor of an explicit if

CI: enable new packaging tests using apkg

See `distro/tests/README.md` for more info.

New CI pkg stage tests

    apkg install --build-dep
    apkg test --test-dep

on apkg LXC images using LXC gitlab runner.

A single pkg:make-archive job creates archive shared in all pkg jobs.

A similar change for Knot DNS: https://gitlab.nic.cz/knot/knot-dns/-/merge_requests/1488

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

CI: add scripts/enable-repo.py

Requiring only python3-distro, it can be used to enable
upstream repos on any supported system.

Intended for CI.

CI: disable OBS pkgtest

in favor of apkg-powered packaging tests without OBS.

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

tests: remove distro/tests

Cleanup before introduction of new packaging tests.

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

tests: remove tests/packaging

Cleanup before introduction of new packaging tests.

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

Merge branch 'master' into manager

Merge branch 'manager-kresctl-packaging-fixes' into 'manager'

fix kresctl packaging

See merge request knot/knot-resolver!1344

Revert "tests/packaging: skip workers.sh"

This reverts commit 16ea2c8fc493f3175bfa510682579317ef58587a.

manager packaging: kresctl fix

- downgraded pinned version of supervisord
- installing procps in CI

Merge branch 'release-5.5.3' into 'master'

release 5.5.3

See merge request knot/knot-resolver!1343

release 5.5.3

lib/zonecut + iterator: limit large NS sets

It's a mitigation for CVE-2022-40188 and similar DoS attempts.
It's using really trivial approaches, at least for now.

Merge branch 'manager-better-api' into 'manager'

manager: fully featured HTTP API

See merge request knot/knot-resolver!1331

tests/packaging: skip workers.sh

doc/gettingstarted-config.rst: json schema added, API payload

doc/gettingstarted-config.rst: initial info about API

Merge !1340: ci macOS: add Knot 3.2

ci macOS: add Knot 3.2

Merge !1339: cache test: loosen conditions on cache usage

NEWS: mention config_tests for macOS

cache test: loosen conditions on cache usage

This fixes config_tests on aarch64 macOS.
The key difference is that they use 16k pages,
so LMDB space usage also behaves a bit different.

manager dependencies: accept just about any pyyaml (problems with kresctl refusing to launch due to version mismatch)

packaging tests: kresctl changing number of workers

kresctl: argument parsing infrastracture and init of tab completion

kresctl: basic implementation using the new HTTP API

http api improvements and tests

- adds versions to URL's (closes #759)
- adds a basic packaging test for consistent etags
- adds a basic packaging test for working metrics
- fix bugs with API implementation
- fix bugs with /metrics endpoint

manager: config API: new query capability inspired by Caddy's HTTP API

Merge branch 'manager-doc' into 'manager'

doc: sphinx-tabs added

See merge request knot/knot-resolver!1335

doc/gettingstarted-config: configuration-chapter reference correction

Merge !1338: macOS nits

doc/gettingstarted-config.rst: network interfaces removed
- added reference to usecases chapter

tests/config: skip `freebind` sub-test on macOS

That option isn't supported there, so the test wouldn't work.
Now the config tests work for me on x86 macOS.

daemon/http nit: silence a warning

Enums are more like ints anyway (in standard),
even when drawn from a small subset.

daemon/io: log another message if `freebind` isn't supported

So far the message wasn't pointing to freebind at all:
[net   ] bind to '::1@53' (UDP): Operation not supported

I used preprocessor to avoid duplication and unused warnings.

Another way would be to ignore the freebind option if not supported,
but I think it's better to convince users not to specify it.

doc: usecases: network interfaces added

Merge branch 'release-5.5.2' into 'master'

release 5.5.2

See merge request knot/knot-resolver!1337

ci OBS: replace Ubuntu 21.10 by 22.04

21.10 isn't supported anymore, which is probably why it's failing.

ci OBS: replace Fedora 34 by 36

We've already done that on OBS side, which is probably why it's failing.

release 5.5.2

doc nit: fix broken link, luacov home moved

https://github.com/lunarmodules/luacov/issues/99

NEWS nit: prefer imperative formulations

We're mostly using those in NEWS and first line of commit messages.
I'm not sure if they're much better than alternatives, but at least
consistency is nice.

Merge !1328: daemon/worker: drop caching of kr_request mempools

daemon/worker: drop caching of kr_request mempools

This caused a huge increase in real memory usage in case of queries
arriving to kresd while being disconnected from internet.
The usage was slowly creeping up, even over 2G.

Interesting past commits: b350d38d and two preceding.

There apparently was no real memory leak.  I assume that reusal of
long-living mempools is risky in terms of memory fragmentation,
though the extent of the issue surprised me very much.
The issue seemed the same with normal glibc and jemalloc.

I generally dislike ad-hoc optimization attempts like these freelists.
Now the allocator can better decide *itself* how to reuse memory.

daemon/worker: drop a long unused #define