manager: improve handling of max-workers configuration

- changed default to 10*#cpus or 256 if not possible
- fixed bug that would prevent us from running the limiting number of workers

closes #753

Merge branch 'master' into manager

Merge branch 'manager-integration-without-submodule' into 'manager'

manager: packaging

See merge request knot/knot-resolver!1248

distro: drop tomas.krizek

The address won't work anymore, and Jakub says this field isn't needed.

lib/utils: drop long unused parts

drop unused #include lines

modules/dnstap nit: silence a lint:tidy warning

https://gitlab.nic.cz/knot/knot-resolver/-/jobs/635837#L219

ci: packaging - removed ubuntu 21.10 (EOL soon) and Debian 10 (failing, ignoring for now)

deb packaging: reenable PIE in hardening options

Downstream did this years ago:
https://salsa.debian.org/dns-team/knot-resolver/-/commit/1f3428a62aa59f269e95abf51836db2112ef4d29
otherwise we have issues with building python parts.

ci: use apkg from PyPI, not manually from git

rpm packaging: opensuse dependencies

ci pkgtest: added more distros and removed old ones

manager: supervisord plugin for creating PIPE to stdout

manager: supervisord plugins: using sd_notify to report state upstream

packaging: systemd service Type=notify did not work with supervisord

packaging: default package config update

dependencies: added supervisord to proper dependencies (moved from dev dependencies)

packaging: missing supervisord dependendency in rocky

packaging: rpm python install directory shenanigans

manager: fix bug in ignore pattern for black in pyproject.toml

packaging: manually add rocky dependencies

manager packaging tests: added a test checking existance of dependencies

WIP: packaing tests using apkg's new test feature

manager: explicitely crash on old Python versions

manager: replaced Click with argparse to "solve" issues with encoding

Click is refusing to run in environments with misconfigured locale and default encoding.
https://click.palletsprojects.com/en/8.1.x/unicode-support/
Refusing to run might make sense for CLI utility, but not for a service which is not properly interactive.

manager's service file: prefixed all commands with /usr/bin/env to ensure absolute path

packaging: listed kresctl in rpm .spec file

ci: added basic manager tests to pkgtests

manager: improved logging of subprocess controller selection

manager's packaging fixes & better systemd integration

- implemented sd_notify and changed manager service type to "notify"
- fixed release configuration
- renamed knot-resolver-manager.service to knot-resolver.service

manager: add simple packaging tests

manager: added placeholder for manager's future CLI interface

manager: fix packaging script

distro: add knot-resolver-manager rpm packaging

distro: add knot-resolver-manager deb packaging

Merge !1325: ci/pkgtest: remove Ubuntu 21.10

Revert "ci/pkgtest: switch bad LXC builds to manual start"

This reverts commit ac3e7ac72cc347e01660d074dff94edfad2ba9a0.
They have been fixed and seem reliable now.

ci/pkgtest: remove Ubuntu 21.10

It broke down and it isn't relevant anymore.

Merge !1309: support (lib)knot 3.2

ci: add job build-knot32

That way we get at least basic testing before 3.2 is made default in CI.

NEWS: now the support for libknot 3.2 should be complete

daemon: adapt XDP to libknot 3.2

adapt to libknot 3.2 lower-casing knot_pkt_qname()

Our strategy was (and remains) that the in-header QNAME is overwritten
in-place, so most of our code was already (correctly) assuming that
knot_pkt_qname() returns lower-case only.  That simplifies this commit.

lua bindings: support libknot 3.2

Merge branch 'manager-utils-modeling' into 'manager'

manager: utils: modeling utils improvements

See merge request knot/knot-resolver!1320

manager: utils: modeling: info about '-'/_'' conversion added to README

manager: utils: modeling: BaseCustomType renamed to BaseValueType

manager: tests: utils: directory for modeling tests

manager: utils: modeling: docstrings updates
-

Merge !1317: ci/pkgtest: switch bad LXC builds to manual start

manager: utils: modeling: raise ValueError instead of DataValidationError in custom types

ci/pkgtest: switch bad LXC builds to manual start

We've been unable to progress with these failures for some time,
and it's not good to have them red in CI all the time.
Manual start should allow easier testing of future fixes,
without doing the futile runs automatically.

Merge !1321: Redirect webserv.lua stdout and stderr to /dev/null

Fixes #758

Redirect webserv.lua stdout and stderr to /dev/null

Fixes a regression on Meson 0.57.0 that produces a timeout in config.ta_bootstrap test.

manager: utils: modeling: naming improvements

manager: utils: modeling: README update

Merge !1322: ci: confine docker and macOS jobs to main repository

ci: confine docker and macOS jobs to main repository

Some of our CI jobs use project-specific GitLab runners (e.g. requiring
the `dind` tag). The jobs then fail when someone forks the repository
and opens a merge request. This commit confines those jobs to the
`knot/knot-resolver` repository.

manager: utils: modeling: simple documentation

manager: utils: modeling: rename _PREVIOUS_SCHEMA  to _LAYER

utils: modeling utils moved to separate directory

Merge branch 'manager-supervisord-inversion-of-control' into 'manager'

manager: inverted process tree with supervisord

See merge request knot/knot-resolver!1319

manager: tests: datamodel: 'id' removed from tests

manager: supervisord stops with non-zero exit code whenever manager enters FATAL state

manager: improved logging, no exceptions on shutdown -> now it looks almost as before trying to invert the process tree

manager: initial support for inverted process tree (manager running under a subprocess manager started by manager)

Merge !1315: hints.add_hosts(): respect comments anywhere in a line

hints.add_hosts(): respect comments anywhere in a line

hints tests: simple check of comment parsing

Merge branch 'manager-remove-systemd-support' into 'manager'

Remove systemd backend support

See merge request knot/knot-resolver!1318

manager: datamodel: watchdog section removed

manager: reorganization of manager startup and subprocess controller selection

manager: updated poethepoet to prevent exceptions when stopping dev run

manager: datamodel: supervisor section removed
- watchdog moved to top-level

fix manager's gitlab CI config usage of removed features

manager: remove systemd support

Why? Because it is dangerous to use. You'd have to run manager with root privileges
to be able to spawn systemd services via DBus. There is an option to do the same
with session instances of systemd, but that is unpackageable and pretty much unusable
in production. We will therefore rely on supervisord, as it's support got much better
recently.

Merge branch 'manager-supervisord-improvements' into 'manager'

supervisord improvements

See merge request knot/knot-resolver!1280

Merge !1314: daemon/tls: fix a double-free for some cases of policy.TLS_FORWARD

daemon/tls: fix a double-free for some cases of policy.TLS_FORWARD

The double-free may have happened in some cases when the upstream
resolver was stopped while answering a forwarded query. I was reliably
reproducing it by running resperf on two kresd instances with one forwarded
to the other, and killing the upstream one.

Merge !1310: modules/priming: downgrade logs to 'info' level

modules/priming: downgrade logs to 'info' level

When kresd starts without working internet connection, these would spam
logs by default every 10 seconds, which doesn't seem useful.

modules/priming: don't warn against unloading it

I can't see sufficient motivation here.  The cache will be slightly
less ready, but it's not often that you need to contact a root server.

Most importantly, kresd must work well anyway, even with empty cache.
Also, the compiled-in address set of root servers should be quite
accurate - the NS set has never changed, and the last address change
was five years ago with just one of 26 records changing.

Merge !1316: nit: daemon/http: remove dead code

nit: daemon/http: remove dead code

manager: optimized supervisord process startup by using custom version of XML-RPC API

manager: fix bad config schema definition

manager: more startup logging and small supervisord detection optimization

manager: bug fix: utility function to spawn subprocesses did not unblock signals, so spawned processes could not be stopped properly

configured build system for native C extensions

made supervisord sd_notify() plugin properly functional + supervisord config changes

- X-SUPERVISORD-TYPE=notify in a process's environment should make the process behave similarly to Type=notify systemd service units
- startsec with the above means time, after which it will get killed without ready notification

manager: experimental implementation of supervisord extension to support sd_notify()

contains:
- python module written in C, because Python does not support socket auxiliary messages like SCM_CREDENTIALS
- XML-RPC extension for supervisord, which actually does not do anything except for injecting code into supervisord internals

changed supervisord controller so that we don't need to be rewriting config with every change

manager: add time since startup to logs

Merge !1311: daemon/http: improve URI checks

Fixes #746

Merge branch 'manager-datamodel-policy' into 'manager'

manager: datamodel: policy improvements

See merge request knot/knot-resolver!1312

manager: datamodel: policy: action validation refactored

manager: datamodel:  removed 'Dict' from policy sections
- related to #702

manager: datamodel: slices: actions validation

daemon/http: improve URI checks

The `check_uri()` function now only checks that the endpoint is either
`/doh` or `/dns-query`. Parameter checks were moved into
`process_uri_path()` so that the check only takes place for GET
requests. POST requests now do not care about parameters at all.

manager: datamodel: policy: forward action validation