manager: logging: prevent supervisord from creating temporary log files

manager: logging: improved formatting

manager: unified logging

- when using logging into stdio, supervisord aggregates all logs and tags them
- when logging to syslog, every process logs there directly

Merge branch 'manager-schema-version' into 'manager'

Config schema versioning

See merge request knot/knot-resolver!1347

manager: config schema: add schema version to the top level to allow for future changes

Merge branch 'master' into manager

Merge !1348: ci/images/debian-11: drop go

ci/images/debian-11: drop go

I don't know how to fix building the image with it.
A few things were tried around different go versions (from -backports).

Merge !1341: CI: enable new packaging tests using apkg

manager: removed specific versions of libraries from dependency list

CI: don't (re)install apkg

apkg is already installed in apkg LXC images, no need to install it here.

Also use LXC image for make-archive.

CI: update opensuse to 15.4

CI: remove old distros unsupported by manager

manager: supervisord sd_notify extension: removed assert in favor of an explicit if

CI: enable new packaging tests using apkg

See `distro/tests/README.md` for more info.

New CI pkg stage tests

    apkg install --build-dep
    apkg test --test-dep

on apkg LXC images using LXC gitlab runner.

A single pkg:make-archive job creates archive shared in all pkg jobs.

A similar change for Knot DNS: https://gitlab.nic.cz/knot/knot-dns/-/merge_requests/1488

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

CI: add scripts/enable-repo.py

Requiring only python3-distro, it can be used to enable
upstream repos on any supported system.

Intended for CI.

CI: disable OBS pkgtest

in favor of apkg-powered packaging tests without OBS.

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

tests: remove distro/tests

Cleanup before introduction of new packaging tests.

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

tests: remove tests/packaging

Cleanup before introduction of new packaging tests.

See: https://gitlab.nic.cz/knot/knot-resolver/-/issues/612

Merge branch 'master' into manager

Merge branch 'manager-kresctl-packaging-fixes' into 'manager'

fix kresctl packaging

See merge request knot/knot-resolver!1344

Revert "tests/packaging: skip workers.sh"

This reverts commit 16ea2c8fc493f3175bfa510682579317ef58587a.

manager packaging: kresctl fix

- downgraded pinned version of supervisord
- installing procps in CI

Merge branch 'release-5.5.3' into 'master'

release 5.5.3

See merge request knot/knot-resolver!1343

release 5.5.3

lib/zonecut + iterator: limit large NS sets

It's a mitigation for CVE-2022-40188 and similar DoS attempts.
It's using really trivial approaches, at least for now.

Merge branch 'manager-better-api' into 'manager'

manager: fully featured HTTP API

See merge request knot/knot-resolver!1331

tests/packaging: skip workers.sh

doc/gettingstarted-config.rst: json schema added, API payload

doc/gettingstarted-config.rst: initial info about API

Merge !1340: ci macOS: add Knot 3.2

ci macOS: add Knot 3.2

Merge !1339: cache test: loosen conditions on cache usage

NEWS: mention config_tests for macOS

cache test: loosen conditions on cache usage

This fixes config_tests on aarch64 macOS.
The key difference is that they use 16k pages,
so LMDB space usage also behaves a bit different.

manager dependencies: accept just about any pyyaml (problems with kresctl refusing to launch due to version mismatch)

packaging tests: kresctl changing number of workers

kresctl: argument parsing infrastracture and init of tab completion

kresctl: basic implementation using the new HTTP API

http api improvements and tests

- adds versions to URL's (closes #759)
- adds a basic packaging test for consistent etags
- adds a basic packaging test for working metrics
- fix bugs with API implementation
- fix bugs with /metrics endpoint

manager: config API: new query capability inspired by Caddy's HTTP API

Merge branch 'manager-doc' into 'manager'

doc: sphinx-tabs added

See merge request knot/knot-resolver!1335

doc/gettingstarted-config: configuration-chapter reference correction

Merge !1338: macOS nits

doc/gettingstarted-config.rst: network interfaces removed
- added reference to usecases chapter

tests/config: skip `freebind` sub-test on macOS

That option isn't supported there, so the test wouldn't work.
Now the config tests work for me on x86 macOS.

daemon/http nit: silence a warning

Enums are more like ints anyway (in standard),
even when drawn from a small subset.

daemon/io: log another message if `freebind` isn't supported

So far the message wasn't pointing to freebind at all:
[net   ] bind to '::1@53' (UDP): Operation not supported

I used preprocessor to avoid duplication and unused warnings.

Another way would be to ignore the freebind option if not supported,
but I think it's better to convince users not to specify it.

doc: usecases: network interfaces added

Merge branch 'release-5.5.2' into 'master'

release 5.5.2

See merge request knot/knot-resolver!1337

ci OBS: replace Ubuntu 21.10 by 22.04

21.10 isn't supported anymore, which is probably why it's failing.

ci OBS: replace Fedora 34 by 36

We've already done that on OBS side, which is probably why it's failing.

release 5.5.2

doc nit: fix broken link, luacov home moved

https://github.com/lunarmodules/luacov/issues/99

NEWS nit: prefer imperative formulations

We're mostly using those in NEWS and first line of commit messages.
I'm not sure if they're much better than alternatives, but at least
consistency is nice.

Merge !1328: daemon/worker: drop caching of kr_request mempools

daemon/worker: drop caching of kr_request mempools

This caused a huge increase in real memory usage in case of queries
arriving to kresd while being disconnected from internet.
The usage was slowly creeping up, even over 2G.

Interesting past commits: b350d38d and two preceding.

There apparently was no real memory leak.  I assume that reusal of
long-living mempools is risky in terms of memory fragmentation,
though the extent of the issue surprised me very much.
The issue seemed the same with normal glibc and jemalloc.

I generally dislike ad-hoc optimization attempts like these freelists.
Now the allocator can better decide *itself* how to reuse memory.

daemon/worker: drop a long unused #define

doc/index.rst: structural changes

doc/build.rst: sphinx-tabs added

doc: gettingstarted update

Merge !1336: lib/generic/array: avoid quadratic work for long arrays

lib/generic/array: avoid quadratic work for long arrays

For long arrays we really want to increase their length by a fraction.
Otherwise it will cost lots of CPU.  Doubling seems customary,
though I could imagine e.g. keeping the +50% growth on longest arrays.

I finally got sufficiently angry with this piece of code when debugging
https://forum.turris.cz/t/how-to-debug-a-custom-hosts-file-for-kresd/17449
though in that case it wasn't the main source of inefficiency.

CI: two of the mysterious/bogus warnings around arrays disappeared.

Merge !1334: modules/renumber: fix renumber.name behaviour

Fixes #760

modules/renumber: fix renumber.name behaviour

Fixes #760.

Also removes a warning in policy.REROUTE that is no longer true.

Merge !1333: lib/log: Coverity Scan nits

lib/log: Coverity Scan nits

Fixes CIDs 355763 and 355764. Also fixes a minor typo.

pkg: doc and its deps removed

doc: new section 'Use Cases' added

doc: 'Quick Start' section renamed to 'Getting Started'
- introduction subsection created

doc: conf.py: rst_prolog added
- global strings for yaml and lua tabs

manager: architecture diagram added

manager: docs directory removed

doc: quickstart-config: added sphinx group-tab

doc: sphinx-tabs added
- tabs tried in quickstart-config

Merge !1332{ ci/images/README: clarify build.sh for Coverity Scan

ci/images/README: clarify usage of build.sh for Coverity Scan

Merge !1329: README.md: distro updates

README.md: use a working link for Fedora

README.md: update Ubuntu link from 18.04 to 22.04

Other LTS than 22.04 have really old versions in the repo (<= 3.2.1),
so better not advertise those at all.

README.md: add Repology badge

README.md: add Alpine Linux package to the list

Merge !1326: various nits

Merge branch 'manager-max-worker-count' into 'manager'

manager: improve handling of max-workers configuration

See merge request knot/knot-resolver!1330

manager: supervisord: assert number of workers before starting a new one

this change resulted in small refactoring of the ID system

manager: improve handling of max-workers configuration

- changed default to 10*#cpus or 256 if not possible
- fixed bug that would prevent us from running the limiting number of workers

closes #753

Merge branch 'master' into manager

Merge branch 'manager-integration-without-submodule' into 'manager'

manager: packaging

See merge request knot/knot-resolver!1248

distro: drop tomas.krizek

The address won't work anymore, and Jakub says this field isn't needed.

lib/utils: drop long unused parts

drop unused #include lines

modules/dnstap nit: silence a lint:tidy warning

https://gitlab.nic.cz/knot/knot-resolver/-/jobs/635837#L219

ci: packaging - removed ubuntu 21.10 (EOL soon) and Debian 10 (failing, ignoring for now)

deb packaging: reenable PIE in hardening options

Downstream did this years ago:
https://salsa.debian.org/dns-team/knot-resolver/-/commit/1f3428a62aa59f269e95abf51836db2112ef4d29
otherwise we have issues with building python parts.

ci: use apkg from PyPI, not manually from git

rpm packaging: opensuse dependencies

ci pkgtest: added more distros and removed old ones

manager: supervisord plugin for creating PIPE to stdout

manager: supervisord plugins: using sd_notify to report state upstream

packaging: systemd service Type=notify did not work with supervisord