manager: datamodel: supervisor section removed
- watchdog moved to top-level

fix manager's gitlab CI config usage of removed features

manager: remove systemd support

Why? Because it is dangerous to use. You'd have to run manager with root privileges
to be able to spawn systemd services via DBus. There is an option to do the same
with session instances of systemd, but that is unpackageable and pretty much unusable
in production. We will therefore rely on supervisord, as it's support got much better
recently.

Merge branch 'manager-supervisord-improvements' into 'manager'

supervisord improvements

See merge request knot/knot-resolver!1280

Merge !1314: daemon/tls: fix a double-free for some cases of policy.TLS_FORWARD

daemon/tls: fix a double-free for some cases of policy.TLS_FORWARD

The double-free may have happened in some cases when the upstream
resolver was stopped while answering a forwarded query. I was reliably
reproducing it by running resperf on two kresd instances with one forwarded
to the other, and killing the upstream one.

Merge !1310: modules/priming: downgrade logs to 'info' level

modules/priming: downgrade logs to 'info' level

When kresd starts without working internet connection, these would spam
logs by default every 10 seconds, which doesn't seem useful.

modules/priming: don't warn against unloading it

I can't see sufficient motivation here.  The cache will be slightly
less ready, but it's not often that you need to contact a root server.

Most importantly, kresd must work well anyway, even with empty cache.
Also, the compiled-in address set of root servers should be quite
accurate - the NS set has never changed, and the last address change
was five years ago with just one of 26 records changing.

Merge !1316: nit: daemon/http: remove dead code

nit: daemon/http: remove dead code

manager: optimized supervisord process startup by using custom version of XML-RPC API

manager: fix bad config schema definition

manager: more startup logging and small supervisord detection optimization

manager: bug fix: utility function to spawn subprocesses did not unblock signals, so spawned processes could not be stopped properly

configured build system for native C extensions

made supervisord sd_notify() plugin properly functional + supervisord config changes

- X-SUPERVISORD-TYPE=notify in a process's environment should make the process behave similarly to Type=notify systemd service units
- startsec with the above means time, after which it will get killed without ready notification

manager: experimental implementation of supervisord extension to support sd_notify()

contains:
- python module written in C, because Python does not support socket auxiliary messages like SCM_CREDENTIALS
- XML-RPC extension for supervisord, which actually does not do anything except for injecting code into supervisord internals

changed supervisord controller so that we don't need to be rewriting config with every change

manager: add time since startup to logs

Merge !1311: daemon/http: improve URI checks

Fixes #746

Merge branch 'manager-datamodel-policy' into 'manager'

manager: datamodel: policy improvements

See merge request knot/knot-resolver!1312

manager: datamodel: policy: action validation refactored

manager: datamodel:  removed 'Dict' from policy sections
- related to #702

manager: datamodel: slices: actions validation

daemon/http: improve URI checks

The `check_uri()` function now only checks that the endpoint is either
`/doh` or `/dns-query`. Parameter checks were moved into
`process_uri_path()` so that the check only takes place for GET
requests. POST requests now do not care about parameters at all.

manager: datamodel: policy: forward action validation

Merge branch 'release-5-5-1' into 'master'

release 5.5.1

See merge request knot/knot-resolver!1308

NEWS: date update

ci/images: git://github.com won't work anymore

AUTHORS update

release 5.5.1

manager: datamodel: policy: forward-tls action removed
- ForwardServerSchema moved to policy_schema module

manager: datamodel: policy: schema extended by new policy actions
- policy schema tests improved

manager: datamodel: logging module renamed

Merge !1307: tests/config: improve difference prints of tables

tests/config: improve difference prints of tables

Merge !1306: renumber: get rid of netmask limitation, now support any netmask

renumber: fix incorrect masking of bytes after netmask boundary

(we changed the original fix a bit)

renumber: test for arbitrary netmask

renumber: get rid of netmask limitation, now support any netmask

(with minor cleanups from vcunat)

Merge !1299: tweak inlining

ci: fixup lint:scan-build

I have no idea why this one appeared right now (part not touched),
and it does not make sense at all:

../../../lib/utils.c:524:20: warning: Out of bound memory access (accessed memory precedes memory block)
        buf[len_need - 1] = 0;
        ~~~~~~~~~~~~~~~~~~^~~

tweak inlining

I used -Winline (optimizing, gcc 11 or 12) to gather warnings
about cases that were considered too expensive for inlining.
Some of these probably used not to happen when we were dropping
assertions during preprocessing in -DNDEBUG builds.
This commit mainly improves size of the compiled binary by several KiB.

- queue_head_impl(): optionally (un)inline; not big but in warnings
- queue_pop_impl(): uninline; too complex for my today's eyes
- kr_rand_bytes(): optionally (un)inline
  The inlining potential there comes from calling with a constant.
- kr_straddr(): uninline.  It's never been meant for hot code,
  and this gives us large savings due to deduplicating the static array.
- For some I couldn't see a good resolution due to restrictions in C.

C hint: `static inline` is probably well known;
the other inline combination is well explained at:
https://stackoverflow.com/a/6312813/587396

manager: datamodel: policy: validation refactored
- forward_zone.py renamed to forward_zone_schema.py

Merge !1298: lib/selection: improve IPv6 avoidance if broken + debug logs

lib/selection debug logs: print one more line

And that made the "NO6: is KO" line extraneous.
Example in context:
[select][14162.01]   => id: '15271' choosing from addresses: 0 v4 + 1 v6; names to resolve: 6 v4 + 5 v6; force_resolve: 0; NO6: IPv6 is OK
[select][14162.01]   => id: '15271' choosing: 'ns1.p31.dynect.net.'@'2600:2000:2210::31#00053' with timeout 774 ms zone cut: 'amazon.com.'
[select][14162.01]   => id: '15271' updating: 'ns1.p31.dynect.net.'@'2600:2000:2210::31#00053' zone cut: 'amazon.com.' with rtt 316 to srtt: 311 and variance: 89

lib/selection: improve IPv6 avoidance if broken

It was still possible to get into a deadlock here.
https://forum.turris.cz/t/not-connecting-to-applications-like-discord/17111/7
If A records for a NS fell out of cache but AAAA remained,
with probability 1-\epsilon we'd choose an AAAA address
even if IPv6 was considered broken.

I looked at *the whole* no6 strategy again, and I do think that
there are no such holes anymore.  A few percent attempts will still
go over IPv6 even if it's considered broken, but that sounds OK-ish.

manager: datamodel: templates: jinja2 macros for policy.slice()

manager: datamodel: slices section created

Merge !1304: tests/packaging: print build_log of failed commands

tests/packaging: print build_log of failed commands

Merge !1284: ci: add x86+arm matrices where simple

ci docker: make into a x86+arm matrix

No other job can do it, as we don't have docker images ready for that,
and the usual manual workflow won't be well usable with arm64.
We'll need to convert their generation to (manual?) CI schedules.

ci/pkgtest: make nixos-unstable into a x86+arm matrix

Other pkgtest jobs can't do this, as they're designed for LXC
and we don't have an arm+LXC runner.

Merge !1305: nits: abort() and #include

drop unused #include lines

https://clangd.llvm.org/design/include-cleaner
Though somehow I'm all the time getting false positives for
"daemon/bindings/impl.h"

replace some occurrences of abort() by kr_require()

It provides more information and the condition is typically
easier to read, too.

Merge !1303: meson nit: deal with warning about future of run_command

meson nit: deal with warning about future of run_command

WARNING: You should add the boolean check kwarg to the run_command call.
         It currently defaults to false,
         but it will default to true in future releases of meson.
         See also: https://github.com/mesonbuild/meson/issues/9300

In almost all cases we already check the return code explicitly
and throw a more descriptive message than what would be the default.

Merge !1302: renumber: allow renumbering a subnet to a single IP

renumber: named local variables for readability

renumber: add test for single IP rewrite

renumber: document additions from the parent commit

renumber: allow renumbering a subnet to a single IP

https://github.com/CZ-NIC/knot-resolver/pull/77
originally but changed by vcunat quite a bit.

lib/utils nit: deduplicate one line

Merge !1301: lib/cache: handle posix_fallocate returning EOPNOTSUPP

lib/cache: handle posix_fallocate returning EOPNOTSUPP (Linux/musl)

https://man7.org/linux/man-pages/man3/posix_fallocate.3.html#ERRORS:
> EOPNOTSUPP
> The filesystem containing the file referred to by fd does not support
> this operation.  This error code can be returned by C libraries that
> don't perform the emulation shown in NOTES, such as **musl libc**.

I've encountered this problem on Alpine Linux running inside an LXC
container on Ubuntu with data on ZFS.

Merge !1279: daemon/http: HTTP response codes

Fixes #728

daemon/http: copy headers to streams instead of ownership transfer

tests/config/tapered: update for difference prints

daemon/http: documentation

ci: ODVR will also need Debian 11

Debian 10 could probably get dropped soon, but not yet.

daemon/http: move status sends outside nghttp2 callbacks

The nghttp2 documentation states that we must not send data from inside
of its callbacks. It may result in crashes.

daemon/http: return 400 on failed packet_parse + improved stream handling

daemon/http: return 400 on stream end with no processed packets

daemon/http: add basic HTTP response codes

Merge !1295: daemon/tls: use GNUTLS_NO_TICKETS_TLS12

Closes #742

daemon/tls: use GNUTLS_NO_TICKETS_TLS12

Merge !1294: lib/dnssec: rewrite most of NSEC validation code

Closes #443 and #738

NEWS for the rewrite of some NSEC validation parts

lib/dnssec: nits

lib/dnssec: rewrite kr_nsec_ref_to_unsigned()

- I see no motivation to search for NS records here;
  and I didn't like that loop nesting
- philosophy shift akin to the recent
  replacement of kr_nsec_existence_denial()

lib/dnssec: drop kr_nsec_name_error_response_check()

Just as with NODATA; basically the same comments
apply here (i.e. for NXDOMAIN) as well.

lib/dnssec: replace kr_nsec_existence_denial()

The NSEC validation code has been written very mechanically
according to RFC 4033..4035, but those explain wildcard-related
topics in a way that's hard to understand right.

So here I rewrite it with a different philosophy, so it should be
easier to understand, a bit faster, and less buggy and bug-prone.

daemon/lua nit: sort RR rank names in debug logs

I was diffing logs from different runs and got annoyed by the shuffles.

Merge !1287: tests/dnstap: add missing protobuf dependency

tests/dnstap: add missing protobuf dependency

Merge branch 'manager-datamodel-server' into 'manager'

manager: datamodel: server section removed

See merge request knot/knot-resolver!1293

Merge !1286: daemon/network: Use trie_t instead of map_t for network endpoints

lib/generic/map: remove

lib/utils kr_sockaddr_key_same_addr(): more precision

... in case of IPv6 link-local addresses.
The casting isn't very nice, but we certainly rely on `family` being
always on the same offset anyway (and it's ensured by standards).

daemon/network: reintroduce net.close() wildcard semantics

lib/utils: check for unix socket paths null-termination

daemon/network: Use trie_t instead of map_t for network endpoints

Merge !1290: modules/stats: use trie_t instead of map_t

modules/stats: use trie_t instead of map_t

lib/generic/trie: add trie_apply_with_key()

manager: datamodel: nsid moved to top-level

Merge !1292: lib/dnssec/ta: use trie_t instead of map_t