Merge !1562: lib/rules: fix a bug in subnet computations

lib/rules subnet_encode(): improve doc-comments

lib/rules nit: missing `static` for a function

lib/rules: fix a bug in subnet computations

The problem mainly affected subnets not aligned on whole bytes,
but maybe also others.  Reported:
https://lists.nic.cz/hyperkitty/list/knot-resolver-users@lists.nic.cz/message/6P2JPK72WMVLP45TDV42DTACEA2N5NW2/

I'm really sorry about this; no idea why I thought that the simple
multiplication would suffice.

Merge branch 'kresctl-convert-policy-loader' into 'master'

kresctl: add generation of policy-loader Lua script

See merge request knot/knot-resolver!1569

kresctl: add generation of policy-loader Lua script

Merge branch 'manager-ci-pkg-fix' into 'master'

manager: utils: timeout fix for unix-socket http request

See merge request knot/knot-resolver!1568

manager/utils/request.py: use self.timeout in UnixHTTPConnection

Merge !1566: treewide nit: avoid NULL arithmetics

treewide nit: avoid NULL arithmetics

(u)intptr_t casts seem the best in terms of compliance:
https://stackoverflow.com/q/45220134/587396

Otherwise with clang 18 we can get warnings like
 ../$path:$line:$col: runtime error: applying non-zero offset $num to null pointer
 SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior ../$path:$line:$col

Merge branch 'drop-libknot-3.2' into 'master'

drop libknot <=3.2.x support

See merge request knot/knot-resolver!1565

drop libknot <=3.2.x support

.gitlab-ci: use newer Knot for make-archive

Dockerfile: upgrade to Debian 12 and newest Knot DNS

drop libknot 3.0.x support

- Upstream last maintained 3.0.x in summer 2022.
- Our packaging shouldn't be affected, neither the new one, nor OBS.
- If someone updates resolver, it shouldn't be too hard
  to update libknot as well.
- Maintenance on resolver side still needed effort for kres-gen-30.lua

Merge branch 'manager-instability-handling' into 'master'

manager: recovery from 'policy-loader' failure during reload

See merge request knot/knot-resolver!1563

manager: config_store: renew with old config

manager: 'policy-loader' removed from  watched subprocesses

manager: run policy-loader with old config when instability detected

Merge !1564: master-5 branch into master

Merge remote-tracking branch 'origin/master-5' into master

Merge branch 'separate-policy-kresd' into 'master'

manager: policy-loader: new process for loading policy rules separately

See merge request knot/knot-resolver!1540

manager: fixed error message for 'max-workers' change denial

manager: reset the workers policy rules only when necessary

Basically, the reset is necessary when only the policy rules have changed and there is no need to update the workers config.

manager: loading policy rules is now done in the verifier callback

The main reason for this is to load the policies before the canary worker starts, making it a prerequisite for starting the workers.

manager: load policy rules on any configuration change

manager: config_store: only_on_real_changes renamed to only_on_real_changes_update

manager: start canary process only on real changes

manager: config_store: only on real changes decorator for verifiers

manager: controller: sd_notify: handle 'STOPPING=1' notification

manager: wait for 'policy-loader' to finish on the resolver startup

When starting the resolver, we wait for policy-loader until policy rules are successfully loaded into the cache where the rules are shared between kred workers. After that, other processes are started. Otherwise, the workers might start without the configured rules in the cache while they are already resolving DNS traffic.

manager: controller: getting SubprocessStatus from particular Subprocess

datamodel: types: IPNetwork: __eq__ added

lib/rules: tweak how the read-only transactions work

Let's avoid reloading the RO transaction unless necessary.
For example, when normal config reload happens (one kresd at a time),
we most likely do *not* want to reload the rule DB prematurely.

doc/dev: architecture update and improvements

doc: architecture schemas improvements

NEWS: update about policy-loader

manager: controller: SubprocessStatus.EXITED added

manager: apply policy config separately

manager: controller: policy-loader program added

manager: controller: new SubprocessType for loading policy added

datamodel: templates: don't clear policy DB in kresd workers

lib/rules kr_rules_init(): allow not overwriting the DB

datamodel: check for unused tags during config validation

datamodel: templates: policy config moved out of the kresd worker config

Merge branch 'tls-client-error-log' into 'master-5'

daemon/tls: print IP when failing certificate check

See merge request knot/knot-resolver!1560

Merge branch 'protolayer-constructors' into 'master'

daemon: use __attribute__((constructor)) for protolayer_globals

See merge request knot/knot-resolver!1559

daemon/tls: print IP when failing certificate check

daemon: use __attribute__((constructor)) for protolayer_globals

The `protolayer_globals` array can basically be treated as a constant by
most of the program and its initialization only uses compile-time-known
values.  We basically only initialize parts of the array in different
files throughout the codebase to maintain separation of concerns, so
that each piece of Knot Resolver initializes the part that pertains to
it.  Therefore, I believe that it is more ergonomic to just use
`__attribute__((constructor))` for these functions, so as not to pollute
`daemon/main.c` with these calls.

Merge branch 'manager-dir-cleaning' into 'master'

manager: directory cleaning

See merge request knot/knot-resolver!1557

doc: slight reorganization and consistency adjustments

manager/README.md: dev info moved to doc

doc/dev: development guides chapter created

Added information about the development environment and code structure.

manager: tests: unused integration tests removed

manager: scripts: unused and non-functional scripts removed

manager/pyproject.toml: unused and non-functional tasks removed

Merge branch 'pkg-v6-cleanup' into 'master'

Debian packaging cleanup

See merge request knot/knot-resolver!1555

Merge branch 'ksk-2024' into 'master-5'

etc/: add the fresh DNSSEC root key "KSK-2024" already

See merge request knot/knot-resolver!1556

distro/pkg/deb: remove undefined shlib:Depends

This addresses dpkg-gencontrol warnings:

    dpkg-gencontrol: warning: Depends field of package knot-resolver6-module-http: substitution variable ${shlibs:Depends} used, but is not defined
    dpkg-gencontrol: warning: Depends field of package knot-resolver6-dev: substitution variable ${shlibs:Depends} used, but is not defined

distro/pkg/deb: run `wrap-and-sort -bast` for git friendlier formatting

distro/pkg/deb: add README.md to docs

distro/pkg/deb: harmonize file paths in debhelper files

distro/pkg/deb: add Rules-Requires-Root: no

distro/pkg/deb: remove obsolete -dbg package

-dbgsym packages are now generated automatically.

distro/pkg/deb: improve HTTP module deps

fixes lintian warning: not-binnmuable-all-depends-any

distro/pkg/deb: add missing Standards-Version to d/control

distro/pkg/deb: silence irrelevant lintian warnings

distro/pkg/deb: update debian/copyright entries

distro/pkg/deb: fix incorrect formatting

etc/: add the fresh DNSSEC root key "KSK-2024" already

The key still won't be used for some time, two years maybe,
but I think it's better to preemptively trust it already.
(outdated machines, etc.)

Some evidence that it's not just a hash of *my* private key:
https://www.iana.org/dnssec/ceremonies/53-2
https://data.iana.org/ksk-ceremony/53-2/kskm-keymaster-20240426-173035-995.log
https://www.youtube.com/live/gw4PFhtnVpk?si=C8zevM3nG9O0XAJr&t=12726

Merge branch 'manager-ci-image' into 'master'

manager: use image from 'knot-resolver-ci'

See merge request knot/knot-resolver!1554

manager/pyproject.toml: update Poetry

manager: use image from 'knot-resolver-ci'

This was forgotten during the CI overhaul.

Merge branch 'remove-libedit' into 'master'

Remove unused dependency and Dockerfile

See merge request knot/knot-resolver!1553

ci/images/debian-12: remove

Remnant of the past. This has been since replaced by images from
the `knot-resolver-ci` repo.

distro/pkg: remove dependency on libedit

The library was used by the old experimental `kresc` client, which has
been removed in favour of Manager's `kresctl`.

Merge branch 'nits-warnings' into 'master-5'

reduce build-time warnings

See merge request knot/knot-resolver!1552

**/meson.build: avoid deprecations in meson >= 1.4

The code isn't pretty, but probably better than watching
the fat red lines on every build.

meson.build: avoid a gcc 14 warning

Picked from master commit 68688fac013a4c16a476acc15c366a8ce07ed46e

Merge branch 'nits' into 'master'

Protocol layers and other parts refactoring (+ nits)

See merge request knot/knot-resolver!1546

daemon/session2.h: clarify `struct session2` docs

As pointed out by @lukas.ondracek, the wording could be confusing when
mentioning *bottommost* and *topmost* layers. The original wording was
meant to reference the way the arrays in `daemon/session2.c` are laid
out, but never explicitly mentioned that, so one could be implicitly
think it was in reference to the widely known ISO/OSI or TCP/IP models,
which could be interpreted incorrectly (the layers are traditionally
laid out the other way around there).

.gitlab-ci: use Arch for linting

This allows us to use the newest versions of linter tools.

daemon/session2: fix asynchronous layer iterations

There were a few bugs in the protolayer system that prevented us from
pausing iteration and resuming it properly. This commit should hopefully
resolve them.

Some more Clang-Tidy silencing

daemon/session2: optimize allocations

A) Context-specific allocations
-------------------------------

There were two problems:

1) Some payloads are short-lived (e.g. allocated on stack) and we need
   to make a copy of them if the iteration over protocol layers becomes
   asynchronous.
2) The `pl_dns_stream_wrap` function used a mempool belonging to its
   session-wide context. Some sessions may live for a long time, which
   could potentially lead to needlessly long-lived memory allocations.

Both of these problems are solved in this commit by using a new
`knot_mm_t pool` field in `struct protolayer_iter_ctx`, which lives only
for a single submit (and survives asynchronicity). The whole pool is
then freed all at once when the `struct protolayer_iter_ctx` is
finalized.

B) Merging `struct protolayer_manager` into `struct session2`
-------------------------------------------------------------

It actually made no real sense to have the two separated. It only
introduced an extra layer of indirection and many layers actually needed
to access both anyway. This should simplify things considerably.

daemon/proxyv2: move PROXY protocol into its own layer

Previously, PROXYv2 handling was partially implemented in the `io.c`
unit in the `_TCP` and `_UDP` protocol layers, which technically made
very little sense. This commit moves this handling into separate
`_PROXYV2_DGRAM` and `_PROXYV2_STREAM` protocol layers, basically
encapsulating the handling of proxies in the `proxyv2.c` unit.

This commit also makes the PROXYv2 stream layer only support
`PROTOLAYER_PAYLOAD_WIRE_BUF` on its input, as other payload types were
unused and untested in this context.

daemon/session2: protocol layer refactors + docs

This makes some readability enhancements to the `protolayer_` API as
well as clarifies some of the documentation.

There is also a change where the definitions of protocol layer sequences
does not require a `_NULL` layer to be present at the end anymore, as
the number of layers in a sequence is determined at compile time. This
makes defining new sequences less error-prone.

daemon, lib: unify protolayer_grp and kr_proto enums

daemon/session2: documentation improvements

daemon/io: remove minor inefficiency

The resolver would try to move the bytes in the wire buffer over even if
the incoming data would not fit anyway. This should prevent that.

daemon/http: fix typo

A missing `protolayer_break()`. C's typechecking failed me.

utils/client/.clang-tidy: remove

This is a leftover from the merged CI/CD overhaul. Only relevant for
Knot Resolver 5 - in 6, the experimental client was removed in favour of
`kresctl` from `manager`.

Merge branch 'manager-configurable-meson' into 'master'

manager: configurable Meson directory

See merge request knot/knot-resolver!1542

doc/dev/build.rst: installing the manager from source

Merge branch 'release-5.7.3' into 'master-5'

Release 5.7.3

See merge request knot/knot-resolver!1551

release 5.7.3

Merge branch 'nsec3-iters-wild' into 'master-5'

iterate: fix NSEC3 records missing from answer in an edge case

See merge request knot/knot-resolver!1550

manager: configurable Meson directory

This commit makes it more convenient to change the configuration of the
build directory of `kresd` when using Knot Resolver Manager. It adds a
new `./poe configure` command, which optionally takes the same arguments
as the standard `meson configure` command.

The `./poe run` command now requires running `./poe configure` at least
once to set up the build directory. If the directory has been configured
before this commit (i.e. `./poe run` has been executed at least once),
no extra action is required, as the directory structure remains the
same.

The commit also removes the `manager` configuration option from Meson as
we were not using it and it was broken and potentially confusing to
newcomers.

iterate: fix NSEC3 records missing from answer in an edge case

When positive wildcard expansion happens, NSEC(3) records are needed
to prove that the expansion was allowed.  If the NSEC3 had too many
iterations, we downgrade the answer to insecure status, but
unintentionally we also dropped the NSEC3 record from the answer.

That was breaking DNSSEC validation of that answer, e.g. when
forwarding to Knot Resolver.  The validator needs the NSEC3 -
either to validate the expansion or to determine that it's too expensive.

Merge branch 'pkg-v6-update' into 'master'

distro: merge -core and -manager into knot-resolver

See merge request knot/knot-resolver!1549