.gitlab-ci: fix Pages publishing

This commit renames `docs:public` to `pages` as required by GitLab CI to
recognize Pages jobs correctly. It also adds the `public` directory into
`artifacts:paths`.

Merge !1446: /local-data/subtrees/ improvements

doc/config-local-data: improve description of tags a bit

lib/rules: small bugfix for views

key.len was shorter by (the current) rsp_len, which was confusing/wrong.

Discovered by triggering:
 assertion "i < key.len && i < key_leq.len" failed in kr_view_select_action

datamodel: local_data_records(): swap argument order

Everywhere else we order `nodata` parameter before `ttl`.
Let's make it consistent to reduce potential for confusion.

doc/config-local-data: advanced rules update

datamodel: local-data/rules: 'records' added

datamodel: local-data/rules: allow more combinations

It's perhaps the main use case for 'redirect' to also define address(es)
for the apex.  An empty zone with address(es) in apex also makes sense.

datamodel: local-data/rules: additional config

ttl, nodata and tags are configurable for hostname and address(es) pairs

datamodel: /local-data/addresses*: use new C API

Direct usage without the hints module seems better.

datamodel: /local-data: refactor policy_get_tagset macro

datamodel: /local-data: refactor ttl

modules/hints,lib/rules: rework TTL defaults

It was a bit wide, with 5s and 3h, and distinction between
these two "groups" of rules was a bit random wrt. TTL choice.
Now: 5m for user's rules and 1h for RFC-default rules.

I found it relatively hard to choose defaults, but at least for
user-supplied rules it's trivial to configure a different default.

datamodel: /local-data/subtrees/*: drop parts that are not implemented

Otherwise we'd let confusing things pass all validations.

datamodel: /local-data/subtrees: implement redirect and ttl

Also refactor the C APIs, causing most of the diffs.

scripts/gen-cdefs.sh: allow generating variables

Sometimes it is useful to access a global variable from lua.

hints: expose as C kr_rule_local_*()

At least the normal non-root hints.
We needed extended API for this functionality, and C API is simpler
for this, thanks to LuaJIT FFI.

However, this required moving code from the separate module.
The moved code is not changed in any way in this commit.
I considered it bad to keep such core code outside the main daemon+lib,
as it's not big.  Now LuaJIT FFI forced me to clean this up.

hints: tweak internal APIs a bit

Merge !1451: modeling: empty lists are not allowed

datamodel: types: ListOrItem: empty list not allowed

modeling/base_schema.py: empty lists not allowed

Merge !1453: Bump version to 6.0.2

scripts/make-archive.sh: more precise tag detection

This works better in the current case when master branch with the most
recent 5.7.0 tag got merged into the 6.0 branch.  In that case we do not
want the most recent *generally* reachable tag, and git-describe has
probably good logic for this (using first-parent jumps I guess).

Bump version to 6.0.2

Merge !1452: .gitlab-ci.yml: use environments for docs versioning

.gitlab-ci.yml: use environments for documentation versioning

This leverages Environments on GitLab to expose different versions of
Knot Resolver docs. The `docs:build` job builds the documentation and
exposes it via job artifacts. Then `docs:develop` (for branches) and
`docs:release` (for tags) take these artifacts and expose them via an
Environment link (an example of this in action may be seen at
[https://gitlab.nic.cz/ostava/knot-resolver/-/environments]).

There is also an optional, manually runnable `docs:public` job, which,
when run, propagates the documentation to the main GitLab Pages of the
project (e.g. [https://knot.pages.nic.cz/knot-resolver]) - this will
probably be mostly used for the latest release, although this setup
pretty much allows us to swap it for whatever version we like at any
time.

Merge !1447: manager: run kresctl from the executor's working directory

manager/poe: allow kresctl to be run under Python <3.8

manager/poe: allow python3.7 when executed from manager dir

- pyproject.tom: poethepoet for python3.7

ci/images/manager: ensure usage of Python 3.7

manager: run kresctl from the executor's working directory

This updates `poethepoet` to version `^0.22.0`
(https://github.com/nat-n/poethepoet/releases/tag/v.0.22.0), which
allows tasks to have a working directory different from the project
path.

This breaks the `poe` script on Python `<3.8`, but discussions took
place on Slack where we came to the conclusion that this is fine. The
script is meant for developers only and does not affect end users on
systems that do not provide newer Python versions.

lib/rules: tiny bugfix for (most) subtree rules

Merge tag 'v5.7.0' into 6.0

daemon: more avoidance of excessive TCP reconnections

Previously this penalization was only triggered if the remote server
closed TCP.  Now it's extended to us closing it when the server
(only) sends back some nonsense.  At least for the cases which I could
see immediately.

That's just three trivial one-line additions; the rest is refactoring.

Adapted to 6.0 from commit 6468ab22 by Oto Šťáva <oto.stava@nic.cz>

Co-Authored-By: Vladimír Čunat <vladimir.cunat@nic.cz>

Merge branch 'release-5.7.0' into 'master'

release 5.7.0

See merge request knot/knot-resolver!1448

NEWS: date update

Merge !1444: manager: datamodel: fix /cache/ttl-max default

manager: datamodel: fix /cache/ttl-max default

This was changed long ago in bb6e2de2195914c79
(and 6.0 docs was correct already)

Merge branch 'manager-fix-kresdid-eq' into '6.0'

manager: use self._type in KresID.__eq__()

See merge request knot/knot-resolver!1449

AUTHORS update

manager: use self._type in KresID.__eq__()

Fixes a case where a GC and KRESD KresID with the same `self._id` would
be considered equal. Said behaviour breaks listing of all running
subprocesses, where `kresd0` would be missing, because it has the same
`self._id` as `cache-gc`.

release 5.7.0

daemon: more avoidance of excessive TCP reconnections

Previously this penalization was only triggered if the remote server
closed TCP.  Now it's extended to us closing it when the server
(only) sends back some nonsense.  At least for the cases which I could
see immediately.

That's just three trivial one-line additions; the rest is refactoring.

Merge !1442: manager: fixing some config validation errors

utils: modeling: proper error for default creation

manager: better error handling for rundir

docs: fix padding descriptions

Mentioning just answers is misleading.  Padding is very important
for queries as well; for us that applies during forwarding over TLS.

Also describe /tls/auto_discovery as experimental in the
configuration  schema.  It's a rather dead experiment from long ago.
I hope it can't be confused with more recent things like
https://datatracker.ietf.org/doc/draft-ietf-dprive-unilateral-probing/

Merge !1443: hints: merge RRs instead of replacing them

Closes #808

hints: merge RRs instead of replacing them

We had this behavior in 5.x.
Lua level: affects hints.set() and hints['name'] and hints.add_hosts()
YAML level: /local-data/addresses and /local-data/addresses-files

I considered various approaches when writing this.  This one won because
in /etc/hosts like files a name can be repeated with arbitrary lines
in between, and users can reasonably expect it to collect all addresses.

Merge branch 'rm-poetry-lock' into '6.0'

manager/poetry.lock: remove

See merge request knot/knot-resolver!1445

lint: flake8: satisfy newer version

manager/poetry.lock: remove

Lockfiles are generally encouraged to be committed into VCS to ensure
reproducible builds on all machines. Our situation is slightly
different - we are more interested in supporting a wide range of setups
on a wide range of systems.

Our `poetry.lock` also contained some outdated library versions that had
CVEs reported on them, and GitHub did not like that, so this
incidentally also solves that problem for us. Since the lock file was
only used during development, this will not affect end users in any way
(runtime dependencies are managed by each distro's package manager).

Merge !1427: manager: datamodel: new type for address renumbering

tests: datamodel: types: 'IPAddressEM' validation

manager: datamodel: custom type for IP address with '!' suffix

manager datamodel template: fix a tiny typo

manager datamodel template: fix ttl in /local-data/{records,rpz}

Record TTL is always meant in seconds by default.
More precise resolution does not exist.

Merge !1436: manager: datamodel: templates: predict: fix syntax

manager: datamodel: templates: predict: fix syntax

Merge !1425: Declarative config docs for version 6

docs: unnecessary files removed

docs: references fixes

docs: generate documentation from poetry

docs: config: new declarative policy

docs: config:  network subsection

docs: config: yaml for experimental features

docs: config: performance subsection

docs: config: declarative logging/monitoring

docs: config: yaml for views

docs: config: lua scripting

docs: config: yaml for cache prefill

docs: config: yaml for cache

docs: config: yaml for dnssec

docs: config: yaml for dns64

docs: kresctl: --no-strict option for validations

manager: client: strict validation off by default

docs: config: overview

Merge branch 'master' into 6.0

Merge !1441: .readthedocs.yaml: migrate configuration from web app

Merge branch 'kresctl-stderr' into '6.0'

manager: cli: print error messages to sys.stderr

See merge request knot/knot-resolver!1437

manager: cli: print error messages to sys.stderr

This is important for cases like
  kresctl convert file1 > file2
I grepped for '\<print(' and converted all error states (I think).

.readthedocs.yaml: migrate configuration from web app

Read the Docs is deprecating their web configuration. This commit
should migrate said configuration to the newly recommended YAML format.

lib/rules: when forwarding, avoid resolving NS's name

With "authoritative forwarding" it could happen that NS selection
decided to resolve the virtual ns.invalid name of the NS to get
either A or AAAA (if either was missing in the forwarding rule).

Merge branch 'manager-datamodel-template' into '6.0'

templates: dnssec moved before forward section

See merge request knot/knot-resolver!1438

datamodel: unused templates deleted

templates: dnssec moved before forward section

Commented sections have also been removed.

Merge !1424: doc/gettingstarted-install: adapt to 6.x package sources

doc/gettingstarted-install: adapt to 6.x package sources

Merge !1435: datamodel: local-data: allow list of addresses

datamodel: local-data: allow list of addresses

Merge branch 'manager-datamodel-improvements2' into '6.0'

manager: changes/improvements in configuration

See merge request knot/knot-resolver!1434

datamodel: list only for plural names

datamodel: forward: list for subtree allowed

Merge !1433: datamodel: prediction moved to cache section

datamodel: templates: separator for NSID removed

manager: datamodel: prediction moved to cache

Merge branch 'manager-validation-errors-improvements' into '6.0'

manager: configuration validation errors improvements

See merge request knot/knot-resolver!1432

manager: better logging for config validation

replace '_' with '-' in validation error path

This is not the best way to do it, but it is the easiest.

datamodel: types: verbose errors for paths