Merge branches 'doc-upgrading-to-6-nits' and 'doc-nits' into tmp-docs

doc/upgrading-to-6: nits

Merge branch 'doc-upgrading-to-6' into '6.0'

doc: upgrading guide to version 6

See merge request knot/knot-resolver!1466

doc/upgrading.rst: better reference upgrading-to-6

doc/upgrading-to-6.rst: guide improvements

Lua config moved to developers chapter as internal Lua config.

Merge !1465: Release 6.0.4

AUTHORS + .mailmap update

Release 6.0.4, including NEWS this time

NEWS: fixup merge-conflict resolution

Merge !1459: allow multiple rules on the same name or subnet

/views docs: rewrite again, mostly

- move typical simple examples near the top
- document the two new conditions
- reorganize the text: split conditions and actions
- other minor changes

tests: fix config.hints after view changes

It seems such an edge case that I chose to avoid the issue this way.

/views/*/options: fix when used with e.g. tags

The issue is not now; it has always been broken in 6.x.
The model is that at most one view applies on any request.
If we need to do more things, they must happen as one meta-action.

test_view_insert_action(): dropped; can't see a suitable replacement

/views/*/{dst_subnet,protocols}: add, both backend+config

Examples:
 - tagging based on dst_subnet is useful for providing different
   filtering setting on different resolver addresses
 - tagging based on protocols is useful to signal used transport
   (change in DNS data that can be read by the final app)

(docs added in a later commit)

WIP lib/rules: consider multiple tags variants when answering

lib/cache/cdb_*: add API for iteration with MDB_DUPSORT

MDB_DUPSORT for rules

This doesn't yet search among the multiple values.
The rules/api parts that write rules were adapted or commented on.

lib/rules: avoid using preallocated LMDB writes

They're a bit more efficient, but they can't work with LMDB multi-sets.
Also, write performance of rules isn't that important and typically
each rule is quite tiny anyway.

doc/config-logging-monitoring: begin with typical examples

Also improve text around the remnants of verbose() command.

doc/config-network-server: move warning to more relevant place

doc/config-network-server: begin with typical examples

Spacing around brackets seems more common in our examples.

doc/config-local-data: begin with typical examples

This doc page is relatively complex and it will only get longer
in future, but I expect that 90% of users will be OK with just
these simple examples.

Merge !1461: datamodel: temlates: local-data: addresses fix

datamodel: temlates: local-data: addresses fix

Merge !1460: Bump version to 6.0.3

Bump version to 6.0.3

Merge !1457: manager, kresctl: allow env-vars to specify paths

kresctl: improved error message, with Host/Path

systemctl reload: use --config instead of --socket

This will allow it to work even when socket is elsewhere.
The service depended on fixed config file location already,
through ExecStart.

scripts/make-doc.sh: minor improvements

Propagate errors, fix nit reported by shellcheck.

kresctl: replace int literals with errno constants

kresctl: file-access-less URI detection for sockets and nicer messages

manager: env var for API socket renamed

datamodel: types: FilePath strict validation fix

kresctl: get API socket from environment variable

- interface and unix_socket validation

datamodel: env var for default management socket

datamodel: management: unix socket default fix

doc/manager-client: slight clarifications

kresctl: improve default connection behaviour

It now searches `/etc/knot-resolver/config.yml` for `management`
configuration first, when no `--config` or `--socket` is specified.

kresctl: document --config and environment variable

manager, kresctl: allow environment variables to specify paths

This is a bigger feature commit for development convenience with Knot
Resolver Manager. Firstly, it allows the use of `KRES_MANAGER_CONFIG`
and `KRES_MANAGER_RUNTIME` environment variables to specify the paths to
the configuration file and Knot Resolver runtime directory. This lets us
create local workspace scripts with separate configurations e.g. like
this:

```sh
script_dir="$(dirname "$(readlink -f "$0")")"
export KRES_MANAGER_RUNTIME="$script_dir"
export KRES_MANAGER_CONFIG="$script_dir/config.yaml"
exec ~/Projects/knot/knot-resolver/manager/poe $@
```

This ties nicely into the second part, which is that `kresctl` is now
able to retrieve the management socket/address directly from the
declarative configuration file of Knot Resolver. This again increases
convenience for developers who may wish to change these often, and not
have to specify/change them every time they want to execute `kresctl`
from the command line.

`kresctl` adds a new `--config` option to specify the path to the
configuration file via command line arguments, and also respects the
same `KRES_MANAGER_CONFIG` environment variable, when the argument is
not specified.

Co-authored-by: Aleš Mrázek <ales.mrazek@nic.cz>

Merge branch 'manager-config-examples' into '6.0'

doc: config file examples and gettingstarted-config chapter

See merge request knot/knot-resolver!1454

doc: language nits, rewordings

manager: ci: validate all config examples

doc/gettingstarted-config.rst: nit reformulation

When I see "configuration" it sounds more like a complete file,
but we only give bits of it that need adding other parts.

doc: improve text for listening on wildcard addresses

The different addresses don't need to share an interface.
Also provide more details on what fails.

doc/gettingstarted-config.rst: fix ISP part

outdated views schema, different IP value, etc.

doc/gettingstarted-config.rst: improvements

manager: config examples

Merge !1458: doc: drop texinfo

doc: drop texinfo

Old legacy. The generated .texi sources cause a huge number of warnings
that we do not have a good way of fixing, and lately it stopped working
completely, without giving us any explanation as to what the problem is
(just exit code 1 and no *error* message).

Merge !1439: lib/cache: avoid some overly aggressive answers

lib/cache: avoid some overly aggressive answers

Merge !1456: manager/pyproject.toml: correct Python version for poethepoet

manager/pyproject.toml: correct Python version for poethepoet

The former setup would cause subsequent runs of `poetry install` to
alternate between the `poethepoet` versions. Instead, we just want to
separate them for Python before 3.8 and Python from 3.8 onwards.

Merge !1455: .gitlab-ci: fix Pages publishing

.gitlab-ci: fix Pages publishing

This commit renames `docs:public` to `pages` as required by GitLab CI to
recognize Pages jobs correctly. It also adds the `public` directory into
`artifacts:paths`.

Merge !1446: /local-data/subtrees/ improvements

doc/config-local-data: improve description of tags a bit

lib/rules: small bugfix for views

key.len was shorter by (the current) rsp_len, which was confusing/wrong.

Discovered by triggering:
 assertion "i < key.len && i < key_leq.len" failed in kr_view_select_action

datamodel: local_data_records(): swap argument order

Everywhere else we order `nodata` parameter before `ttl`.
Let's make it consistent to reduce potential for confusion.

doc/config-local-data: advanced rules update

datamodel: local-data/rules: 'records' added

datamodel: local-data/rules: allow more combinations

It's perhaps the main use case for 'redirect' to also define address(es)
for the apex.  An empty zone with address(es) in apex also makes sense.

datamodel: local-data/rules: additional config

ttl, nodata and tags are configurable for hostname and address(es) pairs

datamodel: /local-data/addresses*: use new C API

Direct usage without the hints module seems better.

datamodel: /local-data: refactor policy_get_tagset macro

datamodel: /local-data: refactor ttl

modules/hints,lib/rules: rework TTL defaults

It was a bit wide, with 5s and 3h, and distinction between
these two "groups" of rules was a bit random wrt. TTL choice.
Now: 5m for user's rules and 1h for RFC-default rules.

I found it relatively hard to choose defaults, but at least for
user-supplied rules it's trivial to configure a different default.

datamodel: /local-data/subtrees/*: drop parts that are not implemented

Otherwise we'd let confusing things pass all validations.

datamodel: /local-data/subtrees: implement redirect and ttl

Also refactor the C APIs, causing most of the diffs.

scripts/gen-cdefs.sh: allow generating variables

Sometimes it is useful to access a global variable from lua.

hints: expose as C kr_rule_local_*()

At least the normal non-root hints.
We needed extended API for this functionality, and C API is simpler
for this, thanks to LuaJIT FFI.

However, this required moving code from the separate module.
The moved code is not changed in any way in this commit.
I considered it bad to keep such core code outside the main daemon+lib,
as it's not big.  Now LuaJIT FFI forced me to clean this up.

hints: tweak internal APIs a bit

Merge !1451: modeling: empty lists are not allowed

datamodel: types: ListOrItem: empty list not allowed

modeling/base_schema.py: empty lists not allowed

Merge !1453: Bump version to 6.0.2

scripts/make-archive.sh: more precise tag detection

This works better in the current case when master branch with the most
recent 5.7.0 tag got merged into the 6.0 branch.  In that case we do not
want the most recent *generally* reachable tag, and git-describe has
probably good logic for this (using first-parent jumps I guess).

Bump version to 6.0.2

Merge !1452: .gitlab-ci.yml: use environments for docs versioning

.gitlab-ci.yml: use environments for documentation versioning

This leverages Environments on GitLab to expose different versions of
Knot Resolver docs. The `docs:build` job builds the documentation and
exposes it via job artifacts. Then `docs:develop` (for branches) and
`docs:release` (for tags) take these artifacts and expose them via an
Environment link (an example of this in action may be seen at
[https://gitlab.nic.cz/ostava/knot-resolver/-/environments]).

There is also an optional, manually runnable `docs:public` job, which,
when run, propagates the documentation to the main GitLab Pages of the
project (e.g. [https://knot.pages.nic.cz/knot-resolver]) - this will
probably be mostly used for the latest release, although this setup
pretty much allows us to swap it for whatever version we like at any
time.

Merge !1447: manager: run kresctl from the executor's working directory

manager/poe: allow kresctl to be run under Python <3.8

manager/poe: allow python3.7 when executed from manager dir

- pyproject.tom: poethepoet for python3.7

ci/images/manager: ensure usage of Python 3.7

manager: run kresctl from the executor's working directory

This updates `poethepoet` to version `^0.22.0`
(https://github.com/nat-n/poethepoet/releases/tag/v.0.22.0), which
allows tasks to have a working directory different from the project
path.

This breaks the `poe` script on Python `<3.8`, but discussions took
place on Slack where we came to the conclusion that this is fine. The
script is meant for developers only and does not affect end users on
systems that do not provide newer Python versions.

lib/rules: tiny bugfix for (most) subtree rules

Merge tag 'v5.7.0' into 6.0

daemon: more avoidance of excessive TCP reconnections

Previously this penalization was only triggered if the remote server
closed TCP.  Now it's extended to us closing it when the server
(only) sends back some nonsense.  At least for the cases which I could
see immediately.

That's just three trivial one-line additions; the rest is refactoring.

Adapted to 6.0 from commit 6468ab22 by Oto Šťáva <oto.stava@nic.cz>

Co-Authored-By: Vladimír Čunat <vladimir.cunat@nic.cz>

Merge branch 'release-5.7.0' into 'master'

release 5.7.0

See merge request knot/knot-resolver!1448

NEWS: date update

Merge !1444: manager: datamodel: fix /cache/ttl-max default

manager: datamodel: fix /cache/ttl-max default

This was changed long ago in bb6e2de2195914c79
(and 6.0 docs was correct already)

Merge branch 'manager-fix-kresdid-eq' into '6.0'

manager: use self._type in KresID.__eq__()

See merge request knot/knot-resolver!1449

AUTHORS update

manager: use self._type in KresID.__eq__()

Fixes a case where a GC and KRESD KresID with the same `self._id` would
be considered equal. Said behaviour breaks listing of all running
subprocesses, where `kresd0` would be missing, because it has the same
`self._id` as `cache-gc`.

release 5.7.0

daemon: more avoidance of excessive TCP reconnections

Previously this penalization was only triggered if the remote server
closed TCP.  Now it's extended to us closing it when the server
(only) sends back some nonsense.  At least for the cases which I could
see immediately.

That's just three trivial one-line additions; the rest is refactoring.

Merge !1442: manager: fixing some config validation errors