manager: ignore .egg-info directory

manager: add new Python versions

manager: replace mentions of Python 3.6 with 3.7

Support for Python <3.7 has been dropped - mentions of 3.6 are therefore
outdated.

Merge !1428: manager: config file can be also in JSON

manager: config file can be also in JSON

First try parsing as JSON, then as YAML.

Merge !1426: manager: use .yaml suffix for config files

doc: .yml -> .yaml

At least in parts where it wouldn't conflict with other doc WIP.

manager: use .yaml suffix for config files

Merge !1429: datamodel: local-data: render ttl and nodata

datamodel: local-data: render ttl and nodata

Merge !1291: manager: datamodel: validate or escape strings in datamodel

manager: datamodel: types: multiline method for EscapedStr

It escapes double square brackets.

manager: datamodel: types: EscapedStr32B type

manager: datamodel: 'str' type removed from schemas

manager: datamodel: types: EscapedStr type

manager: datamodel: types: StringLengthBase type

manager: datamodel: base types refactored

manager: datamodel: types: PinSha256 custom type

manager: tests: check that there is no 'str' in datamodel

manager: datamodel: types: hyphen added to IDPattern

Merge !1421: doc/config-policy-new: add this section

doc/config-policy-new: add this section

This includes some reformulations and adjustments from ostava.

lib/rules kr_view_insert_action(): fix subnet truncation

The rule DB keys were truncated by one byte.
Unfortunately that often kept them behaving OK so it went unnoticed;
but in particular any /0 views got ignored as a result.

Merge !1423: distro/pkg/rpm: require setuptools on suse

distro/pkg/rpm: require setuptools on suse

Otherwise:

Traceback (most recent call last):
  File "/builddir/build/BUILD/knot-resolver-6.0.1.dev90+5003e3/manager/setup.py", line 2, in <module>
    from setuptools import setup
ModuleNotFoundError: No module named 'setuptools'

daemon/http nit: fix a warning

I was careless with the merge of master -> 6.0

fixup! Merge branch 'master' into 6.0

Merge branch 'master' into 6.0

Merge !1422: avoid knot_pkt_default_padding_size()

Merge !1418: avoid 5.x style config and systemd units, by default

deprecate legacy systemd units

- separate meson option, disabled by default
- deb,rpm: don't install these legacy units
- deb,rpm: use the new knot-resolver.service on all the places

kresd.conf: don't install by default, drop from packages

Installing a legacy lua config by default would be confusing.

avoid knot_pkt_default_padding_size()

The reserved size in packet is a messy thing, broken by
https://gitlab.nic.cz/knot/knot-dns/-/commit/ded5fbf01d00a875f141
Fortunately this function is trivial, so we can inline what we need.
It gets complicated by an earlier typo fix, though.

Merge !1419: manager: datamodel: missing options for dns64

manager: datamodel: missing options for dns64

Merge !1409: kresc: remove this client

kresc: remove this client

It's never gone beyond experiment/alpha and now we have kresctl
which should be much better.  Keeping installed bin/kresc could
confuse users.

Merge !1417: distro/pkg/deb: make manager package arch specific

distro/pkg/deb: make manager package arch specific

The supervisor plugin is compiled and arch specific.

Merge !1324: Protocol layers

Merge remote-tracking branch 'origin/6.0' into daemon-refactor-2

Merge !1402: packaging changes and improvements for v6

daemon/session2: make copies short-lived buffers when needed

distro/pkg/rpm: cleanup an old TODO

Bump version to 6.0.1

No need for "a1", 6.0.x versions are reserved for alpha.

scripts: shorten devel version string

It's now also PEP440 compatible.

Before:

    6.0.0.1686682076.ad1eaf76.tar.xz

Now:

    6.0.0.dev157+1bcc45.tar.xz

scripts: improve make-archive.sh script

Copy resulting tarball into pkg/archives/dev and delete build_dist/ dir
to keep working copy clean.

upgrade-4-to-5: remove the rest of occurrences

distro/tests: improve systemd service tests debug

distro/pkg/rpm: drop %check

By definition it doesn't allow some kinds of tests.

distro/pkg/rpm: drop redundant file listing

This prevents

RPM build warnings:
    File listed twice: /usr/lib64/knot-resolver

distro/pkg/rpm: align rpm packaging with deb

distro/pkg/deb: maintainer scripts cleanup

Remove 4 to 5 upgrade scripts and more.

distro/pkg/deb: debian packaging changes for v6

daemon/session2: prevent submitting payloads when session is closing

Merge remote-tracking branch 'origin/6.0' into daemon-refactor-2

Merge !1416: docker: minor fixes

ci docker: make it work with kresd 6.0

The lua CLI is not exposed anymore.

Dockerfile: really expose all the services

Merge branch 'manager-modeling-strict-validation' into '6.0'

manager: datamodel: global option for config validation strictness

See merge request knot/knot-resolver!1415

manager: allowed to get 'rundir' from default config

manager: datamodel: fields types changes

manager: cli: validate: --no-strict arg added

manager: datamodel: config validation strictness

The new global variable is intended to
distinguish between strict and normal validation.

Merge !1406: hints: fix names inside home.arpa.

Merge !1411: ci: refresh versions of tested distros

ci: cleanup forgotten conflict

ci: comment on platforms defaulting to python 3.6

ci pkg:fedora-*: switch to the current versions

ci pkg:debian-12: add

hints: fix names inside home.arpa.

Reported on https://forum.turris.cz/t/knot-resolver-with-local-fqdn-hostnames/19034/8

I write it as three comparisons, as it seems like a simple way of
still running only a single comparison in the typical case of QNAME
not falling under .arpa.

Tested just quickly, manually.  This chunk of code already is replaced
for kresd >= 6.0.0.

Merge branch 'manager-kresctl-convert-context' into '6.0'

manager: kresctl: global validation context for convert cmd

See merge request knot/knot-resolver!1414

manager: cli: convert: set global validation context

Merge branch 'manager-datamodel-local-data' into '6.0'

manager: datamodel: local-data: missing config options added

See merge request knot/knot-resolver!1413

manager /local-data/addresses*: be stricter about errors

In versions before 6.x these errors intentionally didn't cause
the startup fail, but I think we can be more strict now.

manager: datamodel: local-data: missing config options added

Merge !1410: manager: new-policy cleanup

manager: update dev config with policy rules

manager: unnecessary scripts removed

Merge !1412: manager: cli: global validation context

manager: cli: global validation context

Merge !1408: ci: drop `doc`; we have `pages` instead now

ci: drop `doc`; we have `pages` instead now

The `pages` job works.  We might consolidate this later,
also e.g. drop the doc dependencies from the default image
if we won't really use that image for docs anymore.

Merge !1407: new policy engine

lib/rules: DB size+path: make configurable, bump to 100 MiB

Ideally we'd expand it as needed, but that seems relatively complicated,
so for now let's go big with the sparse file and allow to override.

lib/cache: improve logging for the LMDB with policy rules

In particular, log them with `[rules ]` instead of `[cache ]`

lib/rules,cache: use transactions, improve assertions

When inserting rules from a config file, process everything
in a single transaction to avoid using inconsistent sets of rules,
especially in a different instance and/or in case some error happens.

Also fix some over-eager assertions (CHECK_RET).

ci lint:scan-build: fix the error count

The new reports are:
./lib/rules/api.c:301:3: warning: Memory copy function overflows destination buffer
         memcpy(key_data_ruleset_end, &KEY_EXACT_MATCH, sizeof(KEY_EXACT_MATCH));
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./lib/rules/api.c:506:2: warning: Memory copy function overflows destination buffer
 memcpy(key.data, &KEY_EXACT_MATCH, sizeof(KEY_EXACT_MATCH));
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./lib/rules/api.c:699:2: warning: Memory copy function overflows destination buffer
 memcpy(key.data, &KEY_ZONELIKE_A, sizeof(KEY_ZONELIKE_A));
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
3 warnings generated.

I re-checked those places, and I believe they can never overflow.
I regularly run with ASAN as well, which would catch overflows.
I can't see a simple way of amending the code in a way
that the linter might be happy.

lib: tweak selection errors when consuming cached answer

Forwarding-related changes uncovered this case
in integration.iter_limits test.  Errors can happen also
when consuming data produced by cache, in which case there's
no suitable server to blame for the error.

lib/rules forwarding: per-IP .tls

We planned it that way for the new config schema - and, why not.

lib/rules: implement forwarding

Typical use cases should work now, briefly tested:
 - forwarding all to a resolver
 - forwarding a subtree downgraded to insecure (to resolver or auth)
 - forwarding a subtree to auth without changing DNSSEC chain (atypical)

In some places we need to repeat kr_make_query()
The issue is that some of its inputs (e.g. STUB/FORWARD, zone cut)
are now not known at the beginning of PRODUCE yet.
Also, checking that QNAME matches is useless on a cached reply.

lib/rules: split key construction from insert_trivial_zone()

lib/rules: move parts from api.c to impl.h

lib/rules: bugfix ZLA key for the root

lib/resolve.c: split in two files

I know that moving code makes e.g. blaming harder,
but this was a really long file now.
This commit _only_ moves code, except for nits:
- minor pieces moved into an -impl.h shared by both resolve*.c
  There a couple functions changed to non-static or static inline.
- order is preserved, for now at least

nits

doc comments: fix two cases of "@param is not found"

lib/rules: add API for loading a zonefile

Two main use cases are actual RPZ file
and also the /local-data/records string (plain RRsets).

The RPZ semantics isn't very close to the specs,
but I believe the practical usability is already better
than our old RPZ implementation, thanks to following CNAMEs.

lib/rules: allow setting TTL in the trivial zones

(internally at least, not in api.h yet)

lib/rules: move more declarations to impl.h