Merge !1433: datamodel: prediction moved to cache section

datamodel: templates: separator for NSID removed

manager: datamodel: prediction moved to cache

Merge branch 'manager-validation-errors-improvements' into '6.0'

manager: configuration validation errors improvements

See merge request knot/knot-resolver!1432

manager: better logging for config validation

replace '_' with '-' in validation error path

This is not the best way to do it, but it is the easiest.

datamodel: types: verbose errors for paths

Merge branch 'manager-scripts-run' into '6.0'

manager/scripts/run: create runtime directories

See merge request knot/knot-resolver!1431

manager/scripts/run: create runtime directories

Merge !1430: manager: update mentions of Python versions

manager: ignore .egg-info directory

manager: add new Python versions

manager: replace mentions of Python 3.6 with 3.7

Support for Python <3.7 has been dropped - mentions of 3.6 are therefore
outdated.

Merge !1428: manager: config file can be also in JSON

manager: config file can be also in JSON

First try parsing as JSON, then as YAML.

Merge !1426: manager: use .yaml suffix for config files

doc: .yml -> .yaml

At least in parts where it wouldn't conflict with other doc WIP.

manager: use .yaml suffix for config files

Merge !1429: datamodel: local-data: render ttl and nodata

datamodel: local-data: render ttl and nodata

Merge !1291: manager: datamodel: validate or escape strings in datamodel

manager: datamodel: types: multiline method for EscapedStr

It escapes double square brackets.

manager: datamodel: types: EscapedStr32B type

manager: datamodel: 'str' type removed from schemas

manager: datamodel: types: EscapedStr type

manager: datamodel: types: StringLengthBase type

manager: datamodel: base types refactored

manager: datamodel: types: PinSha256 custom type

manager: tests: check that there is no 'str' in datamodel

manager: datamodel: types: hyphen added to IDPattern

Merge !1421: doc/config-policy-new: add this section

doc/config-policy-new: add this section

This includes some reformulations and adjustments from ostava.

lib/rules kr_view_insert_action(): fix subnet truncation

The rule DB keys were truncated by one byte.
Unfortunately that often kept them behaving OK so it went unnoticed;
but in particular any /0 views got ignored as a result.

Merge !1423: distro/pkg/rpm: require setuptools on suse

distro/pkg/rpm: require setuptools on suse

Otherwise:

Traceback (most recent call last):
  File "/builddir/build/BUILD/knot-resolver-6.0.1.dev90+5003e3/manager/setup.py", line 2, in <module>
    from setuptools import setup
ModuleNotFoundError: No module named 'setuptools'

daemon/http nit: fix a warning

I was careless with the merge of master -> 6.0

fixup! Merge branch 'master' into 6.0

Merge branch 'master' into 6.0

Merge !1422: avoid knot_pkt_default_padding_size()

Merge !1418: avoid 5.x style config and systemd units, by default

deprecate legacy systemd units

- separate meson option, disabled by default
- deb,rpm: don't install these legacy units
- deb,rpm: use the new knot-resolver.service on all the places

kresd.conf: don't install by default, drop from packages

Installing a legacy lua config by default would be confusing.

avoid knot_pkt_default_padding_size()

The reserved size in packet is a messy thing, broken by
https://gitlab.nic.cz/knot/knot-dns/-/commit/ded5fbf01d00a875f141
Fortunately this function is trivial, so we can inline what we need.
It gets complicated by an earlier typo fix, though.

Merge !1419: manager: datamodel: missing options for dns64

manager: datamodel: missing options for dns64

Merge !1409: kresc: remove this client

kresc: remove this client

It's never gone beyond experiment/alpha and now we have kresctl
which should be much better.  Keeping installed bin/kresc could
confuse users.

Merge !1417: distro/pkg/deb: make manager package arch specific

distro/pkg/deb: make manager package arch specific

The supervisor plugin is compiled and arch specific.

Merge !1324: Protocol layers

Merge remote-tracking branch 'origin/6.0' into daemon-refactor-2

Merge !1402: packaging changes and improvements for v6

daemon/session2: make copies short-lived buffers when needed

distro/pkg/rpm: cleanup an old TODO

Bump version to 6.0.1

No need for "a1", 6.0.x versions are reserved for alpha.

scripts: shorten devel version string

It's now also PEP440 compatible.

Before:

    6.0.0.1686682076.ad1eaf76.tar.xz

Now:

    6.0.0.dev157+1bcc45.tar.xz

scripts: improve make-archive.sh script

Copy resulting tarball into pkg/archives/dev and delete build_dist/ dir
to keep working copy clean.

upgrade-4-to-5: remove the rest of occurrences

distro/tests: improve systemd service tests debug

distro/pkg/rpm: drop %check

By definition it doesn't allow some kinds of tests.

distro/pkg/rpm: drop redundant file listing

This prevents

RPM build warnings:
    File listed twice: /usr/lib64/knot-resolver

distro/pkg/rpm: align rpm packaging with deb

distro/pkg/deb: maintainer scripts cleanup

Remove 4 to 5 upgrade scripts and more.

distro/pkg/deb: debian packaging changes for v6

daemon/session2: prevent submitting payloads when session is closing

Merge remote-tracking branch 'origin/6.0' into daemon-refactor-2

Merge !1416: docker: minor fixes

ci docker: make it work with kresd 6.0

The lua CLI is not exposed anymore.

Dockerfile: really expose all the services

Merge branch 'manager-modeling-strict-validation' into '6.0'

manager: datamodel: global option for config validation strictness

See merge request knot/knot-resolver!1415

manager: allowed to get 'rundir' from default config

manager: datamodel: fields types changes

manager: cli: validate: --no-strict arg added

manager: datamodel: config validation strictness

The new global variable is intended to
distinguish between strict and normal validation.

Merge !1406: hints: fix names inside home.arpa.

Merge !1411: ci: refresh versions of tested distros

ci: cleanup forgotten conflict

ci: comment on platforms defaulting to python 3.6

ci pkg:fedora-*: switch to the current versions

ci pkg:debian-12: add

hints: fix names inside home.arpa.

Reported on https://forum.turris.cz/t/knot-resolver-with-local-fqdn-hostnames/19034/8

I write it as three comparisons, as it seems like a simple way of
still running only a single comparison in the typical case of QNAME
not falling under .arpa.

Tested just quickly, manually.  This chunk of code already is replaced
for kresd >= 6.0.0.

Merge branch 'manager-kresctl-convert-context' into '6.0'

manager: kresctl: global validation context for convert cmd

See merge request knot/knot-resolver!1414

manager: cli: convert: set global validation context

Merge branch 'manager-datamodel-local-data' into '6.0'

manager: datamodel: local-data: missing config options added

See merge request knot/knot-resolver!1413

manager /local-data/addresses*: be stricter about errors

In versions before 6.x these errors intentionally didn't cause
the startup fail, but I think we can be more strict now.

manager: datamodel: local-data: missing config options added

Merge !1410: manager: new-policy cleanup

manager: update dev config with policy rules

manager: unnecessary scripts removed

Merge !1412: manager: cli: global validation context

manager: cli: global validation context

Merge !1408: ci: drop `doc`; we have `pages` instead now

ci: drop `doc`; we have `pages` instead now

The `pages` job works.  We might consolidate this later,
also e.g. drop the doc dependencies from the default image
if we won't really use that image for docs anymore.

Merge !1407: new policy engine

lib/rules: DB size+path: make configurable, bump to 100 MiB

Ideally we'd expand it as needed, but that seems relatively complicated,
so for now let's go big with the sparse file and allow to override.

lib/cache: improve logging for the LMDB with policy rules

In particular, log them with `[rules ]` instead of `[cache ]`

lib/rules,cache: use transactions, improve assertions

When inserting rules from a config file, process everything
in a single transaction to avoid using inconsistent sets of rules,
especially in a different instance and/or in case some error happens.

Also fix some over-eager assertions (CHECK_RET).

ci lint:scan-build: fix the error count

The new reports are:
./lib/rules/api.c:301:3: warning: Memory copy function overflows destination buffer
         memcpy(key_data_ruleset_end, &KEY_EXACT_MATCH, sizeof(KEY_EXACT_MATCH));
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./lib/rules/api.c:506:2: warning: Memory copy function overflows destination buffer
 memcpy(key.data, &KEY_EXACT_MATCH, sizeof(KEY_EXACT_MATCH));
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./lib/rules/api.c:699:2: warning: Memory copy function overflows destination buffer
 memcpy(key.data, &KEY_ZONELIKE_A, sizeof(KEY_ZONELIKE_A));
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
3 warnings generated.

I re-checked those places, and I believe they can never overflow.
I regularly run with ASAN as well, which would catch overflows.
I can't see a simple way of amending the code in a way
that the linter might be happy.

lib: tweak selection errors when consuming cached answer

Forwarding-related changes uncovered this case
in integration.iter_limits test.  Errors can happen also
when consuming data produced by cache, in which case there's
no suitable server to blame for the error.

lib/rules forwarding: per-IP .tls

We planned it that way for the new config schema - and, why not.