manager: cli: global validation context

Merge !1408: ci: drop `doc`; we have `pages` instead now

ci: drop `doc`; we have `pages` instead now

The `pages` job works.  We might consolidate this later,
also e.g. drop the doc dependencies from the default image
if we won't really use that image for docs anymore.

Merge !1407: new policy engine

lib/rules: DB size+path: make configurable, bump to 100 MiB

Ideally we'd expand it as needed, but that seems relatively complicated,
so for now let's go big with the sparse file and allow to override.

lib/cache: improve logging for the LMDB with policy rules

In particular, log them with `[rules ]` instead of `[cache ]`

lib/rules,cache: use transactions, improve assertions

When inserting rules from a config file, process everything
in a single transaction to avoid using inconsistent sets of rules,
especially in a different instance and/or in case some error happens.

Also fix some over-eager assertions (CHECK_RET).

ci lint:scan-build: fix the error count

The new reports are:
./lib/rules/api.c:301:3: warning: Memory copy function overflows destination buffer
         memcpy(key_data_ruleset_end, &KEY_EXACT_MATCH, sizeof(KEY_EXACT_MATCH));
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./lib/rules/api.c:506:2: warning: Memory copy function overflows destination buffer
 memcpy(key.data, &KEY_EXACT_MATCH, sizeof(KEY_EXACT_MATCH));
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./lib/rules/api.c:699:2: warning: Memory copy function overflows destination buffer
 memcpy(key.data, &KEY_ZONELIKE_A, sizeof(KEY_ZONELIKE_A));
 ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
3 warnings generated.

I re-checked those places, and I believe they can never overflow.
I regularly run with ASAN as well, which would catch overflows.
I can't see a simple way of amending the code in a way
that the linter might be happy.

lib: tweak selection errors when consuming cached answer

Forwarding-related changes uncovered this case
in integration.iter_limits test.  Errors can happen also
when consuming data produced by cache, in which case there's
no suitable server to blame for the error.

lib/rules forwarding: per-IP .tls

We planned it that way for the new config schema - and, why not.

lib/rules: implement forwarding

Typical use cases should work now, briefly tested:
 - forwarding all to a resolver
 - forwarding a subtree downgraded to insecure (to resolver or auth)
 - forwarding a subtree to auth without changing DNSSEC chain (atypical)

In some places we need to repeat kr_make_query()
The issue is that some of its inputs (e.g. STUB/FORWARD, zone cut)
are now not known at the beginning of PRODUCE yet.
Also, checking that QNAME matches is useless on a cached reply.

lib/rules: split key construction from insert_trivial_zone()

lib/rules: move parts from api.c to impl.h

lib/rules: bugfix ZLA key for the root

lib/resolve.c: split in two files

I know that moving code makes e.g. blaming harder,
but this was a really long file now.
This commit _only_ moves code, except for nits:
- minor pieces moved into an -impl.h shared by both resolve*.c
  There a couple functions changed to non-static or static inline.
- order is preserved, for now at least

nits

doc comments: fix two cases of "@param is not found"

lib/rules: add API for loading a zonefile

Two main use cases are actual RPZ file
and also the /local-data/records string (plain RRsets).

The RPZ semantics isn't very close to the specs,
but I believe the practical usability is already better
than our old RPZ implementation, thanks to following CNAMEs.

lib/rules: allow setting TTL in the trivial zones

(internally at least, not in api.h yet)

lib/rules: move more declarations to impl.h

lib/rules: implement NODATA zones

They're a bit weird but RPZ has something close to them.

lib/rules: add NXDOMAIN (pseudo-)zones

It's questionable which SOA owner to use, but some users will surely
prefer NXDOMAINs to empty zones.

ci lint:scan-build: adjust the error count

Merge from master resulted in decrease by one; no idea why.

lib/rules: add usable tagging

lib/rules: add basic view capability

Example:
  assert(require('ffi').C.kr_view_insert_action(
   '127.0.0.0/24', 'policy.DENY_MSG("message")'
) == 0)

lib/cache: add a "<" search in addition to "<="

lib/rules: refactor kr_rule_local_data_answer() a bit

lib/rules: implement redirect zones

Also switch the localhost rule there, finishing migration
of all special names from the policy module.

hints: cleanup unused parts of code

hints: implement PTR and imperfect deletion (no .get)

lib/rules: add deletion prototype, commit transactions

hints: implement .use_nodata(true) and .ttl

fixes modules/dns64 test

make policy.PASS also affect the new-policy rules

new policy engine - prototype

Picked up old work, rebase-squashed after many months;
then fixed up a little as needed in this newer version.
(and later many minor fixes got squashed in)

lib/cache: improve comments

See NEWS for 4.0.0: "always send DO+CD flags upstream".

lib/cache pkt_append(): drop unnecessary argument

We already had rank stored in there, in particular
entry2answer() always stored it.

lib/cache: simplify passing qry/req parameters

- kr_layer_t isn't really useful in the inner functions
  (it's mainly useful through ->state when returning from layer)
- kr_query seems a little more suitable to pass than kr_request

ci: reduce exceptions specific to manager branch

Create branch 6.0 by merging master and manager

Merge branch 'manager-datamodel-improvements' into 'manager'

manager: datamodel improvements

See merge request knot/knot-resolver!1313

manager: forward config example

manager: datamodel: forward: allow list for pin_sha256

manager: poetry: setuptools added to build requirements

manager: code formatting

manager: datamodel: forward render to Lua

manager: datamodel: local-data/rpz: schema and template

manager: datamodel: local-data template and macros

manager: datamodel: use 'boolean' macro in datamodel

manager: datamodel: templates: macro for boolean values

manager: datamodel: ListOrItem custom generic type

manager: utils: modeling: support for custom generic types

manager: datamodel:  all Union[List[T], T]  removed

manager: datamodel: local_data render to Lua

manager: datamodel: views render to Lua

manager: poetry: cmd for running manager with 'new-policy' kresd

manager: datamodel: template/macros for local_data_schema

manager: datamodel: template: macro for get_tagset

manager: datamodel: template: view macros

manager: datamodel: template: macro for TAGS_ASSIGN

manager: datamodel: tsig removed from view_schema

manager: datamodel: current valid config added to design notes

manager: datamodel: view_schema update

manager: datamodel: options: 'qname_minimisation' renamed to 'minimize'

manager: datamodel: minor repairs/changes

manager: datamodel: forward: options added

manager: datamodel: stub-zones removed from configuration

manager: configurable cache garbage collector

manager: datamodel: local-data schema added

manager: datamodel: forward schema update

manager: datamodel: types: alias for union of list and single element

manager: datamodel: tags added to views

manager: datamodel: add notes from my brainstorming (WIP)

manager: datamodel: changes in stub and forward zone schemas

Merge !1404: tests/dnstap: let Go handle its transitive dependencies

tests/dnstap: let Go handle its transitive dependencies

Dependabot reported that we have some vulnerable dependencies. The
problem is that the ones it wants to bump to do not support older Go
versions, which we need to use due to some distros not having the most
recent Go packages available.

The `go.sum` file contains the outdated ones (because I tried with an
older Go), but as far as I can tell, from Go docs and other places, it
is actually not a lockfile, so newer Go should update the packages
regardless of what is in `go.sum`.

Merge !1403: tests, ci: fix and reintroduce dnstap tests + nits

tests/pytests: adapt to new pylint

New version of pylint removed the disabled `bad-continuation` check. It
also added a parens check that we were violating in
`test_random_close.py`, which is now fixed as well.

ci/images/README: add KNOT_BRANCH explanation

ci: reintroduce Go tests into the CI

Merge branch 'manager-docs' into 'manager'

manager: some parts of documentation for version 6

See merge request knot/knot-resolver!1377

tests/dnstap: fix for Go 1.19 (and possibly others)

manager: ignore false positive pylint errors

doc: deployment

doc: deployment: manual and fixes

doc: deployment systemd and general structuring

doc: docker deployment

Delete gettingstarted-intro.rst

doc/README.md: update about requirements and building

doc/architecture-gc.rst: describe how GC operates

The current code is really simple, so a whole summary fits easily.

doc: gettingstarted-config: config examples added

doc: gettingstarted: minor modifications

- startup: link to Usage without the manager
- config: json-schema mention moved to config-overview

doc: initial drafts of internal architecture explainers

docs: attempt at improving overall structure of the documentation (reorg, no new text)

doc: legacy chapter removed

- legacy approach moved to Use Cases chapter
- legacy approach renamed to Usage without the manager

doc: gettingstarted: some updates and changes

doc: main page intro update

doc: legacy chapter created

doc: gettingstarted: some updates

- installation: link to build from source
- startup: link to run without systemd

doc: gettingstarted:  config section update

Added example of network interfaces configuration.

doc: upgrading-to-6 moved to developers chapter