manager/kafka_client.py:  init kafka using config_store callback

fixup! fixup! manager/kafka_client.py: use headers instead of parsing message key

fixup! manager/kafka_client.py: use headers instead of parsing message key

manager/kafka_client.py: use headers instead of parsing message key

fixup! manager/kafka_client.py:  trigger config reload for configuration

manager/kafka_client.py:  trigger config reload for configuration

Using the API and file for dynamic configuration makes it impossible to determine which parts are dynamic and which are static because, after validation, they become one configuration. Therefore, it is easier to use a file that is completely replaced by the new configuration.

manager/kafka_client.py: backup files only when they exists

distro/pkg: added python(3)-kafka package

manager/kafka_client.py: use 'files-dir' config option for relative paths

datamodel/kafka_schema.py: improved 'server' option

The domain name has been added as an option. You can also add a list of servers.

datamodel/types: created DomanNameOptionalPort' type

This custom type allows use of values in the format <domain-name>[@<port>].

datamodel/kafka_schema.py: added 'files_dir' option

Directory for storing files received via Kafka.

constants.py: added WORK_DIR

manager/kafka_client.py: consume config

manager/kafka_client.py: switched to triggers module

manager/files/watchdog.py: switched to triggers module

manager/triggers.py: new module to globally handle triggered command

manager/kafka_client.py: parse and process messages

datamodel/kafka_schema.py: added ssl and custom certificate support

manager/kafka_client.py: consume files

manager/kafka_client.py: iterate over consumed messages

datamodel: added 'kafka' section

manager/server.py: init Kafka client

manager: added new kafka_client.py module

pyproject.toml: added 'kafka-python' as optional dependency

pull user_key from DoH URI and export it into dnstap

TODO: this also changes some aspects of URI refusal,
though not based on user_key so far.

daemon/http.c: Accept any url path for DoH

dnstap: export some information about applied policy

dnstap: update the protobuf definition

https://github.com/dnstap/dnstap.pb/blob/main/dnstap.proto

Merge !1728: add NEWS for the last merge request

add NEWS for the last merge request

Merge !1727: datamodel/types: reduced validation strictness for DomainName

Fixes #934

datamodel/types: reduced validation strictness for DomainName

Merge !1725: ci: minor adjustments

.gitlab-ci.yml: renamed docs:pages to docs:latest

.gitlab-ci.yml: docs:pages: run job automatically and only for master

This will help to keep the /latest docs up to date.

.gitlab-ci.yml: removed OBS

We do not use OBS for version 6.

Merge branch 'release-6.0.15' into 'master'

Release 6.0.15

See merge request knot/knot-resolver!1722

nit: datamodel: fix formatting

release 6.0.15

Merge !1718: lib/dnssec: drop incorrect `requirement` and comment

lib/dnssec: drop incorrect `requirement` and comment

I don't think this can happen on correct records,
due to the way that the root zone is.  But we've seen
this assertion happen in real life, and attackers
might be able to misuse it to cause crashes.

Merge !1717: lib/cache pkt_renew(): don't keep parts of packet header

lib/cache pkt_renew(): don't keep parts of packet header

No idea why it's been done in this weird way since forever.

Merge !1715: NO_CACHE flag: fix and tweak its behavior

lib/cache: tweak the meaning of .flags.NO_CACHE

This way it should better match docs for the flag,
and I think it makes a bit more sense now,
at least for the use cases we have in our code now.

Also add NEWS for these two commits.

lib/cache: simplify logic for qry->flags.CACHE_TRIED

As a side effect, this solves an issue which could be seen
during resolver startup where the trust anchor update would fail.
[taupd ] active refresh failed for . with rcode: 2

The cause is that for queries started with .flags.NO_CACHE,
we'd skip the section setting .flags.CACHE_TRIED, and consequently
kr_rule_local_data_answer() would get run more often than expected.

The new logic should be also much simpler to follow.
We always apply cache (and policy) just once per kr_query.

Merge !1716: daemon: add configurability for low source port check

daemon: add configurability for low source port check

In commit c0482d5a8a this check was added.  Now one can e.g. disable by
> require('ffi').C.the_network.min_udp_source_port = 0
(typically used inside YAML config at /lua/script or /lua/script-file)

Merge !1714: datamodel: improve file permission check

Fixes #933

NEWS update

kresctl: commands: changed validation strictness default to false

datamodel/types/files.py: improve file permission check

In particular with ACLs this could have prevented resolver starting
even if the permissions were OK.  os.access() should be accurate
at least when running from manager (not from kresctl).

Merge !1702: daemon/defer: fix sampling of timed events

daemon/defer: fix sampling of timed events

Merge !1709: lib/rules: update/more precise default answers for special names

lib/rules: update/more precise default answers for special names

The diff probably shows as messy, but the set of names
doesn't change much.  _EMPTY changes to _NXDOMAIN in many cases.
Every name has some text defining the behavior;
it's not very unified, unfortunately.
Now I tried to refer to particular RFC section(s) for each name.

Merge !1705: modules/prefill: fix moving across filesystems

modules/prefill: fix moving across filesystems

I somehow thought thought that `os.rename()` behaves
like the `mv` command, and unfortunately in the way I tested this,
everything was inside a single mount-point.
Official docs is one line that doesn't explain anything really :-/

Merge !1710: manager: support for multiple configuration files

Revert "scripts/poe-tasks/utils/_env.sh: added CONFIG_FILE_NAME variable"

This reverts commit d3d4c2fbe52048ecd3df59e7e8e3d2017ad7914c.

manager/server.py: check the parent dir of each config file

Compare the locations of multiple configuration files and issue a warning

python: manager/server.py: use 'data_combine' function to combine data from multiple config files

python: utils/modeling/parsing.py: 'data_combine' function for combining dictionaries data

.gitlab-ci.yml: python:run: added second configuration

etc/config: added few YAML configs for testing

python: manager: allow multiple configuration file inputs

etc/config/config.yaml: reduced to minimal config

Most of the configuration was a duplication of the default values.

etc/config/config.dev.yaml: reduced to minimal config

.gitlab-ci.yml: python:run: use CONFIG_FILE_NAME

scripts/poe-tasks/utils/_env.sh: added CONFIG_FILE_NAME variable

The CONFIG_FILE_NAME variable allows us to change just the name of a configuration file.

Merge !1713: lib/cache: fix retaining is_cache flag in cdb_clear

add NEWS for the parent commit

lib/cache: fix retaining is_cache flag in cdb_clear

Merge !1712: manager: metrics: fix typo in one prometheus stat name

manager: metrics: fix typo in one prometheus stat name

Merge !1711: datamodel/templates: fix swapped edns-buffer-size

datamodel/templates: fix swapped edns-buffer-size

Merge !1704: datamodel/templates: fix /dnssec/trust-anchors-files

datamodel/templates: fix /dnssec/trust-anchors-files

I expect this has never worked in 6.x yet :-/

Merge !1706: .gitlab-ci.yml: add pkg:alma-10

distro/tests: update test dependencies

Depend on man on almalinux.

Also shorten distro.match invocations for readability.

.gitlab-ci.yml: add pkg:alma-10

Merge !1701: meson: avoid protoc-c, as it's deprecated

meson: avoid protoc-c, as it's (reported as) deprecated

> `protoc-c` is deprecated. Please use `protoc` instead!

Merge !1703: manager: prometheus metrics update

Fixes #917

test/packaging/interactive/metrics: compare number of JSON and prometheus metrics

manager: metrics: added prometheus missing IPv4/6 metrics

Merge branch 'release-6.0.14' into 'master'

Release 6.0.14

See merge request knot/knot-resolver!1700

Release 6.0.14

Merge !1699: datamodel/templates: fix error, as RuleSchema doesn't have .log

lib/rules: drop FIXMEs

These don't need resolving, as the return values for kr_* functions
didn't change really in the end.

datamodel/templates: fix error, as RuleSchema doesn't have .log

Also indent the complicated if-nesting.

Merge branch 'ci-python-run' into 'master'

ci: python:run: job to start the resolver with the dev configuration

See merge request knot/knot-resolver!1698

.gitlab-ci.yml: added python:run job

Merge !1697: datamodel/templates: fix kr_rule_local_* macros

add NEWS entry

datamodel/templates: fix kr_rule_local_* macros

commit a782e9c3 broke the jinja2 generation of the
kr_rule_local_* macro functions. C.KR_RULE_OPTS_DEFAULT
was provided as an argument to the assert() function call
instead of the call to the corresponding C.kr_rule_local_* function

Merge branch 'release-6.0.13' into 'master'

Release 6.0.13

See merge request knot/knot-resolver!1695

release 6.0.13