manager/kafka_client.py: use asyncio.Task for consumer and consuming messages

manager: kafka: added 'group-id' option to determine the recipient of the message

manager/kafka_client.py: Do not trigger a configuration renewal after receiving a non-config file

manager: forward dnstap logs to kafka

fixup! fixup! fixup! fixup! manager/kafka_client.py: support for binary files

fixup! fixup! fixup! manager/kafka_client.py: support for binary files

fixup! fixup! manager/kafka_client.py: support for binary files

fixup! manager/kafka_client.py: support for binary files

doc: config.schema.json: added tunnel-filter

datamodel: tunnel-filter: fixed formatting

manager/kafka_client.py: callback and verifier fix

Merge master into jezek-test

manager/kafka_client.py: support for binary files

Merge tunnel-filter into jezek-test

datamodel: add the /tunnel-filter parts

tunnel: minor nits

lib/module: load the symbols of C modules into the global namespace

This allows to access also those symbols via LuaJIT's ffi.C.symbol,
after binding them ffi.cdef().
I think the risk of negative effects from is rather low.

tunnel nit: refactor/simplify the core function a bit

tunnel: implement tags and auditing

lib/rules: expose kr_rule_do_answer()

Also refactor the lookup format conversion.

tunnel nit: really use standard rounding in the computation

The difference in the results shouldn't be noticeable.
The original code in ratelimiting.c used `>> 16` instead of `>> 32`,
so the `+ (1<<15)` for rounding came from there unmodified.

tunnel nit: for price_scale_factor use multiplication, not division

We were multiplying by 2^16 and dividing by 25,
so directly multiplying by round(65536/25) will be almost the same.
Note that (integer) division can be very expensive in some CPUs.

WIP

struct dns_tunnel_filter:
 - TorchModule can't be in the mmapped structure, as it's a pointer
 - drop unneeded parts

lib/kru-utils.h: new header to deduplicate stuff

I don't like that these defines were repeated three times now already.
This new header is specific to Knot Resolver:
 - kr_require() can be used, for example
 - the defines maybe aren't worth deduplicating between knot-{dns,resolver}

daemon/http.c: tweak the user_key (which gets into dnstap)

Mainly strip any "/dns-query" suffix.

CI + .deb packaging for dns_tunnel_filter - partially temporary

fixup! manager/kafka_client.py: reconnect on unexpected errors

WIP: moving from daemon/ to modules/dns_tunnel_filter/

manager/kafka_client.py: reconnect on unexpected errors

WIP [tunneling]: changes to absorb, most likely

TMP merge jezek-test with dns-tunnel-filter

dnstap: send the first tag's name

The code is in lib/rules/ really.

python+lua parts for auditing

lib/rules: WIP adding tagset for auditing

lib/rules refactor: swap ztype+tags for ZLA entries

This should simplify further changes.
Forwarding doesn't utilize tags and isn't expected soon,
and overall it differs a lot, so it makes sense
to swap the order of serialization in the rule DB
(and omit tags from forwarding, as that's trivial now).

dnstap: prepare to represent auditing and rule's tag

WIP unblock: fill from CNAME rpz-passthru.

WIP unblock: add kr_rule_local_unblock()

WIP unblock: add the actual unblocking mechanics

WIP unblock: add a special ruleset for unblock-lists

WIP unblock: factor out subtree_search()

Very minimal changes done:
 - instead of `break` from the do-while we return RET_CONTINUE
 - pulls the query type from qry->stype again

merge master

daemon/http: always accept /dns-query again

Things changing all the time.
At least this should fix CI on this branch.

manager/kafka-client.md: basic info on how kafka_client works

lib/rules/zonefile: print line number in case of error

This is especially useful when debugging large RPZ files.

.gitlab-ci.yml: added 'python:kafka' job

manager/kafka_client.py: separate file for each chunk

Each chunk of the file is stored separately. If all the chunks are available, the final file is assembled.

manager/files/watchdog:  reduce the verbosity of watchdog module logger

datamodel: views tags validation bug  fix

Identical tags were added to the checklist multiple times and then failed with unused tags.

manager/kafka_client.py:  init kafka using config_store callback

manager/kafka_client.py: use headers instead of parsing message key

manager/kafka_client.py:  trigger config reload for configuration

Using the API and file for dynamic configuration makes it impossible to determine which parts are dynamic and which are static because, after validation, they become one configuration. Therefore, it is easier to use a file that is completely replaced by the new configuration.

manager/kafka_client.py: backup files only when they exists

distro/pkg: added python(3)-kafka package

manager/kafka_client.py: use 'files-dir' config option for relative paths

datamodel/kafka_schema.py: improved 'server' option

The domain name has been added as an option. You can also add a list of servers.

datamodel/types: created DomanNameOptionalPort' type

This custom type allows use of values in the format <domain-name>[@<port>].

datamodel/kafka_schema.py: added 'files_dir' option

Directory for storing files received via Kafka.

constants.py: added WORK_DIR

manager/kafka_client.py: consume config

manager/kafka_client.py: switched to triggers module

Merge branch 'reload-force' into 'master'

manager: new API route for forced reload

Closes #939

See merge request knot/knot-resolver!1748

NEWS: added configuration force reload

tests/packaging/interactive: added tests for configuration reload and renew

manager/triggers.py: force renew/reload

manager/files/watchdog.py: switched to triggers module

manager/triggers.py: new module to globally handle triggered command

tests/packaging/interactive/reload.sh: improved test for reload and force reload

client: reload: added --force flag

manager: added /reload/force API route

Merge !1746: Revert !1743: contrib/mempattern: silence UBSAN on newer clang

Revert "Merge !1743: contrib/mempattern: silence UBSAN on newer clang"

This reverts merge request !1743

Merge branch 'news-add-1739' into 'master'

NEWS: added address renumbering bugfix

See merge request knot/knot-resolver!1745

NEWS: added bugfix from !1739

Merge branch 'client-input-files-comb' into 'master'

kresctl: commands: allow combination of config files

See merge request knot/knot-resolver!1738

client: convert: allow combination of config files

client: validate: allow combination of config files

Merge branch 'templates-renumber-fix' into 'master'

datamodel/templates/network.lua.j2: renumber.config typo fix

See merge request knot/knot-resolver!1739

datamodel/templates/network.lua.j2: renumber.config typo fix

Merge branch 'python-update' into 'master'

ci: updated python to 3.13, use debian image for python jobs

See merge request knot/knot-resolver!1744

.gitlab-ci.yml: python: use default image and show poetry env info

.gitlab-ci.yml: updated PYTHON_VERSION to 3.13

.python-version file update

Merge !1743: contrib/mempattern: silence UBSAN on newer clang

contrib/mempattern: silence UBSAN on newer clang

Equivalent to
https://gitlab.nic.cz/knot/knot-dns/-/commit/27825e4c595d952

The problem happens now with clang 20.
I don't think I've seen it happen with GCC 15
or with some earlier clang versions.

dns_tunnel_filter: Edit filter to consider TCP results

dns_tunnel_filter: Edit filter to not consider cached results

dns_tunnel_filter: Add to daemon runtime to detect and filter dns tunneling queries

dnamelimiting -> dns_tunnel_filter: Rename

dnamelimiting: Add NN packet classification for limited packets

meson: Add C++ DNS tunnel detection library build and linking

Merge branch 'types-files-root' into 'master'

datamodel/types/files.py: permission check succeeds if running under root privileges

See merge request knot/knot-resolver!1741

datamodel/types/files.py: permission check succeeds if running under root privileges

Merge !1731: manager/metrics/prometheus: fixed answer latency histogram

manager/metrics/prometheus: fix the answer latency histogram

Merge !1740: .gitlab-ci.yml: kill Ubuntu 24.10

.gitlab-ci.yml: kill Ubuntu 24.10

It won't work anymore:
https://gitlab.nic.cz/knot/knot-resolver/-/jobs/1482521

Merge !1732: lib/selection: respect 0x20 settings even after TCP issues

lib/selection: respect 0x20 settings even after TCP issues

Thankfully we can pull it from kr_request,
as policy.FLAGS() also sets it in there.

Merge !1736: ci: python:check: setuptools installation fix