WIP: data_modeling refactored

python/knot_resolver: new basic structure

python/knot_resolver: start from scratch and remove everything

Merge branch 'release-6.2.0' into 'master'

Release 6.2.0

See merge request knot/knot-resolver!1805

release 6.2.0

Merge !1803: tweak handling of ANY and RRSIG in QTYPE

tweak handling of ANY and RRSIG in QTYPE

- advanced users can configure these QTYPEs on Lua level, e.g.
    option('QTYPE_ANY', true)
- fix handling these QTYPEs, e.g.
  - caching: as whole packet only (simple and "safer" here)
  - iterator wasn't finding ANY records in answer :-)
- I wanted to disable RRSIG by default, but let's delay that

Merge !1747: Implementation of server DNS over QUIC (RFC 9250)

datamodel: network: simplified QUIC template

datamodel: network: removed layer from QUICSchema

There is no reason for two layers here.

doc nits + NEWS item, for quic

meson: fix include in embedded libngtcp2 sometimes

In particular, on macOS in GitHub CI.
I tried `dependencies: [gnutls.partial_dependency(includes: true)]`
but that didn't work.  No idea why.

Merge master into doq-server

daemon/quic: adapt to libknot 3.6

For reference see what we did for the non-quic code in:
d0375933 80cf9eb1 c8ea4c07 (all MR 1769)

python/formating: nits

daemon/quic: fix linting warnings

- add types to fields of struct nc_conn_ref_placeholder_t
- comment out testing DOQ error code

make embedded quic lib work

This should also fix -Dquic=disabled
I'm now lazy to go fix it on the commits introducing it, too.

QUIC by default sizing (default nixos.org builds as reference):
 - with embedded ngtcp2* we grow the kresd binary by 344 KiB
 - with external ngtcp2* we grow the kresd binary by 40 KiB
   (while the external ngtcp2 package takes 472 KiB,
    libknot already depends on it, so it's not new)

libngtcp2: copy embedded v1.20.0 from knot master (d9f7ac6e378f)

make quic/DoQ optional

Merge branch 'utils-modeling-literals-fix' into 'master'

python: utils/modeling: fixed literals bug for python 3.8

See merge request knot/knot-resolver!1799

add NEWS entry for the parent commit

python: utils/modeling: fixed Literal bug for python 3.8

This fixes bug created in MR !1768 logging improvements.

Merge !1800: CI: Migrate respdiff from shortlist dataset to ODVR-based dataset

ci: disable respdiff diff-index guard

ci: run respdiff with a newer query dataset

Merge branch 'subprocess-command-decode' into 'master'

python: controller/interface.py: return full message if JSON load fails

See merge request knot/knot-resolver!1801

tests/packaging: tls_cert_watchdog.sh: added sleep for deletion/creation test

python: controller/interface.py: return full message if JSON load fails for Subprocess command result

Merge !1798: python: manager/files: do not reload TLS certificate files if they do not exist

Revert "tests/packaging/interactive: skip TLS certs watchdog tests"

This reverts commit 1c69b284fa270c49f2adad035f5050c7d8837278.

python: manager/files: do not reload TLS certificate files if they do not exist

This fixes a randomly occuring pkg test error mentioned in !1794.

Merge !1797: daemon/io: handle failed session data initialization

daemon/io_create() nits

daemon/io_create(): move session2_new_io out of io_create()

The motivation for this change is to unite the out parameter type to uv_handle_t

daemon/session2/session2_transport_event(): remove kr_fails_assert

When forwarding over DoT, an upstream that accepts a TCP connection
and immediately closes it triggers this assetion, because
the forwarder wasn't able to solve any waiting tasks.

daemon/io: handle failed session data initialization

Merge !1795: daemon/session: fix UDP answers without sendmmsg

daemon/session: fix UDP answers without sendmmsg

This is quite a serious issue on non-Linux.
It's a regression from commit 82e1d596, i.e. v6.0.9.

Merge !1794: tests/packaging/interactive: skip TLS certs watchdog tests

tests/packaging/interactive: skip TLS certs watchdog tests

Merge branch 'docs-cleanup-fix' into 'master'

doc/user: minor adjustments

See merge request knot/knot-resolver!1793

doc/user/gettingstarted-install.rst: build from source

This part looked like it belonged under the Docker section. At the same time, I didn't want to create a separate section for it and put it at the same level as packages sections.

doc/user/config-overview.rst: json schema app link

Unfortunately, the previous link was not universal for all versions of the docs. Doing link universal automatically is not easy, so a clarification was added.

Merge !1792: docs: remove problematic deps

docs: removed sphinx-tabs and json-schema-for-humans

Merge !1784: python: ruff: linter stricter configuration

python: ruff: ignored and fixed some linter checks

python: fixed too long lines (>120)

Ruff linter: E501 Line too long (>120)

python: specified or removed type check ignore

Ruff linter: PGH003 Use specific rule codes when ignoring type issues

python: replaced python version comparing with tuple

python: client: ignore INP001 for commands modules

python: improved try/exception code

python: applied code simplification improvements

python: fixed docstring formatting

python: added missing type annotations

python: fixed renamed exceptions/errors

*/exceptions.py: updated for more strict linter (Ruff)

exceptions.py: renamed base exception to error Ruff(N818)

constants.py: added freebsd_min_version constant

pyproject.toml: ruff strict config

Merge !1789: doc/user: updated info about docker images

doc/user: updated info about docker images

Merge branch 'dockerhub-update' into 'master'

ci: docker:dockerhub: update tags

See merge request knot/knot-resolver!1788

.gitlab-ci.yml: docker:dockerhub updated tags

Merge !1787: ci: renamed docs:latest to docs:master

.gitlab-ci.yml: renamed docs:latest to docs:master

Merge branch 'release-6.1.0' into 'master'

Release 6.1.0

See merge request knot/knot-resolver!1783

doc/user: adjust formulation on version compatibility for 6+ situation

release 6.1.0

Merge !1771: datamodel: add /lua/policy-script*

datamodel: add /lua/policy-script*

Merge !1786: meson: fix linking with jemalloc

meson: fix linking with jemalloc

This is a partial revert of a13235612644
which haven't reached any tags, fortunately.

I'm not sure why this breaks the configure phase in my case
> meson.build:171:33: ERROR: C shared library 'jemalloc' not found
but I looked properly into docs and it wouldn't do what we wanted anyway:
https://mesonbuild.com/Reference-manual_returned_compiler.html#find_library_static

Merge !1785: defer: enable by default

defer: enable by default

doc/schema: add DoQ options

daemon/quic_conn: Move connection termination log to debug level,
restore requirement for payload type in worker unwrap

When the requested connections exceed the worker's capacity it polutes the log with large ammounts of prints, could be removed alltogether

daemon/quic: Avoid invalid element access in the connection expiry heap and only decrease session ref_count once

modules/stats: collect doq statistics

config: Add additional QUIC configuration and documentation

quic: refactor error handling

So far no application error codes (defined in rfc 9250 4.3) were specified when closing connections

daemon/quic_conn: fix stream counting

meson: display use of DoQ

daemon/quic: minor optimizations, remove pointless asserts, discard conn state when RETRY pkt is sent

daemon/network: use quic flag name instead of doq

daemon/quic: Prioritize existing unused conns over new ones when conn limits are reached

This change reduces the number of failed requests when the worker is experiencing heavy trafic.

daemon/quic_conn: remove redundant concurrency check

daemon/quic_conn: fix max_stream extention, use libuv times for idle timeouts

closing streams doesn't increase the number of available streams automatically, for connections with streams over the initial limit this caused connections to idle until closed

daemon/quic_common: adjust idle timer and max concurent conn limits to accommodate heavier trafic

daemon/quic_conn: fix session termination, store send_special payload in a new buffer

daemon/quic: fix session termination, add excesive load reply

daemon/quic/common: Adjust idle timeout threshold to 3 seconds, remove unused function

quic/conn: fix data agregation for queries spread over multiple packets

quic/conn: fix stream->pers_inbuf->end update when realloc is required

quic/stream: Handle IO error event initiated by dns layer

meson: allow libngtcp2 >= 1.11.0

For now.  We might revisit the choice,
but this version looks not too old and common in .deb

daemon/quic: split doq log groups, remove asserts

daemon/session: start defer only for DOQ_CONN

doc/schema: add doq

daemon/quic: add version negotiation for initial packet