Merge branch 'knot-headers' into 'master'

build: fix when knot-dns headers are on non-standard location

See merge request knot/knot-resolver!1210

distro/tests: fix leap15 test

knot-utils package is needed for kdig. However, if downstream package is
used, that tool is part of knot pkg instead - thus the missing package
would be non-critical. It is still needed if upstream packages are used.

build: fix when knot-dns headers are on non-standard location

Merge branch 'detect_time_skew-nits' into 'master'

modules/detect_time_skew: minor fixes

See merge request knot/knot-resolver!1211

modules/detect_time_skew: avoid cached `NS .`

Cache is persistent (in principle) and it might not have accurate data
for whatever reason.  Let's not bring caching complications into this.
It's cheap: just a single query to root server(s) on resolver start.

modules/detect_time_skew: fix wording of the message

Local time appears in future == the signatures appear not valid
*anymore*, and vice versa.

Merge !1207: lib/selection: improve the NO6 behavior

lib/selection: improve the NO6 behavior

With broken IPv6 and no knowledge of IP addresses, we were quite often
chosing to resolve a NS's AAAA and then using it... which wasn't good.
Let's give preference to A here as well.

Merge branch 'distrotest-centos-ca-certs' into 'master'

distro/test: update CA certificates for CentOS

See merge request knot/knot-resolver!1209

distro/test: update CA certificates for CentOS

On CentOS 7, the base image has an outdated LetsEncrypt certificate.

Merge !1208: lua: use notice level for log()

lib/log: check the *last* log group number

lua: use notice level for log()

By default, notice level is set. Thus, if users want to use log() in the
same way as pre-5.4, they'd have to increase the log level. This bumps
the log level of log() function to keep the same behavior.

Merge !1205: distro/tests: add debian11

ci: fix lint:pendantic

scripts: fix scanbuild on debian 11

tests/pytests: configure pylint to ignore consider-using-with

tests/pytests: remove dead code

ci: migrate jobs to debian 11

doc: fix build on debian 11

distro/tests: add debian11

Merge branch 'dns64-features' into 'master'

modules/dns64: new features

Closes #478 and #368

See merge request knot/knot-resolver!1201

modules/dns64: improve code readability

modules/dns64: document the new features

modules/dns64: implement "exclusion prefixes"

The RFC says we MUST do it, though this implementation is lazy and
avoids a SHOULD in the RFC.

lib/utils kr_straddr_subnet() nit

For example, absolute path meant for AF_UNIX could confuse this.

modules/dns64: add kr_query::flags.DNS64_DISABLE

It's not a perfect solution and with the future policy engine it will
hopefully be better, but it's really trivial to add this already.
(should've done that years ago)

modules/dns64: also map the reverse (PTR) subtree

modules/dns64: allow configuring by a table

Backward compatible.  It will be useful when adding further features.
Also improve config error traces.

Merge branch 'release-5-4-1' into 'master'

release 5.4.1

See merge request knot/knot-resolver!1204

release 5.4.1

Merge branch 'doh2-free-unsent-streams' into 'master'

doh2: ensure memory from unsent streams is freed

See merge request knot/knot-resolver!1202

doh2: use stream_write_data instead of stream  user_data

doh2: handle OOM when allocating callbacks

doh2: ensure memory from unsent streams is freed

The nghttp2 on_stream_close callback is only called for streams that are
properly closed. If we need to tear down the HTTP connection due to any
reason (e.g. IO error in underlying layer), some streams may not be
propely closed.

Due to HTTP/2 flow control, we may also wait indefinitely for the data
to be written. This can also cause the stream to never be properly
closed.

To handle these cases, a reference of allocated data is kept and we
ensure everything is freed once we're closing the http session.

Merge !1203: docker: update to Debian 11

docker: update to Debian 11

Merge branch 'log-policy' into 'master'

policy trace-logging improvements, mainly

See merge request knot/knot-resolver!1199

modules/bogus_log nits

- use notice log level instead of error
  The failure is often a normal condition but we probably want it
  logged by default (after explicitly loading the module).
- don't repeat the "dnssec" word twice in a row (+update docs)
- docs bogus_log.frequent(): we format tables differently (old change)

policy docs: rewrite the section about logging actions

Partly to document changes from recent changes,
partly to fix long-lasting issues in the descriptions.
Hopefully it will be easier to understand now.

policy trace-logging improvements

The logs can be triggered from policy actions, in per-request fashion:
- they're on LOG_DEBUG level but always sent, regardless of log config
- those messages will show double group tags: "[reqdbg][foo   ]"
  (but they lack proper meta-data - about location of the log's origin)
- reqdbg is *in addition* to normal logs, so the lines may be duplicated
  if that's how the logging was configured

lib/log: add [rdebug] group

It's special: always on and not shown in log_groups() output.

It's been quite a long fight to find how to best deal with such
a special case (from user perspective; code itself is easy).

trace_log: include the "[group]" tag in the messages

lua kr_request_t::selected:tostring(): adjust style

The result gets logged as a single multi-line message,
so let's not repeat any prefix on (some of) those in-the-middle lines.

lib/log kr_log_fmt(): pass parameters more properly

Systemd docs say:
> Those arguments must contain valid journal entries including
> the variable name, e.g. "CODE_FILE=src/foo.c", [...]

I tried that passing all three strings empty (without variable name)
wouldn't result into the line getting logged; the suggested style does.

lib/log nit: fix order of the levels

I suspect it was me who broke the ordering here.

adjust RR-dumping style a little

The former "default" dumping style isn't really used anywhere in Knot.
The only visible difference is that RRSIGs are now logged *without*
replacing their TTLs by the original non-decremented TTL values.
That can avoid some confusion when reading debug logs.
(Those original TTLs are still shown a bit further on each line.)

daemon: fix --version output

Logging is not set up at this point; it wouldn't be shown unless
preceded by -v/--verbose.

Merge branch 'nits' into 'master'

various tiny changes

See merge request knot/knot-resolver!1200

ci build:macOS: skip in security repo

Code wouldn't be leaked.  We'd just send the branch name to GH servers.
Still, it' better to skip the step.

lua kres.type: add new constants

This is all that's missing in comparison to enum knot_rr_type.
For now I didn't remove types that aren't present there (anymore),
even though noone would miss them, most likely.

doc/build: add a couple optional dependencies

Also improve a few details.

dnstap: avoid a false-positive warning

../modules/dnstap/dnstap.c: In function 'dnstap_config':
../modules/dnstap/dnstap.c:410:29: warning: 'strndup' specified bound 4096 exceeds source size 17 [-Wstringop-overread]
  410 |                 sock_path = strndup(DEFAULT_SOCK_PATH, PATH_MAX);
      |                             ^
../modules/dnstap/dnstap.c:423:37: warning: 'strndup' specified bound 4096 exceeds source size 17 [-Wstringop-overread]
  423 |                         sock_path = strndup(DEFAULT_SOCK_PATH, PATH_MAX);
      |                                     ^

We don't need to restrict our built-in path defaults to PATH_MAX
characters, as they just can't be that long and it's not an issue if we
shoot over it anyway - opening such a file would only fail.

Merge branch 'kres_gen_test-cross' into 'master'

daemon/lua/meson.build: disable kres_gen_test on cross

See merge request knot/knot-resolver!1198

daemon/lua/meson.build: disable kres_gen_test on cross

I considered switching it to our usual 3-option combo,
but that way didn't really seem useful.

daemon/lua/meson.build: whitespace

I didn't intend to use this mix of tabs and spaces for indentation.

Merge branch 'no-doh' into 'master'

fix build without doh2 support

See merge request knot/knot-resolver!1197

fix build without doh2 support

Merge branch 'release-5-4-0' into 'master'

release 5.4.0

See merge request knot/knot-resolver!1196

release 5.4.0

distro/tests: switch to a more reliable domain with broken DNSSEC

Merge branch 'doh-free-headers' into 'master'

daemon/http: ensure HTTP headers are freed

See merge request knot/knot-resolver!1191

daemon/http: fix crash on large buffers and document logic issues

daemon/http: add more info to debug messagess

daemon/http: add helper assert to detect potential memleak

daemon/worker: ensure HTTP headers are freed on ignored queries

Ignored queries never call create_request() where ownership of headers
is taken care of. They need to be explicitly cleared instead, because
we're the owners of the pointer here.

daemon/http: refactor submitting to wirebuffer

daemon/http: ensure missing variable in URI is treated as error

daemon/http: ensure headers are freed

daemon/http: refactor freeing headers into function

Merge branch 'fine-grained-logging' into 'master'

Fine grained logging

See merge request knot/knot-resolver!1181

logging: update kres-gen-31.lua

lua logging: expand the printf in lua already

- we've been using lua's formatting so far, so avoid changing that
- some lua values would be harder to format with the C style

lib/utils logging nit: use another logging group

Our randomness utils have nothing to do with TLS, so let's use SYSTEM.

lib/log.h: improve readability (hopefully)

* improve order
  - follow grouping of topics more closely (targets, groups, levels)
  - order kr_log_LEVEL by severity
* move unneeded <stdarg.h>
* improve doc-comments
  - some claims there were even wrong now
  - describe some log levels at kr_log_LEVEL

lib/log kr_log_name2grp(): return -1 on failures

Let's be consistent witk kr_log_name2level()
and even generally we tend to use negative numbers for errors.

lib/log level names: disregard SYSLOG_NAMES

It's a non-standard feature of syslog.h and I don't think it's worth
the trouble.

We didn't really utilize it; someone would have to #define it,
and moreover we would get into problems if this wasn't being done
the same on all places including log.h.
Making the names adapt to the platform would also mean that
config files and docs wouldn't be portable.

Also make kr_log_level2name() return const.

lib/log.h nit: tweak macro for __LINE__

- we don't need doubling the layer in this case,
  as the SD_JOURNAL_METADATA macro adds a layer already
- `TO_STR` was perhaps a too short name and could collide

doc: add changes revelant for custom modules

logging: linter nitpicks

logging: add lua API test coverage

logging: use log_groups() lua API

Use a single call as a setter and getter for log groups.

logging: use log_target() lua API

Refactor into more consistent lua API.

log: use log_level() lua API

Using a single function to get/set values is more consistent with our
existing lua API rather than having two separate set and get functions.

treewide: avoid using the deprecated verbose()

It's mainly in tests.

lib/log: redesign startup and target selection

- add lua set_log_target() + docs
- default to 'stderr' (manual runs)
- switch to 'syslog' in distro-preconfig.lua
- a few minor tweaks

lib/log detail: avoid a bit of duplication

lib/log.h: avoid defining types without kr_ prefix

Probably, it seems "more consistent".
Some defines still don't have it, but I left those.

log: use kr_log_crit instead of kr_log_fatal

lib/log: slightly improve log group description and their ordering

doc: logging

doc: log() functions

etc/config: Remove log functions

log: add log functions and LOG_GRP_MODULE group for users's modules
logging

lib/utils: drop a pair of unused macros

treewide: replace VERBOSE_STATUS, WITH_VERBOSE, etc.

The main problem there was ignoring the log groups,
and VERBOSE_STATUS also ignores trace-logging.
Typically the new kr_log_is_debug*() are the best choice.

In a couple places with heavy WITH_VERBOSE usage it's
instead locally redefined to consider the right group.

validate: add kr_rrset_validation_ctx_t::log_qry

... so we can use it for more precise logging.  Some calls get simpler.
In particular, without the associated request, we can't produce anything
into trace-logs, which could be confusing.  Normal logs will benefit, too.
(more precise replacement of WITH_VERBOSE will come in a subsequent commit)

lib/log: add kr_log_is_debug*()

... and optimize a suspect hot path (through VERBOSE_MSG)

lib/log: make trace-logging not prevent normal logging

I think it's an old issue, but why not fix it now.
I believe it's better when these two are "independent".

Removed comment: once upon a time it belonged to auto_free
and similar macros, but somehow it survived various moves.

rework logging from control sockets (+simplify)

- unify interactive mode to stdout
- use its own logging group
- elevated log level when the command throws an exception
- don't try detecting that the logs go back into the same console
  (yes, in that case you can see some lines twice)
- don't make the binary mode turn off logging