Merge branch 'dns64-features' into 'master'

modules/dns64: new features

Closes #478 and #368

See merge request knot/knot-resolver!1201

modules/dns64: improve code readability

modules/dns64: document the new features

modules/dns64: implement "exclusion prefixes"

The RFC says we MUST do it, though this implementation is lazy and
avoids a SHOULD in the RFC.

lib/utils kr_straddr_subnet() nit

For example, absolute path meant for AF_UNIX could confuse this.

modules/dns64: add kr_query::flags.DNS64_DISABLE

It's not a perfect solution and with the future policy engine it will
hopefully be better, but it's really trivial to add this already.
(should've done that years ago)

modules/dns64: also map the reverse (PTR) subtree

modules/dns64: allow configuring by a table

Backward compatible.  It will be useful when adding further features.
Also improve config error traces.

Merge branch 'release-5-4-1' into 'master'

release 5.4.1

See merge request knot/knot-resolver!1204

release 5.4.1

Merge branch 'doh2-free-unsent-streams' into 'master'

doh2: ensure memory from unsent streams is freed

See merge request knot/knot-resolver!1202

doh2: use stream_write_data instead of stream  user_data

doh2: handle OOM when allocating callbacks

doh2: ensure memory from unsent streams is freed

The nghttp2 on_stream_close callback is only called for streams that are
properly closed. If we need to tear down the HTTP connection due to any
reason (e.g. IO error in underlying layer), some streams may not be
propely closed.

Due to HTTP/2 flow control, we may also wait indefinitely for the data
to be written. This can also cause the stream to never be properly
closed.

To handle these cases, a reference of allocated data is kept and we
ensure everything is freed once we're closing the http session.

Merge !1203: docker: update to Debian 11

docker: update to Debian 11

Merge branch 'log-policy' into 'master'

policy trace-logging improvements, mainly

See merge request knot/knot-resolver!1199

modules/bogus_log nits

- use notice log level instead of error
  The failure is often a normal condition but we probably want it
  logged by default (after explicitly loading the module).
- don't repeat the "dnssec" word twice in a row (+update docs)
- docs bogus_log.frequent(): we format tables differently (old change)

policy docs: rewrite the section about logging actions

Partly to document changes from recent changes,
partly to fix long-lasting issues in the descriptions.
Hopefully it will be easier to understand now.

policy trace-logging improvements

The logs can be triggered from policy actions, in per-request fashion:
- they're on LOG_DEBUG level but always sent, regardless of log config
- those messages will show double group tags: "[reqdbg][foo   ]"
  (but they lack proper meta-data - about location of the log's origin)
- reqdbg is *in addition* to normal logs, so the lines may be duplicated
  if that's how the logging was configured

lib/log: add [rdebug] group

It's special: always on and not shown in log_groups() output.

It's been quite a long fight to find how to best deal with such
a special case (from user perspective; code itself is easy).

trace_log: include the "[group]" tag in the messages

lua kr_request_t::selected:tostring(): adjust style

The result gets logged as a single multi-line message,
so let's not repeat any prefix on (some of) those in-the-middle lines.

lib/log kr_log_fmt(): pass parameters more properly

Systemd docs say:
> Those arguments must contain valid journal entries including
> the variable name, e.g. "CODE_FILE=src/foo.c", [...]

I tried that passing all three strings empty (without variable name)
wouldn't result into the line getting logged; the suggested style does.

lib/log nit: fix order of the levels

I suspect it was me who broke the ordering here.

adjust RR-dumping style a little

The former "default" dumping style isn't really used anywhere in Knot.
The only visible difference is that RRSIGs are now logged *without*
replacing their TTLs by the original non-decremented TTL values.
That can avoid some confusion when reading debug logs.
(Those original TTLs are still shown a bit further on each line.)

daemon: fix --version output

Logging is not set up at this point; it wouldn't be shown unless
preceded by -v/--verbose.

Merge branch 'nits' into 'master'

various tiny changes

See merge request knot/knot-resolver!1200

ci build:macOS: skip in security repo

Code wouldn't be leaked.  We'd just send the branch name to GH servers.
Still, it' better to skip the step.

lua kres.type: add new constants

This is all that's missing in comparison to enum knot_rr_type.
For now I didn't remove types that aren't present there (anymore),
even though noone would miss them, most likely.

doc/build: add a couple optional dependencies

Also improve a few details.

dnstap: avoid a false-positive warning

../modules/dnstap/dnstap.c: In function 'dnstap_config':
../modules/dnstap/dnstap.c:410:29: warning: 'strndup' specified bound 4096 exceeds source size 17 [-Wstringop-overread]
  410 |                 sock_path = strndup(DEFAULT_SOCK_PATH, PATH_MAX);
      |                             ^
../modules/dnstap/dnstap.c:423:37: warning: 'strndup' specified bound 4096 exceeds source size 17 [-Wstringop-overread]
  423 |                         sock_path = strndup(DEFAULT_SOCK_PATH, PATH_MAX);
      |                                     ^

We don't need to restrict our built-in path defaults to PATH_MAX
characters, as they just can't be that long and it's not an issue if we
shoot over it anyway - opening such a file would only fail.

Merge branch 'kres_gen_test-cross' into 'master'

daemon/lua/meson.build: disable kres_gen_test on cross

See merge request knot/knot-resolver!1198

daemon/lua/meson.build: disable kres_gen_test on cross

I considered switching it to our usual 3-option combo,
but that way didn't really seem useful.

daemon/lua/meson.build: whitespace

I didn't intend to use this mix of tabs and spaces for indentation.

Merge branch 'no-doh' into 'master'

fix build without doh2 support

See merge request knot/knot-resolver!1197

fix build without doh2 support

Merge branch 'release-5-4-0' into 'master'

release 5.4.0

See merge request knot/knot-resolver!1196

release 5.4.0

distro/tests: switch to a more reliable domain with broken DNSSEC

Merge branch 'doh-free-headers' into 'master'

daemon/http: ensure HTTP headers are freed

See merge request knot/knot-resolver!1191

daemon/http: fix crash on large buffers and document logic issues

daemon/http: add more info to debug messagess

daemon/http: add helper assert to detect potential memleak

daemon/worker: ensure HTTP headers are freed on ignored queries

Ignored queries never call create_request() where ownership of headers
is taken care of. They need to be explicitly cleared instead, because
we're the owners of the pointer here.

daemon/http: refactor submitting to wirebuffer

daemon/http: ensure missing variable in URI is treated as error

daemon/http: ensure headers are freed

daemon/http: refactor freeing headers into function

Merge branch 'fine-grained-logging' into 'master'

Fine grained logging

See merge request knot/knot-resolver!1181

logging: update kres-gen-31.lua

lua logging: expand the printf in lua already

- we've been using lua's formatting so far, so avoid changing that
- some lua values would be harder to format with the C style

lib/utils logging nit: use another logging group

Our randomness utils have nothing to do with TLS, so let's use SYSTEM.

lib/log.h: improve readability (hopefully)

* improve order
  - follow grouping of topics more closely (targets, groups, levels)
  - order kr_log_LEVEL by severity
* move unneeded <stdarg.h>
* improve doc-comments
  - some claims there were even wrong now
  - describe some log levels at kr_log_LEVEL

lib/log kr_log_name2grp(): return -1 on failures

Let's be consistent witk kr_log_name2level()
and even generally we tend to use negative numbers for errors.

lib/log level names: disregard SYSLOG_NAMES

It's a non-standard feature of syslog.h and I don't think it's worth
the trouble.

We didn't really utilize it; someone would have to #define it,
and moreover we would get into problems if this wasn't being done
the same on all places including log.h.
Making the names adapt to the platform would also mean that
config files and docs wouldn't be portable.

Also make kr_log_level2name() return const.

lib/log.h nit: tweak macro for __LINE__

- we don't need doubling the layer in this case,
  as the SD_JOURNAL_METADATA macro adds a layer already
- `TO_STR` was perhaps a too short name and could collide

doc: add changes revelant for custom modules

logging: linter nitpicks

logging: add lua API test coverage

logging: use log_groups() lua API

Use a single call as a setter and getter for log groups.

logging: use log_target() lua API

Refactor into more consistent lua API.

log: use log_level() lua API

Using a single function to get/set values is more consistent with our
existing lua API rather than having two separate set and get functions.

treewide: avoid using the deprecated verbose()

It's mainly in tests.

lib/log: redesign startup and target selection

- add lua set_log_target() + docs
- default to 'stderr' (manual runs)
- switch to 'syslog' in distro-preconfig.lua
- a few minor tweaks

lib/log detail: avoid a bit of duplication

lib/log.h: avoid defining types without kr_ prefix

Probably, it seems "more consistent".
Some defines still don't have it, but I left those.

log: use kr_log_crit instead of kr_log_fatal

lib/log: slightly improve log group description and their ordering

doc: logging

doc: log() functions

etc/config: Remove log functions

log: add log functions and LOG_GRP_MODULE group for users's modules
logging

lib/utils: drop a pair of unused macros

treewide: replace VERBOSE_STATUS, WITH_VERBOSE, etc.

The main problem there was ignoring the log groups,
and VERBOSE_STATUS also ignores trace-logging.
Typically the new kr_log_is_debug*() are the best choice.

In a couple places with heavy WITH_VERBOSE usage it's
instead locally redefined to consider the right group.

validate: add kr_rrset_validation_ctx_t::log_qry

... so we can use it for more precise logging.  Some calls get simpler.
In particular, without the associated request, we can't produce anything
into trace-logs, which could be confusing.  Normal logs will benefit, too.
(more precise replacement of WITH_VERBOSE will come in a subsequent commit)

lib/log: add kr_log_is_debug*()

... and optimize a suspect hot path (through VERBOSE_MSG)

lib/log: make trace-logging not prevent normal logging

I think it's an old issue, but why not fix it now.
I believe it's better when these two are "independent".

Removed comment: once upon a time it belonged to auto_free
and similar macros, but somehow it survived various moves.

rework logging from control sockets (+simplify)

- unify interactive mode to stdout
- use its own logging group
- elevated log level when the command throws an exception
- don't try detecting that the logs go back into the same console
  (yes, in that case you can see some lines twice)
- don't make the binary mode turn off logging

QRVERBOSE: fix ignoring the log groups

It would be yet another condition to check; overall I think the
necessary checks would get too complex to be done in a macro
and therefore copied all over the place.

Note: it's interesting that such a change reduces binary size
by about 3% (on master), and I suspect that speed won't suffer at all
(after that TODO is done).

lib/log: typing improvements

- const for names of log groups
- enum kr_log_group for a single log group
- the kr_log_groups bitmap doesn't need to be exposed or even exported
- return bool instead of int

logging: fix GNUTLS logging

- ensure gnutls logging can be turned on/off by using GNUTLS log group
- keep TLS / TLSCLIENT as log groups for our TLS logs and use GNUTLS
  instead

logging: use LOG_GRP_HTTP for http lua module

It's better to use separate log group, to separate between logs that
come from the lua module vs native C implementation. It is also more
descriptive, since http modules is used for other stuff besides its
deprecated DoH.

logging: nitpicks

logging: use dedicated DOTAUTH log for experimental auth DoT

logging: rename *_log_groups() function to plural

Plural makes more sense to me here, since it can take a table with
multiple entries as input.

logging: add test for log groups

Besides testing the API, running this test also ensures all log groups
have been properly defined (as long as kr_assertions are turned on).

logging: add missing LOG_GRP_PLAN

logging: fix get_log_group()

To ensure all log groups have been properly defined, iterate over the
entire enum. If a value is missing, assert will be triggered.

Also fixes groups with number >=32 (32bit value was used to test
whether group is set before).

logging: add LOG_GRP_DEVEL

This serves two purposes:

1. As a utility logger during development.
2. As the last entry in enum - to make iteration over the values
   possible. Changing the value of LOG_GRP_DEVEL shouldn't be an issue,
   since it shouldn't be used in production code.

logging: print group name padded to 6 characters

Add space padding when printing the group name to allow usage of
regular group names in lua code (e.g. "io" instead of "io    ").

logging: add get_log_group() with better API

The function returns a table where key is the group name and the value
is either true (when logging selected group), or nil (when group isn't
selected).

This replaces the list_log_group() which didn't really work.

logging: ensure get/set_log_level behaves consistently

Ensure both these functions return string that represents the log level.

Also avoid using printf - it'd probably break API when using map().

lib: make NOTICE the default log level

I think notice is a good default - it should be used for scarce messages
that the user should see, while info level provides more low level info.

It could make sense to increase the log level to info if running with
journalctl (but it might be overkill).

daemon/main: log interactive message properly

log: fix kr_log_fmt SIGSEGV crash

log: use kr_log_debug instead kr_log_verbose

log: fix CI tests

log: lua logging

log: fix CI tests