daemon/http: refactor submitting to wirebuffer

daemon/http: ensure missing variable in URI is treated as error

daemon/http: ensure headers are freed

daemon/http: refactor freeing headers into function

Merge branch 'fine-grained-logging' into 'master'

Fine grained logging

See merge request knot/knot-resolver!1181

logging: update kres-gen-31.lua

lua logging: expand the printf in lua already

- we've been using lua's formatting so far, so avoid changing that
- some lua values would be harder to format with the C style

lib/utils logging nit: use another logging group

Our randomness utils have nothing to do with TLS, so let's use SYSTEM.

lib/log.h: improve readability (hopefully)

* improve order
  - follow grouping of topics more closely (targets, groups, levels)
  - order kr_log_LEVEL by severity
* move unneeded <stdarg.h>
* improve doc-comments
  - some claims there were even wrong now
  - describe some log levels at kr_log_LEVEL

lib/log kr_log_name2grp(): return -1 on failures

Let's be consistent witk kr_log_name2level()
and even generally we tend to use negative numbers for errors.

lib/log level names: disregard SYSLOG_NAMES

It's a non-standard feature of syslog.h and I don't think it's worth
the trouble.

We didn't really utilize it; someone would have to #define it,
and moreover we would get into problems if this wasn't being done
the same on all places including log.h.
Making the names adapt to the platform would also mean that
config files and docs wouldn't be portable.

Also make kr_log_level2name() return const.

lib/log.h nit: tweak macro for __LINE__

- we don't need doubling the layer in this case,
  as the SD_JOURNAL_METADATA macro adds a layer already
- `TO_STR` was perhaps a too short name and could collide

doc: add changes revelant for custom modules

logging: linter nitpicks

logging: add lua API test coverage

logging: use log_groups() lua API

Use a single call as a setter and getter for log groups.

logging: use log_target() lua API

Refactor into more consistent lua API.

log: use log_level() lua API

Using a single function to get/set values is more consistent with our
existing lua API rather than having two separate set and get functions.

treewide: avoid using the deprecated verbose()

It's mainly in tests.

lib/log: redesign startup and target selection

- add lua set_log_target() + docs
- default to 'stderr' (manual runs)
- switch to 'syslog' in distro-preconfig.lua
- a few minor tweaks

lib/log detail: avoid a bit of duplication

lib/log.h: avoid defining types without kr_ prefix

Probably, it seems "more consistent".
Some defines still don't have it, but I left those.

log: use kr_log_crit instead of kr_log_fatal

lib/log: slightly improve log group description and their ordering

doc: logging

doc: log() functions

etc/config: Remove log functions

log: add log functions and LOG_GRP_MODULE group for users's modules
logging

lib/utils: drop a pair of unused macros

treewide: replace VERBOSE_STATUS, WITH_VERBOSE, etc.

The main problem there was ignoring the log groups,
and VERBOSE_STATUS also ignores trace-logging.
Typically the new kr_log_is_debug*() are the best choice.

In a couple places with heavy WITH_VERBOSE usage it's
instead locally redefined to consider the right group.

validate: add kr_rrset_validation_ctx_t::log_qry

... so we can use it for more precise logging.  Some calls get simpler.
In particular, without the associated request, we can't produce anything
into trace-logs, which could be confusing.  Normal logs will benefit, too.
(more precise replacement of WITH_VERBOSE will come in a subsequent commit)

lib/log: add kr_log_is_debug*()

... and optimize a suspect hot path (through VERBOSE_MSG)

lib/log: make trace-logging not prevent normal logging

I think it's an old issue, but why not fix it now.
I believe it's better when these two are "independent".

Removed comment: once upon a time it belonged to auto_free
and similar macros, but somehow it survived various moves.

rework logging from control sockets (+simplify)

- unify interactive mode to stdout
- use its own logging group
- elevated log level when the command throws an exception
- don't try detecting that the logs go back into the same console
  (yes, in that case you can see some lines twice)
- don't make the binary mode turn off logging

QRVERBOSE: fix ignoring the log groups

It would be yet another condition to check; overall I think the
necessary checks would get too complex to be done in a macro
and therefore copied all over the place.

Note: it's interesting that such a change reduces binary size
by about 3% (on master), and I suspect that speed won't suffer at all
(after that TODO is done).

lib/log: typing improvements

- const for names of log groups
- enum kr_log_group for a single log group
- the kr_log_groups bitmap doesn't need to be exposed or even exported
- return bool instead of int

logging: fix GNUTLS logging

- ensure gnutls logging can be turned on/off by using GNUTLS log group
- keep TLS / TLSCLIENT as log groups for our TLS logs and use GNUTLS
  instead

logging: use LOG_GRP_HTTP for http lua module

It's better to use separate log group, to separate between logs that
come from the lua module vs native C implementation. It is also more
descriptive, since http modules is used for other stuff besides its
deprecated DoH.

logging: nitpicks

logging: use dedicated DOTAUTH log for experimental auth DoT

logging: rename *_log_groups() function to plural

Plural makes more sense to me here, since it can take a table with
multiple entries as input.

logging: add test for log groups

Besides testing the API, running this test also ensures all log groups
have been properly defined (as long as kr_assertions are turned on).

logging: add missing LOG_GRP_PLAN

logging: fix get_log_group()

To ensure all log groups have been properly defined, iterate over the
entire enum. If a value is missing, assert will be triggered.

Also fixes groups with number >=32 (32bit value was used to test
whether group is set before).

logging: add LOG_GRP_DEVEL

This serves two purposes:

1. As a utility logger during development.
2. As the last entry in enum - to make iteration over the values
   possible. Changing the value of LOG_GRP_DEVEL shouldn't be an issue,
   since it shouldn't be used in production code.

logging: print group name padded to 6 characters

Add space padding when printing the group name to allow usage of
regular group names in lua code (e.g. "io" instead of "io    ").

logging: add get_log_group() with better API

The function returns a table where key is the group name and the value
is either true (when logging selected group), or nil (when group isn't
selected).

This replaces the list_log_group() which didn't really work.

logging: ensure get/set_log_level behaves consistently

Ensure both these functions return string that represents the log level.

Also avoid using printf - it'd probably break API when using map().

lib: make NOTICE the default log level

I think notice is a good default - it should be used for scarce messages
that the user should see, while info level provides more low level info.

It could make sense to increase the log level to info if running with
journalctl (but it might be overkill).

daemon/main: log interactive message properly

log: fix kr_log_fmt SIGSEGV crash

log: use kr_log_debug instead kr_log_verbose

log: fix CI tests

log: lua logging

log: fix CI tests

log: shortening LOG_GRP_<SOMETHING> to <SOMETHING>

log: remove hard-coded prefix from log messages

log: add level prefix to each message

log: remove NOVERBOSELOG option

log: lua: add list_log_group

log: groups lua interface

log: fix journal metadata

log: split to groups

log: lua interface

log: add syslog target, systemd

log: remove kr_verbose_status

log: remove kr_verbose_set

log: add log levels

Merge branch 'uv_timer_t-corruption' into 'master'

daemon/session: fix an issue with timers

See merge request knot/knot-resolver!1195

daemon/session: fix an issue with timers

The practical problem was also mitigated by libuv >= 1.32.0 (2ee2d46)

Merge branch 'knot-master' into 'master'

utils/cache_gc nit: use dynarray from libknot 3.1

See merge request knot/knot-resolver!1194

utils/cache_gc nit: use dynarray from libknot 3.1

It's compatible, so the only real effect is avoiding compiler:
warning: "DYNARRAY_VISIBILITY_PUBLIC" redefined

Merge branch 'knot-master' into 'master'

support Knot DNS master (3.1)

See merge request knot/knot-resolver!1192

daemon/lua/kres-gen: support two versions based on Knot

ci/debian-*/Dockerfile: fix build with KNOT_BRANCH=master

The go stuff probably never worked on buster and we just forgot to test.

daemon: fix XDP includes for libknot master

This part is fully compatible with 3.0, fortunately.
It was insufficient inclusion on our side anyway, working by accident.

Merge branch 'p/kres_gen_test' into 'master'

meson.build: add a simple sanity check of kres-gen result

See merge request knot/knot-resolver!1190

meson.build: add a simple sanity check of kres-gen result

daemon/lua/kres-gen.lua: make it self-contained

Now those type definitions can be simply loaded without any error, e.g.
luajit daemon/lua/kres-gen.lua
That will be useful for checking them without regenerating them.

Merge branch 'ci-rocky-8' into 'master'

ci: packaging test for RockyLinux 8

See merge request knot/knot-resolver!1187

ci/pkgtest: omit installing debug and devel packages

ci: add rocky-8 pkgtest

Merge branch 'apkg-nix' into 'master'

add nix: apkg + CI

See merge request knot/knot-resolver!1189

ci/pkgtest: add nix

For now just a simple docker-based build, atop nixos-unstable
(for now my nixpkgs branch that also adds apkg itself).

distro/pkg/nix: add

- Support is in apkg master now.
- The generated default.nix is exactly as in the distro:
  https://github.com/NixOS/nixpkgs/blob/master/pkgs/servers/dns/knot-resolver/default.nix
  (except for new version+hash, and one test needed a tweak since 5.3.2)

Merge branch 'ci-arm' into 'master'

ci: test on armhf and arm64

See merge request knot/knot-resolver!1186

ci: attempt to make CI more robust by reducing paralelism

Some tests (typically those using network) ocassionally fail due to
timeouts, which is probably due to increased CI load - perhaps reducing
it could make the tests more stable.

ci: disable ta_bootstrap on 32bit ARM

The test attempts to use the timestamp 2050-12-31T23:59:59, which can't
be represented with 32bit time_t due to Year 2038 problem.

printf: use platform independent length modifiers

Make sure we use the correct lemgth modifiers to support both 32b and
64b architectures.

ci: test on armhf and arm64

Merge branch 'ci-pkgtest-archive' into 'master'

ci: make the pkgbuild jobs re-use the archive (job)

See merge request knot/knot-resolver!1188

ci: make the pkgbuild jobs re-use the archive (job)

The child pipelines behave a bit differently than expected,
in this respect.

Merge branch 'policy-flags' into 'master'

policy.FLAGS: fix not applying properly in edge cases

See merge request knot/knot-resolver!1179

policy.REQTRACE docs: fix incorrect claims

The requests get traced even without verbose logging.
I expect it was a copy&paste mistake from QTRACE docs.

policy.FLAGS: fix not applying properly in edge cases

Perhaps this bug was now more pronounced since 5.3.0 changes.
Example problem was disabling minimization or 0x20 (globally or
for some problematic requests); without this change they would get
re-enabled during some fallback actions... which might be exactly
the wrong moment wrt. the motivation to setting these.
https://gitter.im/CZ-NIC/knot-resolver?at=60a221e86a950f3d46ed1cd9

Merge branch 'selection-txn' into 'master'

lib/selection: be more careful with RO transactions

See merge request knot/knot-resolver!1184

lib/selection: be more careful with RO transactions

They probably couldn't hang open for long, as each client request
should cause some cache-searching and thus close it, and even with
queries stopping I haven't managed to find a case where it would be
left open but... it's nicer to clean up and it should be very cheap.

Merge branch 'task-refcount-minimal' into 'master'

daemon/worker: fix a memory leak

See merge request knot/knot-resolver!1182

daemon/worker: fix a memory leak

Discovered case: TCP write towards upstream fails due to ECONNRESET,
and on this place of code we "forget" the whole qr_task and thus its
corresponding kr_request, so it remains unanswered and using memory.

Merge branch 'ci-centos8' into 'master'

ci: allow failure of CentOS 8 packaging tests

See merge request knot/knot-resolver!1185