http: fix forgotten doh config tests

http: update docs

http: respect socket type provided by net.listen() and systemd

tests: disable output buffering in config tests

Output buffering in tests made debugging much harder because crash in
middle of operation discarded while buffer and left us without a trace
what was going on.

http: handle socket closure from net.close()

http: use sockets from net.listen()

We still need to somehow solve socket closure etc.

http: config templates

Add interface for providing different named configuration sets.
This will be handy once we start getting named sockets from systemd.

http: new function to merge config sets

http: remove obsolete function interface()

http: remember server config in http.servers table

lua net.listen() tweaks (+docs)

lua net.list(): change output and docs

Now we hopefully won't need to touch it for a long time.

lua net.close(): multiple fixes

- allow omitting port number
- sync docs
- fix memory leak
- fix with kind != NULL

daemon: support for more endpoint kinds

daemon/bindings: add lua_pushpointer()

Originally it's from another branch.

simplify approach to bind()

The complication is that we need to work with addresses and
just file-descriptors passed from some parent process.
The former approach lead to logical duplication of some steps;
now we add a step converting addresses to file-descriptors.
Thanks to that we always do bind() without touching libuv,
so the problem with forking disappears :-)

net.listen(): return false on failure, not nil

That was against docs.  Fortunately, nil is falsy.

Merge branch 'net-interfaces-mac' into 'master'

lua net.interfaces(): fix mac addresses

See merge request knot/knot-resolver!804

lua net.interfaces(): fix mac addresses

Only the first byte was being shown since 3ab77332.
I can't see at all why this part was changed;
the buffer is (and was) way overlong for this,
so writing one zero byte just after the end is OK.

Merge branch 'alignof' into 'master'

lib/generic/lru: try to resolve alignof warnings

See merge request knot/knot-resolver!802

lib/generic/lru: try to resolve alignof warnings

We run meson with -std=gnu11, but apparently some compiler still
complained about it.  Unfortunately it wouldn't be easy to use
standard C11 in this case.

Merge branch 'lua-light-userdata_4.0.0' into 'master'

parts of !797: lua light userdata WIP

See merge request knot/knot-resolver!800

document module API+ABI changes

modules/README.rst: quick full-pass review

lua module layers: avoid incorrect returns on errors

The layer functions are supposed to return the new state.
We've been lucky that errors are negative numbers and thus
they typically passed the (status & KR_STATE_FAIL) test.

module API+ABI: remove one level of indirection

... for layers and props.  This breaks C module API+ABI.

It seemed weird to repeatedly call a function that returns a pointer
to a structure in which we find the function we want to actually call.
We've never used changing these functions AFAIK, and the target
functions could easily be written to change their behavior instead
(i.e. move the indirection *inside* the function).

When breaking this, I also removed these two (_layers and _props)
from the dynamic symbols (to be) exported from the C modules.
They always pointed to memory belonging inside the module,
and they seem quite sensible to be set up by the _init symbol instead.

Merge branch 'dnstap-turris' into 'master'

dnstap: fix compilation on Turris Omnia

Closes #458

See merge request knot/knot-resolver!805

dnstap: fix compilation on Turris Omnia

Fixes: #458

Merge !801: more table print improvements

table_print: also print function addresses

It gets handy for debugging, especially when looking at dufferent
callback "instances".

table_print: do not run hook for C functions

It would be pointless anyway as it cannot provide more information.

table_print: simplification

As far as I understand the debug.sethook('call') descrption we are not
going to have any locals except function parameters so we can simplify
the code.

table_print: simplify vararg handling

table_print: indicate that C functions do not have parameters available

table_print: fix indentation

Merge branch 'doh_experiment' into 'master'

DNS-over-HTTP support (server side)

Closes #280

See merge request knot/knot-resolver!799

doh: example how to listen on all addresses

doh: fix error handling around empty POST

fixup! modules/http DoH: allocate req.qsource on req.pool

Change handling of the inability to get address;
it happens occasionally and the traces were disruptive.

fixup! modules/http DoH: allocate req.qsource on req.pool

modules/http DoH: allocate req.qsource on req.pool

The problem is that C structures are not scanned by lua GC,
so we'd have to keep these alive in some other way; therefore
it's simpler to just use the mempool.

lib/utils kr_straddr_socket(): support mempools

"Unfortunately", for FFI-bound C functions there it doesn't hold that
missing parameters would be converted to nil/NULL.
Still, this function seems unlikely to have been used outside the repo.

lua resolve*(): fix a problem with JIT

It caused crashes somewhere inside LuaJIT or the JIT-ed code.

doh: add docs

http: print nice error if cert exists but key does not

doh: cleanup, removing unused Lua variables

doh: limit max query size to 1024 B

The value is kind of arbitrary, as precaution. 64k value was causing
cqueues to close connections with GET requests with "Broken pipe"
and it seems to work with 1024 B.

doh: code cleanup, merging resolve_pkt and resolve

doh: polish timeouts

doh: remove devel output

stats: collect stats on inbound transport protocol

doh: remember source transport

doh: test RFC 8484 section 6 - huge answers

doh: make client and server address available to modules

This will allow modules like view etc. work in the same way with packets
received over HTTP.

doh: fix memory leaks

doh: send out HTTP TTL

We intentionally compute max-age header as minimum over all RRs, doing
so only over ANSWER section does not make sense (and RFC 8484 allows us
to do so).

doh: GET support, breaks on large payloads

This seems to be a limitation in cqueues but we have to confirm this.

doh: checks around POST HTTP method

fixup! WIP: DoH experiment

cache: fix incorrect TTL of positive packets in cache

It's a regression of b00ee5fa8 (v3.0.0).  Fortunately, since that
version we use cache for positive packets only when they are BOGUS
(see `bool want_pkt =`) so that they're available for +cd queries.
Therefore the impact was really negligible, until the DoT module.

DoH experiment

First version which actually works with Firefox DoH in default
configuration.

Limitations:
- does not support HTTP GET method
- headers for HTTP cache are not generated
- error handling is largely missing
- no tests
- ACLs will not work, modules do not see source IP address of the HTTP
endpoint

Merge branch 'table_print' into 'master'

Usability improvements for table_print

See merge request knot/knot-resolver!790

fixup! sandbox: table_print prints function signatures instead of pointers

fixup! sandbox: table_print sorts table keys

sandbox: table_print prints function signatures instead of pointers

This does not work with C functions etc. but it seems that we do not
expose them directly in Lua interface for users.

sandbox: table_print sorts table keys

This makes it much easier to navigate in complex data structures.
AFAIK table_print is not used for anything except user interface so it
is not performance critical and we can re-sort table every time.

Merge branch 'deb-pkging-cleanup' into 'master'

drop libkres9 and libkres-dev packages

See merge request knot/knot-resolver!795

drop libkres9 and libkres-dev packages

Debian packaging as of 3.2.1-3 is no longer shipping libkres9 or
libkres-dev (see https://bugs.debian.org/923970).  This brings the
upstream debian-style packaging in line with the Debian packaging on
that front.

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

Merge branch 'ds-algo-nodata' into 'master'

validate nitpick fix: unsupported algo edge case

See merge request knot/knot-resolver!798

validate nitpick fix: unsupported algo edge case

kr_dnskeys_trusted() semantics is changed, but I do NOT consider that
a part of public API.

Go insecure due to algorithm support even if DNSKEY is NODATA.
I can't see how that's relevant to practical usage, but I think this new
behavior makes more sense.  We still do try to fetch the DNSKEY even
though we have information about its un-usability beforehand.
I'd consider fixing that a premature optimization.
We'll still be affected if the DNSKEY query SERVFAILs or something.

Thanks to PowerDNS people for catching this!

Merge branch 'pytests-check-gnutls' into 'master'

pytests: check minimum required gnutls version

Closes #457

See merge request knot/knot-resolver!796

pytests: check minimum required gnutls version

Add a message to make extra requirements clear instead of throwing
a compilation error.

Closes #457

Merge branch 'key-rollover' into 'master'

daemon/lua/trust_anchors: don't crash when dealing with unknown algorhitm

Closes #449

See merge request knot/knot-resolver!788

trust_anchors: update Deckard to take ta_update module into account

trust_anchors: improve error messages

trust_anchors: add explanatory error messages for removed functions

unify error message format between between C and Lua

User-friendly error message is intentionally at the end so users,
typically looking at the last line in logs, can see immediatelly what
happened.

trust_anchors: do not accept add_file() for managed TA without ta_update module

Previous version would add the TA and then print error message, which is
not expected.

meson: config_tests - remove obsolete args, retuncode checks

trust_anchrors/bootstrap.test: fix test

WIP: test/integration: update deckard

ci: fix luacheck

ta_update.test: increase time for testing in CI

ta_update: abort update if keyset is no longer managed

ta_update: remove useless initialization

It's impossible to add managed keysets unless ta_update is loaded,
in which case ta_update.start() is called by trust_anchors.add_file().

On ta_update unload, previously managed keys are flagged as unmanaged.

doc/upgrading: document removal of -k and -K

trust_anchors: remove syntactic sugar and duplicity

trust_anchors: always load keyfile_default

trust_anchors: make sure to stop tracking managed key when overriding it

daemon: remove -k/-K options

Since DNSSEC is now enabled by default and always loads the
keyfile_default specified during compilation, these options are
obsolete.

Use trust_anchors.add_file() in config file if you require this
functionality.

scripts/launch-test-instance: remove obsolete script

ta_update: polish test

trust_anchors: rename distrust to remove

trust_anchors: document distrust and polish related docs

ta_update: remove parameter refresh_plan(is_initial)

It was unused since cleanup in trust_anchors and just cluttering the code.

trust_anchors: use cleaner interface between ta_update and trust_anchors module

+ tests

Exracting RFC 5011 to separate module was a good opportunity for
cleanup.

trust_anchors: add distrust function to remove TA

trust_anchors: do not bootstrap if root TA exists

Previously a typo in keyfile path triggered re-bootstrap even if root TA
was already installed.

trust_anchors: get rid of double negation in add_file()

This simple change makes it easier to follow what the code does.

ci: luacheckrc - organize, add ta_update