fixup! modules/http DoH: allocate req.qsource on req.pool

modules/http DoH: allocate req.qsource on req.pool

The problem is that C structures are not scanned by lua GC,
so we'd have to keep these alive in some other way; therefore
it's simpler to just use the mempool.

lib/utils kr_straddr_socket(): support mempools

"Unfortunately", for FFI-bound C functions there it doesn't hold that
missing parameters would be converted to nil/NULL.
Still, this function seems unlikely to have been used outside the repo.

lua resolve*(): fix a problem with JIT

It caused crashes somewhere inside LuaJIT or the JIT-ed code.

doh: add docs

http: print nice error if cert exists but key does not

doh: cleanup, removing unused Lua variables

doh: limit max query size to 1024 B

The value is kind of arbitrary, as precaution. 64k value was causing
cqueues to close connections with GET requests with "Broken pipe"
and it seems to work with 1024 B.

doh: code cleanup, merging resolve_pkt and resolve

doh: polish timeouts

doh: remove devel output

stats: collect stats on inbound transport protocol

doh: remember source transport

doh: test RFC 8484 section 6 - huge answers

doh: make client and server address available to modules

This will allow modules like view etc. work in the same way with packets
received over HTTP.

doh: fix memory leaks

doh: send out HTTP TTL

We intentionally compute max-age header as minimum over all RRs, doing
so only over ANSWER section does not make sense (and RFC 8484 allows us
to do so).

doh: GET support, breaks on large payloads

This seems to be a limitation in cqueues but we have to confirm this.

doh: checks around POST HTTP method

fixup! WIP: DoH experiment

cache: fix incorrect TTL of positive packets in cache

It's a regression of b00ee5fa8 (v3.0.0).  Fortunately, since that
version we use cache for positive packets only when they are BOGUS
(see `bool want_pkt =`) so that they're available for +cd queries.
Therefore the impact was really negligible, until the DoT module.

DoH experiment

First version which actually works with Firefox DoH in default
configuration.

Limitations:
- does not support HTTP GET method
- headers for HTTP cache are not generated
- error handling is largely missing
- no tests
- ACLs will not work, modules do not see source IP address of the HTTP
endpoint

Merge branch 'table_print' into 'master'

Usability improvements for table_print

See merge request knot/knot-resolver!790

fixup! sandbox: table_print prints function signatures instead of pointers

fixup! sandbox: table_print sorts table keys

sandbox: table_print prints function signatures instead of pointers

This does not work with C functions etc. but it seems that we do not
expose them directly in Lua interface for users.

sandbox: table_print sorts table keys

This makes it much easier to navigate in complex data structures.
AFAIK table_print is not used for anything except user interface so it
is not performance critical and we can re-sort table every time.

Merge branch 'deb-pkging-cleanup' into 'master'

drop libkres9 and libkres-dev packages

See merge request knot/knot-resolver!795

drop libkres9 and libkres-dev packages

Debian packaging as of 3.2.1-3 is no longer shipping libkres9 or
libkres-dev (see https://bugs.debian.org/923970).  This brings the
upstream debian-style packaging in line with the Debian packaging on
that front.

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

Merge branch 'ds-algo-nodata' into 'master'

validate nitpick fix: unsupported algo edge case

See merge request knot/knot-resolver!798

validate nitpick fix: unsupported algo edge case

kr_dnskeys_trusted() semantics is changed, but I do NOT consider that
a part of public API.

Go insecure due to algorithm support even if DNSKEY is NODATA.
I can't see how that's relevant to practical usage, but I think this new
behavior makes more sense.  We still do try to fetch the DNSKEY even
though we have information about its un-usability beforehand.
I'd consider fixing that a premature optimization.
We'll still be affected if the DNSKEY query SERVFAILs or something.

Thanks to PowerDNS people for catching this!

Merge branch 'pytests-check-gnutls' into 'master'

pytests: check minimum required gnutls version

Closes #457

See merge request knot/knot-resolver!796

pytests: check minimum required gnutls version

Add a message to make extra requirements clear instead of throwing
a compilation error.

Closes #457

Merge branch 'key-rollover' into 'master'

daemon/lua/trust_anchors: don't crash when dealing with unknown algorhitm

Closes #449

See merge request knot/knot-resolver!788

trust_anchors: update Deckard to take ta_update module into account

trust_anchors: improve error messages

trust_anchors: add explanatory error messages for removed functions

unify error message format between between C and Lua

User-friendly error message is intentionally at the end so users,
typically looking at the last line in logs, can see immediatelly what
happened.

trust_anchors: do not accept add_file() for managed TA without ta_update module

Previous version would add the TA and then print error message, which is
not expected.

meson: config_tests - remove obsolete args, retuncode checks

trust_anchrors/bootstrap.test: fix test

WIP: test/integration: update deckard

ci: fix luacheck

ta_update.test: increase time for testing in CI

ta_update: abort update if keyset is no longer managed

ta_update: remove useless initialization

It's impossible to add managed keysets unless ta_update is loaded,
in which case ta_update.start() is called by trust_anchors.add_file().

On ta_update unload, previously managed keys are flagged as unmanaged.

doc/upgrading: document removal of -k and -K

trust_anchors: remove syntactic sugar and duplicity

trust_anchors: always load keyfile_default

trust_anchors: make sure to stop tracking managed key when overriding it

daemon: remove -k/-K options

Since DNSSEC is now enabled by default and always loads the
keyfile_default specified during compilation, these options are
obsolete.

Use trust_anchors.add_file() in config file if you require this
functionality.

scripts/launch-test-instance: remove obsolete script

ta_update: polish test

trust_anchors: rename distrust to remove

trust_anchors: document distrust and polish related docs

ta_update: remove parameter refresh_plan(is_initial)

It was unused since cleanup in trust_anchors and just cluttering the code.

trust_anchors: use cleaner interface between ta_update and trust_anchors module

+ tests

Exracting RFC 5011 to separate module was a good opportunity for
cleanup.

trust_anchors: add distrust function to remove TA

trust_anchors: do not bootstrap if root TA exists

Previously a typo in keyfile path triggered re-bootstrap even if root TA
was already installed.

trust_anchors: get rid of double negation in add_file()

This simple change makes it easier to follow what the code does.

ci: luacheckrc - organize, add ta_update

nitpick: modules/ta_update - unify log message format

modules/ta_update: remove all asserts

tests/integration: update kresd config for deckard

lua/trust_anchors: use tabs everywhere

daemon/lua/trust_anchors: write keyset after bootstrap

modules/ta_update: move RFC5011 to a separate module

daemon/lua/trust_anchors: bootstrap TA immediately after startup

daemon/lua/trust_anchors: don't crash when dealing with unknown algorhitm

daemon/lua/trust_anchors.test.integr: test key rollover to unsupported algorhitm

Merge branch 'pytests-silent' into 'master'

pytests: omit verbose log for query flood test

See merge request knot/knot-resolver!793

pytests: omit verbose log for query flood test

Merge branch 'listen-on-tls' into 'master'

daemon: listen on TLS port 853 by default

See merge request knot/knot-resolver!792

daemon: listen on TLS port 853 by default

Merge branch 'ci-updates' into 'master'

ci: minor updates

See merge request knot/knot-resolver!791

ci: archive logs properly testlogs

ci: fix obs-devel nightly build

Merge branch 'meson-fix-includes' into 'master'

meson: use correct luajit includes from pkgconfig

See merge request knot/knot-resolver!789

ci/travis: update script to reflect API changes

meson: use correct luajit includes from pkgconfig

Merge branch 'nsrep-bugfix' into 'master'

nsrep: allow inclusion of good nameservers if there's space in selection

See merge request knot/knot-resolver!787

nsrep: allow inclusion of good nameservers if there's space in selection

The current algorithm doesn't work if there's 3 unknown nameservers in the
address selection set, and the 4th is known working with higher score
than unknown.

Merge branch 'netlist' into 'master'

change net.list() output format

Closes #448

See merge request knot/knot-resolver!786

daemon/network endpoint_array_t: decrease indirection

The extra pointer layer was useless.  Note: we couldn't put an UV handle
directly inside an array because their addresses can't be moved IIRC,
but we had it behind a pointer already.

daemon/network: enum endpoint_flag -> endpoint_flags_t

The dual UDP+TCP is completely eliminated except for the externally
exposed "APIs" - lua net.listen() and command-line parameters.

daemon/network: adapt _listen and _close to repeats

We could get multiple addr#port tuples even before the UDP+TCP split,
but now it would becom quite common, so the API needs to count on that.

daemon/network: stop using combined UDP+TCP endpoints

It was confusing, e.g. the new net.list() or net.bpf_set() were wrong.
Implementation cleanup: merge _fd variant into open_endpoint(),
as the code was repetitive and differed in unnecessary places.

daemon/io nitpick: more const in parameters

tests: adapt to change of net.list() output

daemon/bindings/net: change output format of net.list()

Merge !769: resolve: always send DO bit when iterating

Closes #153.

resolve nitpick: simplify deep nesting in query_finalize()

resolve: always send DO bit when iterating or forwarding

Merge branch 'dkg/update-dygraph' into 'master'

modules/http: bring dygraph in sync with upstream dygraph 2.1.0

See merge request knot/knot-resolver!783

modules/http: use upstream dygraph 2.1.0

For some reason, knot-resolver was shipping a copy of dygraph 2.1.0
that identified itself as 2.0.0.  This patch changes a single octet
(the minor version number) by fetching a clean copy from
http://dygraphs.com/2.1.0/dygraph.min.js.

modules/http: rename dygraph-combined.js to dygraph.min.js to match upstream

Since dygraph version 2.0.0, upstream dygraph has been calling their
shipped files dygraph.min.js (see http://dygraphs.com/download.html).

Use the standard upstream name.

Merge branch 'meson' into 'master'

meson build system

Closes #452, #451, #338, #290, #279, #212, and #350

See merge request knot/knot-resolver!771

gitlabci: use correct container version in resperf

docs: polish section Compiling from sources

docs: polish upgrade docs