doh2: replace references to obsolete DoH in docs, tests and example configs

Merge branch '554-lua-command-map-does-not-work' into 'master'

Reimplement map()

Closes #620 and #554

See merge request knot/knot-resolver!1000

tests: control socket test improvements

tests: fixes for control socket tests

Error handling inside the test was incorrent and a detected error would
blow up the test routine.

Related: !1011, 3f5a826d4cb859522d073503dcc40e5c59353511

NEWS: cleanup incompatible changes

graphite: adapt to to changes in map()

We don't have leader instance anymore, so each instance independently
provides Graphite statistics.

This commit also changes default Graphite prefix to solve problem
with conflicting instance names.

worker: migrate worker.id to string

It now contains either content of SYSTEMD_INSTANCE environment variable
or stringified version of getpid() value.

Main motivation is that the old worker.id was broken on systemd,
i.e. the default installation.

Related: #631

doc: document new command buffering scheme

Fixup for c0b5faf222dfa6e8db94838c18331e7147a37128.

http: adapt Prometheus to changes in map()

We don't have leader instance anymore, so any instance can provide
Prometheus statistics.

For performance reasons an instance does not store past statistics
when no client is connected to HTTP socket. As a consequence chart in
web interface is empty when client loads the page and then gradually
chart fills up.

prometheus: run on all instances

map: document internal use

systemd: control socket cleanup on exit

Obviously this is is racy and cannot be relied upon.
Caller still has to handle connection errors.

kluautil.list_dir: make it portable to non-Linux

gitignore: add missing files created by kresd when executed in worktree

New map() creates control/ sockets in current working directory so it
pollutes worktree when developers run it in worktree.

I've also added files with ephemeral certificates and pytests test report
which were missing as well.

map: tests

Three instances send commands and DNS queries to each other.

map: disallow commands with \n

Control protocol uses \n as command delimiter so we cannot allow \n
inside commands. Users should be able to Lua-escape \n with \010.

map: prevent crash on unrepresentable responses

Typical example of unrepresentable message is a Lua error.
E.g. error() called from kresc would lead to NULL message.

map: thorough error checking on control socket operations

tests: detect missing environment variable TEST_FILE

kluautil: remove hard depedency on lua-cqueues

For now we still attempt to support systems without lua-cqueues,
e.g. Ubuntu 16.04.

lua-http depends on lua-cqueues so the test for availability of lua-http
at the beginning of kr_https_fetch() should cover lua-cqueues as well.

tests: limit number of iterations for krprint.serialize_lua to please CI

We were exceeding CI time limit while running config tests under
Valgrind so let's see if smaller number of tests will get us through CI.

daf: adapt to changes in map result handling

map: logging for weird responses

map: rework result handling

map() command on leader instance now:
- detects call errors on followers
- detects unsupported number of return values
- detects unsupported data types which cannot be serialized
- keeps nil return values (signaled by table counter "n")

Fixes: #662

map: input command validation

Let's detect syntax errors before sending the command to all instances.

kluautil: table pack and unpack

Helper functions for handling variable length arrays with nil values.

map: stricter argument checking

tests: adapt config tests to new map()

map() now depends on presence of control sockets, and by default config
tests are executed with KRESD_NO_LISTEN=1 env var which prevents control
sockets from being created. Tests for features which depend on map() now
explicitly create their own control socket.

tests: improve process cleanup after config tests

Previously exit trap executed command "kill -9" even if there were no
leftover processes and this lead to clutter in logs because kill
complained about missing arguments.

As a bonus the cleanup routine now prints information about leftover
processes.

daemon: always listen on control socket, even in interactive mode

Reasons:
- It allows to run several kresd instances and use map() without
  worrying about instance parameters.
- It removes special case from map().

Proper functionality depends on changes in MR !1011.

krprint.serialize_lua: rename function parameter to on_unpresentable

new serialization method krprint.serialize_lua

Serializes: boolean, nil, number, string, table.
Skips all other types (functions, cdata, thread ...) and repeated
references to tables.

Resulting string should Lua-evaluate to identical objects.

map: use control sockets instead of pipe from parent process

This change allows map() to work with systemd integration.

As a bonus the new client implementation is based on Lua cqueues
allows caller to wrap map() in worker.corroutine() and get
asynchronous execution/avoid blocking main loop.

Currently socket communication does not employ timeouts so a hang
instance will lead to hang map() call. This does not affect query
processing _if_ map() is being run in worker.corroutine.

Fixes: #554
Fixes: #620

Merge branch '538-lower-default-edns-buffer-size-to-1232' into 'master'

daemon: lower EDNS buffer size to 1232

Closes #300 and #538

See merge request knot/knot-resolver!920

ci/respdiff: keep bufsize towards respdiff at 4K

Note: this commits affects just the small respdiffs, not the big ones.

docs: EDNS bufsize = 1232

daemon: lower EDNS buffer size to 1232

Merge branch 'forward-cname-sibling' into 'master'

fix SERVFAIL in *FORWARD modes with certain CNAME setup

Closes #614

See merge request knot/knot-resolver!1070

fix SERVFAIL in *FORWARD modes with CNAME to sibling zone

It failed on a CNAME to a sibling name that's a zone cut.
Fixed by a minimalistic approach - tweaking the conditions
to always ask each CNAME step separately when forwarding.

Merge !985: change API for reply packet buffers

lib/resolve kr_request_ensure_answer(): allow it to fail

For now I was too afraid to use "multi-flag" kr_request::state,
so I kept it at _FAIL; anyone can recognize it by NULL answer anyway.

Lua wrapper: using exception was considered but didn't seem good.
I utilized the fact that modules can return nil meaning no state change.

lib/resolve answer_finalize: fix AD flag handling

Resolves a FIXME, and this way of doing AD should be better/safer.
(Lower likelihood of accidentally leaving it on in some situation.)

GC test: the record is inserted manually with _SECURE rank but without
signatures.  I think it's better to return AD flag in that edge case.

WIP delay allocation of kr_request::answer

FIXME: see FIXMEs in diff, document the API change, re-review.

iterate nitpick: drop unused function parameter

lib/resolve creation of first query: fix a rare possible bug

qname here wasn't lower-cased, so the match might not be correct.
Still, practically all deployments use either root TA or none,
and these can't be affected.

compatible changes around kr_request::answer

Merge branch 'meson-0.49' into 'master'

meson: update to version 0.49

See merge request knot/knot-resolver!1082

meson: update to version 0.49

Merge branch 'unify-ENABLE-defines' into 'master'

treewide: unify ENABLE_* defines

See merge request knot/knot-resolver!1084

treewide: unify ENABLE_* defines

Two styles were used: (un)defined and 0/1.  We switch to 0/1.
Advantage: it can be used also like `if (ENABLE_FOO)`
(outside preprocessor).

Except for ./meson.build it's sed \
 -e 's/#ifdef ENABLE_CAP_NG/#if ENABLE_CAP_NG/g' \
 -e 's/#ifdef ENABLE_DOH2/#if ENABLE_DOH2/g' \
 -e 's/defined(ENABLE_COOKIES)/ENABLE_COOKIES/g' \
 -e 's/#ifdef ENABLE_COOKIES/#if ENABLE_COOKIES/g' \
 -i $(git grep -l ENABLE_)

Merge branch 'ci-knot-xdp' into 'master'

ci: use docker image with XDP support

See merge request knot/knot-resolver!1085

ci: use docker image with XDP support

Merge !1079: doc: generate Info manual

doc/info: package figures

doc/info: create and install figures

doc/meson: fix installation with missing info page

distro/*: package info files

doc: use non-format-specific references to documentation

The "build-html-doc" ref-ID is preserved so as to not risk breaking
Web links and similar.

doc: generate Info manual

Check for makeinfo during configuration and if found, generate and
install documentation in Info format.

Merge branch '251-warn-if-static-unmanaged-key-is-used' into 'master'

Resolve "warn if static (unmanaged) key is used"

Closes #251

See merge request knot/knot-resolver!1051

modules/ta_update: improve warning message

modules/ta_update nitpick: don't call os.time() again

tests: replace the deprecated -f parameter

modules/ta_update: warn if there are differences between statically configured keys and upstream

ta_update: rfc5011 test: fix knotd startup

ta_update: rfc5011 test: removing the missing -r parameter for dnssec-tools

Merge branch 'doh-module-c' into 'master'

doh2: C implementation of DoH using nghttp2

Closes #600

See merge request knot/knot-resolver!997

daemon/http: fix double-free on some pkt send failures

When http_write() returns non-zero, worker_submit() performs the task
cleanup and calling on_write() callback only causes double free.

doc: update doh/doh2 documentation

distro/*: update module-http packaging description

daemon: add deprecation warning for old DoH implementation

daemon/http: document unsupported interleaving DATA

daemon/http: replace strchrnul for mac os compatibility

strchrnul() is a GNU extension that is not available on Mac OS.

daemon/http: log connection errors to verbose

luacheck: comment out unused code and variables

tests/config: doh2 - use tabs for indentation

tests/config: modify doh tests for doh2

Test only supported test-cases. Extend list of lua dependencies
for config tests.

tests/config: import tests from lua-http doh

daemon/http: make sure uv_handle is always initialized

It is later closed in endpoint_close(), which would fail with assert if
not initialized (e.g. when compiled without nghttp2 support and
attempting to use doh2 kind).

daemon: make nghttp2 optional

daemon/http: remove plain HTTP implementation artifacts

contrib/base64: sync with Knot DNS

distro/tests: test_doh2 run curl test only when needed

distro/tests: add tests for new DoH implementation

* one test unsing curl and sha256sum (get_url can't do HTTP/2)
* one test using kdig when correct version is present

distro: add new dependency: libnghttp2

This is needed by new DoH implementation.

daemon/io: use MANDATORY_APLN only with new gnutls

This is only needed to fail early during the handshake, if protocol
negotiation doesn't succeed. With older GnuTLS, if there's a protocol
mismatch, the data won't be understood and the connection will close
later on.

Mandatory ALPN doesn't affect clients that don't use the ALPN extension.

daemon/bindings: assign doh2 kind in net.list()

Dockerfile: add nghttp2 dependency

daemon/http: make lint happy

daemon/worker: simplify condition

daemon: decrease write errors severity in log

daemon/worker: expose number of write errors

daemon/http: improve handling of incomplete streams

daemon/worker: ensure ignored queries pop from http stream id queue

daemon/lua: update kres-gen.lua

daemon/http: ensure on_write is called on failures

daemon/http: immediately set handle to write_req in http_write()

This seems to be safe to do, since libuv handles tcp write in
a very similar way.

daemon/http: document header_callback

daemon/http: polish send_padding

daemon/http: write correct packet buffer

task->pktbuf isn't the same as the passed in pkt in qr_task_send().
pkt must be used and it must also stay valid as long as the task
lives. This seems to be the case for request answers, as they aren't
freed until there are no more tasks that reference them.