daemon/worker: allow dropping even on non-XDP

During testing it was sending me SERVFAIL, which was weird.
There's no use case so far, but if it was decided to drop the answer,
it should really happen regardless of the transport.

modules: fix issues with dropped answers

lua net.listen(): default freebind = false

It's unclear why it defaulted to true in TLS cases.

XDP: add documentation

modules/policy TC(): better detection of non-UDP requests

This amends commit 99e014ac635.

XDP: add lua interfaces

daemon/bindings net_listen_addrs(): pack parameters

They're starting to be too many.  Also improve comments.

XDP: add backend parts

Logging strings: I originally wanted to have four chars inside [],
but it doesn't really matter in these cases where logs don't happen
within a request, so "[xdp]" won due to uniformity and simplicity.

Merge branch 'base64urlencode-query' into 'master'

scripts: utility to get base64 url encoded query for DoH GET

See merge request knot/knot-resolver!1089

scripts: utility to get base64 url encoded query for DoH GET

Merge branch 'distrotest-update' into 'master'

distro/tests: update distributions

See merge request knot/knot-resolver!1088

distro/tests: update DNSSEC bogus test

dnssec-failed.org domain uses RSA/SHA1 algorithm, which is considered
insecure by Fedora 33+ policy.

distro/tests: update distributions

- update fedora to 33
- update ubuntu rolling to groovy

Merge branch 'pretty-print' into 'master'

new pretty printer

See merge request knot/knot-resolver!1027

krprint: nitpick from review

tests: cover table_print

krprint: escape non-printable strings in error messages

All strings should be properly escaped but some non-escaped versions
were leaking into error messages.

krprint: allow tab and newline in pretty printer

Functions like trust_anchors.summary() return strings including tabs and
newlines, so we do not escape those for human-readable output.

tty: do not print extra newline after empty messages

In case nothing (not even nil) is returned then do not print newline
after the zero-length message. This avoids unambiguous empty line in
output (is it an empty string which got printed?).

table_print: print multiple values

This change allows sandbox to pretty-print return values from functions
which return multiple values, e.g. future net.bufsize() from MR !1026.

replace sandbox table_print with new pretty printer

This slightly changes table_print() output format.
table_print() output is not intended for machine consumption,
use krprint.serialize_lua() or JSON for that purpose.

Output from table_print is now a valid Lua expression
if the input contains only serializable data types
(number, string, bool, nil, table), which is nice for copy&pasting.

Functions etc. are also pretty-printed but cannot be deserialized.
Numbers are pretty-printed as well so their precision is reduced (as
compared to krprint.serialize_lua).

krprint: feature parity between old table_print and new pretty printer

krprint: support pretty-printing functions

krprint: order keys while pretty-printing tables

Code was copied from Lua sandbox, the old copy is to be removed once new
pretty-printer is finished.

krprint: reuse serialization infrastructure for pretty-printer

At the moment it does not handle functions and other non-serializable
types.

table_print: sort numbers by their value instead of lexicographic representation

Side-effect is that keys are grouped by their type, so numbers come
first and strings later..

table_print: fix printing tables with key = false

Merge branch 'doc-polish' into 'master'

5.2.0 doc polish

See merge request knot/knot-resolver!1087

doc: document planned --forks removal

doc: net.bufsize clarification

doc: DNS Flag Day 2020 is now effective

doh: clarify warning about legacy DoH in docs

doh2: replace references to obsolete DoH in docs, tests and example configs

Merge branch '554-lua-command-map-does-not-work' into 'master'

Reimplement map()

Closes #620 and #554

See merge request knot/knot-resolver!1000

tests: control socket test improvements

tests: fixes for control socket tests

Error handling inside the test was incorrent and a detected error would
blow up the test routine.

Related: !1011, 3f5a826d4cb859522d073503dcc40e5c59353511

NEWS: cleanup incompatible changes

graphite: adapt to to changes in map()

We don't have leader instance anymore, so each instance independently
provides Graphite statistics.

This commit also changes default Graphite prefix to solve problem
with conflicting instance names.

worker: migrate worker.id to string

It now contains either content of SYSTEMD_INSTANCE environment variable
or stringified version of getpid() value.

Main motivation is that the old worker.id was broken on systemd,
i.e. the default installation.

Related: #631

doc: document new command buffering scheme

Fixup for c0b5faf222dfa6e8db94838c18331e7147a37128.

http: adapt Prometheus to changes in map()

We don't have leader instance anymore, so any instance can provide
Prometheus statistics.

For performance reasons an instance does not store past statistics
when no client is connected to HTTP socket. As a consequence chart in
web interface is empty when client loads the page and then gradually
chart fills up.

prometheus: run on all instances

map: document internal use

systemd: control socket cleanup on exit

Obviously this is is racy and cannot be relied upon.
Caller still has to handle connection errors.

kluautil.list_dir: make it portable to non-Linux

gitignore: add missing files created by kresd when executed in worktree

New map() creates control/ sockets in current working directory so it
pollutes worktree when developers run it in worktree.

I've also added files with ephemeral certificates and pytests test report
which were missing as well.

map: tests

Three instances send commands and DNS queries to each other.

map: disallow commands with \n

Control protocol uses \n as command delimiter so we cannot allow \n
inside commands. Users should be able to Lua-escape \n with \010.

map: prevent crash on unrepresentable responses

Typical example of unrepresentable message is a Lua error.
E.g. error() called from kresc would lead to NULL message.

map: thorough error checking on control socket operations

tests: detect missing environment variable TEST_FILE

kluautil: remove hard depedency on lua-cqueues

For now we still attempt to support systems without lua-cqueues,
e.g. Ubuntu 16.04.

lua-http depends on lua-cqueues so the test for availability of lua-http
at the beginning of kr_https_fetch() should cover lua-cqueues as well.

tests: limit number of iterations for krprint.serialize_lua to please CI

We were exceeding CI time limit while running config tests under
Valgrind so let's see if smaller number of tests will get us through CI.

daf: adapt to changes in map result handling

map: logging for weird responses

map: rework result handling

map() command on leader instance now:
- detects call errors on followers
- detects unsupported number of return values
- detects unsupported data types which cannot be serialized
- keeps nil return values (signaled by table counter "n")

Fixes: #662

map: input command validation

Let's detect syntax errors before sending the command to all instances.

kluautil: table pack and unpack

Helper functions for handling variable length arrays with nil values.

map: stricter argument checking

tests: adapt config tests to new map()

map() now depends on presence of control sockets, and by default config
tests are executed with KRESD_NO_LISTEN=1 env var which prevents control
sockets from being created. Tests for features which depend on map() now
explicitly create their own control socket.

tests: improve process cleanup after config tests

Previously exit trap executed command "kill -9" even if there were no
leftover processes and this lead to clutter in logs because kill
complained about missing arguments.

As a bonus the cleanup routine now prints information about leftover
processes.

daemon: always listen on control socket, even in interactive mode

Reasons:
- It allows to run several kresd instances and use map() without
  worrying about instance parameters.
- It removes special case from map().

Proper functionality depends on changes in MR !1011.

krprint.serialize_lua: rename function parameter to on_unpresentable

new serialization method krprint.serialize_lua

Serializes: boolean, nil, number, string, table.
Skips all other types (functions, cdata, thread ...) and repeated
references to tables.

Resulting string should Lua-evaluate to identical objects.

map: use control sockets instead of pipe from parent process

This change allows map() to work with systemd integration.

As a bonus the new client implementation is based on Lua cqueues
allows caller to wrap map() in worker.corroutine() and get
asynchronous execution/avoid blocking main loop.

Currently socket communication does not employ timeouts so a hang
instance will lead to hang map() call. This does not affect query
processing _if_ map() is being run in worker.corroutine.

Fixes: #554
Fixes: #620

Merge branch '538-lower-default-edns-buffer-size-to-1232' into 'master'

daemon: lower EDNS buffer size to 1232

Closes #300 and #538

See merge request knot/knot-resolver!920

ci/respdiff: keep bufsize towards respdiff at 4K

Note: this commits affects just the small respdiffs, not the big ones.

docs: EDNS bufsize = 1232

daemon: lower EDNS buffer size to 1232

Merge branch 'forward-cname-sibling' into 'master'

fix SERVFAIL in *FORWARD modes with certain CNAME setup

Closes #614

See merge request knot/knot-resolver!1070

fix SERVFAIL in *FORWARD modes with CNAME to sibling zone

It failed on a CNAME to a sibling name that's a zone cut.
Fixed by a minimalistic approach - tweaking the conditions
to always ask each CNAME step separately when forwarding.

Merge !985: change API for reply packet buffers

lib/resolve kr_request_ensure_answer(): allow it to fail

For now I was too afraid to use "multi-flag" kr_request::state,
so I kept it at _FAIL; anyone can recognize it by NULL answer anyway.

Lua wrapper: using exception was considered but didn't seem good.
I utilized the fact that modules can return nil meaning no state change.

lib/resolve answer_finalize: fix AD flag handling

Resolves a FIXME, and this way of doing AD should be better/safer.
(Lower likelihood of accidentally leaving it on in some situation.)

GC test: the record is inserted manually with _SECURE rank but without
signatures.  I think it's better to return AD flag in that edge case.

WIP delay allocation of kr_request::answer

FIXME: see FIXMEs in diff, document the API change, re-review.

iterate nitpick: drop unused function parameter

lib/resolve creation of first query: fix a rare possible bug

qname here wasn't lower-cased, so the match might not be correct.
Still, practically all deployments use either root TA or none,
and these can't be affected.

compatible changes around kr_request::answer

Merge branch 'meson-0.49' into 'master'

meson: update to version 0.49

See merge request knot/knot-resolver!1082

meson: update to version 0.49

Merge branch 'unify-ENABLE-defines' into 'master'

treewide: unify ENABLE_* defines

See merge request knot/knot-resolver!1084

treewide: unify ENABLE_* defines

Two styles were used: (un)defined and 0/1.  We switch to 0/1.
Advantage: it can be used also like `if (ENABLE_FOO)`
(outside preprocessor).

Except for ./meson.build it's sed \
 -e 's/#ifdef ENABLE_CAP_NG/#if ENABLE_CAP_NG/g' \
 -e 's/#ifdef ENABLE_DOH2/#if ENABLE_DOH2/g' \
 -e 's/defined(ENABLE_COOKIES)/ENABLE_COOKIES/g' \
 -e 's/#ifdef ENABLE_COOKIES/#if ENABLE_COOKIES/g' \
 -i $(git grep -l ENABLE_)

Merge branch 'ci-knot-xdp' into 'master'

ci: use docker image with XDP support

See merge request knot/knot-resolver!1085

ci: use docker image with XDP support

Merge !1079: doc: generate Info manual

doc/info: package figures

doc/info: create and install figures

doc/meson: fix installation with missing info page

distro/*: package info files

doc: use non-format-specific references to documentation

The "build-html-doc" ref-ID is preserved so as to not risk breaking
Web links and similar.

doc: generate Info manual

Check for makeinfo during configuration and if found, generate and
install documentation in Info format.

Merge branch '251-warn-if-static-unmanaged-key-is-used' into 'master'

Resolve "warn if static (unmanaged) key is used"

Closes #251

See merge request knot/knot-resolver!1051

modules/ta_update: improve warning message

modules/ta_update nitpick: don't call os.time() again

tests: replace the deprecated -f parameter

modules/ta_update: warn if there are differences between statically configured keys and upstream

ta_update: rfc5011 test: fix knotd startup

ta_update: rfc5011 test: removing the missing -r parameter for dnssec-tools

Merge branch 'doh-module-c' into 'master'

doh2: C implementation of DoH using nghttp2

Closes #600

See merge request knot/knot-resolver!997

daemon/http: fix double-free on some pkt send failures

When http_write() returns non-zero, worker_submit() performs the task
cleanup and calling on_write() callback only causes double free.