doh2: send "cache-control: max-age"

Merge branch 'github-actions' into 'master'

ci: move macOS build to GitHub Actions

See merge request knot/knot-resolver!1099

ci: so long, Travis!

https://blog.travis-ci.com/2020-11-02-travis-ci-new-billing

ci: use GitHub Actions for mac testing

github: run macOS build

Merge branch 'map-doc' into 'master'

doc: map() and certificate reload

See merge request knot/knot-resolver!1098

doc: mention DoT/DoH blogpost

doc: add certificate reload tip to net.tls()

doc: describe map() usage with examples

Merge branch 'xdp-emulation' into 'master'

xdp: warn when using XDP emulation

See merge request knot/knot-resolver!1092

xdp: warn when using XDP emulation

For simplicity we bump Knot version that's required for using XDP.
Syntax: I found no better way to split the line;
alternative: backslash in meson >= 0.50.

Merge branch 'meson-join-paths' into 'master'

meson: use / instead of join_paths

See merge request knot/knot-resolver!1086

meson: use / instead of join_paths

Merge branch 'pgp-keyring' into 'master'

generate PGP keyring

See merge request knot/knot-resolver!1096

add security.txt

scrips: generate kresd PGP keyblock

Merge branch 'map-32bit' into 'master'

fix map() command on 32-bit platforms; regressed in 5.2.0

See merge request knot/knot-resolver!1093

fix map() command on 32-bit platforms; regressed in 5.2.0

LuaJIT FFI was using opendir() (etc.) variants with 32-bit inodes
but the C parts was using them as 64-bit inode variants.
Consequently the `struct dirent` layout didn't match and we were getting
filenames shifted by eight bytes.

Now the whole dir-listing lua function is written in C.

Merge branch 'test-krprint-valgrind' into 'master'

tests/krprint: reduce test complexity (for valgrind CI)

See merge request knot/knot-resolver!1094

tests/krprint: reduce test complexity (for valgrind CI)

Merge branch 'ci-news' into 'master'

ci: ensure NEWS has current date

See merge request knot/knot-resolver!1091

ci: ensure NEWS has current date

Merge branch 'release-5-2-0' into 'master'

Release 5.2.0

See merge request knot/knot-resolver!1090

release 5.2.0

update AUTHORS

doc: update upgrading guide

etc/config: add doh2 examples

Merge branch 'perf-af_xdp' into 'master'

server-side XDP support

Closes #533

See merge request knot/knot-resolver!1083

doc: add warning that XDP is experimental

doc: mention possible issues with XDP emulation

daemon/io refactor: don't expose unused io_deinit()

modules: fix issues with dropped answers - resolve()

Well... practically it still can't happen that an internal request
gets its answer dropped, but ATM my understanding of the API is that
it is allowed to happen already, and the crashes during tests were
bothering me (simulating drops).

This may become more relevant in future, e.g. if we allow dropping
as a policy action; policy authors may not care about the request being
internal.

daemon/worker: allow dropping even on non-XDP

During testing it was sending me SERVFAIL, which was weird.
There's no use case so far, but if it was decided to drop the answer,
it should really happen regardless of the transport.

modules: fix issues with dropped answers

lua net.listen(): default freebind = false

It's unclear why it defaulted to true in TLS cases.

XDP: add documentation

modules/policy TC(): better detection of non-UDP requests

This amends commit 99e014ac635.

XDP: add lua interfaces

daemon/bindings net_listen_addrs(): pack parameters

They're starting to be too many.  Also improve comments.

XDP: add backend parts

Logging strings: I originally wanted to have four chars inside [],
but it doesn't really matter in these cases where logs don't happen
within a request, so "[xdp]" won due to uniformity and simplicity.

Merge branch 'base64urlencode-query' into 'master'

scripts: utility to get base64 url encoded query for DoH GET

See merge request knot/knot-resolver!1089

scripts: utility to get base64 url encoded query for DoH GET

Merge branch 'distrotest-update' into 'master'

distro/tests: update distributions

See merge request knot/knot-resolver!1088

distro/tests: update DNSSEC bogus test

dnssec-failed.org domain uses RSA/SHA1 algorithm, which is considered
insecure by Fedora 33+ policy.

distro/tests: update distributions

- update fedora to 33
- update ubuntu rolling to groovy

Merge branch 'pretty-print' into 'master'

new pretty printer

See merge request knot/knot-resolver!1027

krprint: nitpick from review

tests: cover table_print

krprint: escape non-printable strings in error messages

All strings should be properly escaped but some non-escaped versions
were leaking into error messages.

krprint: allow tab and newline in pretty printer

Functions like trust_anchors.summary() return strings including tabs and
newlines, so we do not escape those for human-readable output.

tty: do not print extra newline after empty messages

In case nothing (not even nil) is returned then do not print newline
after the zero-length message. This avoids unambiguous empty line in
output (is it an empty string which got printed?).

table_print: print multiple values

This change allows sandbox to pretty-print return values from functions
which return multiple values, e.g. future net.bufsize() from MR !1026.

replace sandbox table_print with new pretty printer

This slightly changes table_print() output format.
table_print() output is not intended for machine consumption,
use krprint.serialize_lua() or JSON for that purpose.

Output from table_print is now a valid Lua expression
if the input contains only serializable data types
(number, string, bool, nil, table), which is nice for copy&pasting.

Functions etc. are also pretty-printed but cannot be deserialized.
Numbers are pretty-printed as well so their precision is reduced (as
compared to krprint.serialize_lua).

krprint: feature parity between old table_print and new pretty printer

krprint: support pretty-printing functions

krprint: order keys while pretty-printing tables

Code was copied from Lua sandbox, the old copy is to be removed once new
pretty-printer is finished.

krprint: reuse serialization infrastructure for pretty-printer

At the moment it does not handle functions and other non-serializable
types.

table_print: sort numbers by their value instead of lexicographic representation

Side-effect is that keys are grouped by their type, so numbers come
first and strings later..

table_print: fix printing tables with key = false

Merge branch 'doc-polish' into 'master'

5.2.0 doc polish

See merge request knot/knot-resolver!1087

doc: document planned --forks removal

doc: net.bufsize clarification

doc: DNS Flag Day 2020 is now effective

doh: clarify warning about legacy DoH in docs

doh2: replace references to obsolete DoH in docs, tests and example configs

Merge branch '554-lua-command-map-does-not-work' into 'master'

Reimplement map()

Closes #620 and #554

See merge request knot/knot-resolver!1000

tests: control socket test improvements

tests: fixes for control socket tests

Error handling inside the test was incorrent and a detected error would
blow up the test routine.

Related: !1011, 3f5a826d4cb859522d073503dcc40e5c59353511

NEWS: cleanup incompatible changes

graphite: adapt to to changes in map()

We don't have leader instance anymore, so each instance independently
provides Graphite statistics.

This commit also changes default Graphite prefix to solve problem
with conflicting instance names.

worker: migrate worker.id to string

It now contains either content of SYSTEMD_INSTANCE environment variable
or stringified version of getpid() value.

Main motivation is that the old worker.id was broken on systemd,
i.e. the default installation.

Related: #631

doc: document new command buffering scheme

Fixup for c0b5faf222dfa6e8db94838c18331e7147a37128.

http: adapt Prometheus to changes in map()

We don't have leader instance anymore, so any instance can provide
Prometheus statistics.

For performance reasons an instance does not store past statistics
when no client is connected to HTTP socket. As a consequence chart in
web interface is empty when client loads the page and then gradually
chart fills up.

prometheus: run on all instances

map: document internal use

systemd: control socket cleanup on exit

Obviously this is is racy and cannot be relied upon.
Caller still has to handle connection errors.

kluautil.list_dir: make it portable to non-Linux

gitignore: add missing files created by kresd when executed in worktree

New map() creates control/ sockets in current working directory so it
pollutes worktree when developers run it in worktree.

I've also added files with ephemeral certificates and pytests test report
which were missing as well.

map: tests

Three instances send commands and DNS queries to each other.

map: disallow commands with \n

Control protocol uses \n as command delimiter so we cannot allow \n
inside commands. Users should be able to Lua-escape \n with \010.

map: prevent crash on unrepresentable responses

Typical example of unrepresentable message is a Lua error.
E.g. error() called from kresc would lead to NULL message.

map: thorough error checking on control socket operations

tests: detect missing environment variable TEST_FILE

kluautil: remove hard depedency on lua-cqueues

For now we still attempt to support systems without lua-cqueues,
e.g. Ubuntu 16.04.

lua-http depends on lua-cqueues so the test for availability of lua-http
at the beginning of kr_https_fetch() should cover lua-cqueues as well.

tests: limit number of iterations for krprint.serialize_lua to please CI

We were exceeding CI time limit while running config tests under
Valgrind so let's see if smaller number of tests will get us through CI.

daf: adapt to changes in map result handling

map: logging for weird responses

map: rework result handling

map() command on leader instance now:
- detects call errors on followers
- detects unsupported number of return values
- detects unsupported data types which cannot be serialized
- keeps nil return values (signaled by table counter "n")

Fixes: #662

map: input command validation

Let's detect syntax errors before sending the command to all instances.

kluautil: table pack and unpack

Helper functions for handling variable length arrays with nil values.

map: stricter argument checking

tests: adapt config tests to new map()

map() now depends on presence of control sockets, and by default config
tests are executed with KRESD_NO_LISTEN=1 env var which prevents control
sockets from being created. Tests for features which depend on map() now
explicitly create their own control socket.

tests: improve process cleanup after config tests

Previously exit trap executed command "kill -9" even if there were no
leftover processes and this lead to clutter in logs because kill
complained about missing arguments.

As a bonus the cleanup routine now prints information about leftover
processes.

daemon: always listen on control socket, even in interactive mode

Reasons:
- It allows to run several kresd instances and use map() without
  worrying about instance parameters.
- It removes special case from map().

Proper functionality depends on changes in MR !1011.

krprint.serialize_lua: rename function parameter to on_unpresentable

new serialization method krprint.serialize_lua

Serializes: boolean, nil, number, string, table.
Skips all other types (functions, cdata, thread ...) and repeated
references to tables.

Resulting string should Lua-evaluate to identical objects.

map: use control sockets instead of pipe from parent process

This change allows map() to work with systemd integration.

As a bonus the new client implementation is based on Lua cqueues
allows caller to wrap map() in worker.corroutine() and get
asynchronous execution/avoid blocking main loop.

Currently socket communication does not employ timeouts so a hang
instance will lead to hang map() call. This does not affect query
processing _if_ map() is being run in worker.corroutine.

Fixes: #554
Fixes: #620

Merge branch '538-lower-default-edns-buffer-size-to-1232' into 'master'

daemon: lower EDNS buffer size to 1232

Closes #300 and #538

See merge request knot/knot-resolver!920

ci/respdiff: keep bufsize towards respdiff at 4K

Note: this commits affects just the small respdiffs, not the big ones.

docs: EDNS bufsize = 1232