Merge branch 'nitpicks' into 'master'

unify packet to string conversion between C and Lua

See merge request knot/knot-resolver!785

daemon/main nitpick: unify exit code number handling

unify packet to string conversion between C and Lua

There is no reason to have two distinct functions to do the same task,
especially if the Lua version did not print all the information.
(Found and amended a bit by vcunat.)

Merge branch 'servfail-retry' into 'master'

fix fallback when SERVFAIL or REFUSED is received from upstream

See merge request knot/knot-resolver!784

NEWS: merge the "Improvements" sections

resolve, iterate: fix fallback when upstream SERVFAILs

or REFUSEs.  We typically ended up retrying with the same server,
which is almost never good.  Now we remove the server from the set.

Nitpick: a couple kr_query fields are reordered for better packing.

Merge branch 'cache-stats' into 'master'

reworked cache stats

See merge request knot/knot-resolver!775

cache: remove a useless internal function

reworked cache stats

All cache operations are now counted. These are internal cache
operations and do not map directly to number of queries or even number
of RRs.

Closes: !515

cache: use cache_op helper when possible

gitattributes: specify word diff regex for C and C++ sources

This makes git diff --word-diff easier to read.

cache: rename kr_cache_sync -> kr_cache_commit

Function originally called kr_cache_sync() was in fact responsible
for calling mdb_txn_commit() and not mdb_env_sync() which was confusing.

cache: remove unsupported prune() operation from API

Cache cleaning needs to be done using separate mechanism
because cleaning it from worker process does not fit well into our
processing model. It is going to be a separate daemon.

Merge !773: misc. ubsan fixes

lib/utils kr_memreserve(): fix a ubsan nitpick

lib/generic/lru: fix alignment of contained values

lib/generic/lru: fix alignment of struct lru

contrib/murmurhash3: fix bad type punning

Merge !781: fix flushing of messages to logs in some cases

treewide: fix flushing of messages to logs in some cases

... by setting FILE* properties and replace the explicit flushes.
Explicit flushing couldn't be well done e.g. for lua's error() function.
In particular, we had problems with journald not getting logs timely.

Merge branch 'rpz-errors' into 'master'

modules/policy.RPZ: log libzonefile errors as well

See merge request knot/knot-resolver!780

modules/policy.RPZ: log libzonefile errors as well

Merge branch 'stdin-null' into 'master'

lua event.socket(): remove a hacky workaround

See merge request knot/knot-resolver!778

tests: rename forgotten worker.test.lua

lua event.socket(): disable a hacky workaround

It should be fixed in quite old libuv versions already:
https://github.com/libuv/libuv/issues/883

Merge branch 'docker-certs' into 'master'

Add ca-certificates to runtime on Dockerfile

See merge request knot/knot-resolver!779

Add ca-certificates to runtime on Dockerfile

Merge branch 'addr-split-port' into 'master'

Splitting port from IP address

See merge request knot/knot-resolver!776

modules/policy: support '#' for separating port numbers

and deduplicate the parsing logic.

lib/utils kr_straddr_split(): simplify the API

After 83539eb7f it was a bit complicated.  It allowed to save a memcpy
of the address in case no port was specified, but we only need to do the
split when changing configuration, so it was overzealous optimization.

Merge branch 'tls-sni' into 'master'

policy.TLS_FORWARD: send SNI on wire if configured

See merge request knot/knot-resolver!762

daemon: improve readability of TLS parameter handling

daemon: split TLS authentication into smaller functions

nitpicks

daemon: rework handling of TLS authentication params

It's mainly about the way we parse and validate them.

Almost all of the parts of validation that were being done
in modules/policy/policy.lua and daemon/tls.c got moved
to daemon/bindings/net.c, so it's easier to follow that.
Also more checks are being done now, e.g. contents of .pin_sha256
and .hostname strings.

policy.TLS_FORWARD: send SNI on wire if configured

In https world it's standard to do that, and it's relied on.
Real-life example: 8.8.8.8#853 over TLSv1.3 won't send a certificate
if we don't send SNI (no idea why; also they do send it with TLSv1.2).

As a consequence, we no longer allow multiple hostnames per
address-port tuple, but that didn't seem useful.

Merge !774: various compiler warning fixes

daemon/network: avoid unused functions and variables

Make sure gcc doesn't produce unused func/var warnings when using
optional compilation. This fixes three such issues on CentOS 7.

daemon/engine: avoid unused variable with DNDEBUG

pytests/tlsproxy: fix C warnings

nitpick fixes for clang-tidy

test nitpicks: fix -Wpedantic issues

Merge branch 'doc-rename-flowcharts' into 'master'

doc/flowcharts: use underscores instead of spaces in filename

See merge request knot/knot-resolver!772

doc/flowcharts: use underscores instead of spaces in filename

Merge branch 'doc-flowcharts' into 'master'

doc: attempt on documenting of some kresd algorithms

See merge request knot/knot-resolver!731

doc/flowcharts: minor additions and restructurization

doc: flowcharts, minor actualization of udp task.dia

doc: outgoing tcp query flowchart

doc: attempt on visualizaion of incoming udp query processing

Merge branch 'nitpicks-lua' into 'master'

smaller changes, mainly around lua error handling

See merge request knot/knot-resolver!768

daemon/bindings: nitpicks fixed during MR review

treewide: avoid lua_tonumber where integer is expected

lua_error_p(): print whole stack trace

We use a function that's not in lua 5.1,
but it's been present in luajit since 2.0.0:
https://github.com/LuaJIT/LuaJIT/commit/fcddd5a3a

lua from C: unify the way we throw lua_error()

It's often a bit shorter, and it provides us with location.

lib/utils kr_straddr_split(): tweak meaning, use more

Now we don't rewrite the port-splitters in command line by zero bytes.
That was confusing the output of some SW showing the command-line
of running kresd.

Merge branch 'bindings-split' into 'master'

split code and docs for lua bindings into smaller files

See merge request knot/knot-resolver!765

cleanups after splitting bindings.c

split daemon/bindings.c file

It's now a directory, one C file for each lua table of functions.
We get more total lines due to per-file copyright headers,
but the original file was just too long (nearing 2k lines).
The layout was inspired by the lib/cache/ split.

Disadvantage: git operations (e.g. blame) will stumble on this commit.

During the move, rename the "str" and "xstr" macros, too.
Otherwise there are no real changes, as they would be hard to spot.

Merge !764: doc/kresd.systemd: bind to all interfaces with kresd.socket

modules/view/README: mention v4-mapped-on-v6 syntax

Related #445

modules/view/README: add IPv6 example

doc/kresd.socket: mention IPv4 syntax incompatibility when binding with IPv6

Related #445

doc/kresd.systemd: bind to all interfaces with kresd.socket

systemd/kresd.socket: explicitly set BindIPv6Only=both

This should be the default, but since we're relying on it in
our documentation, it's better to set it explicitly. It can be
overriden in the drop-in file if necessary.

Merge !767: policy.rpz(): watch for file changes by default

Original thread: https://gitlab.labs.nic.cz/knot/knot-resolver/merge_requests/752

modules/policy RPZ: various nitpicks

- logging
- watch by default
- in Fedora we need to depend on the version for lua 5.1

modules/policy RPZ: auto-reloading function

vcunat squashed this, rebased, etc.

Merge !766: ta_signal_query: document its limitations

ta_signal_query: document its limitations

Merge !758: CI: build package for Turris

gitlabci: run Turris build in CI

distro/turris: import packaging files

ci/turris: add Docker container for Turris builds

Merge !756: modules/hints: allow overriding TTL, change default

Closes #442.

dns64 tests: fix by setting hints.ttl() explicitly

modules/hints: change default TTL to 5s, add NEWS

0 was unreasonable.  Even if hints are meant for "close" devices,
they will commonly be e.g. behind WiFi, and it seems unreasonable to
expect changes faster than after a couple seconds anyway.

modules/hints: allow overriding the TTL

Fixes #442.

Merge branch 'ta-test-timeout' into 'master'

daemon/trust_anchors.test: increase max timeout

See merge request knot/knot-resolver!763

daemon/trust_anchors.test: increase max timeout

Our CI environment requires a longer timeout during
high-load.

Merge !753: trust_anchors: don't update unmanaged TAs from files

trust anchors: implementation cleanup

We don't need the trustanchor() lua function for root bootstrap
anymore, so let's get rid of it.  It was undocumented (internal).

trust anchors: improve .add()

These keys will now be more uniformly represented and thus also
shown by .summary().  It's still not perfectly synchronized when
that function fails, but that seems acceptable.

trust anchors: extend internal keyset_read()

- allow accepting a string instead of file
- move some checks inside

trust anchors tests: add test_revoked_key()

trust_anchors.summary(): unify the output

It could've been confusing otherwise, e.g. revoked or otherwise
untrusted keys were shown without any annotation in some cases.

trust_anchors: don't update unmanaged TAs from files

This also implies that non-verbose logs won't contain any lines about
the TAs if they are unmanaged (by default), but that seems OK.

Merge branch 'ci-pytests-new-proxy' into 'master'

pytests: update proxy + test_random_close

See merge request knot/knot-resolver!732

pytests/proxy: run test_rehandshake with TLS 1.3 as well

pytests/proxy: support for TLSv1.3 posthadshake reauth

pytests/test_rehandshake: fix test

pytests/proxy: disable TLS1.3 suppoert

pytests/proxy: minor improvement in rehandshake processing

pytests/kresd.conf: make sure localhost hint is present

pytest/proxy: support for multiple clients, some new functionality; tcproxy removed

pytest/test_random_close: use new proxy

pytests/test_random_close: add test

pytests/test_rehandshake: use new proxy

pytests/proxy: Python wrapper

pytests/proxy: import code

Original author: Grigorii Demidov <grigorii.demidov@nic.cz>

pytests: extract proxy logic to proxyutils