Merge !629: new statistics

Closes #186.

add NEWS entries for this branch

stats nitpick: refactor to simpler code

These if-guards seemed unnecessarily complicated.

bogus_log: document new function frequent()

stats: document new counters

stats: fix crash when stats.get/set is called with invalid parameters

Closes: #186

bogus_log: integration tests for bogus_log.frequent()

stats: integration tests

fixup! added stats for all dns header flags

Flag counting was incorrect.

fix content type

added tests for new web apis
added new global bogus_log

expose bogus_log.frequent as web api

bogus_log: add list of most frequent bogus queries

all stats are now named with prefix answer_
stats with query_ prefix are deprecated
added stats for all dns header flags

expose stats.upstreams as web api /upstreams

Merge !721: daemon/worker, session: correctly process...

... connected upstreams list when closing outgoing connection

daemon/worker, session: correctly process connected...

... upstreams list when closing outgoing connection

Merge !673: use randomness from gnutls instead of internal ISAAC

kr_random_coin: do not crash on invalid values

remove kr_rand_bytes_nonstatic()

It seems simpler, now that we have kr_rnd_buffered().

buffer randomness from gnutls

gnutls_rnd() is more heavy-weight than I originally anticipated,
and in simple profiling it would take roughly 1% of CPU.
With this simple buffering the usage dropped well under 0.1%.

add kr_random_coin() to make some code more readable

use randomness from gnutls instead of internal ISAAC

Merge !722: small command input fixes

worker interactive mode: check stdin type

In particular, redirection from a file was leading to abort(),
so we provide an error message instead.

worker shutdown: close the leaking uv handle

Merge branch 'fwd-upstream-ranking' into 'master'

fix some inconsistencies in tcp connection error handling; forwarding - avoid attempts to communicate with timeouted upstream.

See merge request knot/knot-resolver!716

lib/nsrep: lower default value for the time interval after which timeouted NS will be reprobed

daemon/io: improved log

daemon/session: session_close() alwayes delete peers addresses from the list of estblished TCP connections even if underlying transport is UDP; fixed

daemon/worker: additional check for expired tasks

daemon: increase udp timeouts when forwarding

daemon, lib/nsrep: tuning of upstreams timeouting algorithm

daemon, resolve, nsrep: improve transport failures handling when forwarding

bugfixes in tcp connection error handling

fixup! daemon: forwarding - attempt to handle timeouted upstream

Reduce copy&paste.

daemon: forwarding - attempt to handle timeouted upstream

Merge branch 'tls_server_docs' into 'master'

docs: TLS server config clarification

See merge request knot/knot-resolver!718

docs: TLS server config clarification

Merge branch 'cflare-tls-auth' into 'master'

Experimental DNS-over-TLS to auth module

See merge request knot/knot-resolver!711

experimental_dot_auth: remove bundled basexx library

experimental_dot_auth: polish docs

rename experimental dot module to experimental_dot_auth

do not enable experimental dot module by default

modules/dot, daemon/tls: fix lint warnings

daemon/worker: minor adaptation of fa677610 after cherrypicking from older branch

dot module in lua

This modules allows knot-resolver to discover authoritative servers SPKI
digest by leveraging magic NS target names ala DNSCurve.

daemon: allow opportunistic DNS over TLS to origins

This commit allows opportunistic DNS over TLS to origins configured
as supporting DoT on port 853. It also adds interface for clearing
configured TLS clients to allow runtime reconfiguration.

The general mode of operation is as follows:

1. Produce a new outgoing query
2. Check if the selected upstream address has configured TLS support on port 853
 2a. If it does: upgrade to DNS over TLS, it cannot be downgraded from this point
 2b. If not: continue with preferred protocol

This allows further automatic discovery as in [1], but right now it has to be configured
manually.

[1]: https://tools.ietf.org/id/draft-bortzmeyer-dprive-resolver-to-auth-00.html

(cherrypicked from cloudflare branch, need to be adapted)

Merge branch 'ci-transport-tests' into 'master'

transport tests

See merge request knot/knot-resolver!707

pytests/kresd: add option to wait for port if taken by system

pytests/test_rehandshake: fix test

pytests: remove test_tls_cert_expired

pytests/test_pipelining: fix issue with net.ipv6=true

pytests: reserve kresd ports using files in tmpdir

pytests: nitpicks

pytests: update kresd.conf

pytests/tests: fix typos in README

pytests: rehandshake - search log

pytests: add rehandshake test

pytests: add hints and forward options to Kresd

pytests: fix prefix tests

ci/debian-stable: add dependencies for executing pytests

pytests: parametrize test_prefix_trailing_garbage

pytests: parametrize tcp_prefix tests

pytests: parametrize test_conn_mgmt tests

pytests: add html report

pytests: parametrize test_ignore_garbage

pytests: clean up docstrings

pytests: update readme

ci/pytests: run.sh additional pytest options

pytests: conn_flood set socket limit to 15k

pytests: fix utils.ping_alive

pytests: import test_oob

pytests: omit useless startup part of verbose log

pytests: add predictable msgids to setup/teardown pings

pytests: import test_conn_flood (test8)

pytests: import test_tls_session_resumption (test18)

pytests: test_tls move + doc

pytests: import test_tls_cert_expired (test17)

pytests: import test_tls_cert_hostname_mismatch (test16)

pytests: import test_tls_selfsigned_cert (test15)

pytests: add testing TLS certs

pytests: import test_tls_no_cert (test14)

pytests: import test_query_flood_garbage (test9)

pytests: fix utils::recv_answer to read only one DNS message at a time

pytests: import test_query_flood_no_recv

pytests: add xdist as requirement

pytests: import test_query_flood_close

pytests: close/slow_lorris test with/out query after handshake

pytests: import test_ignore_jumbo_message (test13)

pytests: adjust test_slow_lorris_attack

pytests: refactor to use expect_kresd_close

pytests: import test_slow_lorris_attack (test12)

pytests: import test_close (test4)

pytests: don't print verbose log to stdout

pytests: import test_long_lived (test2)

pytests: tcp_conn_mgmt/test_pipelining - check first query is answered

pytests: refactor utils to generate msg ids

pytests: relocate and refactor TCP prefix tests

pytests: import test_prefix_trailing_garbage (test7)