github actions: pin ubuntu 20.04 instead of -latest

Merge pull request #9713 from pieterlexis/trusted-notification-proxy

Allow ip ranges as trusted-notification-proxy

Merge pull request #8707 from Habbie/lmdb-domaininfo-serial

lmdb: fill di.serial (code stolen straight from gsqlbackend)

lmdb: fill di.serial

Merge pull request #9745 from Habbie/auth-lua-intermittent

auth LUA tests: give healthchecker more time

auth LUA tests: give healthchecker more time

Merge pull request #9714 from Habbie/mysql-8

auth: disable mysql automatic charset detection

Merge pull request #9712 from kpfleming/use-python3

Use Python 3 in build system

auth-py tests: py3

Merge pull request #9737 from rgacogne/ddist-dump-cache-rcode

dnsdist: Add the response code in the packet cache dump

BaseHTTPServer is now http.server in Python 3

Suppress Python 3 parsing of Unicode literals

Additional fixes for Python 3 conversion

Merge pull request #9591 from omoerbeek/fstrm-table-driven-options

Long overdue table driven option setting for libfstrm

dnsdist: Add the response code in the packet cache dump

Use string instead of char *

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

Merge pull request #9729 from appliedprivacy/patch-3

fix a typo in prometheus metrics dnsdist_frontend_tlshandshakefailures #9728

fix typo #9728

Merge pull request #9727 from georgeto/dnsdist-docs-typo

dnsdist: Fix typo in DNSNameSet documentation

dnsdist: Fix typo in DNSNameSet documentation

The newDNSNameSet() function has no name argument.

add venv to Dockerfile-auth for JSON API file

recursor DNSSEC regression tests: skip debug cachedump

recursor DNSSEC regression tests: migrate to Python 3

Use Python 3 in build system

The various tasks in the build system which use Python
will now use Python 3 (3.6 or later) and the 'venv' module,
instead of the 'virtualenv' tool which was primarily used
with Python 2.7.

Merge pull request #9708 from Habbie/auth-regress-docs-mysql

auth regression docs: more mysql variants

Merge pull request #9721 from georgeto/lua-binding-const-qualifier

dnsdist: Improve const-correctness of Lua bindings

dnsdist: Improve const-correctness of Lua bindings

Since LuaWrapper enforces const-correctness, a const (shared) pointer
to an object can only read members and call const methods.
Therefore we have to take care to use the const qualifier during
registration of constant lambda Lua function bindings.

An example where the absence of the const qualifier was problematic is
LuaRule, which invokes its user provided match function with a constant
DNSQuestion object. Because the functions of DNSQuestion lacked
the const qualifier (e.g. getTag()), it was not possible to call them
from within the LuaRule match function.

Merge pull request #9716 from rgacogne/webserver-accept-yaml

Fix initialization of WebServer::accept_yaml

Fix initialization of WebServer::accept_yaml

Merge pull request #9633 from omoerbeek/rec-opensbd-udpsockets

rec: two OpenBSD improvemenst wrt UDP sockets: port randomization and EGAIN errors

Merge pull request #9643 from omoerbeek/rec-add-some-deps

rec: add a few missing dependencies to README

Merge pull request #9707 from omoerbeek/rec-chain-already-processing

rec: Do not add request to a wait chain that's already processed or being processed

Improved wording of comments

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth mysql: disable automatic charset detection

auth regress: allow per-backend test skipping

Allow ip ranges as trusted-notification-proxy

This also stops us from doing string comparison for that setting.

Fixes #9711

Merge pull request #8911 from kpfleming/add-api-docs-endpoint

Add '/api/docs' endpoint to Auth server

Merge pull request #9688 from mind04/pdns-loglevel

Pdns AXFR, IXFR loglevels

auth: make notify logging less verbose

auth: make primary logging less verbose

auth regression docs: more mysql variants

Do not add request to a wait chain that's already processed or being processed.

The following scenario can occur. Multiple concurrent clients doing the same query A
are needed to trigger it:

1. Incoming request A, which has a need for request X
2. Add request X to chain because we already have an identical outstanding request
3. We receive the reply for X
4. We process the chain
5. In the meantime a new request for X that's identical is added to the chain
6. The added id in step 5 is not being processed anymore -> timeout

This can happen if request X has TTL 0, otherwise the record cache would have a hit.

Merge pull request #9700 from pieterlexis/docker-release-builds

Allow setting a fake-ish version number when building release images

Add a few comments as suggested by Habbie

Merge pull request #9697 from Habbie/rec-nod-oversize

rec: do not send overly long NOD lookups

auth: Add /api/docs endpoint to obtain OpenAPI document

This patch adds an /api/docs endpoint to the API webserver,
allowing clients to obtain the OpenAPI (Swagger) document that
describes the server's API directly from the server.

It also modifies the response body mechanism in the webserver
to no longer assume JSON output, but allow handlers to specify
JSON, YAML, or plain text. It also adds detection of YAML
support in the request so that handlers can choose which type
to send in their response. Since there is not yet a standard
MIME type for YAML, 'application/x-yaml' is used since it
appears to be the most commonly used type.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Merge pull request #9698 from omoerbeek/namespace-rampage

namespaces.hh cleanup

Merge pull request #9696 from rgacogne/rec-fakeaaa-cname-loop

rec: Avoid a CNAME loop detection issue with DNS64

Allow setting a fake-ish version number when building release images

Merge pull request #8608 from criteo-forks/custom_placeholder

geoipbackend: accept custom lookup mapping

rec: do not send overly long NOD lookups

Unscoped tie should come from boost for now

Keep on using boost::tuple, switching to std::tuple introduces
a few issues.

Include less in namespaces.hh and use more std::;
boost stuff now needs explicit scoping.

Merge pull request #9694 from pieterlexis/docker-improvements

Several docker image improvements

rec: Add a regression test for the DNS64 CNAME loop detection issue

rec: Avoid a CNAME loop detection issue with DNS64

When the requested qname is a CNAME to a second CNAME, the CNAME
loop detection might get incorrectly triggered because the CNAMEs
were already present in the vector of result records.

Merge pull request #9630 from omoerbeek/rec-protozero

Rec: start using protozero to create protobuf messages

Merge pull request #9689 from rgacogne/ddist-fix-ebpf-long-names

dnsdist: Fix eBPF filtering of long qnames

Merge pull request #9676 from rgacogne/dnsdist-lua-web-hooks

dnsdist: Implement Lua custom web endpoints

Merge pull request #9677 from rgacogne/ddist-log-tcp-size

dnsdist: Add the query payload size to the verbose log over TCP

Merge pull request #9678 from rgacogne/ddist-htmlfiles-dep

dnsdist: Add incfiles as a dependency to htmlfiles.h

Merge pull request #9686 from omoerbeek/rec-x-our-latency-is-gauge

rec: x-our-latency is a gauge

Do not access pbData members if pbData is boost::none, spotted by @rgacogne

Sort sources

Embedding the Message in an optional is not working properly,
somewhere move or copy semantics are violated.

To avoid heap allocatiom, move the a scheme where we always have a
Message. Later we can change the buffers to be thead-local as well.

Fix reserve botch, as noted by @rgacogne

Suggestions by @rgacogne

Use move semantics for putting things in packetcache and
tweak sizes to a better estimate, taking into account that the
final message will *include* the reponse part.

Spelling

Add a comment: should we add the udr flag if !udrEnabled?

Print appliedPolicyTrigger and appliedPolicyHit

Handle NOD flag in rr data

Adapt the regression test to allow absense of deviceName etc.

Checked with Wojas that this should be allowed. No use including fields that
have as value the empty string.

Save two pieces of protbuf string in the cache to allow
for mod of the response object.

TODO: NOD stuff, tagging, checking of the taggedOnly flag

Things are starting to work, but I'll need to split the cached
protobuf strings to allow for mod of the response.

Merge pull request #9667 from Habbie/docker-readme

docker: add README

Merge pull request #9692 from zeha/pdnsutil-keys

pdnsutil zone key improvements

Merge pull request #9693 from mind04/pdns-upgrade

Auth: make it possible to replace now supported TYPExxx records

Version 1.70 of protozero

Merge pull request #9400 from jsoref/bind-double-slash

BIND: avoid double //

Merge pull request #8970 from kpfleming/clarify-tsigkey-purpose

TSIG Keys are also used for DNSUPDATE, so update API docs

Merge pull request #9695 from zeha/spgsql-comment-typo

spgsql: fix a typo of mine in a comment

spgsql: fix a typo of mine in a comment

tests: update column id in awk use

Docker: ensure caching works

Docker: Add config templating

Merge pull request #9588 from Habbie/circleci-docker-auth

circleci: authenticate to Docker Hub

Merge pull request #9174 from cmouse/tinydns-dup

tinydnsbackend: Ignore duplicate SOA in getAllDomains()

Merge pull request #9685 from Habbie/auth-counters

auth: add some missing counters. Fixes #9675

pdnsutil: add published to list-keys

Merge pull request #9691 from Habbie/auth-regress-old-docs

remove outdated regression docs, fixes #7925

pdnsutil: check for domain existence in (de)activate-tsig-key

pdnsutil: show active flag in list-keys

pdnsutil validate key id when (de)activating

Extend Algorithm field size

startup.py: stop using tabs

dnsdist-resolve: be less verbose by default

remove outdated regression docs, fixes #7925