rec: Fix getEDNSExtendedErrorOptFromString() on CentOS 6

pdns_string_view falls back to a regular string there, so there
was an ambiguity on which overloaded function to call.

Merge pull request #9735 from Habbie/pdnsutil-dname

auth: pdnsutil check-zone: DNAME fixes

Merge pull request #9523 from kpfleming/builder-improvements

Package builder improvements

Merge pull request #9673 from rgacogne/rec-ede

rec: Add support for rfc8914: Extended DNS Errors

Merge pull request #9704 from mind04/pdns-performance

auth: nxdomain performance

auth: pdnsutil check-zone: DNAME fixes

* don't warn about occlusion of records with the same name as the DNAME record
* do warn about occlusion when the DNAME is at the apex

Merge pull request #9731 from Habbie/auth-quote-ips

auth: put quotes around some IPs to make messages easier to read

auth: SOAData is now a member variable in PacketHandler

auth: avoid the use of getSOAUncached() in single backend setups

auth: #9496 was incomplete, ignore cryptokeys in emitNSEC() and emitNSEC3()

Merge pull request #9713 from pieterlexis/trusted-notification-proxy

Allow ip ranges as trusted-notification-proxy

Merge pull request #8707 from Habbie/lmdb-domaininfo-serial

lmdb: fill di.serial (code stolen straight from gsqlbackend)

rec: Remove trailing whitespaces

rec: Test that the "zero scope" option doesn't exceed the maximum payload size

When use-incoming-edns-subnet is enabled, the query has an ECS option,
and the answer was not variable, we do return a 0-scoped ECS answer,
to make it possible to the client (dnsdist for example) to cache the
response and serve it to all clients.
Still we need to make sure that adding the 0-scoped ECS option does not
exceed the client EDNS UDP payload size.

rec: Rename the EDE setting to 'extended-resolution-errors'

Also make RPZ and Lua EDE independent of that setting.

rec: PolicyOverridesGettag is the default for RPZ zones

rec: Use a struct to pass gettag_ffi parameters

rec: Better handling of max packet size for answers with a 0-scope

rec: Fix the parsing of RPZ's extendedErrorCode setting

Mixing uint16_t and uin32_t in the same boost::variant passed to Lua
does not work well.

rec: Implement Extended DNS Errors for RPZ hits

rec: Add Lua bindings, regression tests for Extended DNS Errors

rec: Add unit tests for Extended DNS Errors

rec: Fix formatting of the EDNS Extended Error codes

rec: Add support for rfc8914: Extended DNS Errors

Still needs:
- unit tests
- regression tests

Would be nice to have:
- ability to set an extended error from Lua (FFI or not)
- same for RPZ matches

lmdb: fill di.serial

Merge pull request #9745 from Habbie/auth-lua-intermittent

auth LUA tests: give healthchecker more time

auth LUA tests: give healthchecker more time

Merge pull request #9714 from Habbie/mysql-8

auth: disable mysql automatic charset detection

Merge pull request #9712 from kpfleming/use-python3

Use Python 3 in build system

auth-py tests: py3

Merge pull request #9737 from rgacogne/ddist-dump-cache-rcode

dnsdist: Add the response code in the packet cache dump

BaseHTTPServer is now http.server in Python 3

Suppress Python 3 parsing of Unicode literals

Additional fixes for Python 3 conversion

Merge pull request #9591 from omoerbeek/fstrm-table-driven-options

Long overdue table driven option setting for libfstrm

dnsdist: Add the response code in the packet cache dump

Use string instead of char *

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

auth: put quotes around some IPs to make messages easier to read

Merge pull request #9729 from appliedprivacy/patch-3

fix a typo in prometheus metrics dnsdist_frontend_tlshandshakefailures #9728

fix typo #9728

Merge pull request #9727 from georgeto/dnsdist-docs-typo

dnsdist: Fix typo in DNSNameSet documentation

dnsdist: Fix typo in DNSNameSet documentation

The newDNSNameSet() function has no name argument.

add venv to Dockerfile-auth for JSON API file

recursor DNSSEC regression tests: skip debug cachedump

recursor DNSSEC regression tests: migrate to Python 3

Use Python 3 in build system

The various tasks in the build system which use Python
will now use Python 3 (3.6 or later) and the 'venv' module,
instead of the 'virtualenv' tool which was primarily used
with Python 2.7.

Merge pull request #9708 from Habbie/auth-regress-docs-mysql

auth regression docs: more mysql variants

Merge pull request #9721 from georgeto/lua-binding-const-qualifier

dnsdist: Improve const-correctness of Lua bindings

dnsdist: Improve const-correctness of Lua bindings

Since LuaWrapper enforces const-correctness, a const (shared) pointer
to an object can only read members and call const methods.
Therefore we have to take care to use the const qualifier during
registration of constant lambda Lua function bindings.

An example where the absence of the const qualifier was problematic is
LuaRule, which invokes its user provided match function with a constant
DNSQuestion object. Because the functions of DNSQuestion lacked
the const qualifier (e.g. getTag()), it was not possible to call them
from within the LuaRule match function.

Merge pull request #9716 from rgacogne/webserver-accept-yaml

Fix initialization of WebServer::accept_yaml

Fix initialization of WebServer::accept_yaml

Merge pull request #9633 from omoerbeek/rec-opensbd-udpsockets

rec: two OpenBSD improvemenst wrt UDP sockets: port randomization and EGAIN errors

Merge pull request #9643 from omoerbeek/rec-add-some-deps

rec: add a few missing dependencies to README

Merge pull request #9707 from omoerbeek/rec-chain-already-processing

rec: Do not add request to a wait chain that's already processed or being processed

Improved wording of comments

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth mysql: disable automatic charset detection

auth regress: allow per-backend test skipping

Allow ip ranges as trusted-notification-proxy

This also stops us from doing string comparison for that setting.

Fixes #9711

Merge pull request #8911 from kpfleming/add-api-docs-endpoint

Add '/api/docs' endpoint to Auth server

Merge pull request #9688 from mind04/pdns-loglevel

Pdns AXFR, IXFR loglevels

auth: make notify logging less verbose

auth: make primary logging less verbose

auth regression docs: more mysql variants

Do not add request to a wait chain that's already processed or being processed.

The following scenario can occur. Multiple concurrent clients doing the same query A
are needed to trigger it:

1. Incoming request A, which has a need for request X
2. Add request X to chain because we already have an identical outstanding request
3. We receive the reply for X
4. We process the chain
5. In the meantime a new request for X that's identical is added to the chain
6. The added id in step 5 is not being processed anymore -> timeout

This can happen if request X has TTL 0, otherwise the record cache would have a hit.

Merge pull request #9700 from pieterlexis/docker-release-builds

Allow setting a fake-ish version number when building release images

Add a few comments as suggested by Habbie

Merge pull request #9697 from Habbie/rec-nod-oversize

rec: do not send overly long NOD lookups

auth: Add /api/docs endpoint to obtain OpenAPI document

This patch adds an /api/docs endpoint to the API webserver,
allowing clients to obtain the OpenAPI (Swagger) document that
describes the server's API directly from the server.

It also modifies the response body mechanism in the webserver
to no longer assume JSON output, but allow handlers to specify
JSON, YAML, or plain text. It also adds detection of YAML
support in the request so that handlers can choose which type
to send in their response. Since there is not yet a standard
MIME type for YAML, 'application/x-yaml' is used since it
appears to be the most commonly used type.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Merge pull request #9698 from omoerbeek/namespace-rampage

namespaces.hh cleanup

Merge pull request #9696 from rgacogne/rec-fakeaaa-cname-loop

rec: Avoid a CNAME loop detection issue with DNS64

Allow setting a fake-ish version number when building release images

Merge pull request #8608 from criteo-forks/custom_placeholder

geoipbackend: accept custom lookup mapping

rec: do not send overly long NOD lookups

Unscoped tie should come from boost for now

Keep on using boost::tuple, switching to std::tuple introduces
a few issues.

Include less in namespaces.hh and use more std::;
boost stuff now needs explicit scoping.

Merge pull request #9694 from pieterlexis/docker-improvements

Several docker image improvements

rec: Add a regression test for the DNS64 CNAME loop detection issue

rec: Avoid a CNAME loop detection issue with DNS64

When the requested qname is a CNAME to a second CNAME, the CNAME
loop detection might get incorrectly triggered because the CNAMEs
were already present in the vector of result records.

Merge pull request #9630 from omoerbeek/rec-protozero

Rec: start using protozero to create protobuf messages

Merge pull request #9689 from rgacogne/ddist-fix-ebpf-long-names

dnsdist: Fix eBPF filtering of long qnames

Merge pull request #9676 from rgacogne/dnsdist-lua-web-hooks

dnsdist: Implement Lua custom web endpoints

Merge pull request #9677 from rgacogne/ddist-log-tcp-size

dnsdist: Add the query payload size to the verbose log over TCP

Merge pull request #9678 from rgacogne/ddist-htmlfiles-dep

dnsdist: Add incfiles as a dependency to htmlfiles.h

Merge pull request #9686 from omoerbeek/rec-x-our-latency-is-gauge

rec: x-our-latency is a gauge

Do not access pbData members if pbData is boost::none, spotted by @rgacogne

Sort sources

Embedding the Message in an optional is not working properly,
somewhere move or copy semantics are violated.

To avoid heap allocatiom, move the a scheme where we always have a
Message. Later we can change the buffers to be thead-local as well.

Fix reserve botch, as noted by @rgacogne

Suggestions by @rgacogne

Use move semantics for putting things in packetcache and
tweak sizes to a better estimate, taking into account that the
final message will *include* the reponse part.

Spelling

Add a comment: should we add the udr flag if !udrEnabled?

Print appliedPolicyTrigger and appliedPolicyHit

Handle NOD flag in rr data

Adapt the regression test to allow absense of deviceName etc.

Checked with Wojas that this should be allowed. No use including fields that
have as value the empty string.

Save two pieces of protbuf string in the cache to allow
for mod of the response object.

TODO: NOD stuff, tagging, checking of the taggedOnly flag

Things are starting to work, but I'll need to split the cached
protobuf strings to allow for mod of the response.

Merge pull request #9667 from Habbie/docker-readme

docker: add README