auth-py tests: py3

BaseHTTPServer is now http.server in Python 3

Suppress Python 3 parsing of Unicode literals

Additional fixes for Python 3 conversion

add venv to Dockerfile-auth for JSON API file

recursor DNSSEC regression tests: skip debug cachedump

recursor DNSSEC regression tests: migrate to Python 3

Use Python 3 in build system

The various tasks in the build system which use Python
will now use Python 3 (3.6 or later) and the 'venv' module,
instead of the 'virtualenv' tool which was primarily used
with Python 2.7.

Merge pull request #9633 from omoerbeek/rec-opensbd-udpsockets

rec: two OpenBSD improvemenst wrt UDP sockets: port randomization and EGAIN errors

Merge pull request #9643 from omoerbeek/rec-add-some-deps

rec: add a few missing dependencies to README

Merge pull request #9707 from omoerbeek/rec-chain-already-processing

rec: Do not add request to a wait chain that's already processed or being processed

Improved wording of comments

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #8911 from kpfleming/add-api-docs-endpoint

Add '/api/docs' endpoint to Auth server

Merge pull request #9688 from mind04/pdns-loglevel

Pdns AXFR, IXFR loglevels

auth: make notify logging less verbose

auth: make primary logging less verbose

Do not add request to a wait chain that's already processed or being processed.

The following scenario can occur. Multiple concurrent clients doing the same query A
are needed to trigger it:

1. Incoming request A, which has a need for request X
2. Add request X to chain because we already have an identical outstanding request
3. We receive the reply for X
4. We process the chain
5. In the meantime a new request for X that's identical is added to the chain
6. The added id in step 5 is not being processed anymore -> timeout

This can happen if request X has TTL 0, otherwise the record cache would have a hit.

Merge pull request #9700 from pieterlexis/docker-release-builds

Allow setting a fake-ish version number when building release images

Add a few comments as suggested by Habbie

Merge pull request #9697 from Habbie/rec-nod-oversize

rec: do not send overly long NOD lookups

auth: Add /api/docs endpoint to obtain OpenAPI document

This patch adds an /api/docs endpoint to the API webserver,
allowing clients to obtain the OpenAPI (Swagger) document that
describes the server's API directly from the server.

It also modifies the response body mechanism in the webserver
to no longer assume JSON output, but allow handlers to specify
JSON, YAML, or plain text. It also adds detection of YAML
support in the request so that handlers can choose which type
to send in their response. Since there is not yet a standard
MIME type for YAML, 'application/x-yaml' is used since it
appears to be the most commonly used type.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Merge pull request #9698 from omoerbeek/namespace-rampage

namespaces.hh cleanup

Merge pull request #9696 from rgacogne/rec-fakeaaa-cname-loop

rec: Avoid a CNAME loop detection issue with DNS64

Allow setting a fake-ish version number when building release images

Merge pull request #8608 from criteo-forks/custom_placeholder

geoipbackend: accept custom lookup mapping

rec: do not send overly long NOD lookups

Unscoped tie should come from boost for now

Keep on using boost::tuple, switching to std::tuple introduces
a few issues.

Include less in namespaces.hh and use more std::;
boost stuff now needs explicit scoping.

Merge pull request #9694 from pieterlexis/docker-improvements

Several docker image improvements

rec: Add a regression test for the DNS64 CNAME loop detection issue

rec: Avoid a CNAME loop detection issue with DNS64

When the requested qname is a CNAME to a second CNAME, the CNAME
loop detection might get incorrectly triggered because the CNAMEs
were already present in the vector of result records.

Merge pull request #9630 from omoerbeek/rec-protozero

Rec: start using protozero to create protobuf messages

Merge pull request #9689 from rgacogne/ddist-fix-ebpf-long-names

dnsdist: Fix eBPF filtering of long qnames

Merge pull request #9676 from rgacogne/dnsdist-lua-web-hooks

dnsdist: Implement Lua custom web endpoints

Merge pull request #9677 from rgacogne/ddist-log-tcp-size

dnsdist: Add the query payload size to the verbose log over TCP

Merge pull request #9678 from rgacogne/ddist-htmlfiles-dep

dnsdist: Add incfiles as a dependency to htmlfiles.h

Merge pull request #9686 from omoerbeek/rec-x-our-latency-is-gauge

rec: x-our-latency is a gauge

Do not access pbData members if pbData is boost::none, spotted by @rgacogne

Sort sources

Embedding the Message in an optional is not working properly,
somewhere move or copy semantics are violated.

To avoid heap allocatiom, move the a scheme where we always have a
Message. Later we can change the buffers to be thead-local as well.

Fix reserve botch, as noted by @rgacogne

Suggestions by @rgacogne

Use move semantics for putting things in packetcache and
tweak sizes to a better estimate, taking into account that the
final message will *include* the reponse part.

Spelling

Add a comment: should we add the udr flag if !udrEnabled?

Print appliedPolicyTrigger and appliedPolicyHit

Handle NOD flag in rr data

Adapt the regression test to allow absense of deviceName etc.

Checked with Wojas that this should be allowed. No use including fields that
have as value the empty string.

Save two pieces of protbuf string in the cache to allow
for mod of the response object.

TODO: NOD stuff, tagging, checking of the taggedOnly flag

Things are starting to work, but I'll need to split the cached
protobuf strings to allow for mod of the response.

Merge pull request #9667 from Habbie/docker-readme

docker: add README

Merge pull request #9692 from zeha/pdnsutil-keys

pdnsutil zone key improvements

Merge pull request #9693 from mind04/pdns-upgrade

Auth: make it possible to replace now supported TYPExxx records

Version 1.70 of protozero

Merge pull request #9400 from jsoref/bind-double-slash

BIND: avoid double //

Merge pull request #8970 from kpfleming/clarify-tsigkey-purpose

TSIG Keys are also used for DNSUPDATE, so update API docs

Merge pull request #9695 from zeha/spgsql-comment-typo

spgsql: fix a typo of mine in a comment

spgsql: fix a typo of mine in a comment

tests: update column id in awk use

Docker: ensure caching works

Docker: Add config templating

Merge pull request #9588 from Habbie/circleci-docker-auth

circleci: authenticate to Docker Hub

Merge pull request #9174 from cmouse/tinydns-dup

tinydnsbackend: Ignore duplicate SOA in getAllDomains()

Merge pull request #9685 from Habbie/auth-counters

auth: add some missing counters. Fixes #9675

pdnsutil: add published to list-keys

Merge pull request #9691 from Habbie/auth-regress-old-docs

remove outdated regression docs, fixes #7925

pdnsutil: check for domain existence in (de)activate-tsig-key

pdnsutil: show active flag in list-keys

pdnsutil validate key id when (de)activating

Extend Algorithm field size

startup.py: stop using tabs

dnsdist-resolve: be less verbose by default

remove outdated regression docs, fixes #7925

geoipbackend: accept custom lookup mapping

If for example you want a per country granularity, but still want to
group by custom regions: uk, fr, be -> eu-central, pt, es -> eu-south;
you need to to use %cc and create identical country records. It means
you zones file can become huge and powerdns does not like it too much.

For a user to have a custom mapping without the need to rewrite the
GeoIP database, with this commit, he/she can specify a custom mapping,
so if we get from the GeoIP database fr, we will look in the custom
mapping and find eu-central. So we only need to create the eu-central
record and it will be used by for uk, fr and be as per our first
example.

Definition of mapping_lookup_formats or custom_mapping at the domain
level has priority, but if not defined the global config will be used
as default.

The custom lookup formats and mapping are specified in the zones file:

  ---
  mapping_lookup_formats: ['%cc-%re', '%cc']
  custom_mapping:
    'fr': 'eu-central'
    'be': 'eu-central'
    'es': 'eu-south'
    'pt': 'eu-south'
    'us-ca': 'us-west'
    'us-tx': 'us-south'
  domains:
  - domain: example.com
    services:
      www.example.com: [ '%mp.www.example.com' ]
    records:
      eu-central.www.example.com:
        - A: 1.1.1.1
      eu-south.www.example.com:
        - A: 1.1.1.2
      us-west.www.example.com:
        - A: 1.1.1.3
      us-south.www.example.com:
        - A: 1.1.1.4
  - domain: example2.com
    mapping_lookup_formats: ['%cc']

circleci: authenticate to Docker Hub

auth: add some missing counters. Fixes #9675

Merge pull request #9639 from omoerbeek/rec-negcachetest-clock-ticks

rec: the clock can tick while the negcache test is running.

Merge pull request #9239 from pieterlexis/xfr-list

Auth: Add pdns_control command to the the list of XFR domains in queue

Merge pull request #8912 from Habbie/bind-no-schema-header

auth: remove duplicated Makefile target for bind dnssec schema

tinydnsbackend: Ignore duplicate SOA records

tinydns data format can generate multiple SOA records, so
ignore them to avoid listing same domain many times.

dnsdist: Fix eBPF filtering of long qnames

This commit switches to the use of eBPF positive offsets to access
the content of the transport and application layers, since using
negative offsets (needed to access the other layers) led to issues
with long qnames.
This is cleaner anyway :-)

auth: make secondary logging less verbose

Merge pull request #9651 from omoerbeek/rec-prometheus-names

rec: Allow to specify a name in getMetric() that is used for Prometheus export only.

x-our-latency is a gauge. While there, describe better what it is
and fix a ref.

Fixes #9638

Follow suggestion by @rgacogne and specify the timestamp for
converting ttd to ttl as an arg in the negCache dump.

Properly distinguish building form src tarball vs building from git tree.

Merge pull request #9680 from omoerbeek/rec-cname-to-child-vs-qm

rec: If a.b.c CNAME x.a.b.c is encoutered, switch off QM for x.a.b.c resolve

Merge pull request #9679 from rgacogne/rec-answers-from-gettag

rec: Fix the processing of answers generated from gettag

Use the same words for for both cases

rec: Add a regression test for answers generated from gettag

If a.b.c CNAME x.a.b.c is encoutered, switch off
QM, it will lead to great recursion depth without result.

rec: Fix the processing of answers generated from gettag

The logic to let a RPZ match override the answers generated from Lua
was broken, ignoring the generated values.

dnsdist: Add the query payload size to the verbose log over TCP

That makes debugging much easier.

dnsdist: Add incfiles as a dependency to htmlfiles.h

That way it is rebuilt when the generation script is updated.

dnsdist: Appease the spell-checking gods

dnsdist: Add a sample custom Lua web handler to the documentation

dnsdist: Fix documentation issues reported by Habbie (thanks!)

dnsdist: Implement Lua custom web endpoints

Merge pull request #9663 from Habbie/auth-4.4.0-alpha2-docs

auth: 4.4.0-alpha3 changelog