APL records: fix endianness problem. Closes #9763

Merge pull request #9759 from Habbie/repo-script-raspbian

generate-repo-files: add raspbian support

Merge pull request #9747 from Habbie/github-actions-ubuntu-20.04

github actions: pin ubuntu 20.04 instead of -latest

Merge pull request #9758 from Habbie/auth-4.4.0-beta1-docs

auth: changelog&secpoll for auth-4.4.0-beta1

generate-repo-files: add raspbian support

Merge pull request #9582 from rgacogne/ddist-tcp-refactor-split

dnsdist: Implement TCP out-of-order

auth: changelog&secpoll for auth-4.4.0-beta1

dnsdist: Better documentation for out-of-order support

Merge pull request #9744 from rgacogne/rec-near-miss-to-tcp

rec: Switch to TCP in case of spoofing (near-miss) attempts

Merge pull request #9754 from omoerbeek/auth-openbsd-warnings

auth: Kill warnings in test code on OpenBSD/clang

Kill warnings in test code on OpenBSD/clang

Merge pull request #9751 from rgacogne/rec-ede-centos6

rec: Fix getEDNSExtendedErrorOptFromString() on CentOS 6

Merge pull request #9752 from pieterlexis/docker-improvements2

Two new docker improvements

docker: also strip backend modules

Dump generated configs from templates to stdout

Merge pull request #9749 from rgacogne/dnsname-move-assignment-operator

Fix the DNSName move assignment operator

rec: Fix getEDNSExtendedErrorOptFromString() on CentOS 6

pdns_string_view falls back to a regular string there, so there
was an ambiguity on which overloaded function to call.

auth: Don't steal resources from additional records

Fix the DNSName move assignement operator

A misplaced 'const' prevented it from being called, making every
move of a DNSName into a full copy.
Introduced in d720eb8add5ebda11867e8b404125e0b68ed2911.

Merge pull request #9735 from Habbie/pdnsutil-dname

auth: pdnsutil check-zone: DNAME fixes

Merge pull request #9523 from kpfleming/builder-improvements

Package builder improvements

rec: Clarify the 'near-miss' log message, add more comments

rec: Don't use a boost::optional to store "spoof-nearmiss-max"

Merge pull request #9673 from rgacogne/rec-ede

rec: Add support for rfc8914: Extended DNS Errors

Merge pull request #9704 from mind04/pdns-performance

auth: nxdomain performance

auth: pdnsutil check-zone: DNAME fixes

* don't warn about occlusion of records with the same name as the DNAME record
* do warn about occlusion when the DNAME is at the apex

Merge pull request #9731 from Habbie/auth-quote-ips

auth: put quotes around some IPs to make messages easier to read

github actions: pin ubuntu 20.04 instead of -latest

auth: SOAData is now a member variable in PacketHandler

auth: avoid the use of getSOAUncached() in single backend setups

auth: #9496 was incomplete, ignore cryptokeys in emitNSEC() and emitNSEC3()

Merge pull request #9713 from pieterlexis/trusted-notification-proxy

Allow ip ranges as trusted-notification-proxy

Merge pull request #8707 from Habbie/lmdb-domaininfo-serial

lmdb: fill di.serial (code stolen straight from gsqlbackend)

rec: Remove trailing whitespaces

rec: Test that the "zero scope" option doesn't exceed the maximum payload size

When use-incoming-edns-subnet is enabled, the query has an ECS option,
and the answer was not variable, we do return a 0-scoped ECS answer,
to make it possible to the client (dnsdist for example) to cache the
response and serve it to all clients.
Still we need to make sure that adding the 0-scoped ECS option does not
exceed the client EDNS UDP payload size.

rec: Rename the EDE setting to 'extended-resolution-errors'

Also make RPZ and Lua EDE independent of that setting.

rec: PolicyOverridesGettag is the default for RPZ zones

rec: Use a struct to pass gettag_ffi parameters

rec: Better handling of max packet size for answers with a 0-scope

rec: Fix the parsing of RPZ's extendedErrorCode setting

Mixing uint16_t and uin32_t in the same boost::variant passed to Lua
does not work well.

rec: Implement Extended DNS Errors for RPZ hits

rec: Add Lua bindings, regression tests for Extended DNS Errors

rec: Add unit tests for Extended DNS Errors

rec: Fix formatting of the EDNS Extended Error codes

rec: Add support for rfc8914: Extended DNS Errors

Still needs:
- unit tests
- regression tests

Would be nice to have:
- ability to set an extended error from Lua (FFI or not)
- same for RPZ matches

lmdb: fill di.serial

Merge pull request #9745 from Habbie/auth-lua-intermittent

auth LUA tests: give healthchecker more time

auth LUA tests: give healthchecker more time

Merge pull request #9714 from Habbie/mysql-8

auth: disable mysql automatic charset detection

Merge pull request #9712 from kpfleming/use-python3

Use Python 3 in build system

auth-py tests: py3

Merge pull request #9737 from rgacogne/ddist-dump-cache-rcode

dnsdist: Add the response code in the packet cache dump

rec: Switch to TCP in case of spoofing (near-miss) attempts

Instead of treating this like an unrecoverable network error and
trying the next server, let's switch to TCP instead. This might
prevent a DoS by making us try every single servers and failing,
and will make the spoofing attempt a bit much harder.

BaseHTTPServer is now http.server in Python 3

Suppress Python 3 parsing of Unicode literals

Additional fixes for Python 3 conversion

Merge pull request #9591 from omoerbeek/fstrm-table-driven-options

Long overdue table driven option setting for libfstrm

dnsdist: Add the response code in the packet cache dump

dnsdist: Fix "in-flight" queries counter for XFR, plus a few typos

Use string instead of char *

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

auth: put quotes around some IPs to make messages easier to read

Merge pull request #9729 from appliedprivacy/patch-3

fix a typo in prometheus metrics dnsdist_frontend_tlshandshakefailures #9728

fix typo #9728

Merge pull request #9727 from georgeto/dnsdist-docs-typo

dnsdist: Fix typo in DNSNameSet documentation

dnsdist: Fix typo in DNSNameSet documentation

The newDNSNameSet() function has no name argument.

add venv to Dockerfile-auth for JSON API file

recursor DNSSEC regression tests: skip debug cachedump

recursor DNSSEC regression tests: migrate to Python 3

Use Python 3 in build system

The various tasks in the build system which use Python
will now use Python 3 (3.6 or later) and the 'venv' module,
instead of the 'virtualenv' tool which was primarily used
with Python 2.7.

Merge pull request #9708 from Habbie/auth-regress-docs-mysql

auth regression docs: more mysql variants

Merge pull request #9721 from georgeto/lua-binding-const-qualifier

dnsdist: Improve const-correctness of Lua bindings

dnsdist: Improve const-correctness of Lua bindings

Since LuaWrapper enforces const-correctness, a const (shared) pointer
to an object can only read members and call const methods.
Therefore we have to take care to use the const qualifier during
registration of constant lambda Lua function bindings.

An example where the absence of the const qualifier was problematic is
LuaRule, which invokes its user provided match function with a constant
DNSQuestion object. Because the functions of DNSQuestion lacked
the const qualifier (e.g. getTag()), it was not possible to call them
from within the LuaRule match function.

Merge pull request #9716 from rgacogne/webserver-accept-yaml

Fix initialization of WebServer::accept_yaml

Fix initialization of WebServer::accept_yaml

Merge pull request #9633 from omoerbeek/rec-opensbd-udpsockets

rec: two OpenBSD improvemenst wrt UDP sockets: port randomization and EGAIN errors

Merge pull request #9643 from omoerbeek/rec-add-some-deps

rec: add a few missing dependencies to README

Merge pull request #9707 from omoerbeek/rec-chain-already-processing

rec: Do not add request to a wait chain that's already processed or being processed

Improved wording of comments

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth mysql: disable automatic charset detection

auth regress: allow per-backend test skipping

Allow ip ranges as trusted-notification-proxy

This also stops us from doing string comparison for that setting.

Fixes #9711

Merge pull request #8911 from kpfleming/add-api-docs-endpoint

Add '/api/docs' endpoint to Auth server

Merge pull request #9688 from mind04/pdns-loglevel

Pdns AXFR, IXFR loglevels

auth: make notify logging less verbose

auth: make primary logging less verbose

auth regression docs: more mysql variants

Do not add request to a wait chain that's already processed or being processed.

The following scenario can occur. Multiple concurrent clients doing the same query A
are needed to trigger it:

1. Incoming request A, which has a need for request X
2. Add request X to chain because we already have an identical outstanding request
3. We receive the reply for X
4. We process the chain
5. In the meantime a new request for X that's identical is added to the chain
6. The added id in step 5 is not being processed anymore -> timeout

This can happen if request X has TTL 0, otherwise the record cache would have a hit.

Merge pull request #9700 from pieterlexis/docker-release-builds

Allow setting a fake-ish version number when building release images

Add a few comments as suggested by Habbie

Merge pull request #9697 from Habbie/rec-nod-oversize

rec: do not send overly long NOD lookups

auth: Add /api/docs endpoint to obtain OpenAPI document

This patch adds an /api/docs endpoint to the API webserver,
allowing clients to obtain the OpenAPI (Swagger) document that
describes the server's API directly from the server.

It also modifies the response body mechanism in the webserver
to no longer assume JSON output, but allow handlers to specify
JSON, YAML, or plain text. It also adds detection of YAML
support in the request so that handlers can choose which type
to send in their response. Since there is not yet a standard
MIME type for YAML, 'application/x-yaml' is used since it
appears to be the most commonly used type.

Signed-off-by: Kevin P. Fleming <kevin@km6g.us>

Merge pull request #9698 from omoerbeek/namespace-rampage

namespaces.hh cleanup

Merge pull request #9696 from rgacogne/rec-fakeaaa-cname-loop

rec: Avoid a CNAME loop detection issue with DNS64

Allow setting a fake-ish version number when building release images

Merge pull request #8608 from criteo-forks/custom_placeholder

geoipbackend: accept custom lookup mapping

rec: do not send overly long NOD lookups

Unscoped tie should come from boost for now

Keep on using boost::tuple, switching to std::tuple introduces
a few issues.

Include less in namespaces.hh and use more std::;
boost stuff now needs explicit scoping.