auth lmdb: serialise LMDBBackend construction

(cherry picked from commit 6f3ea5dd6db432bc744c22e0d60dbe98483704ca)

Merge pull request #9884 from RobinGeuze/clearLMDBState

auth-4.4.x: clear the LMDB set state when performing a new lookup or list to prevent corruption cases

Merge pull request #9878 from Habbie/backport-9844-to-auth-4.4.x

auth-4.4: SVCB: Correctly parse and print unknown params

Merge pull request #9882 from Habbie/backport-9752-to-auth-4.4.x

auth-4.4.x: two docker improvements

Clear the LMDB set state when performing a new lookup or list to prevent corruption cases

docker: also strip backend modules

(cherry picked from commit 61f9a96fb05361d058fe68e96167e84046fcda88)

Dump generated configs from templates to stdout

(cherry picked from commit f51f65ebaf0755d5b780031ba55b00c0df3f0963)

SVCB: Correctly parse and print unknown params

There were multiple issues. With this commit, we *always* store the
bytes that are represented by the option. To do this, we needed to
properly parse RFC 1035 character-strings. This is now done with a
conversion of the ABNF from draft-ietf-dnsop-svcb-https-02 to ragel.

The resulting function could be used as a starting point for a better
TXT storage format.

(cherry picked from commit b1a048a9caa0d14f9e6665c45af004c041fe5c5e)
(cherry picked from commit ca749ae109941ad0b5e96043b9f6a76305c4fcc7)

Merge pull request #9873 from mind04/pdns-direct-dnskey-bp

auth-4.4.x: fix direct-dnskey in AXFR-out

auth: test direct-dnskey in AXFR-out

auth: fix direct-dnskey in AXFR-out

Merge pull request #9866 from mind04/pdns-bp-9847

auth-4.4.x: don't log trusted-notification-proxy notify at error level

Merge pull request #9864 from Habbie/backport-9858-to-auth-4.4.x

auth-4.4.x bind: call DynListener static functions correctly

auth bind: call DynListener static functions correctly

(cherry picked from commit dc9a3a8ebbb43ceb7b770b1253e1c8b9852bf97d)

Merge pull request #9853 from omoerbeek/backport-9840-to-auth-4.4.x

auth: Backport 9840 to auth 4.4.x: Stop using incbin and use od & sed to generate constant string data.

auth: don't log trusted-notification-proxy notify at error level

force 1 byte reads for od

(cherry picked from commit e1d66be3a14e28d446da3206f0f661d4ea990193)

Make the processing binary safe and zap the incbin include from ws-auth.cc

(cherry picked from commit 9c1f9f42a6f4a391e13446697fc9f68d53c9a3be)

Stop using incbin and use od & sed to generate constant string data.

(cherry picked from commit 006c3bef8a172319a585fe8c1243ad375642be1e)

Merge pull request #9834 from Habbie/backport-9831-to-auth-4.4.x

auth-4.4.x: el8: PowerTools is now powertools

el8: PowerTools is now powertools

(cherry picked from commit 26fe12046566da83844f1163134ba722a603e911)

Merge pull request #9816 from mind04/auth44x-9813

auth-4.4.x: geoip: set netmask on all string formatting types

auth geoip: set netmask on all string formatting types

(via Kees Monshouwer)

Merge pull request #9800 from Habbie/backport-9794-to-auth-4.4.x

auth 4.4.x api-swagger.json: do not depend on .venv target

Merge pull request #9798 from Habbie/backport-9574-to-auth-4.4.x

auth-4.4.x: Ensure socket-dir matches runtimedir on old systemd

Merge pull request #9797 from Habbie/backport-9796-to-auth-4.4.x

auth-4.4.x: geoipbackend: make local function static

auth api-swagger.json: do not depend on .venv target. Fixes #9792

(cherry picked from commit fc7e2034559d4b20f487395aee88a0d8c0f56ece)

Ensure socket-dir matches runtimedir on old systemd

This is mostly a hack for systemd version <240 so using virtual hosting
on Ubuntu Bionic and EL7 does not lead to surprises.

This Commit explicitly adds the `--socket-dir` to the invocation of the
unit. Any users who want to use their own runtimedirs should use a
drop-in unit overriding ExecStart. I believe this does not validate the
principle of least surprise for those using the PowerDNS provided
packages and virtual hosting.

Fixes #9485

(cherry picked from commit 7bbaae110abb53f43d0bf60c81efe3bb8630a925)

auth geoipbackend: make local function static. Fixes #9791

(cherry picked from commit d73c73f9926ea784b5a443b70962b2bc7ebec435)

Merge pull request #9778 from Habbie/backport-9775-to-auth-4.4.x

pdnsutil add-record: notice when backend does not support replaceRRSet. Fixes #9730

Merge pull request #9765 from mind04/pdns-log-bp

auth-4.4.x: add remote to default axfr logging

Merge pull request #9785 from mind04/pdns-latency-44x

 auth-4.4.x: fix rounding inaccuracy in latency statistics

auth: fix rounding inaccuracy in latency statistics

auth: fix compiler errors with --enable-verbose-logging

auth: add zone and primary to all axfr logging

Merge pull request #9773 from Habbie/backport-9766-to-auth-4.4.x

auth-4.4.x: APL records: fix endianness problem.

pdnsutil add-record: notice when backend does not support replaceRRSet. Fixes #9730

(cherry picked from commit cd624e77d09e58228f5b54207f34496463193069)

APL records: fix endianness problem. Closes #9763

(cherry picked from commit a0d9f00d8d76bb07847abb2f837f7c629fb238b2)

Merge pull request #9761 from Habbie/backport-9749-to-auth-4.4.x

auth-4.4.x: Fix the DNSName move assignment operator

auth: Don't steal resources from additional records

(cherry picked from commit 21f2345d40c96fac7aff4f1f9e02f67579038352)

Fix the DNSName move assignement operator

A misplaced 'const' prevented it from being called, making every
move of a DNSName into a full copy.
Introduced in d720eb8add5ebda11867e8b404125e0b68ed2911.

(cherry picked from commit 8d1bb300460d5cc97b4599ea8eddeb7b6d35decf)

Merge pull request #9735 from Habbie/pdnsutil-dname

auth: pdnsutil check-zone: DNAME fixes

Merge pull request #9523 from kpfleming/builder-improvements

Package builder improvements

Merge pull request #9673 from rgacogne/rec-ede

rec: Add support for rfc8914: Extended DNS Errors

Merge pull request #9704 from mind04/pdns-performance

auth: nxdomain performance

auth: pdnsutil check-zone: DNAME fixes

* don't warn about occlusion of records with the same name as the DNAME record
* do warn about occlusion when the DNAME is at the apex

Merge pull request #9731 from Habbie/auth-quote-ips

auth: put quotes around some IPs to make messages easier to read

auth: SOAData is now a member variable in PacketHandler

auth: avoid the use of getSOAUncached() in single backend setups

auth: #9496 was incomplete, ignore cryptokeys in emitNSEC() and emitNSEC3()

Merge pull request #9713 from pieterlexis/trusted-notification-proxy

Allow ip ranges as trusted-notification-proxy

Merge pull request #8707 from Habbie/lmdb-domaininfo-serial

lmdb: fill di.serial (code stolen straight from gsqlbackend)

rec: Remove trailing whitespaces

rec: Test that the "zero scope" option doesn't exceed the maximum payload size

When use-incoming-edns-subnet is enabled, the query has an ECS option,
and the answer was not variable, we do return a 0-scoped ECS answer,
to make it possible to the client (dnsdist for example) to cache the
response and serve it to all clients.
Still we need to make sure that adding the 0-scoped ECS option does not
exceed the client EDNS UDP payload size.

rec: Rename the EDE setting to 'extended-resolution-errors'

Also make RPZ and Lua EDE independent of that setting.

rec: PolicyOverridesGettag is the default for RPZ zones

rec: Use a struct to pass gettag_ffi parameters

rec: Better handling of max packet size for answers with a 0-scope

rec: Fix the parsing of RPZ's extendedErrorCode setting

Mixing uint16_t and uin32_t in the same boost::variant passed to Lua
does not work well.

rec: Implement Extended DNS Errors for RPZ hits

rec: Add Lua bindings, regression tests for Extended DNS Errors

rec: Add unit tests for Extended DNS Errors

rec: Fix formatting of the EDNS Extended Error codes

rec: Add support for rfc8914: Extended DNS Errors

Still needs:
- unit tests
- regression tests

Would be nice to have:
- ability to set an extended error from Lua (FFI or not)
- same for RPZ matches

lmdb: fill di.serial

Merge pull request #9745 from Habbie/auth-lua-intermittent

auth LUA tests: give healthchecker more time

auth LUA tests: give healthchecker more time

Merge pull request #9714 from Habbie/mysql-8

auth: disable mysql automatic charset detection

Merge pull request #9712 from kpfleming/use-python3

Use Python 3 in build system

auth-py tests: py3

Merge pull request #9737 from rgacogne/ddist-dump-cache-rcode

dnsdist: Add the response code in the packet cache dump

BaseHTTPServer is now http.server in Python 3

Suppress Python 3 parsing of Unicode literals

Additional fixes for Python 3 conversion

Merge pull request #9591 from omoerbeek/fstrm-table-driven-options

Long overdue table driven option setting for libfstrm

dnsdist: Add the response code in the packet cache dump

Use string instead of char *

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

auth: put quotes around some IPs to make messages easier to read

Merge pull request #9729 from appliedprivacy/patch-3

fix a typo in prometheus metrics dnsdist_frontend_tlshandshakefailures #9728

fix typo #9728

Merge pull request #9727 from georgeto/dnsdist-docs-typo

dnsdist: Fix typo in DNSNameSet documentation

dnsdist: Fix typo in DNSNameSet documentation

The newDNSNameSet() function has no name argument.

add venv to Dockerfile-auth for JSON API file

recursor DNSSEC regression tests: skip debug cachedump

recursor DNSSEC regression tests: migrate to Python 3

Use Python 3 in build system

The various tasks in the build system which use Python
will now use Python 3 (3.6 or later) and the 'venv' module,
instead of the 'virtualenv' tool which was primarily used
with Python 2.7.

Merge pull request #9708 from Habbie/auth-regress-docs-mysql

auth regression docs: more mysql variants

Merge pull request #9721 from georgeto/lua-binding-const-qualifier

dnsdist: Improve const-correctness of Lua bindings

dnsdist: Improve const-correctness of Lua bindings

Since LuaWrapper enforces const-correctness, a const (shared) pointer
to an object can only read members and call const methods.
Therefore we have to take care to use the const qualifier during
registration of constant lambda Lua function bindings.

An example where the absence of the const qualifier was problematic is
LuaRule, which invokes its user provided match function with a constant
DNSQuestion object. Because the functions of DNSQuestion lacked
the const qualifier (e.g. getTag()), it was not possible to call them
from within the LuaRule match function.

Merge pull request #9716 from rgacogne/webserver-accept-yaml

Fix initialization of WebServer::accept_yaml

Fix initialization of WebServer::accept_yaml

Merge pull request #9633 from omoerbeek/rec-opensbd-udpsockets

rec: two OpenBSD improvemenst wrt UDP sockets: port randomization and EGAIN errors

Merge pull request #9643 from omoerbeek/rec-add-some-deps

rec: add a few missing dependencies to README

Merge pull request #9707 from omoerbeek/rec-chain-already-processing

rec: Do not add request to a wait chain that's already processed or being processed

Improved wording of comments

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth mysql: disable automatic charset detection

auth regress: allow per-backend test skipping

Allow ip ranges as trusted-notification-proxy

This also stops us from doing string comparison for that setting.

Fixes #9711

Merge pull request #8911 from kpfleming/add-api-docs-endpoint

Add '/api/docs' endpoint to Auth server