auth lmdb: do not reuse backend that has seen corrupted data

(cherry picked from commit f330413e9a2cce5b0e638ea765f95e4e81e9ff44)

Merge pull request #9953 from Habbie/backport-9803-to-auth-4.4.x

auth-4.4.x: dockerfiles: do not claim equivs-dummy is sourced from pdns

Merge pull request #9952 from Habbie/backport-9895-to-auth-4.4.x

auth-4.4.x: Fix missing #include for gcc-11

dockerfiles: do not claim equivs-dummy is sourced from pdns

.. because otherwise at least two security scanners will dig up every CVE since PowerDNS 1.0 and claim the image is vulnerable to it

(cherry picked from commit 7b968335642498c0fcaf9571b6950ba10bdb308d)

Fix missing #include for gcc-11

(cherry picked from commit 2c010a9f0ff0e292d31b949065e1d5c245dc084e)

Merge pull request #9949 from Habbie/backport-9933-to-auth-4.4.x

auth-4.4.x lmdb: serialise LMDBBackend construction

Merge pull request #9946 from Habbie/backport-9888-to-auth-4.4.x

auth-4.4.x: Do a mdb_readers_check to clean up stale readers on database load

auth lmdb: serialise LMDBBackend construction

(cherry picked from commit 6f3ea5dd6db432bc744c22e0d60dbe98483704ca)

Merge pull request #9923 from Habbie/auth-4.4.x-backport-san-fixes

auth-4.4.x: backport some asan/ubsan fixes

Do a mdb_readers_check to clean up stale readers on database load

(cherry picked from commit 79dc3472276f3cf05e39c65a2f8b2a076a014105)

geoipbackend: use const_iterator

==8618==ERROR: AddressSanitizer: stack-use-after-scope on address 0x7ffd8c5a1420 at pc 0x55bee0a5d899 bp 0x7ffd8c5a0710 sp 0x7ffd8c5a0708
READ of size 1 at 0x7ffd8c5a1420 thread T0
    #0 0x55bee0a5d898 in YAML::Node::begin() const /usr/include/yaml-cpp/node/impl.h:284:8
    #1 0x55bee0a3f2f0 in GeoIPBackend::initialize() /opt/project/modules/geoipbackend/geoipbackend.cc:163:27
    #2 0x55bee0a3d0d3 in GeoIPBackend::GeoIPBackend(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) /opt/project/modules/geoipbackend/geoipbackend.cc:86:5
    #3 0x55bee0a784eb in GeoIPFactory::make(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) /opt/project/modules/geoipbackend/geoipbackend.cc:1008:16
    #4 0x55bedff6cb18 in BackendMakerClass::all(bool) /opt/project/pdns/dnsbackend.cc:200:46
    #5 0x55bee07d3abe in UeberBackend::UeberBackend(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) /opt/project/pdns/ueberbackend.cc:479:28
    #6 0x55bee060579c in PacketHandler::PacketHandler() /opt/project/pdns/packethandler.cc:65:32
    #7 0x55bedfee1748 in std::unique_ptr<PacketHandler, std::default_delete<PacketHandler> > make_unique<PacketHandler>() /opt/project/pdns/./misc.hh:571:35
    #8 0x55bee079376d in TCPNameserver::go() /opt/project/pdns/tcpreceiver.cc:85:9
    #9 0x55bedfecf7b7 in mainthread() /opt/project/pdns/common_startup.cc:656:7
    #10 0x55bee0655f67 in main /opt/project/pdns/receiver.cc:654:5
    #11 0x7f374b4b809a in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2409a)
    #12 0x55bedfc9a989 in _start (/opt/pdns-auth/sbin/pdns_server+0x2736989)

Address 0x7ffd8c5a1420 is located in stack of thread T0 at offset 3040 in frame
    #0 0x55bee0a3d5ef in GeoIPBackend::initialize() /opt/project/modules/geoipbackend/geoipbackend.cc:115

(cherry picked from commit 1a2d029efb4dd976f90e3c99b7fbc5a94e4fe197)

lmdbbackend: avoid unaligned uint32_t reads by using memcpy

lmdbbackend.cc:942:27: runtime error: load of misaligned address 0x604000b827aa for type 'uint32_t' (aka 'unsigned int'), which requires 4 byte alignment

(cherry picked from commit f061d15d3289070750d7213c04cbd93fe6c5ec5c+d49406608a9d35144bd01de18f78989c3739d155)

Merge pull request #9912 from Habbie/backport-9826-to-auth-4.4.x

auth-4.4.x: pdnsutil edit-zone: do not exit on ZoneParser exception

remotebackend: use 0 for denoting unknown serial which is uint32_t

remotebackend.cc:610:51: runtime error: -1 is outside the range of representable values of type 'unsigned int'
SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior remotebackend.cc:610:51 in

(cherry picked from commit 79989810021b4f08b1365bca9b1fc16c6d9aad8e)

pdnsutil edit-zone: do not exit on ZoneParser exception

(cherry picked from commit 65d72cb789def6cf6eae65af74171d3a7d593dc4)

Merge pull request #9884 from RobinGeuze/clearLMDBState

auth-4.4.x: clear the LMDB set state when performing a new lookup or list to prevent corruption cases

Merge pull request #9878 from Habbie/backport-9844-to-auth-4.4.x

auth-4.4: SVCB: Correctly parse and print unknown params

Merge pull request #9882 from Habbie/backport-9752-to-auth-4.4.x

auth-4.4.x: two docker improvements

Clear the LMDB set state when performing a new lookup or list to prevent corruption cases

docker: also strip backend modules

(cherry picked from commit 61f9a96fb05361d058fe68e96167e84046fcda88)

Dump generated configs from templates to stdout

(cherry picked from commit f51f65ebaf0755d5b780031ba55b00c0df3f0963)

SVCB: Correctly parse and print unknown params

There were multiple issues. With this commit, we *always* store the
bytes that are represented by the option. To do this, we needed to
properly parse RFC 1035 character-strings. This is now done with a
conversion of the ABNF from draft-ietf-dnsop-svcb-https-02 to ragel.

The resulting function could be used as a starting point for a better
TXT storage format.

(cherry picked from commit b1a048a9caa0d14f9e6665c45af004c041fe5c5e)
(cherry picked from commit ca749ae109941ad0b5e96043b9f6a76305c4fcc7)

Merge pull request #9873 from mind04/pdns-direct-dnskey-bp

auth-4.4.x: fix direct-dnskey in AXFR-out

auth: test direct-dnskey in AXFR-out

auth: fix direct-dnskey in AXFR-out

Merge pull request #9866 from mind04/pdns-bp-9847

auth-4.4.x: don't log trusted-notification-proxy notify at error level

Merge pull request #9864 from Habbie/backport-9858-to-auth-4.4.x

auth-4.4.x bind: call DynListener static functions correctly

auth bind: call DynListener static functions correctly

(cherry picked from commit dc9a3a8ebbb43ceb7b770b1253e1c8b9852bf97d)

Merge pull request #9853 from omoerbeek/backport-9840-to-auth-4.4.x

auth: Backport 9840 to auth 4.4.x: Stop using incbin and use od & sed to generate constant string data.

auth: don't log trusted-notification-proxy notify at error level

force 1 byte reads for od

(cherry picked from commit e1d66be3a14e28d446da3206f0f661d4ea990193)

Make the processing binary safe and zap the incbin include from ws-auth.cc

(cherry picked from commit 9c1f9f42a6f4a391e13446697fc9f68d53c9a3be)

Stop using incbin and use od & sed to generate constant string data.

(cherry picked from commit 006c3bef8a172319a585fe8c1243ad375642be1e)

Merge pull request #9834 from Habbie/backport-9831-to-auth-4.4.x

auth-4.4.x: el8: PowerTools is now powertools

el8: PowerTools is now powertools

(cherry picked from commit 26fe12046566da83844f1163134ba722a603e911)

Merge pull request #9816 from mind04/auth44x-9813

auth-4.4.x: geoip: set netmask on all string formatting types

auth geoip: set netmask on all string formatting types

(via Kees Monshouwer)

Merge pull request #9800 from Habbie/backport-9794-to-auth-4.4.x

auth 4.4.x api-swagger.json: do not depend on .venv target

Merge pull request #9798 from Habbie/backport-9574-to-auth-4.4.x

auth-4.4.x: Ensure socket-dir matches runtimedir on old systemd

Merge pull request #9797 from Habbie/backport-9796-to-auth-4.4.x

auth-4.4.x: geoipbackend: make local function static

auth api-swagger.json: do not depend on .venv target. Fixes #9792

(cherry picked from commit fc7e2034559d4b20f487395aee88a0d8c0f56ece)

Ensure socket-dir matches runtimedir on old systemd

This is mostly a hack for systemd version <240 so using virtual hosting
on Ubuntu Bionic and EL7 does not lead to surprises.

This Commit explicitly adds the `--socket-dir` to the invocation of the
unit. Any users who want to use their own runtimedirs should use a
drop-in unit overriding ExecStart. I believe this does not validate the
principle of least surprise for those using the PowerDNS provided
packages and virtual hosting.

Fixes #9485

(cherry picked from commit 7bbaae110abb53f43d0bf60c81efe3bb8630a925)

auth geoipbackend: make local function static. Fixes #9791

(cherry picked from commit d73c73f9926ea784b5a443b70962b2bc7ebec435)

Merge pull request #9778 from Habbie/backport-9775-to-auth-4.4.x

pdnsutil add-record: notice when backend does not support replaceRRSet. Fixes #9730

Merge pull request #9765 from mind04/pdns-log-bp

auth-4.4.x: add remote to default axfr logging

Merge pull request #9785 from mind04/pdns-latency-44x

 auth-4.4.x: fix rounding inaccuracy in latency statistics

auth: fix rounding inaccuracy in latency statistics

auth: fix compiler errors with --enable-verbose-logging

auth: add zone and primary to all axfr logging

Merge pull request #9773 from Habbie/backport-9766-to-auth-4.4.x

auth-4.4.x: APL records: fix endianness problem.

pdnsutil add-record: notice when backend does not support replaceRRSet. Fixes #9730

(cherry picked from commit cd624e77d09e58228f5b54207f34496463193069)

APL records: fix endianness problem. Closes #9763

(cherry picked from commit a0d9f00d8d76bb07847abb2f837f7c629fb238b2)

Merge pull request #9761 from Habbie/backport-9749-to-auth-4.4.x

auth-4.4.x: Fix the DNSName move assignment operator

auth: Don't steal resources from additional records

(cherry picked from commit 21f2345d40c96fac7aff4f1f9e02f67579038352)

Fix the DNSName move assignement operator

A misplaced 'const' prevented it from being called, making every
move of a DNSName into a full copy.
Introduced in d720eb8add5ebda11867e8b404125e0b68ed2911.

(cherry picked from commit 8d1bb300460d5cc97b4599ea8eddeb7b6d35decf)

Merge pull request #9735 from Habbie/pdnsutil-dname

auth: pdnsutil check-zone: DNAME fixes

Merge pull request #9523 from kpfleming/builder-improvements

Package builder improvements

Merge pull request #9673 from rgacogne/rec-ede

rec: Add support for rfc8914: Extended DNS Errors

Merge pull request #9704 from mind04/pdns-performance

auth: nxdomain performance

auth: pdnsutil check-zone: DNAME fixes

* don't warn about occlusion of records with the same name as the DNAME record
* do warn about occlusion when the DNAME is at the apex

Merge pull request #9731 from Habbie/auth-quote-ips

auth: put quotes around some IPs to make messages easier to read

auth: SOAData is now a member variable in PacketHandler

auth: avoid the use of getSOAUncached() in single backend setups

auth: #9496 was incomplete, ignore cryptokeys in emitNSEC() and emitNSEC3()

Merge pull request #9713 from pieterlexis/trusted-notification-proxy

Allow ip ranges as trusted-notification-proxy

Merge pull request #8707 from Habbie/lmdb-domaininfo-serial

lmdb: fill di.serial (code stolen straight from gsqlbackend)

rec: Remove trailing whitespaces

rec: Test that the "zero scope" option doesn't exceed the maximum payload size

When use-incoming-edns-subnet is enabled, the query has an ECS option,
and the answer was not variable, we do return a 0-scoped ECS answer,
to make it possible to the client (dnsdist for example) to cache the
response and serve it to all clients.
Still we need to make sure that adding the 0-scoped ECS option does not
exceed the client EDNS UDP payload size.

rec: Rename the EDE setting to 'extended-resolution-errors'

Also make RPZ and Lua EDE independent of that setting.

rec: PolicyOverridesGettag is the default for RPZ zones

rec: Use a struct to pass gettag_ffi parameters

rec: Better handling of max packet size for answers with a 0-scope

rec: Fix the parsing of RPZ's extendedErrorCode setting

Mixing uint16_t and uin32_t in the same boost::variant passed to Lua
does not work well.

rec: Implement Extended DNS Errors for RPZ hits

rec: Add Lua bindings, regression tests for Extended DNS Errors

rec: Add unit tests for Extended DNS Errors

rec: Fix formatting of the EDNS Extended Error codes

rec: Add support for rfc8914: Extended DNS Errors

Still needs:
- unit tests
- regression tests

Would be nice to have:
- ability to set an extended error from Lua (FFI or not)
- same for RPZ matches

lmdb: fill di.serial

Merge pull request #9745 from Habbie/auth-lua-intermittent

auth LUA tests: give healthchecker more time

auth LUA tests: give healthchecker more time

Merge pull request #9714 from Habbie/mysql-8

auth: disable mysql automatic charset detection

Merge pull request #9712 from kpfleming/use-python3

Use Python 3 in build system

auth-py tests: py3

Merge pull request #9737 from rgacogne/ddist-dump-cache-rcode

dnsdist: Add the response code in the packet cache dump

BaseHTTPServer is now http.server in Python 3

Suppress Python 3 parsing of Unicode literals

Additional fixes for Python 3 conversion

Merge pull request #9591 from omoerbeek/fstrm-table-driven-options

Long overdue table driven option setting for libfstrm

dnsdist: Add the response code in the packet cache dump

Use string instead of char *

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>

auth: put quotes around some IPs to make messages easier to read

Merge pull request #9729 from appliedprivacy/patch-3

fix a typo in prometheus metrics dnsdist_frontend_tlshandshakefailures #9728

fix typo #9728

Merge pull request #9727 from georgeto/dnsdist-docs-typo

dnsdist: Fix typo in DNSNameSet documentation

dnsdist: Fix typo in DNSNameSet documentation

The newDNSNameSet() function has no name argument.

add venv to Dockerfile-auth for JSON API file

recursor DNSSEC regression tests: skip debug cachedump

recursor DNSSEC regression tests: migrate to Python 3

Use Python 3 in build system

The various tasks in the build system which use Python
will now use Python 3 (3.6 or later) and the 'venv' module,
instead of the 'virtualenv' tool which was primarily used
with Python 2.7.