auth: lmdb, check if the lookup name is part of the zone

Merge pull request #11123 from mind04/auth-4.5.3-bp

Auth-4.5.x: backports

auth: improve tcp exception handling

auth: lmdb: fix records removal in deleteDomain()

Merge pull request #11002 from Habbie/backport-10981-to-auth-4.5.x

auth-4.5.x: apply new TTL to whole RRset, not only to the added record

auth 2136: apply new TTL to whole RRset, not only to the added record

fixes #10921

(cherry picked from commit a725879238540d73c8e782f7bb3101de8a90459d)

auth 2136: improve some log messages

(cherry picked from commit c712ec020fb6c4e62a23ea4667f09a6bf6d2306a)

Merge pull request #10968 from Habbie/backport-10941-to-auth-4.5.x

auth-4.x. bindbackend: skip rejected zones during list and search, fixes #10885

auth bindbackend: skip rejected zones during list and search, fixes #10885

(cherry picked from commit 3d9c1aabb30c95a621d9f5343398980a1b416d51)

Merge pull request #10964 from mind04/pdns-soa-backend-bp

auth-4.5.x: make the zonecache more robust for bad data and save some SOA q…

Merge pull request #10962 from mind04/pdns-napex-soa-bp

auth-4.5.x: api, check SOA location

Merge pull request #10952 from mind04/pdns-catch-more-bp

auth-4.5.x: improve dnsname exception handling for SOA records

auth: api, check qtype location. Some types only live apex and some are not allowed (or useful) there.

auth: improve SOA dnsname exception handling

auth: make the zonecache more robust for bad data and save some SOA queries
for dnssec zones

Merge pull request #10961 from Habbie/backport-10902-to-auth-4.5.x

auth-4.5.x: Pin docutils to < 0.18 for now, remove rec/dnsdist from CI

remove rec&dnsdist from GH and CircleCI config

Pin docutils to < 0.18 for now

We will have to deal with that pain later, but let's unbreak our
CI first.

(cherry picked from commit 2503af018b72112a2422ce895d9e7418155cbc9f)

Merge pull request #10792 from mind04/pdns-getalldomains-bp

auth-4.5.x: improve SOA parse exception handling

auth: fix the SOA check in pdnsutil

auth: ignore broken SOA content in getAllDomains()

Merge pull request #10778 from mind04/pdns-bind-reload-bp

auth-4.5.x: try to reload rejected zones in bind-backend once every b…

auth-4.5.x: try to reload rejected zones in bind-backend once every bind-check-interval

Merge pull request #10611 from Habbie/auth-45x-type65535

auth-4.5.x: correct upper bounds on d_qtypecounters

correct upper bounds on d_qtypecounters

(cherry picked from commit 9949e87aad7968d929cd110a8a9bcfa86b9a9d48)

Merge pull request #10579 from Habbie/backport-10568-to-auth-4.5.x

auth-4.5.x: allow building bindbackend without sqlite3

auth: allow building bindbackend without sqlite3

I broke this in #10549

reported by Ralf van der Enden

(cherry picked from commit 96c9ea2833debe84b1471afb824ab2991a4be855)

Merge pull request #10551 from Habbie/backport-10535-to-auth-4.5.x

auth-4.5.x: make UeberBackend::addCache pick the correct ttl

Merge pull request #10552 from Habbie/backport-10549-to-auth-4.5.x

auth 4.5.x bindbackend: NSEC(3) setting consistency, reload improvements

bindbackend: purge caches on zone reload

(cherry picked from commit a2b419621734f3c72681d23ba24d12edd44b5d0a)

pdnsutil: add reload notes for bindbackend

(cherry picked from commit a4471afb43612740a558470730663166a647e1a1)

auth bindbackend: store nsec3 settings at zone load

This keeps, inside the bindbackend, the nsec(3) settings consistent
with the 'rectification' applied on zone load. This avoids crashes
when nsec3 is enabled or disabled without reloading the zone in the
bindbackend.

reported by Matt Nordhoff

(cherry picked from commit ccb6405fffaf3b13133ca6fbb4159369c3aed169)

Completely remove lowering the TTL, just use d_cache_ttl

(cherry picked from commit 184bf1434a1ef92fa2d5b94e4dc774cf54233edb)

Fix it so addCache actually picks the minimal ttl rather than the last one < d_cache_ttl

(cherry picked from commit f5089f3a3598a27fe0be5695554c14a4f6a45c93)

Merge pull request #10524 from Habbie/auth-4.5.0-rc1-backports

auth-4.5.0-rc1: backports

auth SVCB additional processing: delay inserts to avoid invalidating iterator

(cherry picked from commit ee2163cdb1e0de07afa48d1f652285e3a61ebcd5)

auth SVCB additional processing: do not chase chains outside of zone

fixes #10521

(cherry picked from commit 669004579aa873e34c6acbc61e6d84b6bc57d37b)

Only perform AdditionalServiceProcessing for aliasform records.

Co-authored-by: Kees Monshouwer <mind04@monshouwer.org>
(cherry picked from commit 210b625ac6626f72609bc5cdb4252262f40e786d)

auth: fix missing rename of QType.getName() to QType.toString()

(cherry picked from commit 1dd49ac614ca44798b2851923f529ad0830cc604)

auth 2136: allow placing DNSKEY/CDS/CDNSKEY regardless of direct-dnskey setting. Fixes #10321

(cherry picked from commit 959e72e3a4df1620ea5ddaa1d5754aa45e712dfa)

auth: correctly respect direct-dnskey when putting DNSKEY/CDS/CDNSKEY in NSEC(3) bitmaps. Thanks @mind04. Fixes #10516

(cherry picked from commit 597e49e2db272064888df16eeadaa5b91e175595)

pdnsutil edit-zone: correctly reask inc-serial question. Fixes #10328

(cherry picked from commit be6484af481af470ff568dc1455dcb300ebfaafc)

pdnsutil add-autoprimary: print error when exiting with 1. Fixes #10435.

(cherry picked from commit 390124a02530cd084a2a8b9ea4705c776af7c9ee)

SVCB: on parse error, throw instead of truncate. Fixes #10442

(cherry picked from commit dda5e23439e91c6a2d9bb31a38d61da7f8948598)

SVCB: Fix auto hints removing non-auto hints

Closes #10258

(cherry picked from commit 607d1296b284309cb5e8c71966f2db070a2a5c06)

pdnsutil create-zone: better error if default-soa-content is broken

(cherry picked from commit 9b2ff836e0fb0cc82fff29577bfcf8e45e0c60ed)

auth: remove pubsuffix

(cherry picked from commit 20e341708156c320d8ce0db74d1b8770188a1742)

in secpoll testing, do not start the auth

(cherry picked from commit 540fddabae630281f9bc54a84c969a969dbc24a0)

pdnsutil add-zone-key: clarify ZSK default

(cherry picked from commit 9dc140be253237921c2fb391abf6ce195f4a7fa1)

newCAFromRaw(): create ComboAddress from raw 4/16 byte strings, plus test

(code copied from dnsdist)

(cherry picked from commit aec9c9074c9485bd6ac36e258b6ea3260a9131fb)

Merge pull request #10469 from Habbie/dnsdist-no-dnsdist-table

dnsdist: remove dnsdist.* lookup fallback

Merge pull request #10463 from Habbie/lua-forward-reverse

auth LUA: add filterForward function, to limit the scope of createForward[6]

add filterForward function, plus initialiser helper in newNMG

auth LUA testing: test the exception feature

expand LUA createForward/Reverse testing

authtests.py: fix rcode comparison and reporting

rename suffix to format

Merge pull request #10470 from mind04/pdns-auth-py

auth: disable zone-cache for the regression.auth-py tests

auth: fix the nobackend tests

auth: disable zone-cache for the regression.auth-py tests

dnsdist: remove dnsdist.* lookup fallback

Merge pull request #10426 from omoerbeek/rec-refresh-ns-and-addr-fix

rec: When refreshing, do not consider root almost expired

make ttl value's origin clear

Co-authored-by: Remi Gacogne <github@coredump.fr>

Add testcase for "almost expired".

Merge pull request #10450 from pieterlexis/modernize-ax_check_sign

Update AX_CHECK_SIGN for autoconf 2.71

Merge pull request #10454 from mind04/pdns-tiny-getalldomains

auth: add/fix getAllDomains()

Merge pull request #10466 from tuxis-ie/fix_issue_10465

Update documentation to reflect changes in default-soa-content.

add markup

Merge pull request #10461 from mind04/pdns-createdomain

auth: simplify createDomain()

Merge pull request #10452 from cmouse/doc-unknown-rr

docs: Document unknown record type in supported types

auth: document and check backend zone-cache capability

Update with @Habbie's suggestions

Update documentation to reflect changes in default-soa-content.

There are more settings that need replacing.

Merge pull request #10460 from rgacogne/rec-referral-from-parent-on-ds

rec: Don't follow referral from the parent to the child for DS queries

auth: simplify createDomain()

Merge pull request #10419 from rgacogne/ddist-fix-edns-notify

dnsdist: Properly handle ECS for queries with ancount or nscount > 0

rec: Cleaner way of handling a referral to a child zone for DS queries

rec: Also test for the "referral to child on DS query" case in a Secure zone

Better approach: just never consider root records "almost expired".

They will be refreshed by the periodic task anyway.

rec: Fix a typo in a comment

rec: Add a unit test for the "referral to child on DS query" case

Merge pull request #10445 from rgacogne/rec-typo-edns-prometheus-metric

rec: Fix a typo in the prometheus "edns-ping-mismatches" metric

Merge pull request #10459 from Habbie/auth-py-tests

auth-py tests: unbreak, enable in CircleCI

Update AX_CHECK_SIGN for autoconf 2.71

When running autoreconf with ax_check_sign.m4, autoconf 2.71 complains
about the use of `AX_TRY_COMPILE`:

```
libtoolize: copying file 'm4/lt~obsolete.m4'
configure.ac:29: warning: The macro `AC_TRY_COMPILE' is obsolete.
configure.ac:29: You should run autoupdate.
./lib/autoconf/general.m4:2847: AC_TRY_COMPILE is expanded from...
lib/m4sugar/m4sh.m4:692: _AS_IF_ELSE is expanded from...
lib/m4sugar/m4sh.m4:699: AS_IF is expanded from...
./lib/autoconf/general.m4:2249: AC_CACHE_VAL is expanded from...
./lib/autoconf/general.m4:2270: AC_CACHE_CHECK is expanded from...
m4/ax_check_sign.m4:41: AX_CHECK_SIGN is expanded from...
m4/pdns_check_time_t.m4:1: PDNS_CHECK_TIME_T is expanded from...
configure.ac:29: the top level
```

This updates the macro to use `AC_COMPILE_IFELSE`, which has been present in
autoconf since at least version 2.60, released in 26 Jun 2006 (I did not
check any older releases).

This patch has been [submitted](http://savannah.gnu.org/patch/index.php?10071) [upstream](https://github.com/autoconf-archive/autoconf-archive/pull/225).

Merge pull request #10407 from zeha/bullseye

builder-support: add Debian bullseye dockerfiles

Merge pull request #10462 from pieterlexis/update-boost-m4

Update boost.m4

auth LUA testing: allow 2 seconds for health checking to run

Update boost.m4

rec: Don't follow referral from the parent to the child for DS queries

It happens if the server does not know about the DS special case.
Treat the delegation as a unsigned NODATA answer in that case.

For example for sthc.nordlo.cloud we go from the existing:

```
[1]   sthc.nordlo.cloud: Resolved 'nordlo.cloud' NS ns2.zetup.se to: 159.253.27.75
[1]   sthc.nordlo.cloud: Trying IP 159.253.27.75:53, asking 'sthc.nordlo.cloud|DS'
[1]   sthc.nordlo.cloud: Got 3 answers from ns2.zetup.se (159.253.27.75), rcode=0 (No Error), aa=0, in 35ms
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns2.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns1.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: OPT answer '.' from 'nordlo.cloud' nameservers
[1]   sthc.nordlo.cloud: determining status after receiving this packet
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns2.loopia.se.'
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns1.loopia.se.'
[1]   sthc.nordlo.cloud: status=did not resolve, got 2 NS, looping to them
[1]   sthc.nordlo.cloud.: Nameservers: ns1.loopia.se(37.85ms), ns2.loopia.se(38.26ms)
[1]   sthc.nordlo.cloud: Trying to resolve NS 'ns1.loopia.se' (1/2)
[1]   Nameserver ns1.loopia.se IPs: 93.188.0.20(37.85ms)
[1]   sthc.nordlo.cloud: Resolved 'sthc.nordlo.cloud' NS ns1.loopia.se to: 93.188.0.20
[1]   sthc.nordlo.cloud: Trying IP 93.188.0.20:53, asking 'sthc.nordlo.cloud|DS'
```

to:

```
[1]   sthc.nordlo.cloud: Resolved 'nordlo.cloud' NS ns2.zetup.se to: 159.253.27.75
[1]   sthc.nordlo.cloud: Trying IP 159.253.27.75:53, asking 'sthc.nordlo.cloud|DS'
[1]   sthc.nordlo.cloud: Got 3 answers from ns2.zetup.se (159.253.27.75), rcode=0 (No Error), aa=0, in 35ms
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns2.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns1.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: OPT answer '.' from 'nordlo.cloud' nameservers
[1]   sthc.nordlo.cloud: determining status after receiving this packet
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns2.loopia.se.'
[1]   sthc.nordlo.cloud: got (implicit) negative indication of DS record for 'sthc.nordlo.cloud'
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns1.loopia.se.'
[1]   sthc.nordlo.cloud: status=noerror, other types may exist, but we are done (have negative SOA)
[1] : no signatures for sthc.nordlo.cloud, we likely missed a cut between cloud and nordlo.cloud, looking for it
```

circleci: test auth-py

auth testing: enable svc-autohints when testing autohints

auth: enable zone cache by default

auth: test with a variety of zone-cache-refresh-interval flavors

auth: implement getAllDomains() in geoip backend

auth: add dns-get-all-domains in lua2 backend script

auth: fix possibe crash in getAllDomains()

Merge pull request #10455 from Habbie/builder-yum-upgrade

builder rpmbuild: run yum upgrade first

builder rpmbuild: run yum upgrade first

Merge pull request #10434 from pieterlexis/upgrade-local-ipv6

Fix the upgrade guide for local-ipv6 + other doc fixes

Fix SQL highlighting in pgsql docs

Correctly update local-ipv6 deprecation info

Merge pull request #10376 from Habbie/auth-4.5.0-alpha1-docs

changelog and secpoll for auth-4.5.0-alpha1

update release date; mention new zone cache feature