rec: Fix the aggressive cache returning duplicated NSEC3 records

No need to include the same record twice when it provides, at the same
time, a proof that the closest encloser exists and that the next closer
does not, and/or that the wildcard does not exist either.
This happens right away in a zone with a single record, like reported
by Matt Nordhoff, but it might happen in other cases as well.

(cherry picked from commit eca47c4dd85d2711ebc26767dfa78bdbce2c7f16)

Merge pull request #10680 from pieterlexis/backport-10407-to-rec-4.5.x

rec: Backport #10407; Debian Bullseye builder files

recursor/debian-buster: remove obsolete dh-systemd Build-Depends

Merged into debhelper (>= 9.20160709)

(cherry picked from commit 58f41c5e304caf847c52a0951c2a5a4b9f6c02fb)

builder-support: add Debian bullseye dockerfiles

(cherry picked from commit ad53d76110228c6d0822b1b130e0bbe425872499)

Merge pull request #10629 from omoerbeek/backport-10627-to-rec-4.5.x

rec: backport 10627 to rec 4.5.x: Check in more places if the policy has been updated before  using or modifying it.

Check in more places if the config policy has been updated before
using or modifying it.

(cherry picked from commit 0c98e3de2cf1daae3f7034803668c1ac10fefe49)

Merge pull request #10593 from rgacogne/rec45-aggressive-nsec3-ancestor

rec: Backport 10587 to rec-4.5.x: Ancestor NSEC3s can only deny the existence of a DS

Merge pull request #10575 from omoerbeek/backport-10570-to-rec-4.5.x

rec: Backport 10570 to rec 4.5.x: Make really sure we did not miss a cut on validation failure

rec: Fix wrong comments in the Aggressive NSEC cache unit tests

(cherry picked from commit b48a269ae32e9f1bc80966fd4e72eeaba49e68f5)

Merge pull request #10564 from omoerbeek/backport-10555-to-rec-4.5.x

Backport 10555 to rec 4.5.x: Work around clueless servers sending AA=0 answers

Merge pull request #10573 from omoerbeek/backport-10515-to-rec-4.5.x

rec: Backport 10515 to rec-4.5.x: Clear the current proxy protocol values each iteration

rec: Fix formatting in test-aggressive_nsec_cc.cc

(cherry picked from commit 3b5159818fd7cd2792861be5d1cedfc128cf45f0)

rec: The root denies its own DS with a NSEC(3)s from the child zone

(cherry picked from commit ae727ae2b1b74a113175e58b5c5bcbc42d242cf1)

rec: Check that NSEC(3)s from the child zone are not used to deny the DS

(cherry picked from commit 48c547485785861551a7fdfb39b8678ea49e8019)

rec: Fix the NSEC3 ancestor check for DS in the aggressive cache

(cherry picked from commit 1eed7f4572d396b544756cf93be2297db23483b3)

rec: Ancestor NSEC3s can only deny the existence of a DS

Before that commit, the aggressive NSEC(3) cache could have
mistakenly used NSEC3s from the parent zone to prove that a given
name in the child zone did not exist, which is incorrect.
It happened because we did not properly detect that the NSEC3 for
the closest encloser was an ancestor NSEC3 indicating a delegation,
and then in the unlikely but possible case that we found a NSEC3
from the parent zone whose hashes covered the next closer we wrongly
concluded that the name did not exist, returning a NXDomain with an
invalid proof of denial.

(cherry picked from commit d270600bf4d310dcdc3d422ecc9be6d8210e7849)

s/qtype.toString()/qtype.getName() for backport

rec: Add a 'checking for missed cuts' loop unit test

(cherry picked from commit c8f77a00dc454bdc17f8208d9bedcff519ad78f0)

rec: Avoid a loop when checking if we missed a cut

We just went Bogus because of the signer, not because of
the name currently being checked, so we only need to check
the status of zones above the signer. Moreover, if we went
Bogus because of the DS of the signer, we should even skip
the zone of the signer but check for a missed cut above that.

(cherry picked from commit f237dbd53b8b796a94782a27ab237936e09d7a70)

rec: Add unit tests for signed, broken but insecure zones

(cherry picked from commit 0970c1a2f06aba653aa752a7431f21f8013310f6)

rec: Make really sure we did not miss a cut on validation failure

(cherry picked from commit bc50925a50c6e956f612bb03db15893279fd052d)

rec: Fix NSEC3 next owner in SyncRes unit tests

(cherry picked from commit 95f79e18e5fd5bf62970d024810d52e1bf0cd687)

Clear the current proxy protocol values each iteration

(cherry picked from commit b2b8ccea95ddde5cd170afef57ba8eeced3d1d0e)

rec: Add a unit test checking that DNSSEC validation is done for AA=0 answers

(cherry picked from commit 3f3b008644f81e6500eb031c2aab2be962b5aed8)

rec: Work around clueless servers sending AA=0 answers

(cherry picked from commit 7b98cc14e66493599c7bac1bee26c3d116a660a6)

Merge pull request #10540 from omoerbeek/backport-10455-to-rec-4.5.x

rec: Backport 10455 to rec-4.5.x: builder rpmbuild: run yum upgrade first

builder rpmbuild: run yum upgrade first

(cherry picked from commit 912729cf22c5303fa4e0136a639132ca940a186f)

Merge pull request #10519 from omoerbeek/rec-backport-10518-to-4.5.x

rec: Backport of 10518 to 4.5.x: Make sure that we pass the SOA along the NSEC(3) proof for DS queries

rec: Check that we get the SOA on a direct query for a non-existing DS

In a regression test this time.

rec: Check that we get the SOA on a direct query for a non-existing DS

Backport of #10518: Make sure that we pass the SOA along the NSEC(3) proof for DS queries

Merge pull request #10477 from omoerbeek/backport-10440-to-rec-4.5.x

Backport 10440 to rec 4.5.x: Change nsec3-max-iterations default to 150

Merge pull request #10476 from omoerbeek/backport-10460-to-rec-4.5.x

rec: Backport 10460 to rec 4.5.x: Don't follow referral from the parent to the child for DS queries

Merge pull request #10475 from omoerbeek/backport-10426-to-rec-4.5.x

rec: Backport of #10426 to rec-4.5.x: When refreshing, do not consider root almost expired

Merge pull request #10474 from omoerbeek/backport-10396-to-rec-4.5.x

rec: Backport 10396 to rec-4.5.x: Take into account q_quiet when determing loglevel and change a few loglevels.

Merge pull request #10473 from omoerbeek/backport-10350-to-rec-4.5.x

rec: Backport of 10350 to rex-4.5.x: Only add the NSEC and RRSIG records once in wildcard NODATA answers

Mention correct version now that this is backported.

rec: Cleaner way of handling a referral to a child zone for DS queries

(cherry picked from commit 18dc3b3d9be3f8d7095b8f9eb2a8fb8d2b79bcba)

rec: Also test for the "referral to child on DS query" case in a Secure zone

(cherry picked from commit 46b17d4b0fac8d46793eedfb078e82788cca63a9)

rec: Fix a typo in a comment

(cherry picked from commit d64186873181a040864441f257bfc0ba78505456)

rec: Add a unit test for the "referral to child on DS query" case

(cherry picked from commit 3fbb129c0372c8c9ae375e647e7a5980b2d2006b)

rec: Don't follow referral from the parent to the child for DS queries

It happens if the server does not know about the DS special case.
Treat the delegation as a unsigned NODATA answer in that case.

For example for sthc.nordlo.cloud we go from the existing:

```
[1]   sthc.nordlo.cloud: Resolved 'nordlo.cloud' NS ns2.zetup.se to: 159.253.27.75
[1]   sthc.nordlo.cloud: Trying IP 159.253.27.75:53, asking 'sthc.nordlo.cloud|DS'
[1]   sthc.nordlo.cloud: Got 3 answers from ns2.zetup.se (159.253.27.75), rcode=0 (No Error), aa=0, in 35ms
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns2.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns1.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: OPT answer '.' from 'nordlo.cloud' nameservers
[1]   sthc.nordlo.cloud: determining status after receiving this packet
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns2.loopia.se.'
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns1.loopia.se.'
[1]   sthc.nordlo.cloud: status=did not resolve, got 2 NS, looping to them
[1]   sthc.nordlo.cloud.: Nameservers: ns1.loopia.se(37.85ms), ns2.loopia.se(38.26ms)
[1]   sthc.nordlo.cloud: Trying to resolve NS 'ns1.loopia.se' (1/2)
[1]   Nameserver ns1.loopia.se IPs: 93.188.0.20(37.85ms)
[1]   sthc.nordlo.cloud: Resolved 'sthc.nordlo.cloud' NS ns1.loopia.se to: 93.188.0.20
[1]   sthc.nordlo.cloud: Trying IP 93.188.0.20:53, asking 'sthc.nordlo.cloud|DS'
```

to:

```
[1]   sthc.nordlo.cloud: Resolved 'nordlo.cloud' NS ns2.zetup.se to: 159.253.27.75
[1]   sthc.nordlo.cloud: Trying IP 159.253.27.75:53, asking 'sthc.nordlo.cloud|DS'
[1]   sthc.nordlo.cloud: Got 3 answers from ns2.zetup.se (159.253.27.75), rcode=0 (No Error), aa=0, in 35ms
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns2.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: accept answer 'sthc.nordlo.cloud|NS|ns1.loopia.se.' from 'nordlo.cloud' nameservers? ttl=3600, place=2 YES!
[1]   sthc.nordlo.cloud: OPT answer '.' from 'nordlo.cloud' nameservers
[1]   sthc.nordlo.cloud: determining status after receiving this packet
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns2.loopia.se.'
[1]   sthc.nordlo.cloud: got (implicit) negative indication of DS record for 'sthc.nordlo.cloud'
[1]   sthc.nordlo.cloud: got NS record 'sthc.nordlo.cloud' -> 'ns1.loopia.se.'
[1]   sthc.nordlo.cloud: status=noerror, other types may exist, but we are done (have negative SOA)
[1] : no signatures for sthc.nordlo.cloud, we likely missed a cut between cloud and nordlo.cloud, looking for it
```

(cherry picked from commit 96c6c0755e14c77aee0152679e12194e5e7fcb04)

Change nsec3-max-iterations default to 150

(cherry picked from commit 2a93a7c4fe2be264268bf18f3267ad8f89b665d4)

rec: Backport of #10426 to rec-4.5.x: When refreshing, do not consider root almost expired

Take into account q_quiet when determing loglevel and change a few
loglevels.

(cherry picked from commit cf02f990a7fb9398aa4b13373c7ae35f7d2d47e3)

rec: Only add the NSEC and RRSIG records once in wildcard NODATA answers

For wildcard-expanded answers we need to collect the proof that the
exact name does not exist and add them to the response. We also
collect that proof for negative answers.
When the answer is a wildcard-expanded NODATA, we only need to collect
them once, not twice.

(cherry picked from commit d89f023d1bd6ae7d0eb6d72e7b2771363f5e4f79)

Merge pull request #10422 from omoerbeek/rec-backport-10420-to-4.5.x

Rec: backport 10420 to 4.5.x: For the NOD lookup case, we don't want QName Minimization.

Backport of #10420 to rec 4.5.x

Merge pull request #10378 from omoerbeek/rel/rec-4.5.x

rec 4.5.x: Add missing fuzzing corpus files

Merge pull request #10377 from omoerbeek/backport-10375-to-rec-4.5.x

rec: Backport 10375 to rec-4.5.x: Prevent a race in the aggressive NSEC cache

Add missing fuzzing corpus files

rec: Prevent a race in the aggressive NSEC cache

When a new NSEC3 record has a different salt than the one we know, we
update the zone entry with the new salt. Unfortunately, that salt was
read without holding the lock in `AggressiveNSECCache::getNSEC3Denial`,
leading to a possible data race.

(cherry picked from commit 779f35b41c758bed9215d51df4fc3a69edbada9d)

Merge pull request #10366 from omoerbeek/backport-10353-to-rec-4.5.x

rec: Backport 10353 to rec 4.5.x: Apply dns64 on RPZ hits generated after a gettag_ffi hit

rec: Test the most simple condition first

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 89461c55042e1f0f7d17a511ae3d6c7c39602954)

rec: Add a regression test for gettag_ffi, RPZ and DNS64 interaction

(cherry picked from commit 76b47869c7902da25036c76ec4cd98fe23a51827)

rec: Apply dns64 on RPZ hits generated after a gettag_ffi hit

We do special case the qname RPZ processing after a gettag_ffi hit,
leading to dns64 to not be applied in that case. This commit adds
dns64 handling to the special case.

(cherry picked from commit 92f829c42ef82b6d5d0804886519536137925f23)

Merge pull request #10335 from omoerbeek/backport-10329-to-rec-4.5.x

rec: Backport of 10329 to rec-4.5.x: boost 1.76 containers: use standard exceptions

Merge pull request #10334 from omoerbeek/backport-10318-to-rec-4.5.x

rec: Backport 10318 to rec-4.5.x: Fix typo in edns-padding-tag help

Merge pull request #10333 from omoerbeek/backport-10312-to-rec-4.5.x

rec: Backport 10312 to rec 4.5.x: improve packet cache sizeing now that TCP answers are also cached

boost 1.76 containers: use standard exceptions

(cherry picked from commit 311f26839819062ced8697686372b6c6b2210bdf)

rec: Fix typo in edns-padding-tag help

(cherry picked from commit 07e8ae03d1ec61f6d8f2577cf16a76889bbdd832)

typo

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit 693b9c55afb04e1774a9086074986c910a7eaf20)

Improve packet cache sizing.

Since queries incoming over TCP are now also using the packet
cache, there is now also one packet cache instance per distributor
thread. Each cache instance has a size of max-packetcache-entries
divided by (threads + distributor-threads).

(cherry picked from commit 5c367a7e8c69311998737914270386618eb9e1d2)

Merge pull request #10320 from omoerbeek/backport-10317-to-rec-4.5.x

rec: Backport 10317 to rec 4.5.x: Do not put results of DS query for auth or forward domains in negcache

Merge pull request #10319 from omoerbeek/backport-10303-to-rec-4.5.x

rec: Backport 10303 to rec 4.5.x: Use the correct ECS address when proxy-protocol is enabled

Also check query type

(cherry picked from commit 660a62d41320e484387e3d4671ec36cf0d07b942)

Add test case

(cherry picked from commit a990990b951c843aafcd89a536eb9c8972f05624)

Do not put results of DS query for auth or forward domains in negcache.

Should fix #10189.

(cherry picked from commit 6fa3df17b1fd369020601e804ee98e2e2c2882f0)

rec: Fix the proxy protocol regression tests

(cherry picked from commit 1d3ea4cf67b5e1565ed619f5015420481e1c87f3)

rec: Replace deprecated edns-subnet-whitelist with edns-subnet-allow-list

(cherry picked from commit 3be6dde85dda49352642681813753454e5f41525)

rec: Add regression tests for Proxy Protocol / ECS interaction

(cherry picked from commit 9166ee1b3fc9d5df9b93570d883cf154aa98e425)

rec: Use the correct ECS address when proxy-protocol is enabled

(cherry picked from commit 2199aa19f92415dc9ecdfafbd9c9ce08327f54b8)

Merge pull request #10308 from omoerbeek/backport-10299-to-rec-4.5.x

rec: Backport 10299 to rec-4.5.x: update setting for aggressive-nsec-cache-size

Merge pull request #10307 from omoerbeek/backport-10298-to-rec-4.5.x

rec: Backport 10298 to rec 4.5.x: print the covering NSEC

Merge pull request #10306 from omoerbeek/backport-10291-to-rec-4.5.x

rec: Backport 10291 to rec-4.5.x: Exception loading the RPZ seedfile is not fatal.

Merge pull request #10305 from omoerbeek/backport-10286-to-rec-4.5.x

rec: Backport 10286 to rec 4.5.x: rpz dumper: stop generating double zz labels on networks that start with zeroes

rec: update setting for aggressive-nsec-cache-size

(cherry picked from commit 327851e53faeeee67db857e2152e149edf72753e)

Update validate.cc

(cherry picked from commit c0d3ae95c47cd0cdc03432889e61d7de87b8cf14)

rec: print the covering NSEC

It would be nice to log not only that a name is covered, but what entry actually covers it. This is useful in debugging crazy setups.

(cherry picked from commit a651118120d441c1cf20daa9d495d2795ac0b5e8)

Exception loading the RPZ seedfile is not fatal.

Catch PDNSException and clear on failure.

(cherry picked from commit a47cc75dfa7519bcf7b31cee511852ae954a50f8)

the code is not glibc specific

(cherry picked from commit 245abe4da5829bcf39953cfe06c0ef6ab8f6ecd7)

comments from code review

(cherry picked from commit 34b0536b713515b4cc89d8a28ea27822ef0880dc)

auto, reinterpret_cast

Co-authored-by: Remi Gacogne <rgacogne+github@valombre.net>
(cherry picked from commit de769ee3f68d9e940cd10610e7a68b03ce339bda)

add tests

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 0d70e98b423fed67efff4ea82db7eb7d6552a64c)

rpz dumper: stop generating double zz labels on networks that start with zeroes

(partial rewrite; adds tests)

(cherry picked from commit bbe6cfec2b5a0b65a7183c04a4d088f1fcc87ba7)

Merge pull request #10284 from omoerbeek/backport-10252-to-rec-4.5.x

rec: backport 10252 to rex 4.5.x: Fix the package version _on_ prerelease tags

Fix the package version _on_ prerelease tags

Closes #9842

(cherry picked from commit 121a191d5ecd24818053a39013608e424a36142a)

Merge pull request #10280 from omoerbeek/backport-10268-to-rec-4.5.x

rec: Backport 10268 to rec-4.5.x: Log local IP in dnstap messages

Merge pull request #10279 from omoerbeek/backport-10264-to-rec-4.5.x

rec: backport 10264 to rec-4.5.x: Also disable PMTU for v6

Merge pull request #10278 from omoerbeek/backport-10232-to-rec-4.5.x

rec: Backport 10232 to 4.5.x: Clear d_from if we don't know where the update came from

Merge pull request #10277 from omoerbeek/backport-10223-to-rec-4.5.x

rec: Backport 10223 to rec 4.5.x: Better handling of stranded DNSKeys

Aslo test query_address for value and query_port for presence

(cherry picked from commit 11927be3eb2a9f1aa0f210dc7dd73c7c32209d01)

Log client IP in dnstap messages

Also make sure we log only if we actually sent a message, i.e.
we did not chain our request to an existing one.

(cherry picked from commit 82c0899caaf9b97a8bcec1b19d9387feec86c9e9)

Also disable PMTU for v6

(cherry picked from commit db63b4b63158d95399fa9109b9802b195df515f8)

Clear d_from if we don't know where the update came from

(cherry picked from commit ef726696aa4411d49f7d5400abb275c000718034)

rec: Fix duplicated space in the SyncRes unit tests

Co-authored-by: Josh Soref <jsoref@users.noreply.github.com>
(cherry picked from commit aabd93c4bafc01cb4df72cc527ba7745cfd6252f)

rec: Fix duplicated space in the SyncRes unit tests

Co-authored-by: Josh Soref <jsoref@users.noreply.github.com>
(cherry picked from commit a5b7a31e157d5a5d41d1567c22e124b8cb1974f3)

rec: Add unit tests for the "unpublished DNSKEY" case

(cherry picked from commit fb6dfd69d95fa76f3e5be2aaf510f3b829ddbac8)

rec: Don't override a Bogus state, handle NSEC3s for unpublished DNSKEY

(cherry picked from commit e6333113aabaaba9d4a0895653bba7b8bad005d5)

rec: Better handling of stranded DNSKeys

(cherry picked from commit cf730c2e6f0b7cc63ab589038699987133eee94c)