For zones having many NS records, we are not interested in all so take a sample.

(cherry picked from commit a49b0b40a0c1c1af9531b99e9266a8c2aa89cd68)

Merge pull request #11899 from omoerbeek/backport-11848-to-rec-4.5.x

rec: Backport 11848 to rec-4.5.x: Also check qperq limit if throttling happened, as it increases counters.

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

(cherry picked from commit c75d28f2b786b986ec10675e3c853a52eec11e37)

Merge pull request #11875 from omoerbeek/rec-backport-to-rec-4.5.x-pb-size

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.5.x

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.5.x

Merge pull request #11701 from Habbie/backport-11658-to-rec-4.5.x

rec-4.5.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11634 from omoerbeek/backport-11609-to-rec-4.5.x

Backport 11609 to rec 4.5.x: Fix API issue when asking config values for allow-from

Document meaning of empty allow-from

(cherry picked from commit a75c8e8019462827dae4599b6a24ef7a0645c30c)

Fix API issue when asking config values for allow-from or allow-notify-from

(cherry picked from commit 3aa876deef257fc6d63da32df0742ed8cf91aaa1)

Merge pull request #11480 from omoerbeek/rec45-fix-rpz-incompletetest

rec: rec-4.5.x has no waitForTCPSocket in test code

rec: rec-4.5.x has no waitForTCPSocket in test code

Plus counts are different due to rpz loading changes in master.

Merge pull request #11419 from omoerbeek/backport-11376-to-rec-4.5.x

rec: Backport 11376 to rec 4.5.x: Be more careful using refresh mode only for the record asked

Merge pull request #11457 from omoerbeek/rec-4.5.7-ixfr

Rec 4.5.x: Fix a case where an incomplete read caused by network error might result in a truncated zone

Merge pull request #11463 from Habbie/backport-11449-to-rec-4.5.x

rec-4.5.x docs: Pin jinja2 to < 3.1.0

docs: Pin jinja2 to < 3.1.0

Jinja2 3.1.0 removed deprecated code that is still used by sphinx
1.8.x, and it looks like our custom sphinx extensions are not working
with more recent versions of sphinx..

See:
- https://github.com/pallets/jinja/issues/1631
- https://github.com/readthedocs/readthedocs.org/issues/9037

and

- https://github.com/PowerDNS/pdns/pull/7712

The exact error is:
```
Extension error:
Could not import extension sphinx.builders.latex (exception: cannot import name 'contextfunction' from 'jinja2' (/dnsdist/pdns/dnsdistdist/.venv/lib/python3.7/site-packages/jinja2/__init__.py))
```

(cherry picked from commit 92ad29702011ac7cbd0d7d118ba612e7e07cedbe)

Disable refresh almost expired inside getAddrs()

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

(cherry picked from commit 46a40ed033d64f58aa30013d7e68daa5b5e8d615)

auth, rec IXFR-in: Fix a case where an incomplete read caused by network error might result in a truncated zone.

As we might break from the loop early, we need to check if the end SOA was seen after the loop.
Also make sure we detect end conditions for both AXFR and IXFR style properly, to avoid processing
data after the end marker.

Reinstate refresh mode for {C,D}NAME cache lookups

(cherry picked from commit 3263b3adf19081274a9e36891eb202d75685ecfa)

Be more careful using refresh mode only for the record asked.
Otherwise we get bad interaction with QM, as newly discovered
delegation points are stored in the cache, but not seen the QM
algorithm. Might/should fix #11371.

(cherry picked from commit 7502f5f3b9293bed2601be2c479780f94438b45b)

Merge pull request #11399 from omoerbeek/backport-11044-to-rec-4.5.x

rec: Backport 11044 to rec 4.5.x: Fix v6 test setup and start using a more modern auth on circleci

Fix error in test zone that auth-45 does not like

(cherry picked from commit f1f41a8aa9299a4d8bf369c4fc0cb611f5b979cd)

One more occurence of --local-ipv6

(cherry picked from commit 9b3fc866b7f8133d4317aec9253e4b5fb0a385f9)

Fix v6 setup and start using a more modern auth on circleci

(cherry picked from commit 2d0fc474f8b03b536a95c6b9b05e96c6e8c51e30)

Merge pull request #11384 from omoerbeek/backport-11300-to-rec-4.5.x

Backport of 11300 to rec-4.5.x: Use the Lua context stored in SyncRes when calling hooks

Backport of 11300 to rec-4.5.x: Use the Lua context stored in SyncRes when calling hooks

Merge pull request #11276 from Habbie/backport-11262-to-rec-4.5.x

rec-4.5.x: builder: migrate EL8 builds to oraclelinux, rename centos8 to el8 where possible

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

Merge pull request #11264 from omoerbeek/backport-11208-to-rec-4.5.x

rec: backport to rec-4.5.x: CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

(cherry picked from commit 46a40ed033d64f58aa30013d7e68daa5b5e8d615)

Merge pull request #11024 from omoerbeek/backport-11010-to-rec-4.5.x

rec: backport 10110 to rec-4.5.x: Do cache negcache results, even when wasVariable() is true

Do cache negcache results, even when wasVariable() is true

See https://datatracker.ietf.org/doc/html/rfc7871#section-7.4
Fixes #10994

(cherry picked from commit 2bcec14adbffbf4b28d698cb607877fb96054e87)

Merge pull request #10912 from omoerbeek/backport-10908-to-rec-4.5.x

rec: Backpoprt of 10908 to rec-4.5.x: A SHA-384 DS should not trump a SHA-256 one, so only potentially zap SHA-1

Merge pull request #10911 from omoerbeek/backport-10905-to-rec-4.5.x

rec: Backport of 10905 to rec-4.5.x: wipe-cache-typed  should check if a qtype arg is present and valid

Merge pull request #10914 from rgacogne/rec45-docutils-pin

rec-4.5.x: Pin docutils to < 0.18 for now

Pin docutils to < 0.18 for now

We will have to deal with that pain later, but let's unbreak our
CI first.

(cherry picked from commit 2503af018b72112a2422ce895d9e7418155cbc9f)

A SHA-384 DS should not trump a SHA-256 one, so only potentially zap SHA-1

(cherry picked from commit a660ce6dbfc4182922eea8e548eb504af31b6cc1)

wipe-cache-typed  should check if a qtype arg is present and valid

(cherry picked from commit a721f7b21a75cefaa189bf84b14979facde7d3ab)

Merge pull request #10863 from omoerbeek/backport-10842-to-rec-4.5.x

rec: Backport 10842 to rec 4.5.x:  Put the right string into appliedPolicyTrigger for Netmask matching rules

Process review comments

(cherry picked from commit e4387f4e74375699780175a75111eb32a1a3b039)

Also moved setting of hit value to find functions mostly.

In a few cases (wildcard processing) the matched value is not the
hit as seen by the find function and an overide is needed.

(cherry picked from commit f9de1f7fd8e37ba91b8b4c85082b2f16c8890cba)

Process review comments and extend unit tests

(cherry picked from commit 562c1c1db90709b5abf4d01fa6be319d6a48e971)

Add regression test

(cherry picked from commit 9524d9c1d12237dfc44f6a440dd9fc30d6c8b608)

Put the right string into appliedPolicyTrigger for Netmask matching rules
(ns, client, response). The NetMaskTree has it.

(cherry picked from commit b143b5f53285957a7230a6e192935a4a45f3454d)

Merge pull request #10806 from omoerbeek/backport-10565-to-rec-4.5.x

rec: Backport 10565 to rec 4.5.x: Do not use DNSKEYs found below an apex for validation

Merge pull request #10807 from omoerbeek/backport-10622-to-rec-4.5.x

rec: Backport 10622 to rec 4.5.x: Detect a loop when the denial of the DS comes from the child zone

Merge pull request #10809 from omoerbeek/min-backport-10632-to-4.5.x

Rec: Minimal Backport of 10632: match ordering of PacketID using the Birtdah vs non-Birtday comparator

Merge pull request #10811 from omoerbeek/backport-10633-to-rec-4.5.x

rec: Backport 10633 to rec 4.5.x: Pass the Lua context to follow up queries (follow CNAME, dns64)

Merge pull request #10813 from omoerbeek/backport-10718-to-rec-4.5.x

rec: Backport 10718 to rec 4.5.x: Only the DNAME records are authoritative in DNAME answers

Update pdns/syncres.cc

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 68a1512030b2e2fa721c17b010d5787a20951a1a)

rec: Only the DNAME records are authoritative in DNAME answers

(cherry picked from commit 58655363e983054a265249aca8297eb6a5ed67af)

Reduce diff with branch

rec: check that the policy event filter is called for follow-up queries

(cherry picked from commit 4037914713bb8893cb66f4dbba60addaeca20b02)

rec: Pass the Lua context to follow up queries (follow CNAME, dns64)

(cherry picked from commit a4e9ad75186e883cdfcc87bc561a6e1f184d37f9)

Minimal backport of #10632: match ordering of PacketID using the
Birtdah vs non-Birtday comparator

rec: Add a test for 'denial of the DS comes from the child zone' loop

(cherry picked from commit 68ae8a86ab3943692fabeb134869e3d0a418dc03)

rec: Detect a loop when the denial of the DS comes from the child zone

(cherry picked from commit c3e96dca178cf355324ab34a08b3578e4fc44a31)

rec: do not use DNSKEYs found below an apex for validation, also from cache

(cherry picked from commit 29ad87969c8a24fcc812ff4cb445a9e130d256ae)

rec: do not use DNSKEYs found below an apex for validation

(cherry picked from commit 90b85dd0e7bfb7a21ab07f2ab9b31c616c6c62b9)

Merge pull request #10803 from omoerbeek/backport-10768-to-rec-4.5.x

rec: Backport 10768 to rec-4.5.x: Use the correct RPZ policy name when loading via XFR

rec: Use the correct RPZ policy name when loading via XFR

This commit fixes two issues:
- if the existing zone name is not empty we should use it, instead of
  the zone domain
- if the zone domain has to be used, it should not include a final dot

(cherry picked from commit 3e86a970828dda814a140c9613311a8507c3c458)

Merge pull request #10723 from omoerbeek/backport-10721-to-rec-4.5.x

rec: Backport 10721 to rec 4.5.x: require nose >= 1.3.7 everywhere

require nose >= 1.3.7 everywhere

(cherry picked from commit 8e8be088de0634fc561f5c7f6e26d6ed03f401e8)

Merge pull request #10717 from omoerbeek/backport-10701-to-rec-4.5.x

rec: Backport 10701 to rec-4.5.x: Fix the aggressive cache returning duplicated NSEC3 records

rec: Fix the aggressive cache returning duplicated NSEC3 records

No need to include the same record twice when it provides, at the same
time, a proof that the closest encloser exists and that the next closer
does not, and/or that the wildcard does not exist either.
This happens right away in a zone with a single record, like reported
by Matt Nordhoff, but it might happen in other cases as well.

(cherry picked from commit eca47c4dd85d2711ebc26767dfa78bdbce2c7f16)

Merge pull request #10655 from omoerbeek/backport-10643-to-rec-4.5.x

rec: Backport 10643 to rec 4.5.x:  NS from the cache could be a forwarder

Merge pull request #10680 from pieterlexis/backport-10407-to-rec-4.5.x

rec: Backport #10407; Debian Bullseye builder files

recursor/debian-buster: remove obsolete dh-systemd Build-Depends

Merged into debhelper (>= 9.20160709)

(cherry picked from commit 58f41c5e304caf847c52a0951c2a5a4b9f6c02fb)

builder-support: add Debian bullseye dockerfiles

(cherry picked from commit ad53d76110228c6d0822b1b130e0bbe425872499)

Also check if the remoteIP is one of the IPs we would have forwarded to,
even if it's coming from the cache.

If we get an NS from the cache, it still could be one forwarding applies to.
Take that into acount when determining dont-query status. Should fix #10638.

(cherry picked from commit c03df9bb6f8cd71a67ef9505fcafa27d514a68ad)

Merge pull request #10629 from omoerbeek/backport-10627-to-rec-4.5.x

rec: backport 10627 to rec 4.5.x: Check in more places if the policy has been updated before  using or modifying it.

Check in more places if the config policy has been updated before
using or modifying it.

(cherry picked from commit 0c98e3de2cf1daae3f7034803668c1ac10fefe49)

Merge pull request #10593 from rgacogne/rec45-aggressive-nsec3-ancestor

rec: Backport 10587 to rec-4.5.x: Ancestor NSEC3s can only deny the existence of a DS

Merge pull request #10575 from omoerbeek/backport-10570-to-rec-4.5.x

rec: Backport 10570 to rec 4.5.x: Make really sure we did not miss a cut on validation failure

rec: Fix wrong comments in the Aggressive NSEC cache unit tests

(cherry picked from commit b48a269ae32e9f1bc80966fd4e72eeaba49e68f5)

Merge pull request #10564 from omoerbeek/backport-10555-to-rec-4.5.x

Backport 10555 to rec 4.5.x: Work around clueless servers sending AA=0 answers

Merge pull request #10573 from omoerbeek/backport-10515-to-rec-4.5.x

rec: Backport 10515 to rec-4.5.x: Clear the current proxy protocol values each iteration

rec: Fix formatting in test-aggressive_nsec_cc.cc

(cherry picked from commit 3b5159818fd7cd2792861be5d1cedfc128cf45f0)

rec: The root denies its own DS with a NSEC(3)s from the child zone

(cherry picked from commit ae727ae2b1b74a113175e58b5c5bcbc42d242cf1)

rec: Check that NSEC(3)s from the child zone are not used to deny the DS

(cherry picked from commit 48c547485785861551a7fdfb39b8678ea49e8019)

rec: Fix the NSEC3 ancestor check for DS in the aggressive cache

(cherry picked from commit 1eed7f4572d396b544756cf93be2297db23483b3)

rec: Ancestor NSEC3s can only deny the existence of a DS

Before that commit, the aggressive NSEC(3) cache could have
mistakenly used NSEC3s from the parent zone to prove that a given
name in the child zone did not exist, which is incorrect.
It happened because we did not properly detect that the NSEC3 for
the closest encloser was an ancestor NSEC3 indicating a delegation,
and then in the unlikely but possible case that we found a NSEC3
from the parent zone whose hashes covered the next closer we wrongly
concluded that the name did not exist, returning a NXDomain with an
invalid proof of denial.

(cherry picked from commit d270600bf4d310dcdc3d422ecc9be6d8210e7849)

s/qtype.toString()/qtype.getName() for backport

rec: Add a 'checking for missed cuts' loop unit test

(cherry picked from commit c8f77a00dc454bdc17f8208d9bedcff519ad78f0)

rec: Avoid a loop when checking if we missed a cut

We just went Bogus because of the signer, not because of
the name currently being checked, so we only need to check
the status of zones above the signer. Moreover, if we went
Bogus because of the DS of the signer, we should even skip
the zone of the signer but check for a missed cut above that.

(cherry picked from commit f237dbd53b8b796a94782a27ab237936e09d7a70)

rec: Add unit tests for signed, broken but insecure zones

(cherry picked from commit 0970c1a2f06aba653aa752a7431f21f8013310f6)

rec: Make really sure we did not miss a cut on validation failure

(cherry picked from commit bc50925a50c6e956f612bb03db15893279fd052d)

rec: Fix NSEC3 next owner in SyncRes unit tests

(cherry picked from commit 95f79e18e5fd5bf62970d024810d52e1bf0cd687)

Clear the current proxy protocol values each iteration

(cherry picked from commit b2b8ccea95ddde5cd170afef57ba8eeced3d1d0e)

rec: Add a unit test checking that DNSSEC validation is done for AA=0 answers

(cherry picked from commit 3f3b008644f81e6500eb031c2aab2be962b5aed8)

rec: Work around clueless servers sending AA=0 answers

(cherry picked from commit 7b98cc14e66493599c7bac1bee26c3d116a660a6)