Timout handling for ixfrs as a client.

One complicating factor is that this is shared code, but auth and
rec do not agree on the definiton of the timeout value: auth states
it is a maximum idle time, while rec state it is the total xfr time.
While both apporaches make sense and in the end we would like to
enforce both, we now go for a more simple solution that respects
auth or rec behaviour based on a flag.

(cherry picked from commit fee334ae0f5083d47f9adc207d5a1a6d36ebc2ac)

Merge pull request #12169 from omoerbeek/backport-12081-to-rec-4.5.x

rec: Backport to rec-4.5.x: Log invalid RPZ content when obtained via IXFR

Merge pull request #12166 from omoerbeek/backport-12038-to-rec-4.5.x

rec: Backport 12038 to rec-4.5.x: when an expired nsec3 entry is seen, move it to the front of the expiry queue

Merge pull request #12165 from omoerbeek/backport-11338-to-rec-4.5.x

rec: Backport 11338 to rec-4.5.x: QType ADDR is supposed to be used internally only.

rec: Log invalid RPZ content when obtained via IXFR

That kind of content was properly logged and handled when received
during the initial loading (AXFR) but not when received via an
incremental update.

(cherry picked from commit 55a99233728fc01e3946a97fb8dbb073a3003622)

rec: when an expired nsec3 entry is seen, move it to the front of the expiry queue

(cherry picked from commit 05a4985708988eb10f9291a40406b205e7d5d5b2)

QType ADDR is supposed to be used internally only.

Should fix #11337

(cherry picked from commit 7a278799ee23e582c3b722cea578699db1791bc2)

Merge pull request #11975 from Habbie/backport-11961-to-rec-4.5.x

rec 4.5.x docker: upgrade to bullseye

docker: upgrade to bullseye

(cherry picked from commit a0d3acff25a92627186ee43bead110aef416f59a)

Merge pull request #11944 from omoerbeek/backport-11641-to-rec-4.5.x

rec: Backport of 11641 to rec-4.5.x: Move to v2 for CodeQL action, v1 will be deprecated dec 2022

Merge pull request #11939 from omoerbeek/backport-11904-to-rec-4.5.x

Backport 11904 to rec-4.5.x: For zones having many NS records, we are not interested in all so take a sample.

Merge pull request #11942 from omoerbeek/backport-11890-to-rec-4.5.x

rec: Backport of 11890 to rec-4.5.x: Failure to retrieve DNSKEYs of an Insecure zone should not be fatal.

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

(cherry picked from commit a0c99342e7aa22e16a75d9e7daa4de69d087bc38)

Failure to retrieve DNSKEYs of an Insecure zone should not be fatal.

This issue happens if a record set is signed even though the zone
itself is Insecure. Syncres then tries to retrieve DNSKEYs and a
timeout on that would lead to an ImmediateServFailException.

Only throw exception later in validateRecordsWithSigs, after checking
zone cuts, when we are sure the zone is Secure.

(cherry picked from commit 6dc8b0b2c6fb2e628356f8dc5c5de4dfd919ec5d)

For zones having many NS records, we are not interested in all so take a sample.

(cherry picked from commit a49b0b40a0c1c1af9531b99e9266a8c2aa89cd68)

Merge pull request #11899 from omoerbeek/backport-11848-to-rec-4.5.x

rec: Backport 11848 to rec-4.5.x: Also check qperq limit if throttling happened, as it increases counters.

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

(cherry picked from commit c75d28f2b786b986ec10675e3c853a52eec11e37)

Merge pull request #11875 from omoerbeek/rec-backport-to-rec-4.5.x-pb-size

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.5.x

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.5.x

Merge pull request #11701 from Habbie/backport-11658-to-rec-4.5.x

rec-4.5.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11634 from omoerbeek/backport-11609-to-rec-4.5.x

Backport 11609 to rec 4.5.x: Fix API issue when asking config values for allow-from

Document meaning of empty allow-from

(cherry picked from commit a75c8e8019462827dae4599b6a24ef7a0645c30c)

Fix API issue when asking config values for allow-from or allow-notify-from

(cherry picked from commit 3aa876deef257fc6d63da32df0742ed8cf91aaa1)

Merge pull request #11480 from omoerbeek/rec45-fix-rpz-incompletetest

rec: rec-4.5.x has no waitForTCPSocket in test code

rec: rec-4.5.x has no waitForTCPSocket in test code

Plus counts are different due to rpz loading changes in master.

Merge pull request #11419 from omoerbeek/backport-11376-to-rec-4.5.x

rec: Backport 11376 to rec 4.5.x: Be more careful using refresh mode only for the record asked

Merge pull request #11457 from omoerbeek/rec-4.5.7-ixfr

Rec 4.5.x: Fix a case where an incomplete read caused by network error might result in a truncated zone

Merge pull request #11463 from Habbie/backport-11449-to-rec-4.5.x

rec-4.5.x docs: Pin jinja2 to < 3.1.0

docs: Pin jinja2 to < 3.1.0

Jinja2 3.1.0 removed deprecated code that is still used by sphinx
1.8.x, and it looks like our custom sphinx extensions are not working
with more recent versions of sphinx..

See:
- https://github.com/pallets/jinja/issues/1631
- https://github.com/readthedocs/readthedocs.org/issues/9037

and

- https://github.com/PowerDNS/pdns/pull/7712

The exact error is:
```
Extension error:
Could not import extension sphinx.builders.latex (exception: cannot import name 'contextfunction' from 'jinja2' (/dnsdist/pdns/dnsdistdist/.venv/lib/python3.7/site-packages/jinja2/__init__.py))
```

(cherry picked from commit 92ad29702011ac7cbd0d7d118ba612e7e07cedbe)

Disable refresh almost expired inside getAddrs()

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

(cherry picked from commit 46a40ed033d64f58aa30013d7e68daa5b5e8d615)

auth, rec IXFR-in: Fix a case where an incomplete read caused by network error might result in a truncated zone.

As we might break from the loop early, we need to check if the end SOA was seen after the loop.
Also make sure we detect end conditions for both AXFR and IXFR style properly, to avoid processing
data after the end marker.

Reinstate refresh mode for {C,D}NAME cache lookups

(cherry picked from commit 3263b3adf19081274a9e36891eb202d75685ecfa)

Be more careful using refresh mode only for the record asked.
Otherwise we get bad interaction with QM, as newly discovered
delegation points are stored in the cache, but not seen the QM
algorithm. Might/should fix #11371.

(cherry picked from commit 7502f5f3b9293bed2601be2c479780f94438b45b)

Merge pull request #11399 from omoerbeek/backport-11044-to-rec-4.5.x

rec: Backport 11044 to rec 4.5.x: Fix v6 test setup and start using a more modern auth on circleci

Fix error in test zone that auth-45 does not like

(cherry picked from commit f1f41a8aa9299a4d8bf369c4fc0cb611f5b979cd)

One more occurence of --local-ipv6

(cherry picked from commit 9b3fc866b7f8133d4317aec9253e4b5fb0a385f9)

Fix v6 setup and start using a more modern auth on circleci

(cherry picked from commit 2d0fc474f8b03b536a95c6b9b05e96c6e8c51e30)

Merge pull request #11384 from omoerbeek/backport-11300-to-rec-4.5.x

Backport of 11300 to rec-4.5.x: Use the Lua context stored in SyncRes when calling hooks

Backport of 11300 to rec-4.5.x: Use the Lua context stored in SyncRes when calling hooks

Merge pull request #11276 from Habbie/backport-11262-to-rec-4.5.x

rec-4.5.x: builder: migrate EL8 builds to oraclelinux, rename centos8 to el8 where possible

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

Merge pull request #11264 from omoerbeek/backport-11208-to-rec-4.5.x

rec: backport to rec-4.5.x: CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

(cherry picked from commit 46a40ed033d64f58aa30013d7e68daa5b5e8d615)

Merge pull request #11024 from omoerbeek/backport-11010-to-rec-4.5.x

rec: backport 10110 to rec-4.5.x: Do cache negcache results, even when wasVariable() is true

Do cache negcache results, even when wasVariable() is true

See https://datatracker.ietf.org/doc/html/rfc7871#section-7.4
Fixes #10994

(cherry picked from commit 2bcec14adbffbf4b28d698cb607877fb96054e87)

Merge pull request #10912 from omoerbeek/backport-10908-to-rec-4.5.x

rec: Backpoprt of 10908 to rec-4.5.x: A SHA-384 DS should not trump a SHA-256 one, so only potentially zap SHA-1

Merge pull request #10911 from omoerbeek/backport-10905-to-rec-4.5.x

rec: Backport of 10905 to rec-4.5.x: wipe-cache-typed  should check if a qtype arg is present and valid

Merge pull request #10914 from rgacogne/rec45-docutils-pin

rec-4.5.x: Pin docutils to < 0.18 for now

Pin docutils to < 0.18 for now

We will have to deal with that pain later, but let's unbreak our
CI first.

(cherry picked from commit 2503af018b72112a2422ce895d9e7418155cbc9f)

A SHA-384 DS should not trump a SHA-256 one, so only potentially zap SHA-1

(cherry picked from commit a660ce6dbfc4182922eea8e548eb504af31b6cc1)

wipe-cache-typed  should check if a qtype arg is present and valid

(cherry picked from commit a721f7b21a75cefaa189bf84b14979facde7d3ab)

Merge pull request #10863 from omoerbeek/backport-10842-to-rec-4.5.x

rec: Backport 10842 to rec 4.5.x:  Put the right string into appliedPolicyTrigger for Netmask matching rules

Process review comments

(cherry picked from commit e4387f4e74375699780175a75111eb32a1a3b039)

Also moved setting of hit value to find functions mostly.

In a few cases (wildcard processing) the matched value is not the
hit as seen by the find function and an overide is needed.

(cherry picked from commit f9de1f7fd8e37ba91b8b4c85082b2f16c8890cba)

Process review comments and extend unit tests

(cherry picked from commit 562c1c1db90709b5abf4d01fa6be319d6a48e971)

Add regression test

(cherry picked from commit 9524d9c1d12237dfc44f6a440dd9fc30d6c8b608)

Put the right string into appliedPolicyTrigger for Netmask matching rules
(ns, client, response). The NetMaskTree has it.

(cherry picked from commit b143b5f53285957a7230a6e192935a4a45f3454d)

Merge pull request #10806 from omoerbeek/backport-10565-to-rec-4.5.x

rec: Backport 10565 to rec 4.5.x: Do not use DNSKEYs found below an apex for validation

Merge pull request #10807 from omoerbeek/backport-10622-to-rec-4.5.x

rec: Backport 10622 to rec 4.5.x: Detect a loop when the denial of the DS comes from the child zone

Merge pull request #10809 from omoerbeek/min-backport-10632-to-4.5.x

Rec: Minimal Backport of 10632: match ordering of PacketID using the Birtdah vs non-Birtday comparator

Merge pull request #10811 from omoerbeek/backport-10633-to-rec-4.5.x

rec: Backport 10633 to rec 4.5.x: Pass the Lua context to follow up queries (follow CNAME, dns64)

Merge pull request #10813 from omoerbeek/backport-10718-to-rec-4.5.x

rec: Backport 10718 to rec 4.5.x: Only the DNAME records are authoritative in DNAME answers

Update pdns/syncres.cc

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 68a1512030b2e2fa721c17b010d5787a20951a1a)

rec: Only the DNAME records are authoritative in DNAME answers

(cherry picked from commit 58655363e983054a265249aca8297eb6a5ed67af)

Reduce diff with branch

rec: check that the policy event filter is called for follow-up queries

(cherry picked from commit 4037914713bb8893cb66f4dbba60addaeca20b02)

rec: Pass the Lua context to follow up queries (follow CNAME, dns64)

(cherry picked from commit a4e9ad75186e883cdfcc87bc561a6e1f184d37f9)

Minimal backport of #10632: match ordering of PacketID using the
Birtdah vs non-Birtday comparator

rec: Add a test for 'denial of the DS comes from the child zone' loop

(cherry picked from commit 68ae8a86ab3943692fabeb134869e3d0a418dc03)

rec: Detect a loop when the denial of the DS comes from the child zone

(cherry picked from commit c3e96dca178cf355324ab34a08b3578e4fc44a31)

rec: do not use DNSKEYs found below an apex for validation, also from cache

(cherry picked from commit 29ad87969c8a24fcc812ff4cb445a9e130d256ae)

rec: do not use DNSKEYs found below an apex for validation

(cherry picked from commit 90b85dd0e7bfb7a21ab07f2ab9b31c616c6c62b9)

Merge pull request #10803 from omoerbeek/backport-10768-to-rec-4.5.x

rec: Backport 10768 to rec-4.5.x: Use the correct RPZ policy name when loading via XFR

rec: Use the correct RPZ policy name when loading via XFR

This commit fixes two issues:
- if the existing zone name is not empty we should use it, instead of
  the zone domain
- if the zone domain has to be used, it should not include a final dot

(cherry picked from commit 3e86a970828dda814a140c9613311a8507c3c458)

Merge pull request #10723 from omoerbeek/backport-10721-to-rec-4.5.x

rec: Backport 10721 to rec 4.5.x: require nose >= 1.3.7 everywhere

require nose >= 1.3.7 everywhere

(cherry picked from commit 8e8be088de0634fc561f5c7f6e26d6ed03f401e8)

Merge pull request #10717 from omoerbeek/backport-10701-to-rec-4.5.x

rec: Backport 10701 to rec-4.5.x: Fix the aggressive cache returning duplicated NSEC3 records

rec: Fix the aggressive cache returning duplicated NSEC3 records

No need to include the same record twice when it provides, at the same
time, a proof that the closest encloser exists and that the next closer
does not, and/or that the wildcard does not exist either.
This happens right away in a zone with a single record, like reported
by Matt Nordhoff, but it might happen in other cases as well.

(cherry picked from commit eca47c4dd85d2711ebc26767dfa78bdbce2c7f16)

Merge pull request #10655 from omoerbeek/backport-10643-to-rec-4.5.x

rec: Backport 10643 to rec 4.5.x:  NS from the cache could be a forwarder

Merge pull request #10680 from pieterlexis/backport-10407-to-rec-4.5.x

rec: Backport #10407; Debian Bullseye builder files

recursor/debian-buster: remove obsolete dh-systemd Build-Depends

Merged into debhelper (>= 9.20160709)

(cherry picked from commit 58f41c5e304caf847c52a0951c2a5a4b9f6c02fb)

builder-support: add Debian bullseye dockerfiles

(cherry picked from commit ad53d76110228c6d0822b1b130e0bbe425872499)

Also check if the remoteIP is one of the IPs we would have forwarded to,
even if it's coming from the cache.

If we get an NS from the cache, it still could be one forwarding applies to.
Take that into acount when determining dont-query status. Should fix #10638.

(cherry picked from commit c03df9bb6f8cd71a67ef9505fcafa27d514a68ad)

Merge pull request #10629 from omoerbeek/backport-10627-to-rec-4.5.x

rec: backport 10627 to rec 4.5.x: Check in more places if the policy has been updated before  using or modifying it.

Check in more places if the config policy has been updated before
using or modifying it.

(cherry picked from commit 0c98e3de2cf1daae3f7034803668c1ac10fefe49)

Merge pull request #10593 from rgacogne/rec45-aggressive-nsec3-ancestor

rec: Backport 10587 to rec-4.5.x: Ancestor NSEC3s can only deny the existence of a DS

Merge pull request #10575 from omoerbeek/backport-10570-to-rec-4.5.x

rec: Backport 10570 to rec 4.5.x: Make really sure we did not miss a cut on validation failure

rec: Fix wrong comments in the Aggressive NSEC cache unit tests

(cherry picked from commit b48a269ae32e9f1bc80966fd4e72eeaba49e68f5)

Merge pull request #10564 from omoerbeek/backport-10555-to-rec-4.5.x

Backport 10555 to rec 4.5.x: Work around clueless servers sending AA=0 answers

Merge pull request #10573 from omoerbeek/backport-10515-to-rec-4.5.x

rec: Backport 10515 to rec-4.5.x: Clear the current proxy protocol values each iteration