For zones having many NS records, we are not interested in all so take a sample.

(cherry picked from commit a49b0b40a0c1c1af9531b99e9266a8c2aa89cd68)

Merge pull request #11898 from omoerbeek/backport-11848-to-rec-4.6.x

rec: Backport 11848 to rec-4.6.x: Also check qperq limit if throttling happened, as it increases counters.

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

(cherry picked from commit c75d28f2b786b986ec10675e3c853a52eec11e37)

Merge pull request #11775 from omoerbeek/backport-11773-to-rec-4.6.x

rec: Backport 11773 to rec 4.6.x: Resize answer length to actual received length in udpQueryResponse

Merge pull request #11876 from omoerbeek/rec-backport-to-rec-4.6.x-pb-size

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.6.x

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.6.x

Add regression test for #11771 (lenght of annswer in udpQueryResponse)

(cherry picked from commit 8ca70105ddd6fda10e98b6d3d8cb67523ebc81e1)

Rec: Resize answer length to actual received length in udpQueryResponse

Fixes #11771

(cherry picked from commit cbb5ac45a90e4109ff1f8536bf5d99aafd62ef0c)

Merge pull request #11739 from Habbie/backport-11735-to-rec-4.6.x

rec-4.6.x: dh_builddeb: force gzip compression, thanks Zash!

dh_builddeb: force gzip compression, thanks Zash!

(cherry picked from commit bbfa37c0232b56e2227668717dbb97ce4f01d990)

Merge pull request #11700 from Habbie/backport-11658-to-rec-4.6.x

rec-4.6.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11633 from omoerbeek/backport-11609-to-rec-4.6.x

Backport 11609 to rec 4.6.x: Fix API issue when asking config values for allow-from or allow-notiy-from

Document meaning of empty allow-from

(cherry picked from commit a75c8e8019462827dae4599b6a24ef7a0645c30c)

Add tests for empty allow-from and allow-notify-from case

(cherry picked from commit bfa1ae26f5c174d6fe237dc0ed9d08043518648f)

Fix API issue when asking config values for allow-from or allow-notify-from

(cherry picked from commit 3aa876deef257fc6d63da32df0742ed8cf91aaa1)

Merge pull request #11569 from omoerbeek/backport-11496-to-rec-4.6.x

rec: Backport of 11496 to rec-4.6.x: Prevent segfault with empty allow-from-file and allow-from options

rec: Backport of 11496 to rec-4.6.x: Prevent segfault with empty allow-from-file and allow-from options

Merge pull request #11478 from omoerbeek/rec-fix-rpz-incompletetest

rec: rec-4.6.x has no waitForTCPSocket in test code

4.6.x has no waitForTCPSocket plus counts are different due to rpz loading changes in master

Merge pull request #11458 from omoerbeek/rec-4.6.0-ixfr

Rec 4.6.x: Fix a case where an incomplete read caused by network error might result in a truncated zone

Merge pull request #11464 from Habbie/backport-11449-to-rec-4.6.x

rec-4.6.x docs: Pin jinja2 to < 3.1.0

docs: Pin jinja2 to < 3.1.0

Jinja2 3.1.0 removed deprecated code that is still used by sphinx
1.8.x, and it looks like our custom sphinx extensions are not working
with more recent versions of sphinx..

See:
- https://github.com/pallets/jinja/issues/1631
- https://github.com/readthedocs/readthedocs.org/issues/9037

and

- https://github.com/PowerDNS/pdns/pull/7712

The exact error is:
```
Extension error:
Could not import extension sphinx.builders.latex (exception: cannot import name 'contextfunction' from 'jinja2' (/dnsdist/pdns/dnsdistdist/.venv/lib/python3.7/site-packages/jinja2/__init__.py))
```

(cherry picked from commit 92ad29702011ac7cbd0d7d118ba612e7e07cedbe)

Merge pull request #11418 from omoerbeek/backport-11376-to-rec-4.6.x

rec: Backport 11376 to rec 4.6.x: Be more careful using refresh mode only for the record asked

rec: Fix the path to the recursor's UBSan suppression file in forks

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

stop testing auth+dnsdist on rec branch

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

(cherry picked from commit 46a40ed033d64f58aa30013d7e68daa5b5e8d615)

auth, rec IXFR-in: Fix a case where an incomplete read caused by network error might result in a truncated zone.

As we might break from the loop early, we need to check if the end SOA was seen after the loop.
Also make sure we detect end conditions for both AXFR and IXFR style properly, to avoid processing
data after the end marker.

Reinstate refresh mode for {C,D}NAME cache lookups

(cherry picked from commit 3263b3adf19081274a9e36891eb202d75685ecfa)

Be more careful using refresh mode only for the record asked.
Otherwise we get bad interaction with QM, as newly discovered
delegation points are stored in the cache, but not seen the QM
algorithm. Might/should fix #11371.

(cherry picked from commit 7502f5f3b9293bed2601be2c479780f94438b45b)

Merge pull request #11380 from omoerbeek/backport-11300-to-rec-4.6.x

rec: Backport of 11300 to rec-4.6.x: Use the Lua context stored in SyncRes when calling hooks

Backport of 11300 to rec-4.6.x: Use the Lua context stored in SyncRes when calling hooks

Merge pull request #11363 from omoerbeek/backport-11338-to-rec-4.6.x

rec: Backport of 11338 to rec-4.6.x: QType ADDR is supposed to be used internally only

Merge pull request #11362 from omoerbeek/backport-11327-to-rec-4.6.x

rec: Backport 11327 to rec 4.6.x: If we get NODATA on an AAAA in followCNAMERecords, try dns64

Merge pull request #11360 from omoerbeek/backport-11283-to-rec-4.6.x

rec: Backport 11283 to rec 4.6.x: Allow disabling of processing the root hints

Merge pull request #11361 from omoerbeek/backport-11288-to-rec-4.6.x

rec: Backport 11288 to rec 4.6.x: Log an error if pdns.DROP is used as rcode in Lua callbacks

Merge pull request #11359 from omoerbeek/backport-11257-to-rec-4.6.x

rec: Backport 11257 to rec 4.6.x: Initialize isNew before calling a exception throwing function

Merge pull request #11358 from omoerbeek/backport-11245-to-rec-4.6.x

rec: Backport 11245 to rec 4.6.x: a CNAME answer on DS query should abort DS retrieval

Merge pull request #11357 from omoerbeek/backport-11225-to-rec-4.6.x

rec: Backport 11225 to rec 4.6.x: Reject non-apex NSEC(3)s that have both the NS and SOA bits set

Merge pull request #11356 from omoerbeek/backport-11199-to-rec-4.6.x

rec: Backport 11199 to rec 4.6.x: add ubuntu jammy build target

QType ADDR is supposed to be used internally only.

Should fix #11337

(cherry picked from commit 7a278799ee23e582c3b722cea578699db1791bc2)

Add test case for #11320:  followCNAMERecords leads to a result that
should be subject to dns64 processing

(cherry picked from commit 63ad9c90eb8f1842d2d79acefa803db9f820e33d)

If we get NODATA on an AAAA in followCNAMERecords, try dns64

Fixes #11320

(cherry picked from commit aa59465e46b6fd617bf992a80da400ae14fbb4ec)

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit f7c973de073a5cae0af462cb86285eedcc76fd01)

Log an error if pdns.DROP is used as rcode in Lua callbacks

(cherry picked from commit f3f042efd2a1aff444f18e7d9e23ffc631b1b36f)

Upgrade guide and doc tweaks

(cherry picked from commit 067a807cbc008d2b4c79a3ebe709226d46ff7718)

Allow disabling of processing the root hints

This also make sure we use the right dnssec mode for processing hints
and changes a few log levels to Debug to be less verbose.

(cherry picked from commit e46b0f2f7f4f20f92190a9202a7823ffe2123d98)

Initialize isNew before calling a exception throwing function

(cherry picked from commit 4043238ede86eb42dad0bd4eae0b51cb351e80ab)

Fix indent

(cherry picked from commit 5db4dcaa91deeb3dbb0ebfbec828e7d224eca074)

Add a test for the case where an (Insecure) domain fails to get a DS
record because of a CNAME loop, avoiding a SERVFAIL.

(cherry picked from commit c10acee8f241f7fa038fb5904d4bf71124093ac4)

If we get a CNAME when asking for a DS, we should give up and return vState::BogusUnableToGetDSs

(cherry picked from commit 271ae639803453a6193b6c3c2baf034446a9965a)

NSEC -> NSEC3

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit c67b13a9aa2c8c4092de28c1bb37e8bbb32dcee3)

NSEC -> NSEC3

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 78cee42937e5265bf6e0d5c1dc1fdaf684932a5a)

rec: The NSEC3 ancestor check must be done against the original owner name

(cherry picked from commit f37a904f4cc53ccb74b5904948b819920401ed24)

rec: Reject non-apex NSEC(3)s that have both the NS and SOA bits set

Ancestor NSEC(3)s have the SOA bit clear (delegation), and the remaining
non-apex ones should not have the NS set.

(cherry picked from commit be5d851dbedeecdeef39a583f0e2ac50d786b806)

test ubuntu jammy build target

(cherry picked from commit e3d50799180eb4499f8dda5263773775301bfa7e)

add ubuntu jammy build target

(cherry picked from commit 6c1e5fd70b4dd4e75b18ff8c75f93c7d22122643)

Merge pull request #11275 from Habbie/backport-11262-to-rec-4.6.x

rec-4.6.x: builder: migrate EL8 builds to oraclelinux, rename centos8 to el8 where possible

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

Merge pull request #11282 from Habbie/rec-4.6-ci-rec-only

rec-4.6: stop testing auth+dnsdist on rec branch

stop testing auth+dnsdist on rec branch

Merge pull request #11268 from omoerbeek/backport-11168-to-rec-4.6.x

rec: backport 11168 to rec-4.6.x: servfail.nl changed their setup.

Merge pull request #11263 from omoerbeek/backport-11208-to-rec-4.6.x

rec: backport to rec-4.6.x: CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

Merge pull request #11260 from rgacogne/rec46-openssl3

rec-4.6.x: Fix build with OpenSSL 3.0.0

servfail.nl changed theuir setup.

I think in an ideal world we should return 9 (DNSSEC key missing) but I don't see a
easy way to do that at the moment.

(cherry picked from commit 2cd34ba5c565ee6bad368f577e34fa6d9519ab7d)

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

(cherry picked from commit 46a40ed033d64f58aa30013d7e68daa5b5e8d615)

rec-4.6.x: Fix build with OpenSSL 3.0.0

(cherry picked from commit 8535f66672ec9d1eebf5835d3e53238973a80478)

Merge pull request #11170 from omoerbeek/backport-11137-to-rec-4.6.x

rec: Backport 11137 to rec 4.6.x: try shorted thread names

Merge pull request #11169 from omoerbeek/backport-11109-to-rec-4.6.x

rec: Backport 11109 to rec-4.6.x: Two more features to print

Make trySetThreadName static

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 80f15f6437c5a01c09d8f64cf252b68f6a77a083)

Try shorter thread names

https://man7.org/linux/man-pages/man3/pthread_setname_np.3.html

       ... The thread name is a
       meaningful C language string, whose length is restricted to 16
       characters, including the terminating null byte ('\0').

(cherry picked from commit f3813e097ef9b4053009372e8009915bcd496a63)

Two more features to print

(cherry picked from commit 030c37636cea0dd449acdc9d14f03b2e27ad0791)

Merge pull request #11091 from omoerbeek/backport-11069-to-rec-4.6.x

rec: Backport 11069 to rec-4.6.x: Do not generate eventtrace records if no Lua hook is defined

Merge pull request #11092 from omoerbeek/backport-11081-to-rec-4.6.x

rec: Backport 11081 to rec 4.6.x: Remove capability requirements from Docker images

Additional note on Docker Engine version where the requirement of the additional capability was dropped

(cherry picked from commit 07b24e5743c08c828c73a93e724a86a5b83b680a)

Remove capability requirements from Docker images

(cherry picked from commit f28c81ed0242b6838eafdb61933a6f63b68040cf)

Do not generate eventtrace records if no Lua hook is defined

(cherry picked from commit 6a948130b2406d0e3b295ec68f56b3b8ed302960)

Merge pull request #11058 from omoerbeek/backport-11044-to-rec-4.6.x

rec: backport 11044 to rec 4.6.x: Fix v6 setup and start using a more modern auth on circleci

Merge pull request #11057 from omoerbeek/backport-11038-to-rec-4.6.x

rec: backport 11038 to rec-4.6.x: Disable tsan regression runs for rec for now

Merge pull request #11055 from omoerbeek/backport-10982-to-rec-4.6.x

rec: backport 10982 to rec-4.x.6: Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

Fix error in test zone that auth-45 does not like

(cherry picked from commit f1f41a8aa9299a4d8bf369c4fc0cb611f5b979cd)

One more occurence of --local-ipv6

(cherry picked from commit 9b3fc866b7f8133d4317aec9253e4b5fb0a385f9)

Fix v6 setup and start using a more modern auth on circleci

(cherry picked from commit 2d0fc474f8b03b536a95c6b9b05e96c6e8c51e30)

Disable tsan regression runs for rec for now, there is a failure
mode that if it hits makes almost all remaining test fail.  Symptom
is that the auths do not start up properly.

(cherry picked from commit 2ef0d14bf39fafa45d39d5a0b5e8e5f263357d17)

Condition to HAVE_SYSTEMD_WITH_RUNTIME_DIR_ENV is reversed

(cherry picked from commit fc1f6fb803e3ab7346f327b6113fc79eaa40abf2)

Merge pull request #11025 from omoerbeek/backport-11010-to-rec-4.6.x

rec: backport 10110 to 4.6.x: Do cache negcache results, even when wasVariable() is true

Merge pull request #11022 from omoerbeek/backport-11018-to-rec-4.6.x

rec: Backport 11018 to rec 4.6.x: Fix logic botch introduced by notify handing

Do cache negcache results, even when wasVariable() is true

See https://datatracker.ietf.org/doc/html/rfc7871#section-7.4
Fixes #10994

(cherry picked from commit 2bcec14adbffbf4b28d698cb607877fb96054e87)

When we drop a notify over TCP, terminate the connection

(cherry picked from commit 9aa6eeca355c50bc79e9f7ea986689fa0a296e42)

Fix logic botch introduced by notify handing

See #10751, some extra scrutiny review is needed to make sure no
other similat issue remains.

(cherry picked from commit 09a22e8c919b2ed55d98723fb14a33948aa6f517)

Merge pull request #11016 from omoerbeek/backport-11005-to-rec-4.6.x

rec: bacport 11005 to rec 4.6.x: Include sys/time.h; needed on musl

Merge pull request #11015 from omoerbeek/backport-10990-to-rec-4.6.x

rec: backport 10990 to rec 4.6.x: Basic notify test

Include sys/time.h; needed on musl; fixes #11000

(cherry picked from commit 671ca0dee0cb529856af414e5b00db1b8b1e4d95)