Merge pull request #13888 from Habbie/rec-4.6-no-spelling

rec-4.6.x: remove spell checker

rec-4.6.x: remove spell checker

Merge pull request #12702 from omoerbeek/rec-46-spoof

rec: Backport 12699 to rec-4.6.x: Deterred spoofing attempts can lead to authoritative servers being marked unavailable

PowerDNS Security Advisory 2023-02: Deterred spoofing attempts can lead to authoritative servers being marked unavailable (CVE-2023-26437)

Merge pull request #12643 from romeroalx/update-gh-actions-rec-4.6

Backport GH Actions updates from master to rec-4.6.x

Use actions/cache@v3

Use actions/checkout@v3

docs: move dependencies from pieterlexis to PowerDNS

gh actions: simplified collector job in build-and-test-all.yml

Avoid Microsoft repo for ODBC. Step 1: codeql allow apt downgrades

Avoid Microsoft repo for ODBC. Step 1: allow apt downgrades

codeql workflow: set ubuntu mirror

build-and-test-all: add functionality to quickly switch ubuntu mirrors

Restrict permissions for GITHUB_TOKEN in our workflows

Added using https://github.com/step-security/secure-workflows
For more information see:
- https://github.com/ossf/scorecard/blob/d8fefc9b246db3600c777e9d60d441d7c386ce1d/docs/checks.md#token-permissions
- https://github.blog/changelog/2021-04-20-github-actions-control-permissions-for-github_token/

build(deps): bump actions/setup-python from 2 to 4

Bumps [actions/setup-python](https://github.com/actions/setup-python) from 2 to 4.
- [Release notes](https://github.com/actions/setup-python/releases)
- [Commits](https://github.com/actions/setup-python/compare/v2...v4)

---
updated-dependencies:
- dependency-name: actions/setup-python
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Switch from set-output tot GITHUB_OUTPUT

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

build(deps): bump actions/upload-artifact from 1 to 3

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 1 to 3.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/v1...v3)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/download-artifact from 2 to 3

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 2 to 3.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/v2...v3)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 2.3.4 to 3.1.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 2.3.4 to 3.1.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v2.3.4...v3.1.0)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/cache from 2 to 3.0.11

Bumps [actions/cache](https://github.com/actions/cache) from 2 to 3.0.11.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/v2...v3.0.11)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #12229 from omoerbeek/backport-12198-to-rec-4.6.x

rec: Backport 12198 to rec-4.6.x: Correct skip record condition in processRecords.

Merge pull request #12226 from omoerbeek/backport-12199-to-rec-4.6.x

rec: Backport 12199 to rec-4.6.x: Also consider recursive forward in the "forwarded DS should not end up in negCache code."

Correct skip record condition in processRecords.

Noted the other day by @rgacogne

(cherry picked from commit d1321ff57909f8fb9d0bd7a20e3c4eb85a6b76e1)

Also consider recursive forward in the "forwarded DS should not end up in negCache code."

With @rgacogne and @phonedph1
Fixes #12189

(cherry picked from commit af746aaf59a2e977bafabd5814635f59b01e5835)

Merge pull request #12191 from omoerbeek/backport-12125-to-rec-4.6.x

rec: Backport 12125 to rec 4.6.x: Timout handling for ixfrs as a client

Better wording in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit 240460d77be35a6a1c1e6fa22364efe19dc3ee84)

Timout handling for ixfrs as a client.

One complicating factor is that this is shared code, but auth and
rec do not agree on the definiton of the timeout value: auth states
it is a maximum idle time, while rec state it is the total xfr time.
While both apporaches make sense and in the end we would like to
enforce both, we now go for a more simple solution that respects
auth or rec behaviour based on a flag.

(cherry picked from commit fee334ae0f5083d47f9adc207d5a1a6d36ebc2ac)

Merge pull request #12172 from omoerbeek/backport-12066-to-rec-4.6.x

rec: Backport 12066 to rec 4.6.x: Detect invalid bytes in makeBytesFromHex()

Merge pull request #12170 from omoerbeek/backport-12081-to-rec-4.6.x

rec: Backport 12081 to rec-4.6.x: Log invalid RPZ content when obtained via IXFR

Merge pull request #12167 from omoerbeek/backport-12038-to-rec-4.6.x

rec: Backport 12038 to rec-4.6.x: when an expired nsec3 entry is seen, move it to the front of the expiry queue

Apply Otto's suggestion

(cherry picked from commit 7f73a566805979f94bc1a23c9088372e00177bec)

misc: Switch to a std::array in makeHexDump()

(cherry picked from commit 8c7a1b8a671291e6ee2e7e4abdbdd41e9c714b31)

auth: Detect invalid bytes in makeBytesFromHex()

Also only allocate the required number of bytes, not twice that.

(cherry picked from commit 50953de897023742e43d3feab976b891be1c6e63)

rec: Log invalid RPZ content when obtained via IXFR

That kind of content was properly logged and handled when received
during the initial loading (AXFR) but not when received via an
incremental update.

(cherry picked from commit 55a99233728fc01e3946a97fb8dbb073a3003622)

rec: when an expired nsec3 entry is seen, move it to the front of the expiry queue

(cherry picked from commit 05a4985708988eb10f9291a40406b205e7d5d5b2)

Merge pull request #11976 from Habbie/backport-11961-to-rec-4.6.x

rec 4.6.x docker: upgrade to bullseye

docker: upgrade to bullseye

(cherry picked from commit a0d3acff25a92627186ee43bead110aef416f59a)

Merge pull request #11943 from omoerbeek/backport-11641-to-rec-4.6.x

rec: Backport 11641 to rec-4.6.x: Move to v2 for CodeQL action, v1 will be deprecated dec 2022

Merge pull request #11937 from omoerbeek/backport-11904-to-rec-4.6.x

rec: Backport 11904 to rec-4.6.x: For zones having many NS records, we are not interested in all so take a sample.

Merge pull request #11941 from omoerbeek/backport-11890-to-rec-4.6.x

rec: Backport of 11890 to rec-4.6.x: Failure to retrieve DNSKEYs of an Insecure zone should not be fatal.

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

(cherry picked from commit a0c99342e7aa22e16a75d9e7daa4de69d087bc38)

Failure to retrieve DNSKEYs of an Insecure zone should not be fatal.

This issue happens if a record set is signed even though the zone
itself is Insecure. Syncres then tries to retrieve DNSKEYs and a
timeout on that would lead to an ImmediateServFailException.

Only throw exception later in validateRecordsWithSigs, after checking
zone cuts, when we are sure the zone is Secure.

(cherry picked from commit 6dc8b0b2c6fb2e628356f8dc5c5de4dfd919ec5d)

For zones having many NS records, we are not interested in all so take a sample.

(cherry picked from commit a49b0b40a0c1c1af9531b99e9266a8c2aa89cd68)

Merge pull request #11898 from omoerbeek/backport-11848-to-rec-4.6.x

rec: Backport 11848 to rec-4.6.x: Also check qperq limit if throttling happened, as it increases counters.

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

(cherry picked from commit c75d28f2b786b986ec10675e3c853a52eec11e37)

Merge pull request #11775 from omoerbeek/backport-11773-to-rec-4.6.x

rec: Backport 11773 to rec 4.6.x: Resize answer length to actual received length in udpQueryResponse

Merge pull request #11876 from omoerbeek/rec-backport-to-rec-4.6.x-pb-size

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.6.x

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.6.x

Add regression test for #11771 (lenght of annswer in udpQueryResponse)

(cherry picked from commit 8ca70105ddd6fda10e98b6d3d8cb67523ebc81e1)

Rec: Resize answer length to actual received length in udpQueryResponse

Fixes #11771

(cherry picked from commit cbb5ac45a90e4109ff1f8536bf5d99aafd62ef0c)

Merge pull request #11739 from Habbie/backport-11735-to-rec-4.6.x

rec-4.6.x: dh_builddeb: force gzip compression, thanks Zash!

dh_builddeb: force gzip compression, thanks Zash!

(cherry picked from commit bbfa37c0232b56e2227668717dbb97ce4f01d990)

Merge pull request #11700 from Habbie/backport-11658-to-rec-4.6.x

rec-4.6.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11633 from omoerbeek/backport-11609-to-rec-4.6.x

Backport 11609 to rec 4.6.x: Fix API issue when asking config values for allow-from or allow-notiy-from

Document meaning of empty allow-from

(cherry picked from commit a75c8e8019462827dae4599b6a24ef7a0645c30c)

Add tests for empty allow-from and allow-notify-from case

(cherry picked from commit bfa1ae26f5c174d6fe237dc0ed9d08043518648f)

Fix API issue when asking config values for allow-from or allow-notify-from

(cherry picked from commit 3aa876deef257fc6d63da32df0742ed8cf91aaa1)

Merge pull request #11569 from omoerbeek/backport-11496-to-rec-4.6.x

rec: Backport of 11496 to rec-4.6.x: Prevent segfault with empty allow-from-file and allow-from options

rec: Backport of 11496 to rec-4.6.x: Prevent segfault with empty allow-from-file and allow-from options

Merge pull request #11478 from omoerbeek/rec-fix-rpz-incompletetest

rec: rec-4.6.x has no waitForTCPSocket in test code

4.6.x has no waitForTCPSocket plus counts are different due to rpz loading changes in master

Merge pull request #11458 from omoerbeek/rec-4.6.0-ixfr

Rec 4.6.x: Fix a case where an incomplete read caused by network error might result in a truncated zone

Merge pull request #11464 from Habbie/backport-11449-to-rec-4.6.x

rec-4.6.x docs: Pin jinja2 to < 3.1.0

docs: Pin jinja2 to < 3.1.0

Jinja2 3.1.0 removed deprecated code that is still used by sphinx
1.8.x, and it looks like our custom sphinx extensions are not working
with more recent versions of sphinx..

See:
- https://github.com/pallets/jinja/issues/1631
- https://github.com/readthedocs/readthedocs.org/issues/9037

and

- https://github.com/PowerDNS/pdns/pull/7712

The exact error is:
```
Extension error:
Could not import extension sphinx.builders.latex (exception: cannot import name 'contextfunction' from 'jinja2' (/dnsdist/pdns/dnsdistdist/.venv/lib/python3.7/site-packages/jinja2/__init__.py))
```

(cherry picked from commit 92ad29702011ac7cbd0d7d118ba612e7e07cedbe)

Merge pull request #11418 from omoerbeek/backport-11376-to-rec-4.6.x

rec: Backport 11376 to rec 4.6.x: Be more careful using refresh mode only for the record asked

rec: Fix the path to the recursor's UBSan suppression file in forks

builder: add el-7 alias for centos-7

(cherry picked from commit 6bd3c9bb23f5dfc385a66647ab175ec2812d6617)

take centos 8-stream from quay

(cherry picked from commit 2f9edddc0c9c1f8a68e154f6c12e3fd214420563)

builder CI: switch oraclelinux-8 to el-8

cleanup

(cherry picked from commit 1b27721782ad3dc547ed448a257c59829ff0bd94)

builder: archs for oraclelinux-8; el-8 symlinks

(cherry picked from commit dee53cf16161a6c45560475b647de420842532ef)

stop testing auth+dnsdist on rec branch

CI: dnspython 2.2.0 breaks auth and ixfrdist testing, pin to 2.1.0

(cherry picked from commit 46a40ed033d64f58aa30013d7e68daa5b5e8d615)

auth, rec IXFR-in: Fix a case where an incomplete read caused by network error might result in a truncated zone.

As we might break from the loop early, we need to check if the end SOA was seen after the loop.
Also make sure we detect end conditions for both AXFR and IXFR style properly, to avoid processing
data after the end marker.

Reinstate refresh mode for {C,D}NAME cache lookups

(cherry picked from commit 3263b3adf19081274a9e36891eb202d75685ecfa)

Be more careful using refresh mode only for the record asked.
Otherwise we get bad interaction with QM, as newly discovered
delegation points are stored in the cache, but not seen the QM
algorithm. Might/should fix #11371.

(cherry picked from commit 7502f5f3b9293bed2601be2c479780f94438b45b)

Merge pull request #11380 from omoerbeek/backport-11300-to-rec-4.6.x

rec: Backport of 11300 to rec-4.6.x: Use the Lua context stored in SyncRes when calling hooks

Backport of 11300 to rec-4.6.x: Use the Lua context stored in SyncRes when calling hooks

Merge pull request #11363 from omoerbeek/backport-11338-to-rec-4.6.x

rec: Backport of 11338 to rec-4.6.x: QType ADDR is supposed to be used internally only

Merge pull request #11362 from omoerbeek/backport-11327-to-rec-4.6.x

rec: Backport 11327 to rec 4.6.x: If we get NODATA on an AAAA in followCNAMERecords, try dns64

Merge pull request #11360 from omoerbeek/backport-11283-to-rec-4.6.x

rec: Backport 11283 to rec 4.6.x: Allow disabling of processing the root hints

Merge pull request #11361 from omoerbeek/backport-11288-to-rec-4.6.x

rec: Backport 11288 to rec 4.6.x: Log an error if pdns.DROP is used as rcode in Lua callbacks

Merge pull request #11359 from omoerbeek/backport-11257-to-rec-4.6.x

rec: Backport 11257 to rec 4.6.x: Initialize isNew before calling a exception throwing function

Merge pull request #11358 from omoerbeek/backport-11245-to-rec-4.6.x

rec: Backport 11245 to rec 4.6.x: a CNAME answer on DS query should abort DS retrieval

Merge pull request #11357 from omoerbeek/backport-11225-to-rec-4.6.x

rec: Backport 11225 to rec 4.6.x: Reject non-apex NSEC(3)s that have both the NS and SOA bits set

Merge pull request #11356 from omoerbeek/backport-11199-to-rec-4.6.x

rec: Backport 11199 to rec 4.6.x: add ubuntu jammy build target

QType ADDR is supposed to be used internally only.

Should fix #11337

(cherry picked from commit 7a278799ee23e582c3b722cea578699db1791bc2)

Add test case for #11320:  followCNAMERecords leads to a result that
should be subject to dns64 processing

(cherry picked from commit 63ad9c90eb8f1842d2d79acefa803db9f820e33d)

If we get NODATA on an AAAA in followCNAMERecords, try dns64

Fixes #11320

(cherry picked from commit aa59465e46b6fd617bf992a80da400ae14fbb4ec)

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit f7c973de073a5cae0af462cb86285eedcc76fd01)

Log an error if pdns.DROP is used as rcode in Lua callbacks

(cherry picked from commit f3f042efd2a1aff444f18e7d9e23ffc631b1b36f)

Upgrade guide and doc tweaks

(cherry picked from commit 067a807cbc008d2b4c79a3ebe709226d46ff7718)

Allow disabling of processing the root hints

This also make sure we use the right dnssec mode for processing hints
and changes a few log levels to Debug to be less verbose.

(cherry picked from commit e46b0f2f7f4f20f92190a9202a7823ffe2123d98)

Initialize isNew before calling a exception throwing function

(cherry picked from commit 4043238ede86eb42dad0bd4eae0b51cb351e80ab)

Fix indent

(cherry picked from commit 5db4dcaa91deeb3dbb0ebfbec828e7d224eca074)

Add a test for the case where an (Insecure) domain fails to get a DS
record because of a CNAME loop, avoiding a SERVFAIL.

(cherry picked from commit c10acee8f241f7fa038fb5904d4bf71124093ac4)

If we get a CNAME when asking for a DS, we should give up and return vState::BogusUnableToGetDSs

(cherry picked from commit 271ae639803453a6193b6c3c2baf034446a9965a)

NSEC -> NSEC3

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit c67b13a9aa2c8c4092de28c1bb37e8bbb32dcee3)

NSEC -> NSEC3

Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 78cee42937e5265bf6e0d5c1dc1fdaf684932a5a)

rec: The NSEC3 ancestor check must be done against the original owner name

(cherry picked from commit f37a904f4cc53ccb74b5904948b819920401ed24)