Work around Red Hat 8 pooping the bed in OpenSSL's headers

The openssl/kdf.h header on EL8 is invalid because someone backported
a work-in-progress feature to an older OpenSSL branch and did not
bother to backport the fixes that were added later.

Red Hat declined to fix their mess and helpfully suggested we do the
work instead in https://bugzilla.redhat.com/show_bug.cgi?id=2215856

(cherry picked from commit 3dabf2d4a1a478fb00a232259e8043f075eb4d03)

Merge pull request #12700 from omoerbeek/rec-48-spoof

rec: Backport 12699 to rec-4.8.x: Deterred spoofing attempts can lead to authoritative servers being marked unavailable

PowerDNS Security Advisory 2023-02: Deterred spoofing attempts can lead to authoritative servers being marked unavailable (CVE-2023-26437)

Merge pull request #12623 from romeroalx/update-gh-actions-rec-4.8

Backport GH Actions updates from master to rec-4.8.x

gh actions: simplified collector job in build-and-test-all.yml

Avoid Microsoft repo for ODBC. Step 1: codeql allow apt downgrades

Avoid Microsoft repo for ODBC. Step 1: allow apt downgrades

codeql workflow: set ubuntu mirror

build-and-test-all: add functionality to quickly switch ubuntu mirrors

build(deps): bump actions/setup-python from 2 to 4

Bumps [actions/setup-python](https://github.com/actions/setup-python) from 2 to 4.
- [Release notes](https://github.com/actions/setup-python/releases)
- [Commits](https://github.com/actions/setup-python/compare/v2...v4)

---
updated-dependencies:
- dependency-name: actions/setup-python
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Switch from set-output tot GITHUB_OUTPUT

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

build(deps): bump actions/upload-artifact from 1 to 3

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 1 to 3.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/v1...v3)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/download-artifact from 2 to 3

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 2 to 3.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/v2...v3)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 2.3.4 to 3.1.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 2.3.4 to 3.1.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v2.3.4...v3.1.0)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/cache from 2 to 3.0.11

Bumps [actions/cache](https://github.com/actions/cache) from 2 to 3.0.11.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/v2...v3.0.11)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #12617 from omoerbeek/backport-12614-to-rec-4.8.x

Rec: backport 12614 to rec-4.8.x: test that an ImmediateServFailException isn't hidden by the serve-stale logic

Rec: test that an ImmediateServFailException isn't hidden by the serve-stale logic

(cherry picked from commit 60a0965f82283249e8f054afe474adc33a57b8bc)

Merge pull request #12613 from omoerbeek/rec-48-serve-stale-pegging

rec: Backport 12595, 12610 and 12611 to rec-4.8.x: fix serve-stale logic

Reinstate refresh && served-stale logic

Merge pull request #12609 from omoerbeek/backport-12598-to-rec-4.8.x

rec: Backport 12598 to rec-4.8.x: Update validation state after a missing negative indication

Merge pull request #12608 from omoerbeek/backport-12495-to-rec-4.8.x

rec: Backport 12495 to rex-4.8.x: Change a few logging urgency levels

Merge pull request #12607 from omoerbeek/backport-12347-to-rec-4.8.x

rec: Backport 12347 to rec-4.x.8: Use correct logic for isEntryUsable()

rec: Backport 12598 to rec-4.8.x: Update validation state after a missing negative indication

Backport of #12598

rec: Backport 12495 to rex-4.8.x: Change a few logging urgency levels

Backport of #12495

rec: Backport 12347 to rec-4.x.8: Use correct logic for isEntryUsable()

Backport of #12347

Fix serve-stale logic in negcache by following the record cache case more closely

Simplify serve-stale logic

- No more special handling of ImmediateServFailException, they remain fatal
(individual failure to contact an NS returns and does not throw)
- Explicitly only look in cache on serve-stale iteration of loop

Call the right wipe function for negcache

Merge pull request #12475 from omoerbeek/backport-12467-to-rec-4.8.x

rec: Backport 12467 to rec: 4.8.x: do not use "message" as key, it has a special meaning to systemd-journal

rec: Backport 12467 to rec: 4.8.x: do not use "message" as key, it has a special meaning to systemd-journal

Merge pull request #12459 from Habbie/backport-12453-to-rec-4.8.x

rec-4.8: lock.hh: include <stdexcept>

Merge pull request #12457 from omoerbeek/backport-12395-to-rec-4.8.x

rec: Backport 12395 to rec-4.8.x: When the stale function is triggered, wrong data can be returned from negcache and record cache

Merge pull request #12456 from omoerbeek/backport-12368-to-rec-4.8.x

rec: Backport 12368 to rec-4.8.x: Add the 'parse packet from auth' error message to structured logging

Merge pull request #12455 from omoerbeek/backport-12352-to-rec-4.8.x

rec: Backport 12352 to rec 4.8.x: Refresh of negcache stale entry might use wrong qtype

lock.hh: include <stdexcept>

(cherry picked from commit d8b4ea24dc5dbe7c53c24bfffba24bcae7f58e02)

rec: backport 12395 to rec-4.8.x: When the stale function is triggered, wrong data can be returned from negcache and record cache

Backport of #12395

rec: backport 12368 to rec-4.8.x: Add the 'parse packet from auth' error message to structured logging

Change the logic a bit, as negcache->get() can be called with qtype = QType:::ENT,
but we do not want to push a task with QType::ENT

Also change a few QType& to QType, it's a small int, no need to pass by reference.

(cherry picked from commit 2541e0f53c6abba298b4a86032bdbc7dfff3ee03)

change negcache stale resolveTask qtype

(cherry picked from commit cce57cb0c4a7112c02b82549149818faccaaa5f7)

Merge pull request #12418 from omoerbeek/rec-backport-12374-to-4.8.x

rec: Backport 12374 to rec-4.8.x: make cache cleaning more fair when under pressure

Merge pull request #12408 from omoerbeek/rec-backport-12407-to-4.8.x

rec: Backport 12407 to 4.8.x: do not chain ecs enabled queries

Merge pull request #12346 from omoerbeek/backport-12317-to-rec-4.8.x

rec: Backport 12317 to rec-4.8.x: Fix compilation on FreeBSD. reported by HellSpawn

Merge pull request #12345 from omoerbeek/backport-12333-to-rec-4.8.x

rec: Backport 12333 to rec-4.8.x: For setting socket buf size not decreasing is not an error

Merge pull request #12344 from omoerbeek/backport-12260-to-rec-4.8.x

rec: Backport 12260 to rec-4.8.x: Properly encode json string containing binary data

Merge pull request #12343 from omoerbeek/backport-12254-to-rec-4.8.x

rec: Backport 12254 to rec-4.8.x: Restrict permissions for GITHUB_TOKEN in our workflows

Merge pull request #12442 from omoerbeek/rec-48-backport-qm-ds-fallback

rec: Backport to 4.8.x: Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Backport to 4.8.x: Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Include <cmath>

close newfs on fopen fail

Co-authored-by: Remi Gacogne <github@coredump.fr>

rec: Backport 12374 to rec-4.8.x: make cache cleaning more fair when under pressure

Reformat

rec: Backport 12407 to rec-4.8.x: do not chain ecs enabled queries

Backport of #12407

For setting socket buf size not decreasing is not an error

(cherry picked from commit fe65dec04f3fadaca8f5319cf02f4b302463afe9)

Fix compilation on FreeBSD. reported by HellSpawn

(cherry picked from commit 398bb0f1e7122d6de0e6c5ec3383ba49a446d580)

Properly encode json string containing binary data

The existing code assumes the strings are alreayd valid UTF8 and contain potential out-of-bound accesses.

Also urlEncode path in log lines, as it trips pytest.xml:

Running tests...

$ 'pytest' '--junitxml=pytest.xml' '-v'
==STDOUT===

==STDERRR===
  File "/home/otto/pdns/regression-tests.api/runtests.py", line 304, in <module>
    print(serverproc.stderr.read())
  File "/usr/lib/python3.9/codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xeb in position 4304: invalid continuation byte

There might be more places where this is needed.

(cherry picked from commit 1478a2c8713535e4cbd1943e2526e3527d58a19b)

Restrict permissions for GITHUB_TOKEN in our workflows

Added using https://github.com/step-security/secure-workflows
For more information see:
- https://github.com/ossf/scorecard/blob/d8fefc9b246db3600c777e9d60d441d7c386ce1d/docs/checks.md#token-permissions
- https://github.blog/changelog/2021-04-20-github-actions-control-permissions-for-github_token/

(cherry picked from commit aff4e1eafa5bbc4e9ef6acee9d73b2154e0ab9b9)

Merge pull request #12293 from omoerbeek/backport-12289-to-rec-4.8.x

rec: Backport 12289 to rec 4.8.x: refactor unsuppored qtype code and make sure we ServFail on all unsupported qtypes

Elaborate on NSEC/NSEC3 diffference in comment

(cherry picked from commit 2cdafbdeae085e1443d13e4ddf578c86ce24c1e6)

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit bca5ab3a353ac1dcf1171176bee6c22bd4ed92b0)

rec: refactor unsuppored qtype code and make sure we ServFail on all unsupported qtypes

This fixes #12251

Also I'd like to know why we ServFail on NSEC3 but not on NSEC: we should either fix that or add a comment explaining this.

(cherry picked from commit e7cc83fd617c877f272b8344d5fb7252acfdc297)

Merge pull request #12221 from omoerbeek/backport-12219-to-rec-4.8.x

recL Backport to rec-4.8.x: Infra queries should not use refresh mode

Infra queries should not use refresh mode.

When I introduced serve state in #11776, I reintroduced the mistake previously fixed in #11376.
Fixes #12078

(cherry picked from commit 28a3eea55d15d33a65b2108c1598c15d00e0173c)

Merge pull request #12201 from omoerbeek/backport-12199-to-rec-4.8.x

rec: Backport 12199 to rec-4.8.x: Also consider recursive forward in the "forwarded DS should not end up in negCache code"

Merge pull request #12200 from omoerbeek/backport-12198-to-rec-4.8.x

rec: Backport 12198 to rec-4.8.x: Correct skip record condition in processRecords.

Also consider recursive forward in the "forwarded DS should not end up in negCache code."

With @rgacogne and @phonedph1
Fixes #12189

(cherry picked from commit af746aaf59a2e977bafabd5814635f59b01e5835)

Correct skip record condition in processRecords.

Noted the other day by @rgacogne

(cherry picked from commit d1321ff57909f8fb9d0bd7a20e3c4eb85a6b76e1)

Merge pull request #12197 from omoerbeek/backport-12175-to-rec-4.8.x

rec: Backport 12175 to rec 4.8.x: Get DS records with QM switched on

Merge pull request #12196 from omoerbeek/backport-12194-to-rec-4.8.x

rec: Backport 12194 to rec-4.8.x: Fix typo in structured logging key

Fix test (from rgacogne)

Do this by merging https://github.com/PowerDNS/pdns/commit/994d2e09f088f2908a887e2539f8abbd1e36d003.diff

For some unknown reason (maybe the same reason rgacogne was not able to create a PR for this?)
a cherry pick did not work, so do a "manual" diff and patch of Remi's work.

(cherry picked from commit 4b0a0031b46d7e045e98ef073811e374717751b4)

Avoid a race in wiping the cache and fix test_Bogus by explictly
filling the aggressive cache.

(cherry picked from commit 2ec80d483f48fb042397456ad0b032a671232f48)

Get DS records with QM switched on.

This avoid a.root-servers.net going Bogus, which can happen
if the .net NS are not cached and we miss the cut.

Fixes #12160 and avoids the need to prime the .net NS records explicitly.

(cherry picked from commit e2307ada1210fee6198e54db2dc91dac8fa68070)

Fix typo

(cherry picked from commit 68dbf30cebc92d29853314b1160257a9dbc5f4f1)

Merge pull request #12163 from omoerbeek/backport-12155-to-rec-4.8.x

rec: Backport 12155 to rec 4.8.x: Fix snmp OID numbers for rcode stats

Merge pull request #12162 from omoerbeek/backport-12122-to-rec-4.8.x

rec: Backport 12122 to rec 4.8.x: Implement output operator for QTypes

Merge pull request #12161 from omoerbeek/backport-12125-to-rec-4.8.x

rec: Backport 12125 to rec 4.8.x: handle ixfr connect and transfer timeouts

Typo

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>
(cherry picked from commit 38b69143124de1d2f7341148c6250e821c02e4be)

Clarify Prometheus names

(cherry picked from commit fe6797befcdb8b9287ac87dacc796282920e7001)

Fix snmp OID numbers for rcode stats

(cherry picked from commit bdc4ee0a00ad913a4e0d909f4bfc4e1a404ead68)

Pass an object as const ref

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>
(cherry picked from commit fa61cf82d85f5e26178853e9b0f4be14f55565db)

Implement output operator for QTypes.

This fixes #12089

The theory says there should be no unwanted side effects, but I'd like
that to be validated independently.

(cherry picked from commit da19e4feb842464659536076b47047b2910c73fb)

Better wording in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit 240460d77be35a6a1c1e6fa22364efe19dc3ee84)

Timout handling for ixfrs as a client.

One complicating factor is that this is shared code, but auth and
rec do not agree on the definiton of the timeout value: auth states
it is a maximum idle time, while rec state it is the total xfr time.
While both apporaches make sense and in the end we would like to
enforce both, we now go for a more simple solution that respects
auth or rec behaviour based on a flag.

(cherry picked from commit fee334ae0f5083d47f9adc207d5a1a6d36ebc2ac)

Merge pull request #12146 from omoerbeek/backport-12063-to-rec-4.8.x

rec: backport 12063 to 4.8.x: Also do the compare for protobuf logger config objects.

Merge pull request #12150 from omoerbeek/backport-12140-to-rec-4.8.x

rec: Backport 12140 to rec 4.8.x: be more lenient replacing auth by non-auth records in cache

Merge pull request #12145 from omoerbeek/backport-12081-to-rec-4.8.x

rec: backport 12081 to rec-4.8.x: Log invalid RPZ content when obtained via IXFR

Merge pull request #12144 from omoerbeek/backport-12133-to-rec-4.8.x

rec: backport 12054 to rec-4.8.x: Fix assertAlmostEqual call to compare absolute difference

Merge pull request #12147 from omoerbeek/backport-12066-to-rec-4.8.x

rec: backport 12066 to rec 4.8.x: Detect invalid bytes in makeBytesFromHex()

typo in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit 681a49f10b00ba7ee38a55402953d076c7221160)

Add test

(cherry picked from commit f4621cce40bdc1648edf82717239ef040eedb9b6)

QM can get confused by expiring infra records, so be a bit more lenient
with replacing auth records by unauth, as unauth (typically infra
records) might come in while we are resolving.

Should fix #12078

(cherry picked from commit 1ce6006d7ddc925a13b868488b6e987bca41cc90)

Apply Otto's suggestion

(cherry picked from commit 7f73a566805979f94bc1a23c9088372e00177bec)

misc: Switch to a std::array in makeHexDump()

(cherry picked from commit 8c7a1b8a671291e6ee2e7e4abdbdd41e9c714b31)

auth: Detect invalid bytes in makeBytesFromHex()

Also only allocate the required number of bytes, not twice that.

(cherry picked from commit 50953de897023742e43d3feab976b891be1c6e63)

Also do the compare for protobuf logger config objects.

I'm not doing the async part now, as tsan reports there would be a race.
The case occuring the most: no changes is now handled correctly and quickly and that is the main thing.

(cherry picked from commit babe943035818b7a97e59cfd70921ba06bbf31cf)

rec: Log invalid RPZ content when obtained via IXFR

That kind of content was properly logged and handled when received
during the initial loading (AXFR) but not when received via an
incremental update.

(cherry picked from commit 55a99233728fc01e3946a97fb8dbb073a3003622)

Fix assertAlmostEqual call to compare absolute difference

(cherry picked from commit 67dd4251f758a695dab05e206a32199ccee6c214)
(cherry picked from commit 23064464fe298ac748470942de6e04a429be9a31)

Backport of #12054 and #12133

Merge pull request #12055 from omoerbeek/backport-12054-to-rec-4.8.x

rec: Backport 12054 to rec 4.8.x: fix locked regr test

Rec: fix locked regr test

(cherry picked from commit 23064464fe298ac748470942de6e04a429be9a31)

Merge pull request #12051 from omoerbeek/rec-specialize-to-rec48

rec 4.8.x branch: Remove unneeded targets according to checklist

Remove unneeded targets according to checklist