Use actions/cache@v3

Use actions/checkout@v3

Switch from deprecated ::set-output

https://github.blog/changelog/2022-10-11-github-actions-deprecating-save-state-and-set-output-commands/

test ubuntu jammy build target

builder: drop ubuntu kinetic, it is EOL

Merge pull request #13158 from omoerbeek/backport-13105-to-rec-4.8.x

rec: Backport 13105 to rec 4.8.x: (I)XFR: handle partial read of len prefix

remove redundant assignment

(cherry picked from commit 8d3ab63b412fb4b9fd8732af47a5d1c18ba7e786)

IXFR client: handle partial reads of the TCP chunk length header, plus:
* add primarySOACount to exception text
* add indicator of current state to exception text
* a test

(cherry picked from commit 8faf5a90992b2613cf5999c8dd5e26b0025050b7)

typo fix

(cherry picked from commit 8fb5bba04f7a211ac2eb815f5c340e69070dc3e0)

Merge pull request #13078 from omoerbeek/backport-12892-to-rec-4.8.x

rec: Backport of 12892 to rec-4.8.x: YaHTTP: Prevent integer overflow on very large chunks

Merge pull request #13077 from omoerbeek/backport-12935-to-rec-4.8.x

rec: Backport 12935 to rec-4.x.8: Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

Merge pull request #13076 from omoerbeek/backport-12961-to-rec-4.8.x

 rec: Backport 12961 to rec-4.8x: Work around Red Hat 8 pooping the bed in OpenSSL's headers

Merge pull request #13056 from omoerbeek/rec-backport-13021-to-rec-4.8.x

rec: Backport 13021 to rec-4.8.x: fix setting of policy tags

YaHTTP: Prevent integer overflow on very large chunks

If the chunk_size is very close to the maximum value of an integer,
we trigger an integer overflow when checking if we have a trailing
newline after the payload.
Reported by OSS-Fuzz as:
https://oss-fuzz.com/testcase-detail/6439610474692608
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=56804

(cherry picked from commit b602982fc5b4fb9139dec591541e0c070ceb47f5)

Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

And move to BN_new() instead, which has been present since at least
0.9.6 and is still in 3.1.

(cherry picked from commit 9fcef4932c9323b085984f8a087045fef70103f5)

Work around Red Hat 8 pooping the bed in OpenSSL's headers

The openssl/kdf.h header on EL8 is invalid because someone backported
a work-in-progress feature to an older OpenSSL branch and did not
bother to backport the fixes that were added later.

Red Hat declined to fix their mess and helpfully suggested we do the
work instead in https://bugzilla.redhat.com/show_bug.cgi?id=2215856

(cherry picked from commit 3dabf2d4a1a478fb00a232259e8043f075eb4d03)

Fix DoT test to no use www.powerdns.com, as it changed, backport of #12825

Backport #13059: Don't check TTLs of records coming out of packet cache

Backport of 7d6cbd0823d2ebdede600dc034d852ba2c5f39c6

rec: Backport 13021 to rec-4.8.x: fix setting of policy tags

Backport of #13021

Merge pull request #12700 from omoerbeek/rec-48-spoof

rec: Backport 12699 to rec-4.8.x: Deterred spoofing attempts can lead to authoritative servers being marked unavailable

PowerDNS Security Advisory 2023-02: Deterred spoofing attempts can lead to authoritative servers being marked unavailable (CVE-2023-26437)

Merge pull request #12623 from romeroalx/update-gh-actions-rec-4.8

Backport GH Actions updates from master to rec-4.8.x

gh actions: simplified collector job in build-and-test-all.yml

Avoid Microsoft repo for ODBC. Step 1: codeql allow apt downgrades

Avoid Microsoft repo for ODBC. Step 1: allow apt downgrades

codeql workflow: set ubuntu mirror

build-and-test-all: add functionality to quickly switch ubuntu mirrors

build(deps): bump actions/setup-python from 2 to 4

Bumps [actions/setup-python](https://github.com/actions/setup-python) from 2 to 4.
- [Release notes](https://github.com/actions/setup-python/releases)
- [Commits](https://github.com/actions/setup-python/compare/v2...v4)

---
updated-dependencies:
- dependency-name: actions/setup-python
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Switch from set-output tot GITHUB_OUTPUT

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

build(deps): bump actions/upload-artifact from 1 to 3

Bumps [actions/upload-artifact](https://github.com/actions/upload-artifact) from 1 to 3.
- [Release notes](https://github.com/actions/upload-artifact/releases)
- [Commits](https://github.com/actions/upload-artifact/compare/v1...v3)

---
updated-dependencies:
- dependency-name: actions/upload-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/download-artifact from 2 to 3

Bumps [actions/download-artifact](https://github.com/actions/download-artifact) from 2 to 3.
- [Release notes](https://github.com/actions/download-artifact/releases)
- [Commits](https://github.com/actions/download-artifact/compare/v2...v3)

---
updated-dependencies:
- dependency-name: actions/download-artifact
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/checkout from 2.3.4 to 3.1.0

Bumps [actions/checkout](https://github.com/actions/checkout) from 2.3.4 to 3.1.0.
- [Release notes](https://github.com/actions/checkout/releases)
- [Changelog](https://github.com/actions/checkout/blob/main/CHANGELOG.md)
- [Commits](https://github.com/actions/checkout/compare/v2.3.4...v3.1.0)

---
updated-dependencies:
- dependency-name: actions/checkout
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump actions/cache from 2 to 3.0.11

Bumps [actions/cache](https://github.com/actions/cache) from 2 to 3.0.11.
- [Release notes](https://github.com/actions/cache/releases)
- [Changelog](https://github.com/actions/cache/blob/main/RELEASES.md)
- [Commits](https://github.com/actions/cache/compare/v2...v3.0.11)

---
updated-dependencies:
- dependency-name: actions/cache
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #12617 from omoerbeek/backport-12614-to-rec-4.8.x

Rec: backport 12614 to rec-4.8.x: test that an ImmediateServFailException isn't hidden by the serve-stale logic

Rec: test that an ImmediateServFailException isn't hidden by the serve-stale logic

(cherry picked from commit 60a0965f82283249e8f054afe474adc33a57b8bc)

Merge pull request #12613 from omoerbeek/rec-48-serve-stale-pegging

rec: Backport 12595, 12610 and 12611 to rec-4.8.x: fix serve-stale logic

Reinstate refresh && served-stale logic

Merge pull request #12609 from omoerbeek/backport-12598-to-rec-4.8.x

rec: Backport 12598 to rec-4.8.x: Update validation state after a missing negative indication

Merge pull request #12608 from omoerbeek/backport-12495-to-rec-4.8.x

rec: Backport 12495 to rex-4.8.x: Change a few logging urgency levels

Merge pull request #12607 from omoerbeek/backport-12347-to-rec-4.8.x

rec: Backport 12347 to rec-4.x.8: Use correct logic for isEntryUsable()

rec: Backport 12598 to rec-4.8.x: Update validation state after a missing negative indication

Backport of #12598

rec: Backport 12495 to rex-4.8.x: Change a few logging urgency levels

Backport of #12495

rec: Backport 12347 to rec-4.x.8: Use correct logic for isEntryUsable()

Backport of #12347

Fix serve-stale logic in negcache by following the record cache case more closely

Simplify serve-stale logic

- No more special handling of ImmediateServFailException, they remain fatal
(individual failure to contact an NS returns and does not throw)
- Explicitly only look in cache on serve-stale iteration of loop

Call the right wipe function for negcache

Merge pull request #12475 from omoerbeek/backport-12467-to-rec-4.8.x

rec: Backport 12467 to rec: 4.8.x: do not use "message" as key, it has a special meaning to systemd-journal

rec: Backport 12467 to rec: 4.8.x: do not use "message" as key, it has a special meaning to systemd-journal

Merge pull request #12459 from Habbie/backport-12453-to-rec-4.8.x

rec-4.8: lock.hh: include <stdexcept>

Merge pull request #12457 from omoerbeek/backport-12395-to-rec-4.8.x

rec: Backport 12395 to rec-4.8.x: When the stale function is triggered, wrong data can be returned from negcache and record cache

Merge pull request #12456 from omoerbeek/backport-12368-to-rec-4.8.x

rec: Backport 12368 to rec-4.8.x: Add the 'parse packet from auth' error message to structured logging

Merge pull request #12455 from omoerbeek/backport-12352-to-rec-4.8.x

rec: Backport 12352 to rec 4.8.x: Refresh of negcache stale entry might use wrong qtype

lock.hh: include <stdexcept>

(cherry picked from commit d8b4ea24dc5dbe7c53c24bfffba24bcae7f58e02)

rec: backport 12395 to rec-4.8.x: When the stale function is triggered, wrong data can be returned from negcache and record cache

Backport of #12395

rec: backport 12368 to rec-4.8.x: Add the 'parse packet from auth' error message to structured logging

Change the logic a bit, as negcache->get() can be called with qtype = QType:::ENT,
but we do not want to push a task with QType::ENT

Also change a few QType& to QType, it's a small int, no need to pass by reference.

(cherry picked from commit 2541e0f53c6abba298b4a86032bdbc7dfff3ee03)

change negcache stale resolveTask qtype

(cherry picked from commit cce57cb0c4a7112c02b82549149818faccaaa5f7)

Merge pull request #12418 from omoerbeek/rec-backport-12374-to-4.8.x

rec: Backport 12374 to rec-4.8.x: make cache cleaning more fair when under pressure

Merge pull request #12408 from omoerbeek/rec-backport-12407-to-4.8.x

rec: Backport 12407 to 4.8.x: do not chain ecs enabled queries

Merge pull request #12346 from omoerbeek/backport-12317-to-rec-4.8.x

rec: Backport 12317 to rec-4.8.x: Fix compilation on FreeBSD. reported by HellSpawn

Merge pull request #12345 from omoerbeek/backport-12333-to-rec-4.8.x

rec: Backport 12333 to rec-4.8.x: For setting socket buf size not decreasing is not an error

Merge pull request #12344 from omoerbeek/backport-12260-to-rec-4.8.x

rec: Backport 12260 to rec-4.8.x: Properly encode json string containing binary data

Merge pull request #12343 from omoerbeek/backport-12254-to-rec-4.8.x

rec: Backport 12254 to rec-4.8.x: Restrict permissions for GITHUB_TOKEN in our workflows

Merge pull request #12442 from omoerbeek/rec-48-backport-qm-ds-fallback

rec: Backport to 4.8.x: Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Backport to 4.8.x: Do *not* use QName Minimization for DS retrievals in QM fallback mode.

Include <cmath>

close newfs on fopen fail

Co-authored-by: Remi Gacogne <github@coredump.fr>

rec: Backport 12374 to rec-4.8.x: make cache cleaning more fair when under pressure

Reformat

rec: Backport 12407 to rec-4.8.x: do not chain ecs enabled queries

Backport of #12407

For setting socket buf size not decreasing is not an error

(cherry picked from commit fe65dec04f3fadaca8f5319cf02f4b302463afe9)

Fix compilation on FreeBSD. reported by HellSpawn

(cherry picked from commit 398bb0f1e7122d6de0e6c5ec3383ba49a446d580)

Properly encode json string containing binary data

The existing code assumes the strings are alreayd valid UTF8 and contain potential out-of-bound accesses.

Also urlEncode path in log lines, as it trips pytest.xml:

Running tests...

$ 'pytest' '--junitxml=pytest.xml' '-v'
==STDOUT===

==STDERRR===
  File "/home/otto/pdns/regression-tests.api/runtests.py", line 304, in <module>
    print(serverproc.stderr.read())
  File "/usr/lib/python3.9/codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xeb in position 4304: invalid continuation byte

There might be more places where this is needed.

(cherry picked from commit 1478a2c8713535e4cbd1943e2526e3527d58a19b)

Restrict permissions for GITHUB_TOKEN in our workflows

Added using https://github.com/step-security/secure-workflows
For more information see:
- https://github.com/ossf/scorecard/blob/d8fefc9b246db3600c777e9d60d441d7c386ce1d/docs/checks.md#token-permissions
- https://github.blog/changelog/2021-04-20-github-actions-control-permissions-for-github_token/

(cherry picked from commit aff4e1eafa5bbc4e9ef6acee9d73b2154e0ab9b9)

Merge pull request #12293 from omoerbeek/backport-12289-to-rec-4.8.x

rec: Backport 12289 to rec 4.8.x: refactor unsuppored qtype code and make sure we ServFail on all unsupported qtypes

Elaborate on NSEC/NSEC3 diffference in comment

(cherry picked from commit 2cdafbdeae085e1443d13e4ddf578c86ce24c1e6)

Apply suggestions from code review

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit bca5ab3a353ac1dcf1171176bee6c22bd4ed92b0)

rec: refactor unsuppored qtype code and make sure we ServFail on all unsupported qtypes

This fixes #12251

Also I'd like to know why we ServFail on NSEC3 but not on NSEC: we should either fix that or add a comment explaining this.

(cherry picked from commit e7cc83fd617c877f272b8344d5fb7252acfdc297)

Merge pull request #12221 from omoerbeek/backport-12219-to-rec-4.8.x

recL Backport to rec-4.8.x: Infra queries should not use refresh mode

Infra queries should not use refresh mode.

When I introduced serve state in #11776, I reintroduced the mistake previously fixed in #11376.
Fixes #12078

(cherry picked from commit 28a3eea55d15d33a65b2108c1598c15d00e0173c)

Merge pull request #12201 from omoerbeek/backport-12199-to-rec-4.8.x

rec: Backport 12199 to rec-4.8.x: Also consider recursive forward in the "forwarded DS should not end up in negCache code"

Merge pull request #12200 from omoerbeek/backport-12198-to-rec-4.8.x

rec: Backport 12198 to rec-4.8.x: Correct skip record condition in processRecords.

Also consider recursive forward in the "forwarded DS should not end up in negCache code."

With @rgacogne and @phonedph1
Fixes #12189

(cherry picked from commit af746aaf59a2e977bafabd5814635f59b01e5835)

Correct skip record condition in processRecords.

Noted the other day by @rgacogne

(cherry picked from commit d1321ff57909f8fb9d0bd7a20e3c4eb85a6b76e1)

Merge pull request #12197 from omoerbeek/backport-12175-to-rec-4.8.x

rec: Backport 12175 to rec 4.8.x: Get DS records with QM switched on

Merge pull request #12196 from omoerbeek/backport-12194-to-rec-4.8.x

rec: Backport 12194 to rec-4.8.x: Fix typo in structured logging key

Fix test (from rgacogne)

Do this by merging https://github.com/PowerDNS/pdns/commit/994d2e09f088f2908a887e2539f8abbd1e36d003.diff

For some unknown reason (maybe the same reason rgacogne was not able to create a PR for this?)
a cherry pick did not work, so do a "manual" diff and patch of Remi's work.

(cherry picked from commit 4b0a0031b46d7e045e98ef073811e374717751b4)

Avoid a race in wiping the cache and fix test_Bogus by explictly
filling the aggressive cache.

(cherry picked from commit 2ec80d483f48fb042397456ad0b032a671232f48)

Get DS records with QM switched on.

This avoid a.root-servers.net going Bogus, which can happen
if the .net NS are not cached and we miss the cut.

Fixes #12160 and avoids the need to prime the .net NS records explicitly.

(cherry picked from commit e2307ada1210fee6198e54db2dc91dac8fa68070)

Fix typo

(cherry picked from commit 68dbf30cebc92d29853314b1160257a9dbc5f4f1)

Merge pull request #12163 from omoerbeek/backport-12155-to-rec-4.8.x

rec: Backport 12155 to rec 4.8.x: Fix snmp OID numbers for rcode stats

Merge pull request #12162 from omoerbeek/backport-12122-to-rec-4.8.x

rec: Backport 12122 to rec 4.8.x: Implement output operator for QTypes

Merge pull request #12161 from omoerbeek/backport-12125-to-rec-4.8.x

rec: Backport 12125 to rec 4.8.x: handle ixfr connect and transfer timeouts

Typo

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>
(cherry picked from commit 38b69143124de1d2f7341148c6250e821c02e4be)

Clarify Prometheus names

(cherry picked from commit fe6797befcdb8b9287ac87dacc796282920e7001)

Fix snmp OID numbers for rcode stats

(cherry picked from commit bdc4ee0a00ad913a4e0d909f4bfc4e1a404ead68)

Pass an object as const ref

Co-authored-by: Charles-Henri Bruyand <charleshenri.bruyand+github@gmail.com>
(cherry picked from commit fa61cf82d85f5e26178853e9b0f4be14f55565db)

Implement output operator for QTypes.

This fixes #12089

The theory says there should be no unwanted side effects, but I'd like
that to be validated independently.

(cherry picked from commit da19e4feb842464659536076b47047b2910c73fb)

Better wording in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit 240460d77be35a6a1c1e6fa22364efe19dc3ee84)