Typos

4.9.x uses unittest instead of pytest

rec: dnspython's API changed wrt NSID, apply (version dependent) fix in regression test

See https://dnspython.readthedocs.io/en/stable/whatsnew.html 2.6.0 2nd bullet

(cherry picked from commit e1ea89984da1c10850dd0cb4e7d4d7ee501e078d)

Merge pull request #13794 from omoerbeek/backport-13787-to-rec-4.9.x

rec: Backport 13787 to rec 4.9.x: skip a few tests that depend on sidnlab's public test setup that no longer works

rec: skip a few test that depend on sidnlab's public test setup that no longer works

(cherry picked from commit 1c47d58191e285aa2f85c24bbddba55f95cd58a2)

Merge pull request #13783 from omoerbeek/rec-backport-keytrap-to-4.9.x

rec: Backport Keytrap to rec-4.9.x

Better handling of DNSKEY validation failures

Add a new 'max-ds-per-zone' setting and immediately return BogusNoValidDNSKEY when we hit a limit in validateDNSKeysAgainstDS()

Establish (now validated) defaults for all new settings

rec: Fix validation accounting in validateDNSKeysAgainstDS()

The counter was sometimes increased even though no actual validation
was performed, because the corresponding DNSKEY was not (yet) trusted.

Backport of keytrap to 4.9.x up to 5f6726ca4c759cb6c8fb5f131334dab64a4980d5

Merge pull request #13694 from omoerbeek/backport-13675-to-rec-4.9.x

Backport 13675 to rec 4.9.x: Fix documentation building error for dnsdist and recursor

dnsdist: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit c2a7ef8bd4f2423e2dc0eaa4d4a46de99b44636b)

rec: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit ac89467f17bb888fbd48c0f4c5267beab95aebee)

Merge pull request #13570 from romeroalx/rel/rec-4.9.x-workflow-call

GH Actions - rel/rec-4.9.x: make `build-and-test-all` and `builder` workflows reusable from other branches

make builder workflow reusable

make build-and-test-all reusable

test ubuntu jammy build target

builder: drop ubuntu kinetic, it is EOL

Merge pull request #13449 from omoerbeek/backport-13409-to-rec-4.9.x

rec: backport 13409 to rec-4.9.x: handle serve stale logic in getRootNXTrust()

rec: handle serve stale logic in getRootNXTrust()

Superseded #13383 by calling the general get() function that has
all the special cases covered.

(cherry picked from commit e2bfa1460d5b9e4e470c2f8829ef6c10bc583c73)

Merge pull request #13440 from omoerbeek/rec-backport-13237-to-rec-49x

rec: backport 13237 to rec-4.9.x: Be even more lenient in allowing timing differences

rec: backport 13237 to rec-4.9.x: Be even more lenient in allowing timing differences

Backport of #13237

Merge pull request #13411 from omoerbeek/backport-13353-to-rec-4.9.x

rec: Backport 13353 to rec 4.9.x:  If serving stale, wipe CNAME records from cache when we get a NODATA negative response for them

Merge pull request #13412 from omoerbeek/backport-13408-to-rec-4.9.x

rec: Backport 13408 to rec-4.9.x: Handle stack memory on NetBSD as on OpenBSD

Handle stack memory on NetBSD as on OpenBSD

(cherry picked from commit d6ff1755940d77ca502bf21a8f2d4d690252d0d2)

Tidy

(cherry picked from commit db263dde8799c6d6af58f02bf63ec1aeb8eed50d)

If serving stale, wipe CNAME records from cache when we get a NODATA negative response for them
PR #12395 already did that for the NXDOMAIN case.

(cherry picked from commit 60ba49d38e5ded2df5a367d8acacba8b8ec3d2cc)

Merge pull request #13286 from omoerbeek/backport-13092-to-rec-4.9.x

rec: Backport 13092 to rec 4.9.x: prevent two cases of copy of data that can be moved

Add NOLINT marker for readability-function-cognitive-complexity

Merge pull request #13285 from omoerbeek/backport-13224-to-rec-4.9.x

rec: Backport 13223 to rec-4.9.x: auto-build on tags and generate provenance

Merge pull request #13284 from omoerbeek/backport-13210-to-rec-4.9.x

rec: Backport 13210 to rec-4.9.x: remove Before=nss-lookup.target line from unit file

Merge pull request #13283 from omoerbeek/backport-13278-to-rec-4.9.x

rec: Backport 13278 to rec-4.9.x: Prevent lookups for unsupported qtypes or rcode != 0 to submit refresh tasks

Merge pull request #13282 from omoerbeek/backport-13209-to-rec-4.9.x

rec: Backport 13209 to rec 4.9.x: Implement a more fair way to prune the aggressive cache

Fix formatting and a clang-tidy issue

rec: Prevent a copy when distributing UDP queries to workers

Reported by Coverity as CID 1509301.

(cherry picked from commit 42d6b18e42e529a0ff89b57dca1043d6df4041ee)

rec: Prevent a copy in RecursorLua4::DNSQuestion::addAnswer

Reported by Coverity as 1509322

(cherry picked from commit 86867a80b19a40644e5d5d1c2dcacccb70695b85)

rec: Backport 13223 to rec-4.9.x: auto-build on tags and generate provenance

This is basically a copy of the backport to dnsdist-1.8.x PR #13184

Also remove Wants=nss-lookup.target

(cherry picked from commit 845e1506d6ee99623e6bf7b608b626f8ea08a2ba)

rec: remove Before=nss-lookup.target line from unit file

Fixes #13115

(cherry picked from commit 1f736a6bc0e1311cf5f7f091c852a23035ea59d4)

Prevent lookups for unsupported qtypes or rcode != 0 to submit refresh tasks

(cherry picked from commit 11c65aeda2aef3aabeeff9aa1491bc84954ed905)

Apply typo-in-comment fixes from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Formatting

(cherry picked from commit dab9636b332f680283636c66547489f9a2cdb250)

The proper "expired" test is ttd <= now

(cherry picked from commit 17806638ce9ae1643d881faa7328a85f98eeb265)

rec: implement a more fair way to prune the aggressive cache

Fixes #13109

(cherry picked from commit f44081141772da42dd6830462ae357530d3a1fbf)

Merge pull request #13177 from omoerbeek/backport-13174-to-rec-4.9.x

rec: backport 13174 to rec-4.9.x: Include cstdint in mtasker_ucontext.cc, noted by @zeha

Merge pull request #13176 from omoerbeek/backport-13102-to-rec-4.9.x

rec: Backport #13102 to rec-4.9.x: Do not assume the records are in a particular order when deterining if an answer is NODATA

Include cstdint in mtasker_ucontext.cc, noted by @zeha

(cherry picked from commit bbf76a06de324da40302d51850c7c475e465cb3a)

rec: Do not assume the records are in a particular order when determining if an answer is
NODATA.

(cherry picked from commit fa5f61e94e1bd354d42923a844c59b3be232c29f)

Merge pull request #13163 from omoerbeek/backport-13071-to-rec-4.9.x

Backport 13071 to rec 4.9.x: Fix code producing json

Merge pull request #13161 from omoerbeek/backport-13106-to-rec-4.9.x

rec: Backport 13106 to rec 4.9.x: replace data in the aggressive cache if new data becomes available

Merge pull request #13160 from omoerbeek/backport-13151-to-rec-4.9.x

rec: Backport 13151 to rec-4.9.x: Fix a few typos.

Merge pull request #13159 from omoerbeek/backport-13105-to-rec-4.9.x

rec: Backport 13105 to rec 4.9.x: (I)XFR: handle partial read of len prefix

Skip smileys for now, they take 4 bytes to encode and out current mysql
schema has 'utf8', which only handles 3 bytes max, should be changed to
utf8mb4 one day.

(cherry picked from commit 93ad866b4e2f4afb017e8b3b08041598a2378ea5)

Test a few non-ASCII chars in comments

(cherry picked from commit 56726eb113ab135ec890e79e94c0393986e9edad)

Add a few testcases for "incomplete" URLs

(cherry picked from commit 7ab40a80547d112914b71919d8f4aa14cc24b047)

Check all chars in the URL are valid URL chars.

Should probably (also) be done in YaHTTP::URL, though currently the
return value of YaHTTP::URL::parse() is completely ignored, so
there is no easy way to do.

(cherry picked from commit 35eb2fcffa40e7f70b716e99158efe72a0e864d9)

Implement recomendationm from #13050: step 1

Revert #12660

(cherry picked from commit 26f5d6058d8b0cf4ad2f8da729cb906796c297a0)

Make clang-tidy happy

(cherry picked from commit 993712a13a3b4d9faf7c4298412fbd2a6b3a7761)

rec: replace data in the aggressive cache if it becomes available

Currently, new data does not get recorded into the aggressive cache
if there's an existing entry that matches. Together with the fact
that in some cases pruning can be unfair (it scans the zones
always in the same order and stops clearing when it has reached the
goal) and/or not very active (when the recursor is lighlty loaded)
this has the consequence that old expired records can remain in
the cache that prevent new data to be recorded and used.

(cherry picked from commit 93b25e9613f252bc1798975dc1f7a475400f2996)

Fix a few typos.

(cherry picked from commit 84d2423481cff98765c482964d11ef828a2774d2)

remove redundant assignment

(cherry picked from commit 8d3ab63b412fb4b9fd8732af47a5d1c18ba7e786)

IXFR client: handle partial reads of the TCP chunk length header, plus:
* add primarySOACount to exception text
* add indicator of current state to exception text
* a test

(cherry picked from commit 8faf5a90992b2613cf5999c8dd5e26b0025050b7)

typo fix

(cherry picked from commit 8fb5bba04f7a211ac2eb815f5c340e69070dc3e0)

Merge pull request #13057 from omoerbeek/rec-backport-13021-to-rec-4.9.x

rec: Backport 13021 to rec-4.9.x: fix setting of policy tags

Backport #13059: Don't check TTLs of records coming out of packet cache

rec: Backport 13021 to rec-4.9.x: fix setting of policy tags

Backport of #13021

Merge pull request #12995 from omoerbeek/backport-12961-to-rec-4.9.x

rec: Backport 12961 to rec-4.9.x: Work around Red Hat 8 pooping the bed in OpenSSL's headers

Merge pull request #12994 from omoerbeek/backport-12935-to-rec-4.9.x

rec: backport of 12935 to rec-4.9.x: Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

Work around Red Hat 8 pooping the bed in OpenSSL's headers

The openssl/kdf.h header on EL8 is invalid because someone backported
a work-in-progress feature to an older OpenSSL branch and did not
bother to backport the fixes that were added later.

Red Hat declined to fix their mess and helpfully suggested we do the
work instead in https://bugzilla.redhat.com/show_bug.cgi?id=2215856

(cherry picked from commit 3dabf2d4a1a478fb00a232259e8043f075eb4d03)

Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

And move to BN_new() instead, which has been present since at least
0.9.6 and is still in 3.1.

(cherry picked from commit 9fcef4932c9323b085984f8a087045fef70103f5)

Merge pull request #12968 from omoerbeek/backport-12963-to-rec-4.9.x

rec: Backport 12963 to rec 4.9.x: fix qname length getting out-of-sync with qname-minimization iteration count

rec: fix qname length getting out-of-sync with qname-minimization iteration count

Approach two: fall back to non-QM mode if loop detected
Fixes #12956

(cherry picked from commit 7b9450932da11f34a8a729b7b7e47202276fff5f)

Merge pull request #12936 from omoerbeek/backport-12933-to-rec-4.9.x

rec: Backport 12933 to rec 4.9.x: rewrite and fix verifyOne() loop

Merge pull request #12932 from omoerbeek/backport-12836-to-rec-4.9.x

rec: Backport 12928 to rec-4.9.x: fix daemonize()

Typo inc omment

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit da6a2d87c8d8cfe49dc6eda3481b82f8faf5a832)

Followup to #12893: Rewrite and fix verifyOne() loop

Previous version could return true if the first iteration succeeded, but
the second one threw. Spotted by pt01 on IRC.

(cherry picked from commit 891f17371c4e1007f91abb4695c4b0e95c3f2995)

rec: Backport of 12928 to rec-4.9.x: fix daemonize()

Merge pull request #12907 from omoerbeek/rec-specialize-4.9.x-branch

rec-4.9.x: specialize GH workflows for branch

rec-4.9.x: specialize GH workflows for branch

Merge pull request #12904 from omoerbeek/rec-gid_t-uid_t-can-be-unsigned

rec: uid_t and gid_t can be unsigned, so doing > on an -1 value is tricky

Merge pull request #12906 from omoerbeek/rec-sdjournal-escape

rec: systemd-journal backend: escape keys that are special

Merge pull request #12893 from omoerbeek/rec-dnssec-alg-setting

rec: add feature to switch off unsupported DNSSEC algos

Tidy and process review comments

Merge pull request #12905 from rgacogne/ddist-async-test-racy

dnsdist: Remove a racy test in the AsynchronousHolder unit tests

Merge pull request #12881 from Habbie/dispatch-bookworm

builder-dispatch: add debian-bookworm target to defaults

Merge pull request #12900 from omoerbeek/rec-serve-stale-dup-cname

rec: Prevent duplicate C/DNAMEs being included when doing serve-stale

Don't double print and delint

dnsdist: Remove a racy test in the AsynchronousHolder unit tests

We are adding an expired event so the worker thread of the
AsynchronousHolder can pick it up immediately, even before we come
back from the call to push(), which leads to a racy test.
This was observed on GitHub Actions when running with TSAN:
```
FAIL: testrunner
================

Running 170 test cases...
test-dnsdistasync.cc(156): error: in "test_dnsdistasync/test_AddingExpiredEvent": check !holder->empty() has failed

*** 1 failure is detected in the test module "unit"
FAIL testrunner (exit status: 201)
```

Merge pull request #12896 from omoerbeek/rec-nod-metrics

rec: expose NOD/UDR metrics

rec: uid_t and gid_t can be unsigned, so doing > on and -1 value is tricky

Merge pull request #12883 from omoerbeek/rec-rpz-soa

rec: add SOA to RPZ modified answers if configured to do so

delint

Process review comments

Merge pull request #12840 from phonedph1/patch-39

Update dnsdist-console.cc

Add tests to see if CNAME records are not included multiple times

Merge pull request #12839 from phonedph1/patch-38

Update rules-actions.rst

rec: Escape (by prepending "PDNS") message keys that are special to systemd-journal

rec: Prevent duplicate C/DNAMEs to be included when doing serve-stale

This can happen if the CNAME record itself was found, but its target not

Merge pull request #12898 from omoerbeek/rec-depth

rec: keep track of max depth reached and report it if !quiet