Merge pull request #14093 from omoerbeek/backport-14049-to-rec-4.9.x

rec: Backport 14049 to rec-4.9.x: do not count RRSIGs using unsupported algorithms toward RRSIGs limit

Merge pull request #14109 from omoerbeek/rel/rec-4.9.5-branch

rec: merge rec-4.9.5 back onto rel/rec-4.9.x

rec: do not count RRSIGs using unsupported algorithms toward RRSIGs limit

(cherry picked from commit 834660b5c62fe7a8bcf93b0182f26fbfa5464ecc)

rec: backport CVE-2024-25583 to rel/rec-4.9.5-branch

A name can be present already when building the cname chain.

Merge pull request #13995 from omoerbeek/backport-13984-to-rec-4.9.x

rec: Backport 13984 to rec-4.9.x: Correctly count NSEC3s considered when chasing the closest encloser

Merge pull request #13994 from omoerbeek/backport-13926-to-rec-4.9.x

rec: Backport 13926 to rec 4.9.x: fix trace=fail regression and add regression test for it

Merge pull request #13993 from omoerbeek/backport-13849-to-rec-4.9.x

rec: Backport 13849 to rec 4.9.x: Only print Docker config if debug flag is set

rec: Correctly count NSEC3s considered when chasing the closest encloser

We need to count the number of NSEC3s that are present in the response,
not the number of times we have to consider possible NSEC3s when
looking for the NSEC3 closest encloser, label by label.

(cherry picked from commit c4f4d09654bde9d389e83f0bc8eadc6b665e9de9)

ZTC regression test does not need auths

(cherry picked from commit 250a8012a85c8cee7b6eaff97ff55fe4a335bf45)

rec: fix trace=fail regression and add regression test for it

(cherry picked from commit c2f2d82c3f52bb62df33f0b7e57d55a88cdbe222)

nits

(cherry picked from commit 688d5dbdba626e3a36af37a8629c6fab6e5d5a1a)

Only print config if debug flag is set

Signed-off-by: Carolin Dohmen <carodohmen@gmail.com>
(cherry picked from commit d773b7bb99418026c3907ebd4b4e994a61fccecd)

Merge pull request #13853 from omoerbeek/backport-13847-to-rec-4.9.x

rec: Backport 13847 to rec 4.9.x: Fix gathering of denial of existence proof for wildcard-expanded names

rec: Apply Otto's suggestions

(cherry picked from commit f8a286bb2a45fb51ea90399b793ec40665824430)

rec: Fix clang-tidy warnings

(cherry picked from commit f74ca9e44868f44c4fe6460bed1b7629dcf027f4)

rec: Add a unit test for the gathering of denial of existence proof for wildcard-expanded names

(cherry picked from commit bedfbaa1912ee464a61dc7996341574040fab84a)

rec: Fix gathering of denial of existence proof for wildcard-expanded names

When the recursor is forwarding to a resolver, we accept the names composing
the CNAME chain starting at the queried name. This means we also need to gather
the denial of existence proof for CNAMEs that were expanded from a wildcard,
otherwise the response sent to the client cannot be DNSSEC-validated.

(cherry picked from commit 2eb9f095fe06f77cd816135c03c7ac558e0f324d)

Merge pull request #13795 from omoerbeek/backport-13788-to-rec-4.9.x

rec: Backport 13788 to rec-4.9.x: fix the zoneToCache regression introduced by SA 2024-01

Merge pull request #13793 from omoerbeek/backport-13387-to-rec-4.9.x

rec: Backport of 13387 to rec-4.9.x: Update new b-root-server.net addresses in built-in hints.

Merge pull request #13792 from omoerbeek/backport-13543-to-rec-4.9.x

rec: Backport 13543 to rec 4.9.x: a single NSEC3 record covering everything is a special case

Test ZTC with root zone

1. If code changes make the validation fail we want to know.
2. If root zone changes break something we want to know as well, this might even be more important than 1.

So I think we just have to accept the occasional network issues on GH.

(cherry picked from commit 5e7b96061de80b4cb52f52a65fed274a1e666e73)

rec: fix the zoneToCache regression introduced by SA 2024-01

Test will follow

(cherry picked from commit c7f594e2dcda23fdc2ae2c4246da3e7c519f897e)

rec: Update new b-root-server.net addresses in built-in hints.

Is going to be effective 20231117. Both existing and new addresses
work already at the moment of writing (20211017).

https://www.lacnic.net/6869/2/lacnic/lacnic-assigns-number-resources-to-the-usc_isi-dns-root-server

Fixes #12897

(cherry picked from commit 5d6b31d85ab8c10443090fff5605aed580e30fcc)

Add test

(cherry picked from commit 3f6fb380917db42c6c1c5281ff3e9efe1a31761a)

rec: a single NSEC3 record covering everything is a special case

Fixes #13542

(cherry picked from commit 257b23b4f55031a94b04c472489c3806ab57a244)

Merge pull request #13832 from omoerbeek/backport-13813-to-rec-4.9.x

rec: Backport 13813 to rec 4.9.x: dnspython's API changed wrt NSID, apply (version dependent) fix in regression test

Typos

4.9.x uses unittest instead of pytest

rec: dnspython's API changed wrt NSID, apply (version dependent) fix in regression test

See https://dnspython.readthedocs.io/en/stable/whatsnew.html 2.6.0 2nd bullet

(cherry picked from commit e1ea89984da1c10850dd0cb4e7d4d7ee501e078d)

Merge pull request #13794 from omoerbeek/backport-13787-to-rec-4.9.x

rec: Backport 13787 to rec 4.9.x: skip a few tests that depend on sidnlab's public test setup that no longer works

rec: skip a few test that depend on sidnlab's public test setup that no longer works

(cherry picked from commit 1c47d58191e285aa2f85c24bbddba55f95cd58a2)

Merge pull request #13783 from omoerbeek/rec-backport-keytrap-to-4.9.x

rec: Backport Keytrap to rec-4.9.x

Better handling of DNSKEY validation failures

Add a new 'max-ds-per-zone' setting and immediately return BogusNoValidDNSKEY when we hit a limit in validateDNSKeysAgainstDS()

Establish (now validated) defaults for all new settings

rec: Fix validation accounting in validateDNSKeysAgainstDS()

The counter was sometimes increased even though no actual validation
was performed, because the corresponding DNSKEY was not (yet) trusted.

Backport of keytrap to 4.9.x up to 5f6726ca4c759cb6c8fb5f131334dab64a4980d5

Merge pull request #13694 from omoerbeek/backport-13675-to-rec-4.9.x

Backport 13675 to rec 4.9.x: Fix documentation building error for dnsdist and recursor

dnsdist: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit c2a7ef8bd4f2423e2dc0eaa4d4a46de99b44636b)

rec: Fix the version of alabaster when building the doc

Fixes
```
The alabaster extension used by this project needs at least Sphinx v3.4; it therefore cannot be built with this version.
```

(cherry picked from commit ac89467f17bb888fbd48c0f4c5267beab95aebee)

Merge pull request #13570 from romeroalx/rel/rec-4.9.x-workflow-call

GH Actions - rel/rec-4.9.x: make `build-and-test-all` and `builder` workflows reusable from other branches

make builder workflow reusable

make build-and-test-all reusable

test ubuntu jammy build target

builder: drop ubuntu kinetic, it is EOL

Merge pull request #13449 from omoerbeek/backport-13409-to-rec-4.9.x

rec: backport 13409 to rec-4.9.x: handle serve stale logic in getRootNXTrust()

rec: handle serve stale logic in getRootNXTrust()

Superseded #13383 by calling the general get() function that has
all the special cases covered.

(cherry picked from commit e2bfa1460d5b9e4e470c2f8829ef6c10bc583c73)

Merge pull request #13440 from omoerbeek/rec-backport-13237-to-rec-49x

rec: backport 13237 to rec-4.9.x: Be even more lenient in allowing timing differences

rec: backport 13237 to rec-4.9.x: Be even more lenient in allowing timing differences

Backport of #13237

Merge pull request #13411 from omoerbeek/backport-13353-to-rec-4.9.x

rec: Backport 13353 to rec 4.9.x:  If serving stale, wipe CNAME records from cache when we get a NODATA negative response for them

Merge pull request #13412 from omoerbeek/backport-13408-to-rec-4.9.x

rec: Backport 13408 to rec-4.9.x: Handle stack memory on NetBSD as on OpenBSD

Handle stack memory on NetBSD as on OpenBSD

(cherry picked from commit d6ff1755940d77ca502bf21a8f2d4d690252d0d2)

Tidy

(cherry picked from commit db263dde8799c6d6af58f02bf63ec1aeb8eed50d)

If serving stale, wipe CNAME records from cache when we get a NODATA negative response for them
PR #12395 already did that for the NXDOMAIN case.

(cherry picked from commit 60ba49d38e5ded2df5a367d8acacba8b8ec3d2cc)

Merge pull request #13286 from omoerbeek/backport-13092-to-rec-4.9.x

rec: Backport 13092 to rec 4.9.x: prevent two cases of copy of data that can be moved

Add NOLINT marker for readability-function-cognitive-complexity

Merge pull request #13285 from omoerbeek/backport-13224-to-rec-4.9.x

rec: Backport 13223 to rec-4.9.x: auto-build on tags and generate provenance

Merge pull request #13284 from omoerbeek/backport-13210-to-rec-4.9.x

rec: Backport 13210 to rec-4.9.x: remove Before=nss-lookup.target line from unit file

Merge pull request #13283 from omoerbeek/backport-13278-to-rec-4.9.x

rec: Backport 13278 to rec-4.9.x: Prevent lookups for unsupported qtypes or rcode != 0 to submit refresh tasks

Merge pull request #13282 from omoerbeek/backport-13209-to-rec-4.9.x

rec: Backport 13209 to rec 4.9.x: Implement a more fair way to prune the aggressive cache

Fix formatting and a clang-tidy issue

rec: Prevent a copy when distributing UDP queries to workers

Reported by Coverity as CID 1509301.

(cherry picked from commit 42d6b18e42e529a0ff89b57dca1043d6df4041ee)

rec: Prevent a copy in RecursorLua4::DNSQuestion::addAnswer

Reported by Coverity as 1509322

(cherry picked from commit 86867a80b19a40644e5d5d1c2dcacccb70695b85)

rec: Backport 13223 to rec-4.9.x: auto-build on tags and generate provenance

This is basically a copy of the backport to dnsdist-1.8.x PR #13184

Also remove Wants=nss-lookup.target

(cherry picked from commit 845e1506d6ee99623e6bf7b608b626f8ea08a2ba)

rec: remove Before=nss-lookup.target line from unit file

Fixes #13115

(cherry picked from commit 1f736a6bc0e1311cf5f7f091c852a23035ea59d4)

Prevent lookups for unsupported qtypes or rcode != 0 to submit refresh tasks

(cherry picked from commit 11c65aeda2aef3aabeeff9aa1491bc84954ed905)

Apply typo-in-comment fixes from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>

Formatting

(cherry picked from commit dab9636b332f680283636c66547489f9a2cdb250)

The proper "expired" test is ttd <= now

(cherry picked from commit 17806638ce9ae1643d881faa7328a85f98eeb265)

rec: implement a more fair way to prune the aggressive cache

Fixes #13109

(cherry picked from commit f44081141772da42dd6830462ae357530d3a1fbf)

Merge pull request #13177 from omoerbeek/backport-13174-to-rec-4.9.x

rec: backport 13174 to rec-4.9.x: Include cstdint in mtasker_ucontext.cc, noted by @zeha

Merge pull request #13176 from omoerbeek/backport-13102-to-rec-4.9.x

rec: Backport #13102 to rec-4.9.x: Do not assume the records are in a particular order when deterining if an answer is NODATA

Include cstdint in mtasker_ucontext.cc, noted by @zeha

(cherry picked from commit bbf76a06de324da40302d51850c7c475e465cb3a)

rec: Do not assume the records are in a particular order when determining if an answer is
NODATA.

(cherry picked from commit fa5f61e94e1bd354d42923a844c59b3be232c29f)

Merge pull request #13163 from omoerbeek/backport-13071-to-rec-4.9.x

Backport 13071 to rec 4.9.x: Fix code producing json

Merge pull request #13161 from omoerbeek/backport-13106-to-rec-4.9.x

rec: Backport 13106 to rec 4.9.x: replace data in the aggressive cache if new data becomes available

Merge pull request #13160 from omoerbeek/backport-13151-to-rec-4.9.x

rec: Backport 13151 to rec-4.9.x: Fix a few typos.

Merge pull request #13159 from omoerbeek/backport-13105-to-rec-4.9.x

rec: Backport 13105 to rec 4.9.x: (I)XFR: handle partial read of len prefix

Skip smileys for now, they take 4 bytes to encode and out current mysql
schema has 'utf8', which only handles 3 bytes max, should be changed to
utf8mb4 one day.

(cherry picked from commit 93ad866b4e2f4afb017e8b3b08041598a2378ea5)

Test a few non-ASCII chars in comments

(cherry picked from commit 56726eb113ab135ec890e79e94c0393986e9edad)

Add a few testcases for "incomplete" URLs

(cherry picked from commit 7ab40a80547d112914b71919d8f4aa14cc24b047)

Check all chars in the URL are valid URL chars.

Should probably (also) be done in YaHTTP::URL, though currently the
return value of YaHTTP::URL::parse() is completely ignored, so
there is no easy way to do.

(cherry picked from commit 35eb2fcffa40e7f70b716e99158efe72a0e864d9)

Implement recomendationm from #13050: step 1

Revert #12660

(cherry picked from commit 26f5d6058d8b0cf4ad2f8da729cb906796c297a0)

Make clang-tidy happy

(cherry picked from commit 993712a13a3b4d9faf7c4298412fbd2a6b3a7761)

rec: replace data in the aggressive cache if it becomes available

Currently, new data does not get recorded into the aggressive cache
if there's an existing entry that matches. Together with the fact
that in some cases pruning can be unfair (it scans the zones
always in the same order and stops clearing when it has reached the
goal) and/or not very active (when the recursor is lighlty loaded)
this has the consequence that old expired records can remain in
the cache that prevent new data to be recorded and used.

(cherry picked from commit 93b25e9613f252bc1798975dc1f7a475400f2996)

Fix a few typos.

(cherry picked from commit 84d2423481cff98765c482964d11ef828a2774d2)

remove redundant assignment

(cherry picked from commit 8d3ab63b412fb4b9fd8732af47a5d1c18ba7e786)

IXFR client: handle partial reads of the TCP chunk length header, plus:
* add primarySOACount to exception text
* add indicator of current state to exception text
* a test

(cherry picked from commit 8faf5a90992b2613cf5999c8dd5e26b0025050b7)

typo fix

(cherry picked from commit 8fb5bba04f7a211ac2eb815f5c340e69070dc3e0)

Merge pull request #13057 from omoerbeek/rec-backport-13021-to-rec-4.9.x

rec: Backport 13021 to rec-4.9.x: fix setting of policy tags

Backport #13059: Don't check TTLs of records coming out of packet cache

rec: Backport 13021 to rec-4.9.x: fix setting of policy tags

Backport of #13021

Merge pull request #12995 from omoerbeek/backport-12961-to-rec-4.9.x

rec: Backport 12961 to rec-4.9.x: Work around Red Hat 8 pooping the bed in OpenSSL's headers

Merge pull request #12994 from omoerbeek/backport-12935-to-rec-4.9.x

rec: backport of 12935 to rec-4.9.x: Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

Work around Red Hat 8 pooping the bed in OpenSSL's headers

The openssl/kdf.h header on EL8 is invalid because someone backported
a work-in-progress feature to an older OpenSSL branch and did not
bother to backport the fixes that were added later.

Red Hat declined to fix their mess and helpfully suggested we do the
work instead in https://bugzilla.redhat.com/show_bug.cgi?id=2215856

(cherry picked from commit 3dabf2d4a1a478fb00a232259e8043f075eb4d03)

Stop using the now deprecated ERR_load_CRYPTO_strings() to detect OpenSSL

And move to BN_new() instead, which has been present since at least
0.9.6 and is still in 3.1.

(cherry picked from commit 9fcef4932c9323b085984f8a087045fef70103f5)

Merge pull request #12968 from omoerbeek/backport-12963-to-rec-4.9.x

rec: Backport 12963 to rec 4.9.x: fix qname length getting out-of-sync with qname-minimization iteration count

rec: fix qname length getting out-of-sync with qname-minimization iteration count

Approach two: fall back to non-QM mode if loop detected
Fixes #12956

(cherry picked from commit 7b9450932da11f34a8a729b7b7e47202276fff5f)

Merge pull request #12936 from omoerbeek/backport-12933-to-rec-4.9.x

rec: Backport 12933 to rec 4.9.x: rewrite and fix verifyOne() loop