Merge pull request #15933 from omoerbeek/backport-15706-to-rec-5.1.x

Backport 15706 to rec-5.1.x: Prevent a crash in the ZoneToCache unit tests

rec: Prevent a crash in the ZoneToCache unit tests

Since 753ad2390bfbc90f6bc1b68f980ef4bcdc2cfddc ZoneToCache checks
whether a given zone has a recursive forward rule, so we need the
Domain map to be properly initialized in all tests, as they can be
executed in random order.

Fixes:
```
ThreadSanitizer:DEADLYSIGNAL
==35969==ERROR: ThreadSanitizer: SEGV on unknown address 0x000000000018 (pc 0x5568e9f8bb04 bp 0x4c00000000000 sp 0x7ffcc13b77f0 T35969)
==35969==The signal is caused by a READ memory access.
==35969==Hint: address points to the zero page.
    #0 std::_Hashtable<DNSName, std::pair<DNSName const, SyncRes::AuthDomain>, std::allocator<std::pair<DNSName const, SyncRes::AuthDomain> >, std::__detail::_Select1st, std::equal_to<DNSName>, std::hash<DNSName>, std::__detail::_Mod_range_hashing, std::__detail::_Default_ranged_hash, std::__detail::_Prime_rehash_policy, std::__detail::_Hashtable_traits<true, false, true> >::empty() const /usr/bin/../lib/gcc/x86_64-linux-gnu/12/../../../../include/c++/12/bits/hashtable.h:653:23 (testrunner+0x47fb04)
    #1 std::unordered_map<DNSName, SyncRes::AuthDomain, std::hash<DNSName>, std::equal_to<DNSName>, std::allocator<std::pair<DNSName const, SyncRes::AuthDomain> > >::empty() const /usr/bin/../lib/gcc/x86_64-linux-gnu/12/../../../../include/c++/12/bits/unordered_map.h:306:21 (testrunner+0x47fb04)
    #2 SyncRes::getBestAuthZone(DNSName*) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/syncres.cc:2464:29 (testrunner+0x47fb04)
    #3 SyncRes::isRecursiveForward(DNSName const&) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/syncres.cc:1098:21 (testrunner+0x47fb04)
    #4 ZoneData::ZoneToCache(RecZoneToCache::Config const&) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/rec-zonetocache.cc:423:28 (testrunner+0x404931)
    #5 RecZoneToCache::ZoneToCache(RecZoneToCache::Config const&, RecZoneToCache::State&) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/rec-zonetocache.cc:473:10 (testrunner+0x4059fd)
    #6 rec_zonetocache::zonemdGenericTest(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, pdns::ZoneMD::Config, pdns::ZoneMD::Config, unsigned long) /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/test-rec-zonetocache.cc:157:3 (testrunner+0x7a7113)
    #7 rec_zonetocache::test_zonetocachegeneric::test_method() /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/test-rec-zonetocache.cc:177:3 (testrunner+0x7a60a5)
    #8 rec_zonetocache::test_zonetocachegeneric_invoker() /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/test-rec-zonetocache.cc:173:1 (testrunner+0x7a60a5)
    #9 boost::detail::function::void_function_invoker0<void (*)(), void>::invoke(boost::detail::function::function_buffer&) /usr/include/boost/function/function_template.hpp:117:11 (testrunner+0x57dfab)
    #10 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x323fd)
    #11 boost::execution_monitor::catch_signals(boost::function<int ()> const&) <null> (libboost_unit_test_framework.so.1.74.0+0x30b0c)
    #12 boost::execution_monitor::execute(boost::function<int ()> const&) <null> (libboost_unit_test_framework.so.1.74.0+0x30b90)
    #13 boost::execution_monitor::vexecute(boost::function<void ()> const&) <null> (libboost_unit_test_framework.so.1.74.0+0x30c60)
    #14 boost::unit_test::unit_test_monitor_t::execute_and_translate(boost::function<void ()> const&, unsigned long) <null> (libboost_unit_test_framework.so.1.74.0+0x5f1a0)
    #15 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x37cdf)
    #16 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x381d0)
    #17 <null> <null> (libboost_unit_test_framework.so.1.74.0+0x381d0)
    #18 boost::unit_test::framework::run(unsigned long, bool) <null> (libboost_unit_test_framework.so.1.74.0+0x3bf36)
    #19 boost::unit_test::unit_test_main(bool (*)(), int, char**) <null> (libboost_unit_test_framework.so.1.74.0+0x5e10d)
    #20 main /__w/pdns/pdns/pdns/recursordist/pdns-recursor-0.0.0-git1/testrunner.cc:84:10 (testrunner+0xc85591)
    #21 <null> <null> (libc.so.6+0x27249)
    #22 __libc_start_main <null> (libc.so.6+0x27304)
    #23 _start <null> (testrunner+0x1b79e0)
```

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>
(cherry picked from commit b3c90a2a8863b32484c2d42885cba738d71a102b)

Merge pull request #15911 from omoerbeek/backport-15652-to-rec-5.1.x

Backport 15652 to rec-5.1.x: when using ZTC, do not store non-auth data if the name is subject to recursive forwarding

Merge pull request #15910 from omoerbeek/backport-15893-to-rec-5.1.x

Backport 15893 to rec-5.1.x: if a RPZ hit has a custom CNAME record, we should try harder to follow it

Merge pull request #15909 from omoerbeek/backport-15010-to-rec-5.1.x

Backport 15010 to rec-5.1.x: fix protobufServer(.. {taggedOnly=true}) logic for cache-returned responses

Test the non-tagged packet cache hit case and test both UDP and TCP clients while there

(cherry picked from commit 5600caff0e8743a77b556f9976acbc5b992868aa)

recursor: outgoingProtobufServer() ignores taggedOnly protobuf option,
therefore do not annouce it; outgoing server is used as outgoingLoggers
in LWResult::Result asyncresolve(); after being introduced in
4898a34 filtering of outgoingP..S..() was not implemented since b790ef3

(cherry picked from commit d840333d03b1d3dbf15c2160a44dfa940ccf5533)

typo

(cherry picked from commit fb07dc11102eb108b1ada8d01768cf61dc072c2b)

rec: TCP counterpart to protobufServer(.. {taggedOnly=true}) fix

(cherry picked from commit fc26c932d050d3f05e008f9f8864b66989d3b4d0)

recursor: fix protobufServer(.. {taggedOnly=true}) logic for
cache-returned responses (problem existing since initial ac10822)
fixes #15007

(cherry picked from commit 647162c4cb641d9368ddf9f992a351c1cacf222a)

Typos in comments

Co-authored-by: Remi Gacogne <github@coredump.fr>
Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 284d807746195952a735e342ef2f06119812ff54)

Use unmodified flag for post policy

(cherry picked from commit 26c4f7c44ca739fe4a9446677b532e5b56b35806)

rec: if a RPZ hit has a custom CNAME record, we should try harder to follow it

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 66c8b8bca9218f6d14a76c830634e1e0d39e8f9f)

rec: when using ZTC, do not store non-auth data if the name is subject to recursive forwarding

Fixes #15651

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
(cherry picked from commit 753ad2390bfbc90f6bc1b68f980ef4bcdc2cfddc)

Merge pull request #15852 from omoerbeek/backport-ecs-to-5.1.x

rec: Backport to 5.1.x: chain and harden ECS enabled queries

Fix test, it was using a feature only available on master

Backport of Fix two issues with chaining ECS enabled queries

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Switch off leak detect in CI

Merge pull request #15622 from romeroalx/backport-14565-to-rec-5.1.x

rec-5.1.x: backport 14565 - gh actions - coveralls: avoid CI failure by setting fail-on-error: false

gh actions - coveralls: avoid CI failure by setting fail-on-error: false

Fix test names

Implement metrics

Alwas detect mismatches in outgoing and incoming ECS; add tests for that as well

Refactor: get rid of an unneccesary loop

Run all ECS tests also in hardened mode and add a specific hardened mode test

Add setting and metric

Parse ECS info if relevant and act on it if it mismatches

Moved slowParseEDNSOptions() from dnsdist specific code to common code

Fix invalid scope test to do what I think is actually intended

To match incoming, don't look at subnet

Chain on ECS matching, and consider a mismatch in returned ECS as a spoof attempt

Pass actual (optional) ecs instead of bool to asendto()

Merge pull request #15405 from omoerbeek/backport-15352-to-rec-5.1.x

rec: Backport 15352 to rec 5.1.x: in test_SimpleDot.py make sure we have the root DNSKEY in cache, it might require TCP

Update regression-tests.recursor-dnssec/test_SimpleDoT.py

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
(cherry picked from commit 173e64959ab4ea2890d76825be2742601727cc42)

rec: in test_SimpleDot.py make sure we have the root DNSKEY in cache, it might require TCP

Previously we assumed we didn't need TCP at all.

(cherry picked from commit 4025ecc524689b38527e31c1f38aa1ebb23e7bc3)

Merge pull request #15280 from omoerbeek/rec-backport-15254-to-5.1.x

rec: Backport 15254 to 5.1.x: If we see both a CNAME and answer records, follow CNAME and discard the answer records

Merge pull request #15287 from omoerbeek/rec-stop-using-ubuntu-20-on-rec-5.1.x

rec-5.1.x: Stop formatting check and start using Ubuntu-24.04 for fuzzing

Stop formatting check and start using Ubuntu-24.04 for fuzzing

Clang-tidy annotation

If we see both a CNAME and answer records, follow CNAME and discard the answer records

Merge pull request #15215 from omoerbeek/backport-14525-to-rec-5.1.x

rec: Backport 14525 to rec-5.1.x: add 38696 root anchor

recursor: add 38696 root anchor

fetched from https://www.iana.org/dnssec/files after their 2024-07-24 update

(cherry picked from commit 0bbbdd60ab054e7bbfc2b0d0604d1f7e15f0a229)

Merge pull request #14872 from romeroalx/backport-14862-to-rec-5.1.x

rec-5.1.x: Backport 14862 - builder: remove ubuntu lunar+mantic as they are EOL

builder: remove ubuntu lunar+mantic as they are EOL

Merge pull request #14797 from omoerbeek/backport-14766-to-rec-5.1.x

rec: Backport 14766 to rec 5.1.x: bump SNMP ignore from buster to bookworm after buildbot VM upgrade

bump SNMP ignore from buster to bookworm after buildbot VM upgrade

(cherry picked from commit 32ac2627fad9d398756c6ec05ae423eec22eff7e)

Merge pull request #14774 from omoerbeek/backport-14693-to-rec-5.1.x

rec: Backport 14693 to rec 5.1.x: implement rfc6303 special zones (mostly v6 reverse mappings)

Merge pull request #14773 from omoerbeek/backport-14628-to-rec-5.1.x

rec: Backport 14628 to rec 5.1.x: rec: avoid duplicated waiter ids for chained requests

Merge pull request #14772 from omoerbeek/backport-14554-to-rec-5.1.x

rec: Backport 14554 to rec-5.1.x: distinguish OS imposed limits from app imposed limits, specifically on chains

Merge pull request #14771 from omoerbeek/backport-14550-to-rec-5.1.x

rec: Backport 14550 to rec 5.1.x: json11: add include for cstdint

Include more recent version of test_Chain.py

Ensure serve-rfc1918 is enabled when doing serve-rfc6303

(cherry picked from commit 458a9064cc3e6eb56a8d6dfb7d501295dd1cf1dd)

Apply suggestions from code review

Co-authored-by: Remi Gacogne <github@coredump.fr>
(cherry picked from commit 565587b70215b7968c9fa711d0bc1b85938f79ed)

rec: implement rfc6303 special zones (mostly v6 reverse mappings)

(cherry picked from commit 9557d437c239d672c49195847a794bb9537f7223)

rec: distinguish OS imposed limits from app imposed limits, specifically on chains

(cherry picked from commit b22ec811be8c094605df49e015be02e9a85d978e)

Disable tracing for test_Chain, it chokes GH

(cherry picked from commit 3755f2f9fa4aac368ac73dc351a38f2af5e63c7e)

Add basic chain test that hits the case of #14624

We do rely on that OS queueing the UDP packets, hope it will do so long enough

(cherry picked from commit 44b1de9830c4c8d7ceec86799c1bdb5a670d3d3e)

rec: avoid duplicated waiter ids for chained requests

(cherry picked from commit b04c64e61cd7b3440ea014da375f47114fe9364b)

json11: add include for cstdint

fixes #14549, which came with a patch

(cherry picked from commit 8d6d32bef74aa2cba41421645936fade35c71c72)

Merge pull request #14743 from omoerbeek/rec-5.1.2-branch

rec: backport of CVE-2024-25590 to rec-5.1.x: limit maximum size of rr sets in record cache

Optimization for the ADDR case: stop loop if we found 2 (A and AAAA)

rec: refuse to store very large RRSets in the cache and ServFail on retrieval of those

Merge pull request #14571 from omoerbeek/backport-14562-to-rec-5.1.x

rec: Backport to rec-5.1.x: Fix build with boost 1.86.0

Fix build with boost 1.86.0

Boost 1.86.0 changes seem to no longer indirectly include header which
causes build to fail with:
```
uuid-utils.cc:38:58:
error: 'random' is not a class, namespace, or enumeration
```

boost/random/mersenne_twister.hpp has been available since Boost 1.21.2

(cherry picked from commit eed56000b1d68ac083b8e8bea4ff0ea30a1579c4)

Merge pull request #14516 from omoerbeek/backport-14514-to-rec-5.1.x

rec: Backport 14514 to rec 5.1.x: fix maintenanceCalls vs maintenanceCount

Update RECURSOR-MIB.txt

fixed maintenanceCalls vs maintenanceCount
It's anyones guess if it should be called Calls or Count in the end, it should be the same name in the end.

(cherry picked from commit 551641127c26799ff8ef80f56887a6ccd0d2b74f)

Merge pull request #14501 from omoerbeek/backport-14499-to-rec-5.1.x

rec: Backport 14499 to rec-5.1.x: limit the number of async tasks pushed to resolve NS names

rec: limit the number of async tasks pushed to resolve NS names

Plus: as we only use a limited set of NS names for resolving,
processing all additional records does not help.

(cherry picked from commit cd2de2ee7ad55f295a00dfce5488ee3863d974d6)

Merge pull request #14481 from omoerbeek/backport-14471-to-rec-5.1.x

rec: Backport 14471 to rec-5.1.x: dump right SOA into dumpFile and report non-relative SOA for includeSOA=true

Merge pull request #14478 from omoerbeek/backport-14404-to-rec-5.1.x

rec: Backport 14404 to rec 5.1.x: Yahttp router: avoid unsigned underflow in match()

Merge pull request #14477 from omoerbeek/backport-14459-to-rec-5.1.x

rec: Backport 14459 to rec 5.1.x: move default Docker config to YAML

Merge pull request #14488 from omoerbeek/backport-14486-to-rec-5.1.x

rec: Backport 14486 to rec 5.1.x: pin pysnmp to version 5 for regression tests

Also pin pysnmp version for dnsdist regression tests

(cherry picked from commit 5d3db32982e7a06a9e653529baa2fb67e24d7189)

rec: pin pysnmp to version 5 for regression tests

(cherry picked from commit 4d44d3076051fe27ee91e847a3600ad19c44fd72)

rec: dump right SOA into dumpFile and report non-relative SOA for includeSOA=true

(cherry picked from commit 397da738caad01df0da04387083c73a0e941608b)

Fix example command line

(cherry picked from commit 7bfa760eb2a7df849c88252f471fc6626fbd4f97)

rec: move default Docker config to YAML

(cherry picked from commit 0f1374a7689a4ee6adcf9ea1185c6116142708df)

Avoid upos underflowing in match loop

(cherry picked from commit 09462bda7f8da4e59307e0d6a7446d499c1da34c)

no else block after break statement

(cherry picked from commit 9ecf2b37287270be3d06ac3d5570f5d67a0bb364)

Merge pull request #14442 from omoerbeek/rec-5.1.x-daily-el7

rec 5.1.x: daily build for el-7 instead of centos-7

rec 5.1.x: daily build for el-7 instead of centos-7

Merge pull request #14435 from omoerbeek/backport-14425-to-rec-5.1.x

rec: Backport 14425 to rec 5.1.x: fix typo in log message

Fix processsing typo.

(cherry picked from commit c91c84f640e32a7d24925a78cf3609e731d098e9)

Merge pull request #14402 from Habbie/backport-14400-to-rec-5.1.x

rec-5.1: switch el7 builds to Oracle Linux 7

switch el7 builds to Oracle Linux 7

(cherry picked from commit 73a1b98f92c671c590540ac19d74d70499f89066)

Merge pull request #14389 from omoerbeek/backport-14384-to-rec-5.1.x

rec: Backport 14384 to rec-5.1.x: keep Lua config as existing configs might use it

rec: keep Lua config as existing configs might use it

(cherry picked from commit 6b2d9507dab4d64623bbca6fcd3bbd57ddebff8e)

Merge pull request #14375 from omoerbeek/rec-specialize-5.1.x

rec: specialize rel/rec-5.1.x branch to rec only workflows

rec: specialize rel/rec-5.1.x branch to rec only workflows

Merge pull request #14374 from omoerbeek/rec-debian-tweaks

Rec followup to #14265: use correct file suffix for reloading and debian tweaks

Also use variable suffix for file when reloading YAML-Lua config

Merge pull request #14363 from omoerbeek/rec-rename-new-udr-settings

rec: make names of new udr settings consistent with existing scheme

Merge pull request #14373 from omoerbeek/rec-dns64-double-soa

rec: don't send double SOA record in the case of a dns64 CNAME that does not resolve

Add test for duplicate SOA record in the dns64/NODATA case

rec: tweak debian install, as suggested by @zeha

Merge pull request #14265 from omoerbeek/rec-yaml-as-conf

rec: allow recursor.conf file to contain YAML to ease transition to YAML config

Merge pull request #14366 from PowerDNS/dependabot/pip/pdns/keyroller/urllib3-1.26.19

build(deps): bump urllib3 from 1.26.18 to 1.26.19 in /pdns/keyroller

Merge pull request #14360 from rgacogne/auth-fix-distributor-unit-test-leak

auth: Better fix for the leak reported by LSAN in test-distributor_hh.cc

build(deps): bump urllib3 from 1.26.18 to 1.26.19 in /pdns/keyroller

Bumps [urllib3](https://github.com/urllib3/urllib3) from 1.26.18 to 1.26.19.
- [Release notes](https://github.com/urllib3/urllib3/releases)
- [Changelog](https://github.com/urllib3/urllib3/blob/main/CHANGES.rst)
- [Commits](https://github.com/urllib3/urllib3/compare/1.26.18...1.26.19)

---
updated-dependencies:
- dependency-name: urllib3
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #14345 from PowerDNS/dependabot/pip/pdns/recursordist/docs/urllib3-2.2.2

build(deps): bump urllib3 from 2.2.0 to 2.2.2 in /pdns/recursordist/docs

auth: Use [[maybe_unused]] in the distributor unit tests

As suggested by Otto.