For zones having many NS records, we are not interested in all so take a sample.

(cherry picked from commit a49b0b40a0c1c1af9531b99e9266a8c2aa89cd68)

Merge pull request #11897 from omoerbeek/backport-11848-to-rec-4.7.x

rec: backport 11848 to rec-4.7.x: Also check qperq limit if throttling happened, as it increases counters.

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

(cherry picked from commit c75d28f2b786b986ec10675e3c853a52eec11e37)

Merge pull request #11879 from fredmorcos/backport-11850-to-rec-4.7.x

Backport #11850 (Fix recursor not responsive after Lua config reload) to rec 4.7.x

Rec: Move FrameStreamServersInfo to rec-main

(cherry picked from commit 4354beb50caffdc4cb45ef3004402a780a0e2d81)

Rec: Asynchronously destroy old connections to dnstap servers

With @omoerbeek

Closes #11795

(cherry picked from commit 2e0757d5c661c124b58ac69e91da440ad9705c62)

Rec: Don't reload Lua config if it hasn't changed

This also groups together 1) the list of frame stream servers, 2) the config from which
the list was created and 3) the config's generation into a single struct called
FrameStreamServersInfo. The struct is used to compare the old and new configuration to
decide whether to destroy the old config object or not.

Part of #11795

(cherry picked from commit afaf1b5d87c4a4961eadaf114855a335711c33c8)

Merge pull request #11847 from omoerbeek/backport-11843-to-rec-4.7.x

rec: backport 11843 to rec-4.7.x: Clear the caches *after* loading authzones.

Merge pull request #11774 from omoerbeek/backport-11773-to-rec-4.7.x

rec: Backport 11773 to rec-4.7.x: Resize answer length to actual received length in udpQueryResponse

Merge pull request #11877 from omoerbeek/rec-backport-to-rec-4.7.x-pb-size

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.7.x

Clear the caches *after* loading authzones.

(cherry picked from commit 799114529470923a5e633dadc47b59c4e2a7e220)

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.7.x

Add regression test for #11771 (lenght of annswer in udpQueryResponse)

(cherry picked from commit 8ca70105ddd6fda10e98b6d3d8cb67523ebc81e1)

Rec: Resize answer length to actual received length in udpQueryResponse

Fixes #11771

(cherry picked from commit cbb5ac45a90e4109ff1f8536bf5d99aafd62ef0c)

Merge pull request #11750 from omoerbeek/backport-11726-to-rec-4.7.x

rec: Backport 11726 to rec 4.7.x: Convert generic format while parsing zone files for ZoneToCache

Merge pull request #11748 from omoerbeek/backport-11692-to-rec-4.7.x

rec: Backport 11692 to rec-4.7.x: Run tasks from houskeeping thread in a proper way.

Merge pull request #11747 from omoerbeek/backport-11641-to-rec-4.7.x

rec: Backport 11641 to rec-4.7.x: Move to v2 for CodeQL action, v1 will be deprecated dec 2022

Avoid log spam

Formatting

(cherry picked from commit 83a2c32ef314bb2818bdbdecb2a183870b9c1664)

Update structured logging for exceptions to be in line with rest of code

(cherry picked from commit c85af1d0f0b560d1ed4150ba6d56b06eb290c913)

Convert generic format while parsing zone files for ZoneToCache.

Fixes #11724

(cherry picked from commit 52b2a1f2025906b34b8ac207c349773cf4e4b255)

Merge pull request #11740 from Habbie/backport-11735-to-rec-4.7.x

rec-4.7: dh_builddeb: force gzip compression, thanks Zash!

Run tasks from houskeeping thread in a proper way.

Previously, this was only done if log-common-errors was true, due
to argument reversal.  In general task *would* be executed, as they
are also run after each query processed by SyncRes (so not after
packet cache hits).

Thanks to @jelu!

(cherry picked from commit c42b6632e00eaa93911ce88a0b4aa8c598441e2a)

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

(cherry picked from commit a0c99342e7aa22e16a75d9e7daa4de69d087bc38)

dh_builddeb: force gzip compression, thanks Zash!

(cherry picked from commit bbfa37c0232b56e2227668717dbb97ce4f01d990)

Merge pull request #11699 from Habbie/backport-11658-to-rec-4.7.x

rec-4.7.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11645 from omoerbeek/backport-11644-to-rec-4.7.x

rec: Backport 11644 to rec-4.7.x: Deprecation warning for XPF settings.

Deprecation warning for XPF settings.

(cherry picked from commit 7e32a0b96df460abd8fb98fbb63f4d336b9c3d03)

Backport of #11644

Merge pull request #11632 from omoerbeek/backport-11609-to-rec-4.7.x

rec: Backport 11609 to rec 4.7.x: Fix API issue when asking config values for allow-from or allow-notiy-from

Merge pull request #11635 from omoerbeek/backport-11570-to-rec-4.7.x

rec: Backport 11570 Reduce make -j parameter from 8 to 4, as dnsdist does.

Reduce make -j parameter from 8 to 4, as dnsdist does.

This might fix the occasional build issues with the CodeQL GH Action.

(cherry picked from commit d6b94fbd9664a7acac00f5dd8ebbacc4119ed045)

Document meaning of empty allow-from

(cherry picked from commit a75c8e8019462827dae4599b6a24ef7a0645c30c)

Add tests for empty allow-from and allow-notify-from case

(cherry picked from commit bfa1ae26f5c174d6fe237dc0ed9d08043518648f)

Fix API issue when asking config values for allow-from or allow-notify-from

(cherry picked from commit 3aa876deef257fc6d63da32df0742ed8cf91aaa1)

Merge pull request #11559 from omoerbeek/backport-11539-to-rec-4.7.x

rec: Backport 11539 to rec 4.7.x: DNSSEC counters track responses sent, not actual validations performed

Merge pull request #11560 from omoerbeek/backport-11541-to-rec-4.7.x

rec: Backport 11541 to rec 4.7.x: fix DoT port for probed authoritative servers

Merge pull request #11558 from omoerbeek/backport-11529-to-rec-4.7.x

rec: Backport of #11529: Zap a leftover debug line in test code

Decide to use Dot earlier.

To keep the nsspeed table good, we need to decide to use DoT earlier.
Now the lookup and updats of the speed table occur in a proper way
(using the port that is actually used for the connetion) and when
we switch from/to DoT, the old nsspeeds are cleared by the already
existing code.

(cherry picked from commit dc777d96b2fedd5a33fbb94a8571ba1c0d11d284)

Missing newline in dump output, noted by ph1

(cherry picked from commit a8bd214e7c2a9ad357beae27378f59f3007578bf)

Fix port, as noted by ph1 on IRC

Without this, probed DoT actually becomes regular TCP.

(cherry picked from commit 9bea6fe3ee133b0075d34c30739298679393636e)

rec: Fix DNSSEC counters description in web/prometheus as well

(cherry picked from commit d76a66060f94ccac92db5cee691f0f4bb1cde022)

rec: DNSSEC counters track responses sent, not actual validations performed

Since 4.1 these counters are updated for every response sent, even if the DNSSEC
status was fetched from the records cache and did not involve any actual
validation.

(cherry picked from commit 3aebcb3af2cea8f85502fe070ece1da6a531f85e)

Zap a leftover debug line in test code

(cherry picked from commit ae901eb52569bc9eca6c4e871a3fc808c7e19002)

Merge pull request #11538 from omoerbeek/backport-11536-to-rec-4.7.x

rec: Backport 11536 to rec 4.7.x: Fix Coverity 1487923 Out-of-bounds read (wrong use of sizeof)

Move to std:::array for name array, as suggested by rgacogne

(cherry picked from commit 611457a712e44f0000f8ba337c502881ea245a29)

Fix Coverity 1487923 Out-of-bounds read (wrong use of sizeof)

(cherry picked from commit 0aef4ca5459c907024bc83156dd19e91036e95b5)

Merge pull request #11528 from omoerbeek/rec-4.7.x-rec-only

rec: specialize to rec in rel/rec-4.7.x branch

CircleCI parts for rec branch specialization

rec: specialize to rec in rel/4.7.x branch

Merge pull request #11487 from omoerbeek/rec-probe-auth-dot

Rec: probe auth for DoT support

Update pdns/recursordist/docs/settings.rst

Co-authored-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

doResolveAtThisIP() can throw and do not throttle when DoT probing

Review comments: document what happens on failure and use runOnce() as a building block for runTasks()

Process review comments: use correct auth and nsname for task

Apply suggestions from code review

Co-authored-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Only probe somewhat popular auths; i.e. auths that are revisited at least once

Docs

Tweaks

Add ttd pruning by using a multi-index table and update status after DoT use

Initial code to Probe nameservers for DoT.

The ratelmiting code sure need so extra attention.
Missing: pruning, stats, tests, docs.

wip

Merge pull request #11525 from omoerbeek/dnsdist-docs-retain

Mention addCapabilitiesToRetain in eBPF docs.

Merge pull request #11521 from Habbie/auth-4.6.2-docs

auth-4.6.2: changelog + secpoll

auth-4.6.2: changelog + secpoll

Merge pull request #11524 from omoerbeek/upddate-moment.js

Update moment.min.js (path traversal fix; we are unaffected)

Merge pull request #11523 from Y7n05h/master

Reject BPFFilter::attachToAllBinds() at configuration time

both CAP_SYS_ADMIN and CAP_BPF mightr be relevant

Co-authored-by: Remi Gacogne <github@coredump.fr>

Update moment.min.js (path tarversal fix; we are unaffected)

Also remove unused moment.js

Merge pull request #11507 from omoerbeek/rec-proxy-by-table-domain

Rec: proxy by table per domain queried

Typo spotted by reviewer

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Mention addCapabilitiesToRetain in eBPF docs.

Update pdns/dnsdistdist/docs/reference/ebpf.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Reject BPFFilter::attachToAllBinds() at configuration time

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Merge pull request #11513 from rgacogne/ddist-downstream-conn-manager-header

dnsdist: Move DownstreamConnectionsManager to its own header

Merge pull request #11515 from rgacogne/ddist-more-disable-options

dnsdist: Add more build-time options to select features

Merge pull request #11517 from rgacogne/mplexer-smaller-event-arrays

Multiplexer: Take the maximum number of events as a hint

Merge pull request #11516 from omoerbeek/rec-coverity-20220406

followup on #11509: copyTree() also throws a std::logic_exception on internal inconsistencies

Merge pull request #11492 from omoerbeek/rec-add-deferred

Rec: add deferred mode for additional records

Multiplexer: Take the maximum number of events as a hint

This allows indicating the maximum number of events we want to process
in a single run, which is usually bounded by the number of file descriptors
we are planning on watching.
The default is still 1024 events, but this change makes it possible to
allocate a smaller vector of events to reduce the memory usage when we
know we are going to need to process so many events in a single run.

followup on #11509: copyTree() also throws a std::logic_exception on internal inconsistencies

Coverity 1487850 Uncaught exception
Coverity 1487851 Uncaught exception

Proces review comments: rename variable and some words about expirig additionals in docs.

dnsdist: Disable more features in the "least" CI test

dnsdist: Document build options to disable NPN and false sharing

dnsdist: Add an option to disable NPN support

It has been deprecated in favor of ALPN for quite a while now.

dnsdist: Add DISABLE_FALSE_SHARING_PADDING option

dnsdist: Add DISABLE_HASHED_CREDENTIALS

dnsdist: Add DISABLE_OCSP_STAPLING

dnsdist: Move DownstreamConnectionsManager to its own header

Merge pull request #11506 from omoerbeek/packetcache-unaligned-header

Another case of unaligned access of header data found by ubsan on OpenBSD

Merge pull request #11509 from omoerbeek/rec-coverity-20220406

Rec: three more coverity cases: 1487743, 1419403 and 1419401

Only catch NetmaskException and leave out noexcept as OOM situations can still throw

Merge pull request #11299 from Zash/auto-svbc-version

Document which version adds svc-autohints

Two Coverity reports: 1419403 Uncaught exception and 1419401 Uncaught exception

Both cases have the same root cause: a possible exception thrown
from NetmaskTree::copyTree.  Coverity negelects to report the calling
context, I'm assuming it is from a static initializer.  As a
NetmaskTree can only have valid nodes (insert does not allow an
invalid AF), reading from an existign tree should be fine.

Better English in docs

Co-authored-by: Neil Cook <neil.cook@noware.co.uk>

Coverity 1487743: Unchecked return value

Another case of unaligned access of header data found by ubsan on OpenSBD

Add test for extra domain table in proxy mapping1

Add docs plus some cleanup of the DNS Suffix Match Group docs we refer to.

Add an (optional) table of domains to addProxyMapping().

The table is used to construct a DNSSuffixMatchGroup. Only apply mapping
if the qname in the query matches the DNSSuffixMatchGroup.