Better wording in comment

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
(cherry picked from commit 240460d77be35a6a1c1e6fa22364efe19dc3ee84)

Timout handling for ixfrs as a client.

One complicating factor is that this is shared code, but auth and
rec do not agree on the definiton of the timeout value: auth states
it is a maximum idle time, while rec state it is the total xfr time.
While both apporaches make sense and in the end we would like to
enforce both, we now go for a more simple solution that respects
auth or rec behaviour based on a flag.

(cherry picked from commit fee334ae0f5083d47f9adc207d5a1a6d36ebc2ac)

Merge pull request #12173 from omoerbeek/backport-12066-to-rec-4.7.x

rec: Backport 12066 to rec 4.7.x: Detect invalid bytes in makeBytesFromHex()

Merge pull request #12171 from omoerbeek/backport-12081-to-rec-4.7.x

rec: Backport 12081 to re-4.7.x: Log invalid RPZ content when obtained via IXFR

Merge pull request #12168 from omoerbeek/backport-12038-to-rec-4.7.x

rec: Backport 12038 to rec-4.7.x: when an expired nsec3 entry is seen, move it to the front of the expiry queue

Apply Otto's suggestion

(cherry picked from commit 7f73a566805979f94bc1a23c9088372e00177bec)

misc: Switch to a std::array in makeHexDump()

(cherry picked from commit 8c7a1b8a671291e6ee2e7e4abdbdd41e9c714b31)

auth: Detect invalid bytes in makeBytesFromHex()

Also only allocate the required number of bytes, not twice that.

(cherry picked from commit 50953de897023742e43d3feab976b891be1c6e63)

rec: Log invalid RPZ content when obtained via IXFR

That kind of content was properly logged and handled when received
during the initial loading (AXFR) but not when received via an
incremental update.

(cherry picked from commit 55a99233728fc01e3946a97fb8dbb073a3003622)

rec: when an expired nsec3 entry is seen, move it to the front of the expiry queue

(cherry picked from commit 05a4985708988eb10f9291a40406b205e7d5d5b2)

Merge pull request #11977 from Habbie/backport-11961-to-rec-4.7.x

rec 4.7.x docker: upgrade to bullseye

docker: upgrade to bullseye

(cherry picked from commit a0d3acff25a92627186ee43bead110aef416f59a)

Merge pull request #11947 from Habbie/backport-11788-to-rec-4.7.x

rec-4.7: add EL9+9stream targets

add 9-stream target and test it daily

(cherry picked from commit f021d529629ef9dc7b7983b9d1c7e7ca589b6f13)

add el-9 target

(cherry picked from commit 4728ab89f071c0d5f596638614efb85a26fafdd4)

Merge pull request #11936 from omoerbeek/backport-11904-to-rec-4.7.x

rec: Backport 11904 to rec-4.7.x: For zones having many NS records, we are not interested in all so take a sample.

Merge pull request #11940 from omoerbeek/backport-11890-to-rec-4.7.x

rec: Backport 11890 to rec-4.7.x: Failure to retrieve DNSKEYs of an Insecure zone should not be fatal.

Failure to retrieve DNSKEYs of an Insecure zone should not be fatal.

This issue happens if a record set is signed even though the zone
itself is Insecure. Syncres then tries to retrieve DNSKEYs and a
timeout on that would lead to an ImmediateServFailException.

Only throw exception later in validateRecordsWithSigs, after checking
zone cuts, when we are sure the zone is Secure.

(cherry picked from commit 6dc8b0b2c6fb2e628356f8dc5c5de4dfd919ec5d)

For zones having many NS records, we are not interested in all so take a sample.

(cherry picked from commit a49b0b40a0c1c1af9531b99e9266a8c2aa89cd68)

Merge pull request #11897 from omoerbeek/backport-11848-to-rec-4.7.x

rec: backport 11848 to rec-4.7.x: Also check qperq limit if throttling happened, as it increases counters.

Also check qperq limit if throttling happened, as it increases counters.

This condition would be caught when going out previously, so is
an optimisation, not a behaviour difference.

(cherry picked from commit c75d28f2b786b986ec10675e3c853a52eec11e37)

Merge pull request #11879 from fredmorcos/backport-11850-to-rec-4.7.x

Backport #11850 (Fix recursor not responsive after Lua config reload) to rec 4.7.x

Rec: Move FrameStreamServersInfo to rec-main

(cherry picked from commit 4354beb50caffdc4cb45ef3004402a780a0e2d81)

Rec: Asynchronously destroy old connections to dnstap servers

With @omoerbeek

Closes #11795

(cherry picked from commit 2e0757d5c661c124b58ac69e91da440ad9705c62)

Rec: Don't reload Lua config if it hasn't changed

This also groups together 1) the list of frame stream servers, 2) the config from which
the list was created and 3) the config's generation into a single struct called
FrameStreamServersInfo. The struct is used to compare the old and new configuration to
decide whether to destroy the old config object or not.

Part of #11795

(cherry picked from commit afaf1b5d87c4a4961eadaf114855a335711c33c8)

Merge pull request #11847 from omoerbeek/backport-11843-to-rec-4.7.x

rec: backport 11843 to rec-4.7.x: Clear the caches *after* loading authzones.

Merge pull request #11774 from omoerbeek/backport-11773-to-rec-4.7.x

rec: Backport 11773 to rec-4.7.x: Resize answer length to actual received length in udpQueryResponse

Merge pull request #11877 from omoerbeek/rec-backport-to-rec-4.7.x-pb-size

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.7.x

Clear the caches *after* loading authzones.

(cherry picked from commit 799114529470923a5e633dadc47b59c4e2a7e220)

Backport of protobuf PSA 2022-02 (CVE-2022-37428) to rec-4.7.x

Add regression test for #11771 (lenght of annswer in udpQueryResponse)

(cherry picked from commit 8ca70105ddd6fda10e98b6d3d8cb67523ebc81e1)

Rec: Resize answer length to actual received length in udpQueryResponse

Fixes #11771

(cherry picked from commit cbb5ac45a90e4109ff1f8536bf5d99aafd62ef0c)

Merge pull request #11750 from omoerbeek/backport-11726-to-rec-4.7.x

rec: Backport 11726 to rec 4.7.x: Convert generic format while parsing zone files for ZoneToCache

Merge pull request #11748 from omoerbeek/backport-11692-to-rec-4.7.x

rec: Backport 11692 to rec-4.7.x: Run tasks from houskeeping thread in a proper way.

Merge pull request #11747 from omoerbeek/backport-11641-to-rec-4.7.x

rec: Backport 11641 to rec-4.7.x: Move to v2 for CodeQL action, v1 will be deprecated dec 2022

Avoid log spam

Formatting

(cherry picked from commit 83a2c32ef314bb2818bdbdecb2a183870b9c1664)

Update structured logging for exceptions to be in line with rest of code

(cherry picked from commit c85af1d0f0b560d1ed4150ba6d56b06eb290c913)

Convert generic format while parsing zone files for ZoneToCache.

Fixes #11724

(cherry picked from commit 52b2a1f2025906b34b8ac207c349773cf4e4b255)

Merge pull request #11740 from Habbie/backport-11735-to-rec-4.7.x

rec-4.7: dh_builddeb: force gzip compression, thanks Zash!

Run tasks from houskeeping thread in a proper way.

Previously, this was only done if log-common-errors was true, due
to argument reversal.  In general task *would* be executed, as they
are also run after each query processed by SyncRes (so not after
packet cache hits).

Thanks to @jelu!

(cherry picked from commit c42b6632e00eaa93911ce88a0b4aa8c598441e2a)

Move to v2 for CodeQL action, v1 will be deprecated dec 2022

(cherry picked from commit a0c99342e7aa22e16a75d9e7daa4de69d087bc38)

dh_builddeb: force gzip compression, thanks Zash!

(cherry picked from commit bbfa37c0232b56e2227668717dbb97ce4f01d990)

Merge pull request #11699 from Habbie/backport-11658-to-rec-4.7.x

rec-4.7.x: protobuf: use python implementation during tests

protobuf: use python implementation during tests

(cherry picked from commit 2dd4d60b8103a64c796296647ad7b45226d5a5bd)

Merge pull request #11645 from omoerbeek/backport-11644-to-rec-4.7.x

rec: Backport 11644 to rec-4.7.x: Deprecation warning for XPF settings.

Deprecation warning for XPF settings.

(cherry picked from commit 7e32a0b96df460abd8fb98fbb63f4d336b9c3d03)

Backport of #11644

Merge pull request #11632 from omoerbeek/backport-11609-to-rec-4.7.x

rec: Backport 11609 to rec 4.7.x: Fix API issue when asking config values for allow-from or allow-notiy-from

Merge pull request #11635 from omoerbeek/backport-11570-to-rec-4.7.x

rec: Backport 11570 Reduce make -j parameter from 8 to 4, as dnsdist does.

Reduce make -j parameter from 8 to 4, as dnsdist does.

This might fix the occasional build issues with the CodeQL GH Action.

(cherry picked from commit d6b94fbd9664a7acac00f5dd8ebbacc4119ed045)

Document meaning of empty allow-from

(cherry picked from commit a75c8e8019462827dae4599b6a24ef7a0645c30c)

Add tests for empty allow-from and allow-notify-from case

(cherry picked from commit bfa1ae26f5c174d6fe237dc0ed9d08043518648f)

Fix API issue when asking config values for allow-from or allow-notify-from

(cherry picked from commit 3aa876deef257fc6d63da32df0742ed8cf91aaa1)

Merge pull request #11559 from omoerbeek/backport-11539-to-rec-4.7.x

rec: Backport 11539 to rec 4.7.x: DNSSEC counters track responses sent, not actual validations performed

Merge pull request #11560 from omoerbeek/backport-11541-to-rec-4.7.x

rec: Backport 11541 to rec 4.7.x: fix DoT port for probed authoritative servers

Merge pull request #11558 from omoerbeek/backport-11529-to-rec-4.7.x

rec: Backport of #11529: Zap a leftover debug line in test code

Decide to use Dot earlier.

To keep the nsspeed table good, we need to decide to use DoT earlier.
Now the lookup and updats of the speed table occur in a proper way
(using the port that is actually used for the connetion) and when
we switch from/to DoT, the old nsspeeds are cleared by the already
existing code.

(cherry picked from commit dc777d96b2fedd5a33fbb94a8571ba1c0d11d284)

Missing newline in dump output, noted by ph1

(cherry picked from commit a8bd214e7c2a9ad357beae27378f59f3007578bf)

Fix port, as noted by ph1 on IRC

Without this, probed DoT actually becomes regular TCP.

(cherry picked from commit 9bea6fe3ee133b0075d34c30739298679393636e)

rec: Fix DNSSEC counters description in web/prometheus as well

(cherry picked from commit d76a66060f94ccac92db5cee691f0f4bb1cde022)

rec: DNSSEC counters track responses sent, not actual validations performed

Since 4.1 these counters are updated for every response sent, even if the DNSSEC
status was fetched from the records cache and did not involve any actual
validation.

(cherry picked from commit 3aebcb3af2cea8f85502fe070ece1da6a531f85e)

Zap a leftover debug line in test code

(cherry picked from commit ae901eb52569bc9eca6c4e871a3fc808c7e19002)

Merge pull request #11538 from omoerbeek/backport-11536-to-rec-4.7.x

rec: Backport 11536 to rec 4.7.x: Fix Coverity 1487923 Out-of-bounds read (wrong use of sizeof)

Move to std:::array for name array, as suggested by rgacogne

(cherry picked from commit 611457a712e44f0000f8ba337c502881ea245a29)

Fix Coverity 1487923 Out-of-bounds read (wrong use of sizeof)

(cherry picked from commit 0aef4ca5459c907024bc83156dd19e91036e95b5)

Merge pull request #11528 from omoerbeek/rec-4.7.x-rec-only

rec: specialize to rec in rel/rec-4.7.x branch

CircleCI parts for rec branch specialization

rec: specialize to rec in rel/4.7.x branch

Merge pull request #11487 from omoerbeek/rec-probe-auth-dot

Rec: probe auth for DoT support

Update pdns/recursordist/docs/settings.rst

Co-authored-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

doResolveAtThisIP() can throw and do not throttle when DoT probing

Review comments: document what happens on failure and use runOnce() as a building block for runTasks()

Process review comments: use correct auth and nsname for task

Apply suggestions from code review

Co-authored-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Only probe somewhat popular auths; i.e. auths that are revisited at least once

Docs

Tweaks

Add ttd pruning by using a multi-index table and update status after DoT use

Initial code to Probe nameservers for DoT.

The ratelmiting code sure need so extra attention.
Missing: pruning, stats, tests, docs.

wip

Merge pull request #11525 from omoerbeek/dnsdist-docs-retain

Mention addCapabilitiesToRetain in eBPF docs.

Merge pull request #11521 from Habbie/auth-4.6.2-docs

auth-4.6.2: changelog + secpoll

auth-4.6.2: changelog + secpoll

Merge pull request #11524 from omoerbeek/upddate-moment.js

Update moment.min.js (path traversal fix; we are unaffected)

Merge pull request #11523 from Y7n05h/master

Reject BPFFilter::attachToAllBinds() at configuration time

both CAP_SYS_ADMIN and CAP_BPF mightr be relevant

Co-authored-by: Remi Gacogne <github@coredump.fr>

Update moment.min.js (path tarversal fix; we are unaffected)

Also remove unused moment.js

Merge pull request #11507 from omoerbeek/rec-proxy-by-table-domain

Rec: proxy by table per domain queried

Typo spotted by reviewer

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Mention addCapabilitiesToRetain in eBPF docs.

Update pdns/dnsdistdist/docs/reference/ebpf.rst

Co-authored-by: Remi Gacogne <github@coredump.fr>

Reject BPFFilter::attachToAllBinds() at configuration time

Signed-off-by: Y7n05h <Y7n05h@protonmail.com>

Merge pull request #11513 from rgacogne/ddist-downstream-conn-manager-header

dnsdist: Move DownstreamConnectionsManager to its own header

Merge pull request #11515 from rgacogne/ddist-more-disable-options

dnsdist: Add more build-time options to select features

Merge pull request #11517 from rgacogne/mplexer-smaller-event-arrays

Multiplexer: Take the maximum number of events as a hint

Merge pull request #11516 from omoerbeek/rec-coverity-20220406

followup on #11509: copyTree() also throws a std::logic_exception on internal inconsistencies

Merge pull request #11492 from omoerbeek/rec-add-deferred

Rec: add deferred mode for additional records

Multiplexer: Take the maximum number of events as a hint

This allows indicating the maximum number of events we want to process
in a single run, which is usually bounded by the number of file descriptors
we are planning on watching.
The default is still 1024 events, but this change makes it possible to
allocate a smaller vector of events to reduce the memory usage when we
know we are going to need to process so many events in a single run.

followup on #11509: copyTree() also throws a std::logic_exception on internal inconsistencies

Coverity 1487850 Uncaught exception
Coverity 1487851 Uncaught exception

Proces review comments: rename variable and some words about expirig additionals in docs.