Merge pull request #16291 from pieterlexis/dnsdist-ot-tcp

dnsdist: Fix delayed OT sending for TCP queries

Merge pull request #16289 from pieterlexis/fix-OT-kind

Fix OpenTelemetry Trace names for Span Kinds

Merge pull request #16290 from pieterlexis/dnsdist-ot-improve-parenting

fix(dnsdist): Improve OT parenting

tests(dnsdist): Add TCP query OT tests

fix(dnsdist): Add `delay` option to `RemoteLogResponseAction`

This matches the behaviour of the YAML config.

tests(dnsdist): Add OT Trace delayed PB test

feat(dnsdist): Also send delayed protobuf for TCP queries

This commit makes some changes to how delayed messages are sent. We now
store the raw, serialized DNSMessage protobuf data in the id-state
object when a send delay is needed.

When the delayed protobuf has to be sent, we generate the OpenTelemetry
Trace data and append it to the message to be sent.

feat(dnsdist): Add OT trace span for TCP queries

fix(dnsdist): Improve OT parenting

fix(OT): correctly name the SpanKinds

fix(dnsdist): Set SpanKind::Server for every span

Merge pull request #16285 from rgacogne/ddist-rings-dnsname-lock

dnsdist: Make inserting to the in-memory rings a bit faster

Merge pull request #16230 from Habbie/double_fault

luawrapper: don't segfault on failure in traceback handler

dnsdist: Make inserting to the in-memory rings a bit faster

This commit moves the allocation and copy of the DNS name before
taking the lock, reducing contention. In completely unrealistic
benchmarks this makes the insertion ~10% faster.
Ideally I would rather move the existing `DNSName` instead of allocating
a new one, as we are usually done with it by the point we insert
into the rings, but this involves a lot of changes so let's start
with this.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16281 from rgacogne/ddist-fix-build-protobuf

dnsdist: Fix build error when only protobuf is enabled

dnsdist: Fix build error when only protobuf is enabled

The build fails with:
```
../dnsdist-protobuf.cc: In member function ‘void DNSDistProtoBufMessage::serialize(std::string&) const’:
../dnsdist-protobuf.cc:205:7: error: ‘vinfolog’ was not declared in this scope
  205 |       vinfolog("Error while parsing the RRs from a response packet to add them to the protobuf message: %s", exp.what());
      |       ^~~~~~~~
```
because of a missing header.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16265 from rgacogne/warn-release-workflows

Warn about workflows that needs to be backported to release branches

Merge pull request #16252 from miodvallat/4910

auth-4.9.10 secpoll and changelog

Warn about workflows that needs to be backported to release branches

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16182 from pieterlexis/dnsdist-ot-tracing

dnsdist: Add OpenTelemetry Tracing support

Merge pull request #16262 from pieterlexis/auth-nsec3-salt-bcp

feat(pdnsutil): Warn when NSEC3 iterations or salt are non-BCP

Merge pull request #16260 from rgacogne/ddist-coverity-490492

dnsdist: Fix a performance inefficiency reported by Coverity

auth-4.9.{10,11} secpoll and changelog

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #16232 from omoerbeek/rec-dot-verify

rec: Allow ability to validate certificates (and more) for outgoing DoT connections

feat(pdnsutil): Warn when NSEC3 iterations or salt are non-BCP

Closes: #16212

chore(dnsdist): Improve InternalQueryState field ordering

tests(dnsdist): make clang++ happy with OT tests

feat(dnsdist): Add delay option to RemoteLogResponseAction

fix(dnsdist): make the rootspan the parent of processResponse

feat(dnsdist): Add Query info to the root span

feat(dnsdist): add hostname and version to scopespan

feat(dnsdist): Add Span Kind to Spans and add a name to ScopeSpan

docs(dnsdist): Add missing OT tracing functions

fix(dnsdist): Move OT query information into the scope span

Signed-off-by: Pieter Lexis <pieter.lexis@powerdns.com>

fix(dnsdist): fix crash on empty selected backend

feat(OT): Remove `random` and `clear` functions for TraceID and SpanID

Their classes now have a `clear` and `makeRandom` function. There are
also static functions to get a random ID.

tests(dnsdist): Add OpenTelemetry regression tests

feat(dnsdist): Add global config option for OpenTelemetry tracing

feat(dnsdist): Wrap Spans in the Tracer in LockGuarded

feat(dnsdist): add getSpanID to DNSQuestion

chore: ignore `ext/` files in coverage reports

chore: Add some OT related words to the allow list

fix(dnsdist): Move Tracer to shared_ptr

This makes it impossible to create a Tracer object outside of a
shared_ptr as well. Thanks to Remi for the shared_from_this hint.

fix: correct name for ProtoZero::Message::setOpenTelemetryTraceID

docs(dnsdist): add OT Tracing info

tests(dnsdist): add OT Telemetry tests

chore: keep SpanID and TraceID together in the file

feat: implement ostream << operator for TraceID

feat: implement ostream << operator for SpanID

feat: implement ostream << operator for AnyValue

feat(dnsdist): add Lua method to dq to get TraceID

feat(dnsdist): add initial OpenTelemetry Tracing

chore(contrib): ignore generated files and documented OT checkouts

fix(dnsdist): improve error when YAML is unsupported

Merge pull request #16039 from rgacogne/ddist-skip-lb-policy-on-cache-hits

dnsdist: Speed up cache hits by skipping the LB policy when possible

dnsdist: Fix a performance inefficiency reported by Coverity

As CID 490492 (`AUTO_CAUSES_COPY`).

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Test ECS/Zero Scope pool configuration from YAML

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16257 from zeha/typo

Fix typo in ipv{4,6}hints comment

dnsdist: Document the `enabled` parameter to `ServerPool:setZeroScope()`

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Apply the new ECS/zero-scope YAML configuration to pools

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Also use the correct zero scope logic in the YAML configuration

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Typo

Co-authored-by: Remi Gacogne <github@coredump.fr>
Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Fixes from code review by @rgacogne

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Correct spelling errors

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16256 from rgacogne/ddist-lua-versions-meson

dnsdist: Allow selecting a specific version of Lua with meson

Merge pull request #16258 from omoerbeek/rec-cook-test-fix

rec: fix test_Cookies spurious error

Merge pull request #16220 from omoerbeek/move-pb-trace-test

Move test-protozero-trace.cc to toplevel and add it in the autotools build where it was missing

Merge pull request #16217 from rgacogne/sbom-purls

dnsdist: Add package urls to our SBOMs

Merge pull request #16219 from omoerbeek/contrib-pblogger-hex

ProtobufLogger: print OpenTelemetry IDs in hex, add proper command arg parser

rec: fix test_Cookies spurious error

With some bad luck, all requests went to .26, it that case .25 will
not be marked as Supported. So be happy if at least one of the
target IPs is marked as Supported.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Fix typo in ipv{4,6}hints comment

Signed-off-by: Chris Hofstaedtler <chris.hofstaedtler@deduktiva.com>

Merge pull request #15550 from zeha/svcb

Support new SVCB parameters: ohttp, dohpath, tls-supported-groups

Merge pull request #16013 from Habbie/sha1hed

update keyblocks with non-SHA1 signing keys

Merge pull request #16254 from rgacogne/ddist-quic-freebsd-any

ComboAddress: Fix "unspecified address" test when the port is set

Merge pull request #16253 from Habbie/sdist-fix

auth sdist: include additional files/dirs

test-iputils_hh.cc: Appease clang-tidy

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Allow selecting a specific version of Lua with meson

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

iputils: Make static addresses static in `ComboAddress::isUnspecified`

Prevent having to instantiate them again and again, as suggested by
Otto.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16244 from rgacogne/ddist-dnsheader-timeout-response

dnsdist: Set up the dns header for timeout response rules

ComboAddress: Fix "unspecified address" test when the port is set

This fixes the QUIC issue reported on FreeBSD: the frontend
was not considered to be bound to an `ANY`/unspecified address
because the port was set, causing the address selection address
to fail.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16209 from miodvallat/declined_to_comment

pdnsutil: fix b2b-migrate to from sql to non-sql

Merge pull request #16251 from omoerbeek/rec-rust-warning

rec: silence rust warning

Add more DoT tests using a local responder

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16213 from miodvallat/tertiary

auth: fix a secondary domain type check in bind backend

In zone copy, proceed anyway if --force even if target doesn't support comments.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #16243 from miodvallat/meet_your_maker

auth: remove and delete dead code which turns out to be dead and also not alive

Merge pull request #16240 from miodvallat/lua_and_order

auth: boring changes to lua backend

auth sdist: include additional files/dirs

Signed-off-by: Peter van Dijk <peter.van.dijk@powerdns.com>

dnsdist: Don't choke on invalid DNS payload when generating protobuf messages

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Properly zero-initialize the "fake" DNS header

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Set up the dns header for timeout response rules

Response actions expect that there is a DNS payload containing at
least a DNS header, as an incoming packet smaller than a DNS header
would have been discarded early in the processing path.
Unfortunately this is not true for timeout response rules, where we
no longer have the DNS payload from the query and obviously don't
have a response either. This commit restores a DNS header from the
information we have (query ID, flags) so that most actions can
proceed normally.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16123 from pieterlexis/dnsdist-ipcrypt-16110

dnsdist: Add IPCrypt2 PFX to Remote(Response)LogAction

Merge pull request #16215 from romeroalx/fix-pip-name-normalization

gh actions - misc-dailies: fix test that validates hashes of Python packages

Merge pull request #16245 from miodvallat/matriochka_exception

auth: yet another logic botch

Appease clang-tidy

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

In getUpdatedPrimaries(), parse zone name first.

Otherwise, if another field is not parsed correctly, we risk triggering
another exception while attempting to use the unset zone name in the
error report.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #16242 from rgacogne/ddist-xsk-large-payload

dnsdist: Fix handling of large XSK frames

dnsdist: Fix handling of large XSK frames

There was a bug in the way we were computing the remaining capacity
of a XSK frame, because we forgot to account for the network headers.
This caused some XSK responses to be discarded by the kernel (`tx_invalid_descs`)
because there was not enough space left in the frame (less than
`XDP_PACKET_HEADROOM`).

Thanks to `ednaq` for reporting this via ou YesWeHack program.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Remove leftover DNSBackend::maker() routines.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #16241 from rgacogne/ddist-round-robin-atomic

dnsdist: Make the round-robin LB policy internal counter atomic