Refactor common code in tests and add a few tests

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Process docs review comments from Pieter

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Tidy

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Spell-check found typos

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Typo's from miod's review

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Docs and bit of a dirty hack: flush protobuf queue immediately in test mode

Saves 50s on a Protobuf test run (180s before)

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Rewrite tests using reloading of config in place of several test classes with different configs

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Fix test with new semantics of TraceIDOnly

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Generate TraceID and SpanID later (and only if needed)

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Fix qtype test (and fix an existing class/type confusion while there)

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Add a few OT Conditional trace tests

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

extend test to cover both incoming UDP and TCP

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

regression test: adapt to new OT conditionals regime

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Handle traceid_only and other conditions correctly

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Add TCP case, do early match when we know the source

One case goes wrong: old-style tracing enabled and OT tracing enabled, but traceid_only is set

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Matching logic

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Housekeeping of global and thread-local data of OT conditions

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Add struct for specifying conditions for OpenTelemetry Tracing

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16451 from Habbie/luajit-thread-aargh64itizer

luawrapper: on luajit+arm64+tsan, retry allocs harder

Merge pull request #16460 from jsoref/use-map-for-getHTTPCounter

Avoid warning about mixed explicit/implicit returns

Fix reference to class variable

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #16395 from pieterlexis/dnsdist-ot-settraceid

dnsdist: Add option to use incoming OpenTelemetry Trace ID

Merge pull request #16440 from omoerbeek/endian-janitor

Cleanup endianness determining code

Merge pull request #16458 from jsoref/use-map-for-getAppliedPolicyTypeAsString

Use map for getAppliedPolicyTypeAsString

luawrapper: on luajit+arm64+tsan, retry allocs harder

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
Signed-off-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #16461 from omoerbeek/rec-ws-loglevel

rec: fix parsing of webserver loglevel "none"

Merge pull request #16452 from miodvallat/distraction

dnsdist: evil code which will hurt your eyesight

Merge pull request #16453 from jsoref/codeql-quality-unused-local-variable-dnsdist

chore: Clean up unused variables (dnsdist)

Merge pull request #16450 from rgacogne/ddist-fix-format-type-in-regression-tests

chores(dnsdist): Replace '%s' with '%d' when formatting integers in our tests

Add two missing dependencies

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

rec: fix webserver loglevel from config

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Use map (and KeyError) to avoid warning about mixed explicit/implicit returns

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Use map for getAppliedPolicyTypeAsString

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Clean up unused variables

- Change get_rust_struct_fields_from_definition to use `indent`

  All callers were maintaining it, get_rust_struct_from_definition had updated it but left it unused...

- Fix type annotations
- Remove dead code for `response`
- Remove dead code for `url`
- Remove dead code for `wire`
- Remove unused timing
- Remove unused variable `data`
- Remove unused variable `dropped`
- Remove unused variable `fileContent`
- Remove unused variable `message`
- Remove unused variable `method`
- Remove unused variable `name`
- Remove unused variable `numberOfQueries`
- Remove unused variable `output`
- Remove unused variable `pbMessageType`
- Remove unused variable `rcode`
- Remove unused variable `secondSerial`
- Remove unused variable `total`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Alter the qname bpf filter to make it const.

This program needs to use a runtime value (a file descriptor), so in its
current form it is a non-const HUGE initializer, and causes the compiler
to emit a lot of code to initialize the local variable with the program
data, eating a lot of memory while there.

By changing the program to use a value of zero for the file descriptor,
the initializer becomes const; we need however to search for that
instruction and pach it before using the program, and this is not the
code I am most proud of... but when life gives you lemons, etc.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #16448 from PowerDNS/dependabot/pip/regression-tests.api/requests-2.32.4

chore(deps): bump requests from 2.31.0 to 2.32.4 in /regression-tests.api

chores(dnsdist): Replace '%s' with '%d' when formatting integers in our tests

These has been bothering me for a long time. I was hoping we would be
fixing them little by little but we are actually copy/pasting the wrong
formatters to new tests, so I'm biting the bullet now.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16444 from romeroalx/add-workflow-check-pinning

gh actions: move check pinned python packages to a separate workflow

chore(deps): bump requests in /regression-tests.api

Bumps [requests](https://github.com/psf/requests) from 2.31.0 to 2.32.4.
- [Release notes](https://github.com/psf/requests/releases)
- [Changelog](https://github.com/psf/requests/blob/main/HISTORY.md)
- [Commits](https://github.com/psf/requests/compare/v2.31.0...v2.32.4)

---
updated-dependencies:
- dependency-name: requests
  dependency-version: 2.32.4
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #16407 from romeroalx/fix-pip-pinning-0311

Update Python package pinning for setup_requires dependency pbr to version 7.0.3

Merge pull request #16446 from jsoref/contributing-ai-policy

docs: Mention AI Policy in contributing pull requests

docs: Mention AI Policy in contributing pull requests

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #16445 from miodvallat/rm-of-the-day

dead code tells no tales

Remove dead code.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

gh actions: move check pinned python packages to verify-pinned-python-packages.yml

update-pinned-ver-python

Merge pull request #16438 from omoerbeek/rec-rm-deprecated

rec: remove options that were deprecated a long time ago

More modern way of determining the endianness of the system

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

We're runing on a posix system, so we can expect endian.h to exist

Should fix #16091

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16372 from rgacogne/ddist-regex

dnsdist: Properly handle invalid regular expressions

Merge pull request #16384 from omoerbeek/rec-cache-tcp

rec: remember if an answer was received over TCP in record cache

rec: remove options that were deprecated a long time ago

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Document that `Regex` matches in a case-insensitive way

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16434 from omoerbeek/rec-upgrade

rec: Update upgrade guide and correct version info for cookie support

Merge pull request #16376 from jsoref/bump-actions

Bump actions

Merge pull request #16229 from Habbie/luacontext-debug-object

store debug.traceback function before user can hide it from us

rec: Update upgrade guide and correct version info for cookie support

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16426 from omoerbeek/rec-lua-conf-tidy

rec: rec-lua-conf.* tidy

Merge pull request #16429 from rgacogne/ddist-test-http1-date-header

dnsdist: Add a test for the `Date` header in rejected HTTP/1 requests

dnsdist: Add a test for the `Date` header in rejected HTTP/1 requests

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

feat(dnsdist): Add ability to use incoming TraceID

feat(sdig): parse (optional) spanid from arguments

feat(protozero): Add a more generic function to extract Trace and Span ID from EDNS option

feat(dnsdist): Add infra to update Root SpanID and TraceID in Tracer

Tidy

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16402 from pieterlexis/dnsdist-no-ot-activation-without-benchmarks

feat(dnsdist): Speed up adding Spans in the Tracer

Merge pull request #16424 from rgacogne/fix-comment-in-the-sbom-generation-tool

Our SBOMs are in CycloneDX JSON format, not Protocol Buffer

Our SBOMs are in CycloneDX JSON format, not Protocol Buffer

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

feat(dnsdist): wrap d_traceid in Tracer in a lock

feat(dnsdist): Speed up adding Spans in the Tracer

This makes the code cleaner, and does away with the pre- and
post-activation spans. We now have a "mini" span that we convert to
actual Spans only when they need to be sent out.

Using microbenchmarks the following became clear:

Adding a Span to the Tracer (using `Closer::openSpan`) is now about
45% slower than adding it to an old "unactivated" Tracer. But is is
*twice* as fast compared to the old "activated" Tracer.

When tracing is enabled for a query, most spans are added *after*
"activation". So this commit should speed up query processing when
tracing is enabled.

One downside of this commit is that generating the actual OpenTelemetry
Trace data we now need to create the real Spans, this generation is
about 60% slower. However, when the `delay` option is used for the
RemoteLogResponseAction this slowness is not in the hot path of the
query. As this generation happens after the response has been sent.

Signed-off-by: Pieter Lexis <pieter.lexis@powerdns.com>

Merge pull request #16417 from jsoref/docs-remote

Improve remote docs

Apply suggestions from code review

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): try to make superMasterBackend reply easier to read

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): make http/rpc match json/rpc for getbeforeandafternamesabsolute

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): fix json for getdomaininfo response

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): fix sentence to end with a period instead of the parenthetical

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): Document that real-remote is a CIDR-netmask

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): Move pre v4.0 content to pre v4.0 breaking section

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): Add sections to important notices

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #16409 from Habbie/gh-diskspace

auth-backend tests: make more diskspace on the github runner

Merge pull request #16368 from pieterlexis/dnsdist-aarch64

ci(dnsdist): Build and test on arm64/aarch64

Merge pull request #16405 from rgacogne/ddist-fix-outgoing-tls-yaml-doc

dnsdist: Fix the outgoing DoT YAML example

auth-backend tests: make more diskspace on the github runner

ci(aarch64): no -fcf-protection=full on aarch64

ci(dnsdist): Build and test on arm64/aarch64

Merge pull request #16394 from omoerbeek/rec-pubsuffix-eod

rec: don't use a vector of string for internal pubsuffixlist

dnsdist: Fix the outgoing DoT YAML example

As reported by Eddict (thanks!).

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16383 from pieterlexis/dnsdist-OT-per-rule

feat(dnsdist): Add OT trace for each rule

Remove backwards compatibility code

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16375 from omoerbeek/dnsdist-http1-date-header

dnsdist: Include a Date: response header for rejected HTTP1 requests

Merge pull request #16255 from rgacogne/openssl-3.6-leak-ocsp

dnsdist: Fix a memory leak with OCSP and OpenSSL 3.6.0

Merge pull request #16392 from omoerbeek/mangle-rust-version

Make version number in rust lib confirm to Rust specifics

Merge pull request #16385 from Habbie/auth-5.0.1-docs

auth 5.0.1 secpoll and changelog

Better words in comment

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

auth 5.0.1 secpoll and changelog

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #16388 from romeroalx/fix-upload-builds-pulp

gh actions build-packages: fix pattern for the download-artifacts action and publication issues

rec: don't use a vector of string for internal pubsuffixlist

The construct

std::vector<std::string> x  { not event that many string literals };

blows up with some compilers. Worst I have seen is (with not even
8k strings): g++12 develops a resident size of 26G.

This just creates a (blank line and comments stripped) in-memory version of the file that is
fed to the same code as an external file.

Problem noted by @wojas.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Make version number in rust lib confirm to Rust specifics

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

gh actions build-packages: avoid duplicates download-artifacts action. Fix publications

Combine a few args to get() and replace() into struct

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>