chore: Remove broken support for `--run-output`

Dead code as of 28e7226a809c522d69913e2aab2c55fbb55646e3

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

dnsdist: implement simple packet shuffle in cache

The shuffle is implementing by directly swapping
pieces of RData memory in a single RRSet.

Signed-off-by: Karel Bilek <kb@karelbilek.com>

Merge pull request #16448 from PowerDNS/dependabot/pip/regression-tests.api/requests-2.32.4

chore(deps): bump requests from 2.31.0 to 2.32.4 in /regression-tests.api

chores(dnsdist): Replace '%s' with '%d' when formatting integers in our tests

These has been bothering me for a long time. I was hoping we would be
fixing them little by little but we are actually copy/pasting the wrong
formatters to new tests, so I'm biting the bullet now.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16444 from romeroalx/add-workflow-check-pinning

gh actions: move check pinned python packages to a separate workflow

chore(deps): bump requests in /regression-tests.api

Bumps [requests](https://github.com/psf/requests) from 2.31.0 to 2.32.4.
- [Release notes](https://github.com/psf/requests/releases)
- [Changelog](https://github.com/psf/requests/blob/main/HISTORY.md)
- [Commits](https://github.com/psf/requests/compare/v2.31.0...v2.32.4)

---
updated-dependencies:
- dependency-name: requests
  dependency-version: 2.32.4
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #16407 from romeroalx/fix-pip-pinning-0311

Update Python package pinning for setup_requires dependency pbr to version 7.0.3

Merge pull request #16446 from jsoref/contributing-ai-policy

docs: Mention AI Policy in contributing pull requests

docs: Mention AI Policy in contributing pull requests

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #16445 from miodvallat/rm-of-the-day

dead code tells no tales

Remove dead code.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

gh actions: move check pinned python packages to verify-pinned-python-packages.yml

update-pinned-ver-python

Merge pull request #16438 from omoerbeek/rec-rm-deprecated

rec: remove options that were deprecated a long time ago

changelog-from-pr: Sort PRs based on their ID

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

More modern way of determining the endianness of the system

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

We're runing on a posix system, so we can expect endian.h to exist

Should fix #16091

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16372 from rgacogne/ddist-regex

dnsdist: Properly handle invalid regular expressions

Merge pull request #16384 from omoerbeek/rec-cache-tcp

rec: remember if an answer was received over TCP in record cache

rec: remove options that were deprecated a long time ago

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Document that `Regex` matches in a case-insensitive way

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16434 from omoerbeek/rec-upgrade

rec: Update upgrade guide and correct version info for cookie support

Merge pull request #16376 from jsoref/bump-actions

Bump actions

Merge pull request #16229 from Habbie/luacontext-debug-object

store debug.traceback function before user can hide it from us

rec: Update upgrade guide and correct version info for cookie support

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16426 from omoerbeek/rec-lua-conf-tidy

rec: rec-lua-conf.* tidy

Merge pull request #16429 from rgacogne/ddist-test-http1-date-header

dnsdist: Add a test for the `Date` header in rejected HTTP/1 requests

dnsdist: Add a test for the `Date` header in rejected HTTP/1 requests

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Tweaks and add a command to get default config parameter values

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Clippy, better error message

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Also set the YAML value on config changes

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Provide missing YAML manipulation pieces for new classes

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Produce a properly indented YAML snippet

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Clippy and store event trace values in yaml struct

There are more cases

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Handle values set to default values.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Print yaml representation for get-parameter

Known issue: parameters having default vaues are not found

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Add missing pieces for for default printing

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Make rec_control get-parameter print something that is a valid old-style setting

In particular, quotes and escaping is not handled by the old-style settings parser

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

feat(dnsdist): Add ability to use incoming TraceID

feat(sdig): parse (optional) spanid from arguments

feat(protozero): Add a more generic function to extract Trace and Span ID from EDNS option

feat(dnsdist): Add infra to update Root SpanID and TraceID in Tracer

Tidy

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16402 from pieterlexis/dnsdist-no-ot-activation-without-benchmarks

feat(dnsdist): Speed up adding Spans in the Tracer

fix(protozero): Always initialize SpanID and TraceID to zero

Should fix CID-493276 and CID-493277.

Merge pull request #16424 from rgacogne/fix-comment-in-the-sbom-generation-tool

Our SBOMs are in CycloneDX JSON format, not Protocol Buffer

Our SBOMs are in CycloneDX JSON format, not Protocol Buffer

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

feat(dnsdist): wrap d_traceid in Tracer in a lock

feat(dnsdist): Speed up adding Spans in the Tracer

This makes the code cleaner, and does away with the pre- and
post-activation spans. We now have a "mini" span that we convert to
actual Spans only when they need to be sent out.

Using microbenchmarks the following became clear:

Adding a Span to the Tracer (using `Closer::openSpan`) is now about
45% slower than adding it to an old "unactivated" Tracer. But is is
*twice* as fast compared to the old "activated" Tracer.

When tracing is enabled for a query, most spans are added *after*
"activation". So this commit should speed up query processing when
tracing is enabled.

One downside of this commit is that generating the actual OpenTelemetry
Trace data we now need to create the real Spans, this generation is
about 60% slower. However, when the `delay` option is used for the
RemoteLogResponseAction this slowness is not in the hot path of the
query. As this generation happens after the response has been sent.

Signed-off-by: Pieter Lexis <pieter.lexis@powerdns.com>

Merge pull request #16417 from jsoref/docs-remote

Improve remote docs

Apply suggestions from code review

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): try to make superMasterBackend reply easier to read

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): make http/rpc match json/rpc for getbeforeandafternamesabsolute

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): fix json for getdomaininfo response

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): fix sentence to end with a period instead of the parenthetical

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): Document that real-remote is a CIDR-netmask

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): Move pre v4.0 content to pre v4.0 breaking section

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

docs(remote): Add sections to important notices

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

auth sdist: copy files as files, not as new dirs

Signed-off-by: Peter van Dijk <peter.van.dijk@powerdns.com>

auth upgrade notes: stop confusing people with future version numbers

Signed-off-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #16409 from Habbie/gh-diskspace

auth-backend tests: make more diskspace on the github runner

Merge pull request #16368 from pieterlexis/dnsdist-aarch64

ci(dnsdist): Build and test on arm64/aarch64

Merge pull request #16405 from rgacogne/ddist-fix-outgoing-tls-yaml-doc

dnsdist: Fix the outgoing DoT YAML example

auth-backend tests: make more diskspace on the github runner

ci(aarch64): no -fcf-protection=full on aarch64

ci(dnsdist): Build and test on arm64/aarch64

Merge pull request #16394 from omoerbeek/rec-pubsuffix-eod

rec: don't use a vector of string for internal pubsuffixlist

dnsdist: Fix the outgoing DoT YAML example

As reported by Eddict (thanks!).

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16383 from pieterlexis/dnsdist-OT-per-rule

feat(dnsdist): Add OT trace for each rule

Remove backwards compatibility code

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16375 from omoerbeek/dnsdist-http1-date-header

dnsdist: Include a Date: response header for rejected HTTP1 requests

Merge pull request #16255 from rgacogne/openssl-3.6-leak-ocsp

dnsdist: Fix a memory leak with OCSP and OpenSSL 3.6.0

Merge pull request #16392 from omoerbeek/mangle-rust-version

Make version number in rust lib confirm to Rust specifics

Merge pull request #16385 from Habbie/auth-5.0.1-docs

auth 5.0.1 secpoll and changelog

Better words in comment

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

auth 5.0.1 secpoll and changelog

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Signed-off-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #16388 from romeroalx/fix-upload-builds-pulp

gh actions build-packages: fix pattern for the download-artifacts action and publication issues

rec: don't use a vector of string for internal pubsuffixlist

The construct

std::vector<std::string> x  { not event that many string literals };

blows up with some compilers. Worst I have seen is (with not even
8k strings): g++12 develops a resident size of 26G.

This just creates a (blank line and comments stripped) in-memory version of the file that is
fed to the same code as an external file.

Problem noted by @wojas.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Document initMetric

Signed-off-by: Jess Bees <jesse@toomanybees.com>

Use a variant of string/unordered map as argument

Using a Lua table for an argument is more intuitive than having an
optional 2nd argument, and now `initMetric`'s signature is actually
compatible with `getMetric`'s, rather than just being inspired by it.

Signed-off-by: Jess Bees <jesse@toomanybees.com>

Make version number in rust lib confirm to Rust specifics

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

gh actions build-packages: avoid duplicates download-artifacts action. Fix publications

Combine a few args to get() and replace() into struct

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

feat(dnsdist): Add OT trace for each rule

Limit dynamic metric types to a set of valid strings

Basing this on code from dnsdist, it's limited to "counter" and "gauge"
types.

Signed-off-by: Jess Bees <jesse@toomanybees.com>

Add prometheus types/descriptions to dynamic metrics.

This commit adds optional types and descriptions to dynamic metrics, so
they can be written to the prometheus metrics web endpoint in comments.

Adds `initMetric` function to Lua, which is similar to getMetric, but
has two additional arguments: the metric's prometheus type, and the
metric's description. Metrics that are first declared with `getMetric`
will have no type or description, and subsequent calls to `initMetric`
will have no effect (the same way that calling `getMetric` multiple
times with different prometheus metric names will have no effect).

Signed-off-by: Jess Bees <jesse@toomanybees.com>

ci: Update `actions/setup-python` to `v6`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

ci: Update `actions/upload-artifact` to `v5`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

ci: Update `actions/download-artifact` to `v6`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

ci: Update `actions/checkout` to `v5`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Store if a RRSet was retrieved over TCP in the record cache

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Include a Date: response header for rejected HTTP1 requests

This allows OpenBSD ntpd time constraint retrieval to work properly
with nghttp2 incoming DoH.

Note that requests having no alpn data do not appear in any stats.
Should that be changed?

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16374 from miodvallat/dumansw

auth dumresp: fix fd leak

Be sure to not leak a socket if tcpConnectionHandler() throws.

Fixes: #16365
Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Regex: Appease clang-tidy

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Regex: Prevent accidently copying the underlying `regex_t`

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

fixup! dnsdist: Document that our `Regex` is Posix Extended Regular Expressions-compatible

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Document that our `Regex` is PCRE-compatible

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Just in case, catch `PDNSException` while loading YAML configuration

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

dnsdist: Properly handle invalid regular expressions

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>