Prepare qthread() for its catch block to be able to access its locals. NFC

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Simplify Bind2Backend::handle. NFC

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

Merge pull request #16343 from miodvallat/bacf'

auth rfc2136: more churning

Merge pull request #16427 from omoerbeek/rec-print-settings

rec: rec_control get-parameter: print runtime settings in YAML format if YAML config is active

Process review comments

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16300 from FalkoFlessner/falko-NOISSUE-fix-docs-realremote

Fix[docs]: "real-remote" is always a CIDR-netmask

Merge pull request #16398 from Habbie/sdist-files

auth sdist: copy files as files, not as new dirs

Merge pull request #16456 from jsoref/codeql-quality-unreachable-dnsdist

Clean up unreachable code for dnsdist

Merge pull request #16361 from miodvallat/chording

lmdb: allow different mapsize values for main and shards

Merge pull request #16370 from miodvallat/secondary_considerations

auth: xfr churning

Merge pull request #16399 from Habbie/auth-upgrade-master

auth upgrade notes: stop confusing people with future version numbers

Merge pull request #16454 from jsoref/codeql-quality-unused-local-variable

chore: Clean up unused variables

Merge pull request #16457 from jsoref/codeql-quality-unreachable

Clean up unreachable code

Merge pull request #16459 from jsoref/fix-checkDump-try-except

Fix try/except/as notation

Merge pull request #16451 from Habbie/luajit-thread-aargh64itizer

luawrapper: on luajit+arm64+tsan, retry allocs harder

Merge pull request #16460 from jsoref/use-map-for-getHTTPCounter

Avoid warning about mixed explicit/implicit returns

Fix reference to class variable

Co-authored-by: Peter van Dijk <peter.van.dijk@powerdns.com>
Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #16395 from pieterlexis/dnsdist-ot-settraceid

dnsdist: Add option to use incoming OpenTelemetry Trace ID

Merge pull request #16440 from omoerbeek/endian-janitor

Cleanup endianness determining code

Merge pull request #16458 from jsoref/use-map-for-getAppliedPolicyTypeAsString

Use map for getAppliedPolicyTypeAsString

luawrapper: on luajit+arm64+tsan, retry allocs harder

Co-authored-by: Miod Vallat <miod.vallat@powerdns.com>
Co-authored-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>
Signed-off-by: Peter van Dijk <peter.van.dijk@powerdns.com>

Merge pull request #16461 from omoerbeek/rec-ws-loglevel

rec: fix parsing of webserver loglevel "none"

Merge pull request #16452 from miodvallat/distraction

dnsdist: evil code which will hurt your eyesight

Merge pull request #16453 from jsoref/codeql-quality-unused-local-variable-dnsdist

chore: Clean up unused variables (dnsdist)

Merge pull request #16450 from rgacogne/ddist-fix-format-type-in-regression-tests

chores(dnsdist): Replace '%s' with '%d' when formatting integers in our tests

Add two missing dependencies

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

rec: fix webserver loglevel from config

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Use map (and KeyError) to avoid warning about mixed explicit/implicit returns

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Fix try/except/as notation

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Use map for getAppliedPolicyTypeAsString

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Use finally for cleanup

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unreachable cleanup

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Reach logging before raising

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Clean up unreachable code for dnsdist

- Remove unreachable cleanup
- Use finally for cleanup

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Clean up unused variables

- Change get_rust_struct_fields_from_definition to use `indent`

  All callers were maintaining it, get_rust_struct_from_definition had updated it but left it unused...

- Fix type annotations
- Remove dead code for `response`
- Remove dead code for `url`
- Remove dead code for `wire`
- Remove unused timing
- Remove unused variable `data`
- Remove unused variable `dropped`
- Remove unused variable `fileContent`
- Remove unused variable `message`
- Remove unused variable `method`
- Remove unused variable `name`
- Remove unused variable `numberOfQueries`
- Remove unused variable `output`
- Remove unused variable `pbMessageType`
- Remove unused variable `rcode`
- Remove unused variable `secondSerial`
- Remove unused variable `total`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Alter the qname bpf filter to make it const.

This program needs to use a runtime value (a file descriptor), so in its
current form it is a non-const HUGE initializer, and causes the compiler
to emit a lot of code to initialize the local variable with the program
data, eating a lot of memory while there.

By changing the program to use a value of zero for the file descriptor,
the initializer becomes const; we need however to search for that
instruction and pach it before using the program, and this is not the
code I am most proud of... but when life gives you lemons, etc.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

chore: Use variable `rets`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Unshadow domain and store domainObject

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Test `wire_message`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `search`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `res`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `rdataset`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `r`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `payload`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `name`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `ixfr`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `h`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `expectedCNAME`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `expected`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove unused variable `data`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove dead code for `notifyexpected`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove dead code for `expected`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove dead code for `confdir`

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

chore: Remove broken support for `--run-output`

Dead code as of 28e7226a809c522d69913e2aab2c55fbb55646e3

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #16448 from PowerDNS/dependabot/pip/regression-tests.api/requests-2.32.4

chore(deps): bump requests from 2.31.0 to 2.32.4 in /regression-tests.api

chores(dnsdist): Replace '%s' with '%d' when formatting integers in our tests

These has been bothering me for a long time. I was hoping we would be
fixing them little by little but we are actually copy/pasting the wrong
formatters to new tests, so I'm biting the bullet now.

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16444 from romeroalx/add-workflow-check-pinning

gh actions: move check pinned python packages to a separate workflow

chore(deps): bump requests in /regression-tests.api

Bumps [requests](https://github.com/psf/requests) from 2.31.0 to 2.32.4.
- [Release notes](https://github.com/psf/requests/releases)
- [Changelog](https://github.com/psf/requests/blob/main/HISTORY.md)
- [Commits](https://github.com/psf/requests/compare/v2.31.0...v2.32.4)

---
updated-dependencies:
- dependency-name: requests
  dependency-version: 2.32.4
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #16407 from romeroalx/fix-pip-pinning-0311

Update Python package pinning for setup_requires dependency pbr to version 7.0.3

Merge pull request #16446 from jsoref/contributing-ai-policy

docs: Mention AI Policy in contributing pull requests

docs: Mention AI Policy in contributing pull requests

Signed-off-by: Josh Soref <2119212+jsoref@users.noreply.github.com>

Merge pull request #16445 from miodvallat/rm-of-the-day

dead code tells no tales

Remove dead code.

Signed-off-by: Miod Vallat <miod.vallat@powerdns.com>

gh actions: move check pinned python packages to verify-pinned-python-packages.yml

update-pinned-ver-python

Merge pull request #16438 from omoerbeek/rec-rm-deprecated

rec: remove options that were deprecated a long time ago

More modern way of determining the endianness of the system

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

We're runing on a posix system, so we can expect endian.h to exist

Should fix #16091

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16372 from rgacogne/ddist-regex

dnsdist: Properly handle invalid regular expressions

Merge pull request #16384 from omoerbeek/rec-cache-tcp

rec: remember if an answer was received over TCP in record cache

rec: remove options that were deprecated a long time ago

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

dnsdist: Document that `Regex` matches in a case-insensitive way

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Merge pull request #16434 from omoerbeek/rec-upgrade

rec: Update upgrade guide and correct version info for cookie support

Merge pull request #16376 from jsoref/bump-actions

Bump actions

Merge pull request #16229 from Habbie/luacontext-debug-object

store debug.traceback function before user can hide it from us

rec: Update upgrade guide and correct version info for cookie support

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16426 from omoerbeek/rec-lua-conf-tidy

rec: rec-lua-conf.* tidy

Merge pull request #16429 from rgacogne/ddist-test-http1-date-header

dnsdist: Add a test for the `Date` header in rejected HTTP/1 requests

dnsdist: Add a test for the `Date` header in rejected HTTP/1 requests

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

Tweaks and add a command to get default config parameter values

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Clippy, better error message

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Also set the YAML value on config changes

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Provide missing YAML manipulation pieces for new classes

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Produce a properly indented YAML snippet

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Clippy and store event trace values in yaml struct

There are more cases

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Handle values set to default values.

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Print yaml representation for get-parameter

Known issue: parameters having default vaues are not found

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Add missing pieces for for default printing

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Make rec_control get-parameter print something that is a valid old-style setting

In particular, quotes and escaping is not handled by the old-style settings parser

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

feat(dnsdist): Add ability to use incoming TraceID

feat(sdig): parse (optional) spanid from arguments

feat(protozero): Add a more generic function to extract Trace and Span ID from EDNS option

feat(dnsdist): Add infra to update Root SpanID and TraceID in Tracer

Tidy

Signed-off-by: Otto Moerbeek <otto.moerbeek@open-xchange.com>

Merge pull request #16402 from pieterlexis/dnsdist-no-ot-activation-without-benchmarks

feat(dnsdist): Speed up adding Spans in the Tracer

Merge pull request #16424 from rgacogne/fix-comment-in-the-sbom-generation-tool

Our SBOMs are in CycloneDX JSON format, not Protocol Buffer

Our SBOMs are in CycloneDX JSON format, not Protocol Buffer

Signed-off-by: Remi Gacogne <remi.gacogne@powerdns.com>

feat(dnsdist): wrap d_traceid in Tracer in a lock

feat(dnsdist): Speed up adding Spans in the Tracer

This makes the code cleaner, and does away with the pre- and
post-activation spans. We now have a "mini" span that we convert to
actual Spans only when they need to be sent out.

Using microbenchmarks the following became clear:

Adding a Span to the Tracer (using `Closer::openSpan`) is now about
45% slower than adding it to an old "unactivated" Tracer. But is is
*twice* as fast compared to the old "activated" Tracer.

When tracing is enabled for a query, most spans are added *after*
"activation". So this commit should speed up query processing when
tracing is enabled.

One downside of this commit is that generating the actual OpenTelemetry
Trace data we now need to create the real Spans, this generation is
about 60% slower. However, when the `delay` option is used for the
RemoteLogResponseAction this slowness is not in the hot path of the
query. As this generation happens after the response has been sent.

Signed-off-by: Pieter Lexis <pieter.lexis@powerdns.com>

Merge pull request #16417 from jsoref/docs-remote

Improve remote docs